---
title: "Granite-4.1 8B (BF16) · DGX Spark Arena"
canonical: "https://djangodevreng.nl/arena/granite-4-1-8b-bf16/"
license: "CC-BY-4.0"
source: "https://github.com/djangodevreng/dgx-spark-benchmarks/tree/a948cec23b054c62fef595bad3cdb284066922ac/results/granite-4.1/granite-4.1-8b/bf16/"
source_revision: "a948cec23b054c62fef595bad3cdb284066922ac"
contract_version: 1
suite_version: "2026-08"
minimum_request_success_rate: 0.99
sanity_status: "not_recorded"
attribution: "Django de Vreng, https://djangodevreng.nl"
---

# Granite-4.1 8B (BF16)

Gemeten op 2026-08-09 met vLLM v0.26.0. In de chattest met tien gelijktijdige verzoeken haalt dit profiel 11,99 tokens/s per gebruiker, met gemiddeld 1,89 seconden tot het eerste token. Bij 25k context stijgt die gemiddelde wachttijd naar 39,32 seconden. Bij deze historische run is geen sanity-check vastgelegd. Dat bewijs ontbreekt, ook wanneer de snelheidsmeting volgens de huidige regels meetelt.

## Specificaties

- Vendor: ibm-granite
- Architectuur: Dense
- Parameters: 8B
- Precisie: BF16
- Context: 128K
- Gemeten op: 128K
- VRAM: 16 GB
- Engine: vLLM v0.26.0
- Hardware: DGX Spark, NVIDIA GB10, 128 GB unified memory
- Model card: https://huggingface.co/ibm-granite/granite-4.1-8b

## Quality (model-cards)

Alleen ter referentie. De harnesses en dekking verschillen per model; deze cijfers tellen niet mee in de hardware-score.

Bron: https://huggingface.co/ibm-granite/granite-4.1-8b

| Benchmark | Score |
| --- | --- |
| MMLU-Pro | 55.99 |
| GPQA | 41.96 |
| HumanEval | 85.37 |

## Benchmarks op de DGX Spark

Alleen complete runs zonder mislukte sanity-check tellen mee. Open-looptests vereisen minimaal 99% request success. Ruwe resultaten blijven zichtbaar.

| Test | tokens/s p/user | tokens/s totaal | TTFT (ms) | Request success | Ranking |
| --- | --- | --- | --- | --- | --- |
| 01 Chat | 12 | 60 | 1887 | n/a | telt mee |
| 02 RAG · 8k context | 9 | 69 | 10825 | n/a | telt mee |
| 03 Lange output en agents | 13 | 76 | 710 | n/a | telt mee |
| 04 Multi-turn kantoorwerk | 12 | 100 | 3158 | n/a | telt mee |
| 05 Grote context · 25k | 4 | 25 | 39324 | n/a | telt mee |
| 06 Gelijktijdigheid onder druk | 2 | 26 | 74995 | n/a | telt mee |
| 07 Realistische kantoor-baseline | 31 | 1213.47 | 1751 | 100% | telt mee |
| 08 Echte gesprekken · ShareGPT | 9 | 121.43 | 255 | 100% | telt mee |
| 09 Reasoning-workload | 5 | 240.52 | 523 | 100% | telt mee |
| 10 Maandagochtendpiek | 44 | 1218.28 | 1490 | 100% | telt mee |
| 11 Capaciteit · rate sweep | n/a | n/a | n/a | 100% | telt mee |

## Noten

Model-ID: ibm-granite/granite-4.1-8b. Container: vllm/vllm-openai:v0.26.0-aarch64-cu129-ubuntu2404. llama-benchy 0.4.0. Bronrun: 2026-08-09T06:26:37+02:00. KV-cache fp8; max_model_len 131072; gpu_memory_utilization 0,9. Prefix caching uit; async scheduling aan. Extra serverflags: --max-num-batched-tokens 8192. 11 van de 11 tests hebben een meting die volgens de huidige Arena-regels meetelt. Bij deze historische run is geen sanity-check vastgelegd. Dat bewijs ontbreekt, ook wanneer de snelheidsmeting volgens de huidige regels meetelt.

---

Licentie: CC-BY-4.0 (https://creativecommons.org/licenses/by/4.0/). Django de Vreng, https://djangodevreng.nl.
Volledige arena: https://djangodevreng.nl/arena/ · Ruwe runs (GitHub): https://github.com/djangodevreng/dgx-spark-benchmarks/tree/a948cec23b054c62fef595bad3cdb284066922ac/results/granite-4.1/granite-4.1-8b/bf16/