De suite definieert voor elk model dezelfde 11 benchmarks op dezelfde DGX Spark: 6 closed-loop voor gecontroleerde throughput en 5 open-loop voor gedrag onder belasting. Per run wordt vastgelegd welke tests compleet, afgebroken of zonder data zijn. Hoort bij de gids LLMs draaien op de DGX Spark.
Eén snelheidsmeting laat niet zien hoe een model bij andere belasting reageert. Een model met hoge tokens/sec bij één stream kan onder twintig gelijktijdige requests sterk terugvallen. Een ander model houdt zijn throughput vast, maar laat nieuwe requests lang op hun eerste token wachten. Prima voor batch, vervelend voor chat.
Daarom meet ik de doorvoer bij vaste gelijktijdigheid (closed-loop) en bij onafhankelijk binnenkomende verzoeken (open-loop). Ik varieer ook de lengte van prompts en antwoorden. Dat laat zien hoe de snelheid en wachttijd veranderen per scenario.
Hoe schaalt de throughput bij een vast aantal gelijktijdige streams?
Closed-loop houdt per stream steeds een request actief: zodra er één klaar is, volgt de volgende. De suite test vaste concurrency-waarden van 1 tot 20. Elke cel draait drie keer en wordt gerapporteerd als mean ± stddev.
Ideaal voor: één gebruiker, batch-processing, code completion. Niet representatief voor: een chat-app met veel gelijktijdige sessies.
Hoe houdt het zich onder X gelijktijdige users die niet wachten op elkaar?
Open-loop plant arrivals onafhankelijk van wat de server al doet. Request rate en burstiness bepalen het patroon; bij 0,3 req/s zit er gemiddeld ongeveer 3,3 seconden tussen arrivals. De generator gebruikt seed 42, zodat dezelfde ingestelde belasting herhaalbaar is.
Resultaat: p50/p95 TTFT en per-user tokens/sec onder belasting. TTFT-getallen rapporteer ik wel (boven de 2s gaat je app traag voelen), maar ze sluiten geen modellen uit de ranking. Een open-looptest telt alleen mee als minimaal 99% van de requests slaagt.
Elke kaart komt rechtstreeks uit het versievaste benchmarkcontract. Klap "view command" uit voor het reproduceerbare commandotemplate en vervang ORG/MODEL en SERVED_MODEL_NAME. Op een modelpagina zijn die waarden al ingevuld vanuit de runmetadata.
Korte prompt met een lang antwoord. Toont de uitvoersnelheid en de wachttijd voor het eerste token.
tokens/sec · ttft p50
uvx llama-benchy==0.4.0 \
--base-url http://localhost:8000/v1 \
--model SERVED_MODEL_NAME \
--pp 1024 \
--tg 1024 \
--depth 0 \
--concurrency 1 5 10 \
--runs 3 \
--latency-mode generation \
--format mdMiddelgrote context met een korter antwoord. Toont de kosten van promptverwerking bij 8k inputtokens.
tokens/sec · ttft p50
uvx llama-benchy==0.4.0 \
--base-url http://localhost:8000/v1 \
--model SERVED_MODEL_NAME \
--pp 8192 \
--tg 512 \
--depth 0 \
--concurrency 5 10 20 \
--runs 3 \
--latency-mode generation \
--format mdKorte instructie, veel output. Codegeneratie, rapporten of gestructureerde agent-output. Stresstest voor decode-doorvoer.
tokens/sec · ttft p50
uvx llama-benchy==0.4.0 \
--base-url http://localhost:8000/v1 \
--model SERVED_MODEL_NAME \
--pp 256 \
--tg 4096 \
--depth 0 \
--concurrency 1 5 10 \
--runs 3 \
--latency-mode generation \
--format mdVijf beurten per gesprek, tien gesprekken parallel. Dicht bij hoe een team dit echt gebruikt, met groeiende context per beurt.
tokens/sec · ttft p50
uvx llama-benchy==0.4.0 \
--base-url http://localhost:8000/v1 \
--model SERVED_MODEL_NAME \
--pp 2048 \
--tg 512 \
--depth 4 \
--concurrency 1 5 10 \
--runs 3 \
--latency-mode generation \
--format mdStresstest met grote prompts. Laat zien hoeveel de wachttijd voor het eerste token oploopt bij 25k inputtokens.
tokens/sec · ttft p50
uvx llama-benchy==0.4.0 \
--base-url http://localhost:8000/v1 \
--model SERVED_MODEL_NAME \
--pp 4096 8192 16384 25000 \
--tg 256 \
--depth 0 \
--concurrency 1 5 10 \
--runs 3 \
--latency-mode generation \
--format md25k context met twintig aanvragen tegelijk. Test 05 bevat al vijf en tien; hier wordt de gelijktijdige belasting verder verhoogd.
tokens/sec · ttft p50
uvx llama-benchy==0.4.0 \
--base-url http://localhost:8000/v1 \
--model SERVED_MODEL_NAME \
--pp 25000 \
--tg 256 \
--depth 0 \
--concurrency 20 \
--runs 3 \
--latency-mode generation \
--format mdRandom dataset, 4000 tokens in en 500 uit, aankomstsnelheid 0,3 met burstiness 0,7. Een rustig kantoor.
ttft p50/p95 · tokens/sec per gebruiker
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 4000 \
--random-output-len 500 \
--random-range-ratio 0.9 \
--num-prompts 200 \
--request-rate 0.3 \
--burstiness 0.7 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 07-office-baseline.jsonGesprekken uit ShareGPT V3, gemiddeld 228 tokens per beurt. De lengte varieert per gesprek.
ttft p50/p95 · tokens/sec per gebruiker
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name sharegpt \
--dataset-path /tmp/ShareGPT_V3.json \
--num-prompts 250 \
--request-rate 0.3 \
--burstiness 0.7 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 08-sharegpt.jsonLange denkstappen, 1k in en 4k uit, trage aankomstsnelheid van 0,2 omdat elke aanvraag veel decode-budget kost. Test of TTFT stabiel blijft.
ttft p50 · volgehouden tokens/sec
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 1024 \
--random-output-len 4096 \
--random-range-ratio 0.9 \
--num-prompts 50 \
--request-rate 0.2 \
--burstiness 1.0 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 09-reasoning.jsonRandom, 4000 in en 500 uit, aankomstsnelheid 1,5 per seconde met burstiness 1,0 en maximaal 25 parallel. Een zware, onafhankelijke requeststroom.
ttft p95/p99 · wachtrijdiepte
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 4000 \
--random-output-len 500 \
--random-range-ratio 0.9 \
--num-prompts 300 \
--request-rate 1.5 \
--burstiness 1.0 \
--max-concurrency 25 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 10-monday-peak.jsonZes oplopende aankomstsnelheden, van 0,1 tot 1,0 aanvraag per seconde. Bij elke trede wordt gekeken of de p95 TTFT nog onder de grens blijft.
req/s onder p95 TTFT-grens
# 0.1 req/s
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 4000 \
--random-output-len 500 \
--random-range-ratio 0.9 \
--num-prompts 100 \
--request-rate 0.1 \
--burstiness 0.7 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 11-rate-sweep-0.1.json
# 0.2 req/s
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 4000 \
--random-output-len 500 \
--random-range-ratio 0.9 \
--num-prompts 100 \
--request-rate 0.2 \
--burstiness 0.7 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 11-rate-sweep-0.2.json
# 0.3 req/s
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 4000 \
--random-output-len 500 \
--random-range-ratio 0.9 \
--num-prompts 100 \
--request-rate 0.3 \
--burstiness 0.7 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 11-rate-sweep-0.3.json
# 0.5 req/s
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 4000 \
--random-output-len 500 \
--random-range-ratio 0.9 \
--num-prompts 125 \
--request-rate 0.5 \
--burstiness 0.7 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 11-rate-sweep-0.5.json
# 0.7 req/s
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 4000 \
--random-output-len 500 \
--random-range-ratio 0.9 \
--num-prompts 175 \
--request-rate 0.7 \
--burstiness 0.7 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 11-rate-sweep-0.7.json
# 1.0 req/s
docker exec vllm-bench vllm bench serve \
--backend openai-chat \
--base-url http://localhost:8000 \
--endpoint /v1/chat/completions \
--model ORG/MODEL \
--tokenizer ORG/MODEL \
--served-model-name SERVED_MODEL_NAME \
--dataset-name random \
--random-input-len 4000 \
--random-output-len 500 \
--random-range-ratio 0.9 \
--num-prompts 250 \
--request-rate 1.0 \
--burstiness 0.7 \
--percentile-metrics ttft,tpot,itl,e2el \
--metric-percentiles 50,90,95,99 \
--seed 42 \
--save-result \
--result-dir /tmp \
--result-filename 11-rate-sweep-1.0.jsonDe commando's worden deterministisch opgebouwd uit het versievaste contract en de metadata van elke run.
Start eerst een OpenAI-compatibele vLLM-server met de model- en serverconfig uit de runmetadata. Gebruik daarna het commando op de modelpagina. Voor test 08 moet ShareGPT V3 op /tmp/ShareGPT_V3.json staan; de andere open-looptests genereren synthetische random prompts.
Bij historische runs is het oorspronkelijke argv niet letterlijk opgeslagen. De gepubliceerde commando's zijn daarom gemarkeerde reconstructies uit contract en runmetadata. De bronlink bevat beide Git-revisies, zodat je precies ziet waarop de reconstructie rust.
Stuur een Hugging Face-link of vLLM-configuratie. Als het model op de Spark past, kan ik het met dezelfde tests vergelijken.