NVIDIA rapporteert 52,58 tokens/s voor Qwen op acht DGX Spark-nodes

In een benchmarkartikel dat NVIDIA op 22 oktober 2026 publiceerde, rapporteerde het bedrijf voor Qwen3.8-27B-NVFP4 een decode-snelheid van 52,58 tokens per seconde op acht via een switch verbonden DGX Spark-nodes. Op één node was dat 11,86 tokens per seconde, een gerapporteerde opschaling van 4,43×. De uitkomst geldt voor één gelijktijdige aanvraag, 8.192 invoertokens en 256 uitvoertokens, zonder speculative decoding.

De Qwen-test: prefill en decode schalen verschillend

NVIDIA rapporteerde bij dezelfde test op acht nodes 5.105 prefill-tokens per seconde, tegenover 2.635 op één node. Dat is een opschaling van 1,94×, duidelijk minder dan de 4,43× voor decode. Prefill is het verwerken van de invoer voordat een model antwoord geeft; decode is het genereren van de uitvoertokens.

De acht-node ring haalde in NVIDIA’s meting 40,11 decode-tokens per seconde; de switchopstelling met RoCEnante kwam op 52,58. Voor die test rapporteerde NVIDIA respectievelijk 3,38× en 4,43× de decode-doorvoer van één node. De tabelwaarden zijn afkomstig uit NVIDIA’s test met Qwen3.8-27B in NVFP4, één gelijktijdige aanvraag, 8.192 invoertokens en 256 uitvoertokens.

Ring of switch: de netwerkopstelling hangt af van de taak

NVIDIA presenteert een switchloze ring als een eenvoudiger, goedkoper alternatief voor inferentie op vier nodes. Voor acht nodes, afzonderlijke modelgroepen of directe communicatie tussen alle nodes noemt het bedrijf een switch als benodigde opstelling.

RoCEnante is een communicatie-backend voor switchverbindingen. NVIDIA zegt dat deze aanpak bij kleine berichten en een beperkt aantal deelnemende nodes minder communicatiestappen vraagt. Naarmate berichten groter worden of meer nodes meedoen, neemt volgens het bedrijf de hoeveelheid verplaatste data toe. De NVIDIA Collective Communications Library (NCCL) blijft de ondersteunde standaard; NVIDIA noemt NCCL geschikter bij hogere gelijktijdigheid, grotere clusters en ringopstellingen.

Switchyard verdeelt aanvragen over modellen

In het Switchyard-prototype van NVIDIA gingen eenvoudige aanvragen naar MiniCPM5 2B en moeilijkere naar Qwen3.8 Flash Next. De gerouteerde opstelling behaalde volgens NVIDIA 91 punten op 100 op een benchmark met 92 toolgebruikstests, dezelfde score als de configuratie die alleen Qwen gebruikte.

De gerapporteerde doorvoer hing af van de verdeling van aanvragen: ongeveer 1,5× wanneer de helft naar Qwen ging, en ongeveer 3,0× wanneer een kwart naar Qwen ging en de rest naar MiniCPM. In de acht-node-opstelling verdeelde NVIDIA de capaciteit over drie Qwen-replica’s met elk twee nodes en twee MiniCPM-replica’s met elk één node. De genoemde snelheden horen bij deze prototypeopstelling en deze specifieke verdeling.

nanochat-training is een afzonderlijke meting

Voor pretraining van nanochat rapporteerde NVIDIA op acht nodes 68.079 tokens per seconde, 7,79× de doorvoer op één node en een schaalefficiëntie van 97,4%. Dit is een trainingsresultaat en geen voorspelling voor inferentie met Qwen. De test gebruikte een totale batchgrootte van 524.288 tokens per stap en 32 reeksen per GPU-microbatch.

Acht nodes bieden 1 TB gezamenlijk geheugen

NVIDIA specificeert 128 GB unified memory per DGX Spark-node en 1 TB voor een cluster van acht. Het bedrijf meldt dat daarop het volledige GLM 5.3-checkpoint met 753 miljard parameters past en draait: de NVFP4-versie is ongeveer 470 GB.

Voor één DGX Spark vermeldt NVIDIA daarnaast een geheugenbandbreedte van 273 GB/s en een ConnectX-7-netwerkkaart met een nominale snelheid van 200 Gbps. Dat zijn specificaties per systeem; de Qwen-resultaten hierboven zijn de afzonderlijke benchmarkmetingen.

In het artikel van 22 oktober schreef NVIDIA dat ondersteuning voor acht nodes in NVIDIA Sync vóór het einde van 2026 zou komen.