Nel report tecnico pubblicato il 22 ottobre 2026, NVIDIA riferisce che un cluster di otto DGX Spark ha raggiunto 52,58 token al secondo (TPS) in decodifica con Qwen3.8-27B-NVFP4, contro 11,86 TPS su un solo nodo. Nel test, il cluster usava uno switch e il backend RoCEnante; la decodifica è cresciuta di 4,43×, mentre il prefill, cioè l’elaborazione dei token in ingresso, è cresciuto di 1,94×.
La prova riguardava una richiesta alla volta, con 8.192 token in ingresso e 256 in uscita, senza speculative decoding. Quest’ultima è una tecnica che usa token aggiuntivi per accelerare la generazione. I risultati cambiano con il modello, il carico e la topologia della rete.
Il test Qwen: throughput diversi per prefill e decodifica
La tabella riporta i valori pubblicati da NVIDIA per Qwen3.8-27B in NVFP4. Il throughput misura quanti token vengono elaborati al secondo; il fattore di scala confronta ciascun risultato con quello ottenuto su un nodo. NVIDIA ha eseguito la prova con llama-benchy, una richiesta alla volta, 8.192 token in ingresso e 256 in uscita, senza speculative decoding.
| Nodi e topologia | Prefill (TPS) | Scala del prefill | Decodifica (TPS) | Scala della decodifica |
| 1 nodo | 2.635 | 1,00× | 11,86 | 1,00× |
| 2 nodi, collegamento diretto | 3.285 | 1,25× | 21,71 | 1,838× |
| 4 nodi, anello fisico | 4.446 | 1,69× | 32,82 | 2,77× |
| 4 nodi, switch con RoCEnante | 4.556 | 1,73× | 36,34 | 3,06× |
| 8 nodi, anello fisico | 4.962 | 1,88× | 40,11 | 3,38× |
| 8 nodi, switch con RoCEnante | 5.105 | 1,94× | 52,58 | 4,43× |
Il confronto più diretto è tra un nodo e otto nodi con switch e RoCEnante: la decodifica passa da 11,86 a 52,58 TPS, mentre il prefill passa da 2.635 a 5.105 TPS. L’aumento è quindi diverso tra generazione e trattamento dell’input. In questo test, otto nodi non producono un incremento uniforme per tutte le fasi dell’inferenza.
Anche la topologia cambia il risultato. Con otto nodi, NVIDIA riporta 40,11 TPS in decodifica per l’anello fisico e 52,58 TPS per lo switch con RoCEnante. Nel confronto delle sole scale di decodifica su switch, l’azienda riporta 3,06× a quattro nodi con RoCEnante contro 2,56× senza; a otto nodi, 4,43× contro 3,05×.
Anello o switch: la scelta dipende dal carico
NVIDIA presenta l’anello senza switch come una soluzione più semplice e meno costosa per l’inferenza su quattro nodi. Per otto nodi, per dividere il cluster in gruppi indipendenti o per collegamenti diretti tra ogni coppia di nodi, indica invece uno switch. Un anello può inoltre imporre più passaggi di rete ad alcuni carichi punto-punto.
RoCEnante è un backend di comunicazione collettiva, cioè un sistema che coordina lo scambio di dati tra le GPU. NVIDIA lo descrive come adatto a messaggi piccoli, bassa concorrenza e un numero contenuto di nodi, e lo limita alle configurazioni con switch. Riduce i passaggi di comunicazione, ma sposta più dati quando aumentano la dimensione dei messaggi o il numero di nodi.
NVIDIA indica NCCL come backend predefinito supportato e lo considera più adatto con concorrenza elevata, cluster più grandi o topologie ad anello. RoCEnante è quindi legato a uno specifico profilo di carico, non una scelta che migliora automaticamente ogni configurazione.
Switchyard distribuisce le richieste tra modelli
Nel prototipo Switchyard, NVIDIA ha indirizzato le richieste semplici a MiniCPM5 2B e quelle più difficili a Qwen3.8 Flash Next. L’azienda riferisce che il sistema instradato ha ottenuto 91 punti su 100 in un test di utilizzo degli strumenti composto da 92 casi, lo stesso punteggio della configurazione basata solo su Qwen.
Nella configurazione a otto nodi descritta da NVIDIA, tre repliche di Qwen occupavano due nodi ciascuna e due repliche di MiniCPM un nodo ciascuna. Il throughput aggregato è risultato circa 1,5× quando metà delle richieste veniva inviata a Qwen e circa 3,0× quando a Qwen ne andava un quarto e le restanti erano assegnate a MiniCPM. Il guadagno riportato dipende dunque dalla distribuzione delle richieste e dal prototipo testato.
Il pretraining di nanochat è una prova distinta
Per il pretraining di nanochat, NVIDIA riferisce 68.079 TPS su otto nodi, pari a 7,79× il risultato a un nodo, con un’efficienza di scala del 97,4%. Il test usava un batch globale di 524.288 token per passaggio e microbatch di 32 sequenze per GPU.
| Nodi | Throughput di training (TPS) | Accelerazione | Efficienza di scala |
| 1 | 8.741 | 1,00× | 100,0% |
| 2 | 17.202 | 1,97× | 98,4% |
| 4 | 33.640 | 3,85× | 96,2% |
| 8 | 68.079 | 7,79× | 97,4% |
Il risultato riguarda il pretraining, non l’inferenza: non va applicato ai numeri di Qwen. Per esempio, il test di inferenza Qwen a otto nodi riporta 4,43× in decodifica, con condizioni e operazioni diverse.
Memoria per il modello e tempi di NVIDIA Sync
NVIDIA attribuisce a ogni DGX Spark 128 GB di memoria unificata e indica 1 TB complessivo per otto nodi. L’azienda riferisce di aver eseguito sul cluster il checkpoint completo GLM 5.3, da 753 miliardi di parametri e circa 470 GB in NVFP4.
Le specifiche di un singolo DGX Spark indicano una banda di memoria di 273 GB/s e una scheda di rete ConnectX-7 da 200 Gbps. Sono valori nominali del singolo sistema, distinti dal throughput misurato nei test del cluster.
Nel post del 22 ottobre 2026, NVIDIA indicava il supporto a otto nodi in NVIDIA Sync come previsto entro la fine dell’anno.
