NVIDIA meldete am 22. Oktober 2026 für einen Acht-Knoten-Verbund aus DGX Spark beim Dekodieren von Qwen3.8-27B-NVFP4 eine Leistung von 52,58 Tokens/s. Ein einzelnes Gerät kam im selben Test auf 11,86 Tokens/s; NVIDIA gibt den Zuwachs mit dem Switch-Backend RoCEnante als Faktor 4,43 an. Die Messung lief mit NVFP4, einer gleichzeitigen Anfrage, 8.192 Eingabe- und 256 Ausgabetoken. Spekulatives Decoding war ausgeschaltet.
Qwen: Acht Knoten beschleunigen Dekodieren und Prefill unterschiedlich
Beim Dekodieren erzeugt das Modell die Ausgabe. Beim Prefill verarbeitet es die Eingabe. In NVIDIAs Qwen-Test skalierte der Durchsatz dieser beiden Arbeitsschritte unterschiedlich: Auf acht Knoten erreichte das Dekodieren laut NVIDIA das 4,43-Fache des Einzelgerätewerts, das Prefill dagegen das 1,94-Fache.
| Konfiguration | Prefill (Tokens/s) | Dekodieren (Tokens/s) |
| 1 Knoten | 2.635 | 11,86 |
| 2 Knoten, Direktverbindung | 3.285 | 21,71 |
| 4 Knoten, physischer Ring | 4.446 | 32,82 |
| 4 Knoten, Switch mit RoCEnante | 4.556 | 36,34 |
| 8 Knoten, physischer Ring | 4.962 | 40,11 |
| 8 Knoten, Switch mit RoCEnante | 5.105 | 52,58 |
Die Werte stammen aus NVIDIAs Test mit Qwen3.8-27B in NVFP4, einer gleichzeitigen Anfrage, 8.192 Eingabe- und 256 Ausgabetoken sowie ausgeschaltetem spekulativem Decoding. TPS steht für Tokens pro Sekunde. Der Acht-Knoten-Ring erreichte beim Dekodieren 40,11 Tokens/s; die Switch-Konfiguration mit RoCEnante kam auf 52,58 Tokens/s.
Auch der Vergleich des Kommunikations-Backends ist an diese Konfiguration gebunden: In NVIDIAs Switch-Test erreichte RoCEnante beim Dekodieren mit acht Knoten eine Skalierung um den Faktor 4,43, ohne RoCEnante waren es 3,05. Bei vier Knoten lagen die entsprechenden Werte bei 3,06 und 2,56.
Ring oder Switch: Die Verbindung hängt vom Einsatz ab
NVIDIA beschreibt einen Ring ohne Switch als einfachere und kostengünstigere Möglichkeit für Inferenz mit vier Knoten. Für acht Knoten, getrennte Modellgruppen oder direkte All-to-all-Verbindungen empfiehlt das Unternehmen eine Switch-Topologie. Ein Ring kann laut NVIDIA zwei voneinander unabhängige Vierergruppen nicht abbilden.
RoCEnante ist ein Kommunikations-Backend für Switch-Verbindungen. Es führt einen All-to-all-Austausch und eine lokale Reduktion in einem GPU-Kernel zusammen. NVIDIA zufolge kann das bei kleinen Nachrichten, geringer Parallelität und einer überschaubaren Zahl beteiligter Knoten Kommunikationsschritte sparen. Mit größeren Nachrichten oder mehr Knoten steigt zugleich die bewegte Datenmenge. NVIDIA nennt NCCL weiterhin als unterstützten Standard und als passendere Wahl für höhere Parallelität, größere Verbünde oder Ring-Topologien.
Switchyard verteilt Anfragen auf unterschiedlich große Modelle
NVIDIAs Switchyard-Prototyp leitet einfachere Anfragen an MiniCPM5 2B und schwierigere an Qwen3.8 Flash Next weiter. In einem Werkzeugnutzungs-Benchmark mit 92 Fällen erzielte der geroutete Agent laut NVIDIA 91 von 100 Punkten und damit denselben Wert wie die Konfiguration, die ausschließlich Qwen verwendete.
Der Durchsatz hing von der Verteilung der Anfragen ab: NVIDIA meldete etwa das 1,5-Fache, wenn die Hälfte der Anfragen an Qwen ging, und etwa das 3-Fache, wenn ein Viertel an Qwen und der Rest an MiniCPM ging. Diese Werte beschreiben den Prototyp mit den jeweiligen Routing-Anteilen.
nanochat zeigt eine andere Skalierung beim Training
Beim Vortraining von nanochat meldete NVIDIA für acht DGX Spark 68.079 Tokens/s, das 7,79-Fache des Einzelgerätewerts. Die Skalierungseffizienz betrug bei acht Knoten 97,4 Prozent. Das ist ein separates Trainingsexperiment und kein Richtwert für die Inferenzmessungen mit Qwen.
| Knoten | Trainingsdurchsatz (Tokens/s) | Beschleunigung | Skalierungseffizienz |
| 1 | 8.741 | 1,00× | 100,0 % |
| 2 | 17.202 | 1,97× | 98,4 % |
| 4 | 33.640 | 3,85× | 96,2 % |
| 8 | 68.079 | 7,79× | 97,4 % |
NVIDIA nennt für diesen Versuch eine globale Batchgröße von 524.288 Tokens pro Schritt und 32 Sequenzen pro GPU-Mikrobatch. Der Unterschied zum Qwen-Test liegt damit nicht nur im Modell, sondern auch in der Aufgabe: nanochat wurde vortrainiert, Qwen für Inferenz gemessen.
NVIDIA berichtet außerdem, dass sich der vollständige GLM-5.3-Checkpoint mit 753 Milliarden Parametern und rund 470 GB in NVFP4 auf acht Knoten ausführen ließ. Die acht DGX Spark stellen zusammen 1 TB Unified Memory bereit, bei 128 GB pro Gerät.
Knotenspezifikationen und NVIDIA Sync
NVIDIAs Produktseite nennt für ein einzelnes DGX Spark eine Speicherbandbreite von 273 GB/s und eine ConnectX-7-Netzwerkkarte mit einer angegebenen Rate von 200 Gbit/s. Das sind Spezifikationen eines einzelnen Systems; die Qwen-Tabelle misst den Durchsatz der jeweiligen Clusterkonfiguration.
In seinem Beitrag vom 22. Oktober 2026 kündigte NVIDIA außerdem an, die Unterstützung für Acht-Knoten-Verbünde in NVIDIA Sync bis Jahresende bereitzustellen. Einen genauen Termin nannte das Unternehmen nicht.
