NVIDIA berichtete in einem am 27. Oktober 2026 veröffentlichten Beitrag für Ling-3.0-flash-fp4 auf DGX Spark von 42,5 Prozent mehr Decode-Durchsatz: Bei 1.319 GSM8K-Fragen stieg der Wert mit drei Optimierungen von 37,81 auf 53,89 Tokens pro Sekunde. Der Test lief mit Batchgröße 1. Ein separater synthetischer Lauf ergab einen deutlich höheren Zuwachs, hatte aber andere Bedingungen.
Was NVIDIA im GSM8K-Test maß
GSM8K ist ein Datensatz mit Aufgaben aus der Mathematik. NVIDIA verwendete fünf Beispiele im Prompt, eine Temperatur von 0,6, top-p 0,95 und top-k 29. Die mittlere Antwortlatenz sank im optimierten Lauf von 15,21 auf 11,49 Sekunden. Die mittlere Zeit bis zum ersten Token, kurz TTFT, betrug dagegen 0,207 Sekunden im Basistest und 0,214 Sekunden mit allen drei Optimierungen.
Das getestete Modell ist ein Mixture-of-Experts-Modell (MoE): Es umfasst laut NVIDIA 124 Milliarden Parameter, aktiviert pro Token aber 5,1 Milliarden. In jeder MoE-Schicht wählt es acht von 512 Experten sowie einen gemeinsamen Experten aus. NVIDIA zufolge war das Decoding, also die Erzeugung der Antworttoken, durch Speicherbandbreite begrenzt: Die Modellgewichte mussten wiederholt gelesen werden.
Drei Eingriffe in den Decode-Prozess
NVIDIA kombinierte drei Änderungen, die unterschiedliche Teile der Token-Erzeugung betreffen:
- Humming ersetzt im MoE-Teil die FlashInfer-MXFP4-Kernel. Humming kompiliert passende GPU-Kernel zur Laufzeit mit NVRTC und speichert sie im Cache
~/.humming/cache. - Online-FP8-Quantisierung komprimiert die Berechnungen am LM Head, der Schicht zur Vorhersage des nächsten Tokens. NVIDIA gibt an, dass dadurch die zu lesende Gewichtsmenge dieses Teils gegenüber BF16 halbiert wird. Die Einstellung lautet
SGLANG_ENABLE_FP8_LM_HEAD=1; sie ist nicht mit--enable-fp32-lm-headkombinierbar, das in der Basiskonfiguration verwendet wurde. - NEXTN-MTP nutzt spekulatives Decoding: Ein Draft-Modell schlägt mehrere Token vor, die anschließend gemeinsam geprüft werden. NVIDIAs Konfiguration verwendete drei Draft-Schritte und ein Prüfungsfenster von vier Token.
Warum der synthetische Spitzenwert anders ausfällt
NVIDIA meldete für den synthetischen Test einen Durchsatz von 36,09 Tokens pro Sekunde ohne die drei Optimierungen und 102,88 Tokens pro Sekunde mit ihnen. Das entspricht laut NVIDIA einem Zuwachs von 185,1 Prozent. Der Test verwendete eine Eingabe mit 32.000 Token, eine Ausgabe mit 2.000 Token und Greedy-Decoding. Bei GSM8K lag die MTP-Akzeptanzlänge, also die Zahl der pro Runde angenommenen Draft-Token, bei 2,68 statt 3,90 im synthetischen Lauf.
| Auswertung und Bedingungen | Basiswert (Tokens/s) | Mit allen drei Optimierungen (Tokens/s) | Von NVIDIA gemeldete Änderung |
| GSM8K, 1.319 Fragen, Batchgröße 1 | 37,81 | 53,89 | +42,5 % |
| Synthetischer Lauf, 32.000 Eingabe- und 2.000 Ausgabetoken, Batchgröße 1 | 36,09 | 102,88 | +185,1 % |
Die Werte beschreiben unterschiedliche Workloads und sind nicht austauschbar. Der synthetische Lauf nutzte Greedy-Decoding und eine festgelegte Ausgabelänge. GSM8K verwendete dagegen Sampling mit Temperatur 0,6, top-p 0,95 und top-k 29. NVIDIA weist für den synthetischen Test eine höhere MTP-Akzeptanzlänge aus.
Prompt-Verarbeitung und Decoding haben verschiedene Engpässe
Die Prompt-Verarbeitung und die anschließende Token-Erzeugung messen unterschiedliche Phasen der Inferenz. In einem spanischsprachigen Video erklärt Codigo gris die Prompt-Verarbeitung als eher rechengebunden und das Decoding als speicherbandbreitengebunden. Das hilft bei der Einordnung: NVIDIAs Durchsatzwerte beziehen sich auf das Decoding und sagen für sich genommen nichts über eine entsprechende Verbesserung der Prompt-Verarbeitung aus.
Bei FP8 und MTP muss das ganze LM-Head-Modul geteilt werden
Für die Kombination von FP8-Quantisierung und MTP muss das Draft-Modell laut NVIDIA das vollständige LM-Head-Modul mit dem Zielmodell teilen, nicht nur dessen Gewichte. Fehlt diese gemeinsame Modulstruktur, kann das Draft-Modell FP8-Gewichte als BF16 interpretieren. NVIDIA beschreibt dann eine MTP-Akzeptanzlänge von 1,00 und einen Durchsatz unterhalb der Baseline.
