Am 24. Oktober 2026 veröffentlichte das SGLang-Team einen Vergleich von SGLang und DeepInfer mit DeepSeek-V4.1-Flash. Beim Prefill meldete es auf 4× GB300 und 4× B300 an einzelnen getesteten Punkten bis zu 1,04× des gemessenen DeepInfer-Durchsatzes. Beim Decode waren die Schritte auf 64 GB300 GPUs bei 16 bis 256 Anfragen pro GPU laut Team 1,1 bis 7,4 Prozent kürzer. Bei acht Anfragen pro GPU lagen sie gleichauf.
DeepInfer ist das Inferenz-Framework von DeepSeek. NeoTeo hat die Veröffentlichung von DeepInfer bereits vorgestellt.
Die gemeldeten Ergebnisse
| Benchmarkphase | Hardware und Test | Berichtetes Ergebnis von SGLang gegenüber DeepInfer | Bedingungen |
| Prefill | 4× GB300 | Bis zu 1,04× des gemessenen DeepInfer-Durchsatzes; SGLang lag bei 4K, 32K und 64K neuen Tokens pro GPU und Schritt vorn und bei 8K sowie 16K gleichauf. | 128K Tokens Kontext und 4K neue Tokens pro Anfrage; getestet wurden 4K bis 64K neue Tokens pro GPU und Schritt. |
| Prefill | 4× B300 | Bis zu 1,04× des gemessenen DeepInfer-Durchsatzes; SGLang lag bei 4K, 8K und 32K neuen Tokens pro GPU und Schritt vorn und bei 16K sowie 64K gleichauf. | 128K Tokens Kontext und 4K neue Tokens pro Anfrage; getestet wurden 4K bis 64K neue Tokens pro GPU und Schritt. |
| Decode | 64 GB300 GPUs auf 16 Knoten | Bei 16 bis 256 Anfragen pro GPU waren die Schritte laut SGLang-Team 1,1 bis 7,4 Prozent kürzer; bei 8 Anfragen lagen die Frameworks gleichauf. | 128K Tokens Kontext mit gemeinsamem gecachtem Präfix; DP64/EP64. |
Was die Prefill-Werte einordnet
Prefill bezeichnet die Verarbeitung der Eingabe, bevor das Modell mit der Ausgabe beginnt. Die Tests liefen auf jeweils einem Vier-GPU-Knoten mit denselben Modellgewichten, 128K Tokens Kontext und 4K neuen Tokens pro Anfrage. Die SGLang-Angaben vergleichen DeepInfer an jedem Messpunkt mit dessen schnellster getesteter Engram-Platzierung.
Die Messverfahren unterschieden sich: DeepInfer erfasste die Dauer von ungefähr neun Batches auf GPU 0 und wiederholte auf jeder GPU denselben Prompt für mehrere Anfragen. SGLang mittelte vollständige Batches über alle GPUs, während zwischen 20 und 90 Prozent der Anfragen abgeschlossen wurden; außerdem erhielt jede Anfrage eine andere Zahl neuer Tokens. Für den Vergleich verteilte SGLang Engram-Tabellen auf die GPUs, verteilte redundante Experten gleichmäßig und aktivierte einige Optimierungen, die nicht standardmäßig eingeschaltet waren.
Decode lief mit unterschiedlichen Engram- und Draft-Konfigurationen
Decode ist die Phase, in der das Modell die Antwort erzeugt. Der Test verteilte 64 GB300 GPUs auf 16 Knoten und nutzte DP64/EP64. Jede Anfrage hatte einen Kontext von 128K Tokens mit gemeinsamem gecachtem Präfix; pro Schritt wurden drei Draft-Tokens erzeugt und geprüft. Für die Umrechnung der Schrittzeit in Tokens pro Sekunde setzte das Diagramm 3,25 akzeptierte Tokens pro Schritt an.
Auch die Konfigurationen waren nicht identisch: SGLang hielt die Engram-Tabellen im GPU-Speicher, DeepInfer im Host-Arbeitsspeicher. Das Draft-Modell von DeepInfer hatte 64 redundante Experten, das von SGLang keine. Die gemeldeten Zeitunterschiede gehören daher zu diesem konkreten Aufbau.
SGLang beschreibt auch Funktionen für den Betrieb
Neben den Benchmark-Ergebnissen beschreibt das SGLang-Team einen einheitlichen Radix-KV-Cache, der Zwischenergebnisse über Anfragen und Gesprächsrunden hinweg wiederverwenden kann. HiCache bietet optional eine zusätzliche Ebene im Host-Arbeitsspeicher. SGLang kann Prefill und Decode auf getrennten Servern ausführen und den KV-Transfer über Mooncake, NIXL oder MORI abwickeln. Ein Gateway verteilt Anfragen auf Replikate und kann dabei gecachte Präfixe berücksichtigen.
Das SGLang-Team sagt, dass die veröffentlichte DeepInfer-Version diese Cache-Verwaltung, die Trennung von Prefill und Decode sowie die Lastverteilung nicht enthält. Für seinen API-Server nennt das Team NVIDIA GB300, B300, B200 und H200 sowie AMD MI355X als unterstützte Hardware.
