Op 24 oktober 2026 publiceerde het SGLang-team een vergelijking met DeepInfer voor DeepSeek-V4.1-Flash. Het team meldde per testpunt gelijke of hogere prefilldoorvoer en kortere decodestappen bij de meeste geteste aantallen verzoeken. De resultaten horen bij de genoemde hardware en testopstellingen.
Wie eerst achtergrond zoekt over de openbare release van DeepInfer, kan NeoTeo’s eerdere artikel over DeepInfer voor offline inference lezen.
De gemelde resultaten verschillen per test
Prefill is de fase waarin het model de invoer verwerkt; tijdens decode genereert het antwoordtokens. Het SGLang-team rapporteerde de volgende uitkomsten met DeepSeek-V4.1-Flash:
| Testfase | Hardware | Door SGLang gemeld resultaat tegenover DeepInfer | Testopzet |
| Prefill | 4× GB300 | SGLang lag voor bij 4K, 32K en 64K nieuwe tokens per GPU per stap; bij 8K en 16K waren de resultaten gelijk. De gemelde piek was 1,04× de gemeten doorvoer van DeepInfer. | Context van 128K tokens, 4K nieuwe tokens per verzoek en stapgroottes van 4K tot 64K nieuwe tokens per GPU. |
| Prefill | 4× B300 | SGLang lag voor bij 4K, 8K en 32K nieuwe tokens per GPU per stap; bij 16K en 64K waren de resultaten gelijk. De gemelde piek was 1,04× de gemeten doorvoer van DeepInfer. | Context van 128K tokens, 4K nieuwe tokens per verzoek en stapgroottes van 4K tot 64K nieuwe tokens per GPU. |
| Decode | 64 GB300-GPU’s, verdeeld over 16 nodes | De decodestappen waren volgens het team 1,1% tot 7,4% korter bij 16 tot 256 verzoeken per GPU. Bij 8 verzoeken per GPU waren de resultaten gelijk. | Context van 128K tokens met een gedeelde gecachte prefix; DP64/EP64. |
De prefilltests draaiden op één node met vier GPU’s. De opgegeven piek van 1,04× geldt voor de geteste punten, niet voor elke stapgrootte. De tabel laat ook zien dat de voorsprong per hardwareconfiguratie en stapgrootte verschilde.
De prefillmetingen gebruikten verschillende procedures
DeepInfer mat ongeveer negen batches op GPU 0 en herhaalde dezelfde prompt over verzoeken op iedere GPU. SGLang nam complete batches van alle GPU’s mee in het gemiddelde, vanaf het moment dat 20% tot 90% van de verzoeken was afgerond. Het gebruikte bovendien een ander aantal nieuwe tokens per verzoek.
Ook de instellingen verschilden. Voor elk meetpunt koos de vergelijking de snelste geteste Engram-plaatsing van DeepInfer. SGLang verdeelde Engram-tabellen over de GPU’s, spreidde redundante experts gelijkmatig en schakelde enkele optimalisaties in die niet standaard aanstonden. De gemelde doorvoercijfers komen dus uit verschillende meetprocedures en instellingen.
Decode draaide op 64 GB300-GPU’s
De decodevergelijking gebruikte 64 GB300-GPU’s in 16 nodes, met DP64/EP64 en een gedeelde gecachte prefix. De Engram-tabellen stonden bij SGLang in het geheugen van de GPU’s; DeepInfer gebruikte daarvoor hostgeheugen. Ook de draftmodellen verschilden: dat van DeepInfer had 64 redundante experts, dat van SGLang geen.
Het SGLang-team rekende in de grafiek de staptijd om naar tokens met 3,25 geaccepteerde tokens per stap als uitgangspunt. De gemelde kortere stappen gelden voor deze decode-opstelling en de genoemde aantallen verzoeken per GPU.
SGLang beschrijft ook verschillen in de servingstack
Los van de benchmarks beschrijft het SGLang-team een uniforme radix-KV-cache, een optionele HiCache-laag in hostgeheugen, het scheiden van prefill- en decodetaken, verdeling van verzoeken over replica’s en een API-server. Een KV-cache bewaart eerder berekende modelinformatie om die bij volgende verzoeken opnieuw te gebruiken. Volgens het team bevat de DeepInfer-release geen KV-cachesysteem, taakverdeling tussen prefill en decode of load balancing over replica’s.
De vergelijking meet doorvoer en decodestaptijd. Kosten per token, energieverbruik en modelkwaliteit zijn geen gemeten uitkomsten. De benchmark vergelijkt SGLang met DeepInfer, niet met vLLM of grotere modellen.
