Il 24 ottobre 2026 il team SGLang ha pubblicato un confronto tra SGLang e DeepInfer su DeepSeek-V4.1-Flash. Nei test riferiti dal team, SGLang ha raggiunto fino a 1,04× il throughput di prefill misurato per DeepInfer su configurazioni con 4 GPU GB300 e 4 GPU B300; in una prova di decode con 64 GPU GB300, i suoi passaggi sono risultati più brevi a diversi livelli di richieste concorrenti.
Il confronto riguarda due framework di inferenza sullo stesso modello. Per il contesto sul rilascio, il nostro articolo su DeepInfer ne ripercorre la pubblicazione.
Prefill: risultati diversi su GB300 e B300
Il prefill elabora il prompt prima che il modello inizi a generare la risposta. Nei test descritti dal team SGLang, ogni richiesta aveva un contesto di 128K token e generava 4K token nuovi; i test usavano nodi con quattro GPU e variavano il carico da 4K a 64K token nuovi per GPU a ogni passaggio.
| Fase | Hardware e condizioni | Risultato riferito dal team SGLang |
| Prefill | 4× GB300; contesto di 128K token; 4K token nuovi per richiesta; carichi da 4K a 64K token per GPU a ogni passaggio | SGLang davanti a 4K, 32K e 64K; alla pari a 8K e 16K. Fino a 1,04× il throughput misurato per DeepInfer. |
| Prefill | 4× B300; contesto di 128K token; 4K token nuovi per richiesta; carichi da 4K a 64K token per GPU a ogni passaggio | SGLang davanti a 4K, 8K e 32K; alla pari a 16K e 64K. Fino a 1,04× il throughput misurato per DeepInfer. |
| Decode | 64 GPU GB300 distribuite su 16 nodi; contesto di 128K token con prefisso in cache condiviso | Passaggi dall’1,1% al 7,4% più brevi fra 16 e 256 richieste per GPU; parità a 8 richieste per GPU. |
Il valore di 1,04× è il massimo riferito per alcuni punti di prova, non un risultato uniforme a ogni carico. Per il decode, il grafico del team converte il tempo dei passaggi in token assumendo 3,25 token accettati per passaggio.
Nel decode cambiano anche le configurazioni
Il decode è la fase in cui il modello genera i token della risposta. La prova si è svolta su 64 GPU GB300, in configurazione DP64/EP64. Anche qui i numeri dipendono dalla configurazione: SGLang mantiene le tabelle Engram in memoria GPU, mentre DeepInfer le usa nella memoria host. Inoltre, il modello draft di DeepInfer ha 64 esperti ridondanti, mentre quello di SGLang non ne ha.
Queste differenze accompagnano i risultati e incidono sul modo in cui confrontare i passaggi misurati. Il test riguarda DeepSeek-V4.1-Flash e i carichi descritti; non confronta modelli di dimensioni o qualità diverse. Misura throughput e durata dei passaggi, non costo per token, consumo energetico o spesa operativa.
Come sono stati raccolti i dati di prefill
Il team SGLang descrive procedure di misurazione diverse. DeepInfer misura circa nove batch sulla GPU 0 e ripete lo stesso prompt fra le richieste su ciascuna GPU. SGLang calcola la media dei batch completi su tutte le GPU, nella finestra in cui termina dal 20% al 90% delle richieste, e usa un numero diverso di token nuovi per richiesta.
Anche le impostazioni di Engram non coincidono del tutto: nei test di prefill SGLang suddivide le tabelle Engram fra le GPU, distribuisce gli esperti ridondanti in modo uniforme e attiva alcune ottimizzazioni che non erano abilitate per impostazione predefinita. Il team sceglie inoltre, per ciascun punto, la configurazione Engram più veloce fra quelle testate per DeepInfer.
Le funzioni di serving descritte da SGLang
Separatamente dai benchmark, il team SGLang descrive per il proprio sistema una cache KV radix unificata, il livello HiCache opzionale in memoria host, la separazione dei carichi di prefill e decode, il bilanciamento del carico fra repliche e un server API. Secondo il team, queste funzioni non fanno parte della release di DeepInfer.
