El 24 de octubre de 2026, el equipo de SGLang publicó los resultados de sus pruebas de SGLang frente a DeepInfer con DeepSeek-V4.1-Flash: comunicó paridad o ventajas puntuales en prefill y pasos de decode más cortos en algunos niveles de solicitudes. Las cifras corresponden a configuraciones concretas con GPU GB300 y B300.
DeepInfer es el marco de inferencia de DeepSeek cuya publicación inicial cubrió NeoTeo. En esta comparación, prefill es el procesamiento inicial de la entrada; decode, la generación de la respuesta.
| Fase | Hardware y carga | Resultado comunicado por el equipo de SGLang |
| Prefill | 4× GB300; contexto de 128K tokens, 4K tokens nuevos por solicitud y pasos de 4K a 64K tokens nuevos por GPU | SGLang quedó por delante con 4K, 32K y 64K tokens por GPU y paso, y a la par con 8K y 16K. En algunos puntos alcanzó hasta 1,04× el caudal medido de DeepInfer. |
| Prefill | 4× B300; contexto de 128K tokens, 4K tokens nuevos por solicitud y pasos de 4K a 64K tokens nuevos por GPU | SGLang quedó por delante con 4K, 8K y 32K tokens por GPU y paso, y a la par con 16K y 64K. En algunos puntos alcanzó hasta 1,04× el caudal medido de DeepInfer. |
| Decode | 64 GPU GB300 en 16 nodos; contexto de 128K tokens, prefijo compartido en caché | El equipo comunicó pasos entre un 1,1 % y un 7,4 % más cortos con 16–256 solicitudes por GPU, y paridad con 8. |
Qué significan los resultados de prefill
Las pruebas de prefill utilizaron un nodo de cuatro GPU y el mismo modelo. El equipo de SGLang comunicó ventajas en algunos tamaños de paso y paridad en otros, tanto con GB300 como con B300. El máximo de 1,04× se refiere a los puntos más favorables de esas pruebas, no a una mejora constante en todos los tamaños.
Los procedimientos de medición también diferían. DeepInfer midió unas nueve tandas en la GPU 0 y repitió el mismo prompt entre las solicitudes de cada GPU. SGLang promedió tandas completas en todas las GPU mientras terminaba entre el 20 % y el 90 % de las solicitudes, y usó cantidades distintas de tokens nuevos por solicitud. En la configuración descrita, SGLang repartió las tablas Engram entre GPU, distribuyó de forma uniforme los expertos redundantes y activó algunas optimizaciones que no venían habilitadas de serie.
Decode: pasos más cortos en una configuración de 64 GPU
En decode, el equipo de SGLang comparó 64 GPU GB300 distribuidas en 16 nodos. A 8 solicitudes por GPU, comunicó paridad; entre 16 y 256 solicitudes por GPU, informó de pasos un 1,1 %–7,4 % más cortos para SGLang. La gráfica convierte el tiempo por paso a tokens suponiendo 3,25 tokens aceptados por paso.
Las configuraciones no eran idénticas: SGLang mantuvo las tablas Engram en la memoria de las GPU, mientras DeepInfer las alojó en la memoria del host. Además, el modelo draft de DeepInfer tenía 64 expertos redundantes y el de SGLang no tenía ninguno. Esas diferencias acompañan a los resultados de decode y acotan la comparación a las condiciones descritas.
Funciones del sistema aparte de la velocidad
El equipo de SGLang también describió una caché KV radix unificada, una capa HiCache opcional en memoria del host, separación entre prefill y decode, balanceo de carga entre réplicas y un servidor API. El equipo presentó esas funciones como parte de SGLang y señaló que la versión de DeepInfer no incluía la caché KV, la separación de fases ni el balanceo de carga.
Las pruebas cuantifican caudal de prefill y duración de pasos de decode para DeepSeek-V4.1-Flash. No comparan tamaños o calidad de modelos, ni miden coste por token o consumo energético; sus resultados describen el rendimiento de esas cargas concretas.
