Le 24 octobre 2026, SGLang Team a publié ses résultats de benchmark face à DeepInfer avec DeepSeek-V4.1-Flash : l’équipe rapporte des avantages ou une parité en préremplissage, puis des étapes de décodage plus courtes dans plusieurs configurations. DeepInfer, le framework d’inférence de DeepSeek présenté dans notre article sur sa publication, sert ici de référence.
Les résultats rapportés, selon le matériel
Le préremplissage, ou prefill, traite le contexte fourni au modèle. Le décodage, ou decode, génère ensuite les nouveaux tokens. SGLang Team rapporte les résultats suivants pour DeepSeek-V4.1-Flash :
| Phase | Matériel et conditions | Résultat rapporté pour SGLang face à DeepInfer |
| Préremplissage | 4× GB300, contexte de 128K tokens et 4K nouveaux tokens par requête. Lots testés de 4K à 64K nouveaux tokens par GPU et par étape. | SGLang devant à 4K, 32K et 64K nouveaux tokens par GPU et par étape. Parité à 8K et 16K. Débit atteignant jusqu’à 1,04× celui mesuré pour DeepInfer. |
| Préremplissage | 4× B300, même longueur de contexte et même nombre de nouveaux tokens par requête. Lots testés de 4K à 64K nouveaux tokens par GPU et par étape. | SGLang devant à 4K, 8K et 32K. Parité à 16K et 64K. Débit atteignant jusqu’à 1,04× celui mesuré pour DeepInfer. |
| Décodage | 64 GPU GB300 répartis sur 16 nœuds, contexte de 128K tokens avec un préfixe mis en cache. De 8 à 256 requêtes par GPU. | À 8 requêtes par GPU, parité. De 16 à 256 requêtes par GPU, SGLang Team rapporte des étapes de 1,1 % à 7,4 % plus courtes. |
Les essais de préremplissage utilisent les mêmes poids du modèle, mais pas des procédures de mesure identiques. DeepInfer mesure environ neuf lots sur le GPU 0 et répète le même prompt entre les requêtes de chaque GPU. SGLang calcule une moyenne des lots complets sur tous les GPU, entre le moment où 20 % et 90 % des requêtes sont terminées, avec un nombre différent de nouveaux tokens par requête. Pour chaque point, la comparaison retient le placement d’Engram le plus rapide parmi ceux testés pour DeepInfer.
Ce qui change dans les configurations
Pour le préremplissage, SGLang répartit les tables Engram entre les GPU, distribue les experts redondants de façon équilibrée et active certaines optimisations qui ne le sont pas par défaut. Le test utilise aussi un routage équilibré des experts, 32 experts redondants et EPLB désactivé. Ces choix font partie des conditions auxquelles se rapportent les résultats.
Le test de décodage présente une autre différence de configuration : SGLang garde ses tables Engram sur le GPU, tandis que DeepInfer les place en mémoire hôte. Le modèle brouillon de DeepInfer compte 64 experts redondants; celui de SGLang n’en compte aucun. Le graphique de décodage convertit le temps d’étape en tokens en supposant 3,25 tokens acceptés par étape.
Ces chiffres décrivent le débit et la durée des étapes dans des essais précis. Ils ne mesurent ni le coût par token, ni l’énergie consommée, ni la qualité du modèle. Le benchmark compare SGLang à DeepInfer, pas à vLLM, et ne met pas en balance plusieurs tailles de modèle.
Les fonctions de service décrites par SGLang Team
Au-delà des mesures de performance, SGLang Team décrit une pile de service comprenant un cache KV unifié fondé sur un radix tree, une couche HiCache facultative en mémoire hôte, la séparation du préremplissage et du décodage, l’équilibrage de charge entre répliques et un serveur d’API. L’équipe présente ces fonctions comme absentes de la version de DeepInfer à laquelle elle compare SGLang.
