SGLang e DeepInfer: o que mostram os testes com DeepSeek-V4.1-Flash

Em 24 de outubro de 2026, a equipe do SGLang publicou resultados de testes com o DeepSeek-V4.1-Flash em que o SGLang teve paridade ou vantagem pontual no prefill e registrou etapas de decode mais curtas em várias cargas. Os números se referem às configurações testadas, não a uma classificação geral entre os dois frameworks. Para conhecer o lançamento do DeepInfer, veja a cobertura anterior da NeoTeo.

Prefill é a etapa em que o modelo processa a entrada; decode é a geração da resposta, token por token. A equipe relatou até 1,04× a vazão medida do DeepInfer no prefill com quatro GPUs GB300 e, em outro teste, com quatro B300. No decode, relatou etapas de 1,1% a 7,4% mais curtas em determinadas cargas com 64 GPUs GB300.

O que os testes relataram

Prefill: resultados variam conforme o tamanho do lote

Os testes de prefill usaram um nó com quatro GPUs, contexto de 128 mil tokens e 4 mil tokens novos por solicitação. A equipe comparou lotes de 4 mil a 64 mil tokens novos por GPU em cada etapa. No conjunto com GB300, o SGLang ficou à frente em três dos cinco tamanhos de lote indicados e empatou em dois. Com B300, também teve vantagem em três pontos e empatou em dois, embora os pontos de vantagem e paridade fossem diferentes.

A equipe selecionou, para cada ponto, o posicionamento do Engram com melhor resultado entre as configurações testadas pelo DeepInfer. No SGLang, as tabelas do Engram foram distribuídas entre as GPUs, os especialistas redundantes foram espalhados de modo uniforme e algumas otimizações estavam ativadas mesmo sem serem padrão.

Os métodos de medição também diferiram. O DeepInfer mediu cerca de nove lotes na GPU 0 e repetiu o mesmo prompt entre as solicitações em cada GPU. O SGLang calculou a média de lotes completos em todas as GPUs enquanto a conclusão das solicitações avançava de 20% a 90%, além de usar quantidades diferentes de tokens novos por solicitação. Isso torna os números específicos dos procedimentos e das cargas relatados.

Decode: etapas mais curtas em parte das cargas

No teste de decode, a equipe usou 64 GPUs GB300 em 16 nós, com paralelismo DP64/EP64 e contextos de 128 mil tokens com um prefixo em cache compartilhado. O resultado empatou em 8 solicitações por GPU; nas cargas de 16 a 256 solicitações por GPU, a equipe relatou etapas de 1,1% a 7,4% mais curtas para o SGLang.

As configurações dos frameworks diferiram nessa fase: o SGLang manteve as tabelas do Engram na memória das GPUs, enquanto o DeepInfer as usou na memória do host. O modelo auxiliar de draft do DeepInfer tinha 64 especialistas redundantes; o do SGLang não tinha nenhum. Para converter a duração das etapas em tokens no gráfico, a equipe adotou a premissa de 3,25 tokens aceitos por etapa.

O que a equipe descreve no serving do SGLang

Além dos resultados de desempenho, a equipe do SGLang descreveu recursos de serving, isto é, componentes para disponibilizar o modelo como serviço. Entre eles estão um cache KV radix unificado, uma camada opcional HiCache em memória do host, a separação entre prefill e decode, o balanceamento de carga entre réplicas e um servidor de API. A equipe também caracteriza o lançamento do DeepInfer como sem sistema de cache KV, separação entre prefill e decode e balanceamento de carga.

As métricas relatadas comparam vazão e duração das etapas em testes definidos com o DeepSeek-V4.1-Flash. Elas não medem custo por token nem consumo de energia.