24 października 2026 r. zespół SGLang opublikował wyniki porównania SGLang i DeepInfer na modelu DeepSeek-V4.1-Flash. W testach prefill SGLang osiągał wyniki równe lub wyższe od DeepInfer w zależności od obciążenia, a w teście decode jego kroki były krótsze przy większości badanych poziomów równoległości. Zespół podał maksymalnie 1,04× przepustowości DeepInfer w testach prefill oraz skrócenie kroków decode o 1,1–7,4% w określonej konfiguracji.
Wyniki na GB300 i B300
Prefill oznacza przetwarzanie kontekstu wejściowego, a decode, czyli dekodowanie, generowanie kolejnych tokenów. Zespół SGLang przeprowadził testy prefill na osobnych węzłach z czterema układami GB300 i czterema B300. Test decode działał na 64 układach GB300 rozmieszczonych w 16 węzłach.
| Etap | Sprzęt i warunki | Wynik podany przez zespół SGLang |
| Prefill | 4× GB300; 128 tys. tokenów kontekstu, 4 tys. nowych tokenów na żądanie | SGLang wygrywał przy 4 tys., 32 tys. i 64 tys. nowych tokenów na GPU w kroku; przy 8 tys. i 16 tys. wynik był taki sam. Maksymalnie osiągał 1,04× zmierzonej przepustowości DeepInfer. |
| Prefill | 4× B300; 128 tys. tokenów kontekstu, 4 tys. nowych tokenów na żądanie | SGLang wygrywał przy 4 tys., 8 tys. i 32 tys. nowych tokenów na GPU w kroku; przy 16 tys. i 64 tys. wynik był taki sam. Maksymalnie osiągał 1,04× zmierzonej przepustowości DeepInfer. |
| Decode | 64× GB300 w 16 węzłach; od 8 do 256 żądań na GPU | Przy 8 żądaniach na GPU wyniki były takie same. Przy 16–256 krok SGLang trwał od 1,1% do 7,4% krócej. |
Co obejmowały testy prefill
Testy prefill wykorzystywały kontekst o długości 128 tys. tokenów i 4 tys. nowych tokenów na żądanie. Badane wielkości kroku wynosiły od 4 tys. do 64 tys. nowych tokenów na GPU. Konfiguracja obejmowała równoległość DP4/EP4, zrównoważone kierowanie ekspertów, wyłączone EPLB i 32 ekspertów redundantnych.
Wyniki zależały od wielkości kroku. Na GB300 przewaga SGLang pojawiała się przy 4 tys., 32 tys. i 64 tys. tokenów na GPU w kroku, a na B300 przy 4 tys., 8 tys. i 32 tys. W pozostałych badanych punktach frameworki osiągały taki sam wynik. Maksimum 1,04× opisuje najlepszy z punktów testowych na każdej z tych platform, nie średnią ze wszystkich pomiarów.
Decode: krótsze kroki przy większości badanych obciążeń
Test decode wykorzystywał 64 GPU GB300 w 16 węzłach, równoległość DP64/EP64 oraz kontekst o długości 128 tys. tokenów ze wspólnym, buforowanym prefiksem. Przy 8 żądaniach na GPU zespół SGLang podał taki sam wynik jak DeepInfer. Przy obciążeniu od 16 do 256 żądań na GPU raportował kroki krótsze o 1,1–7,4%.
Konfiguracje różniły się także w tym teście. SGLang przechowywał tablice Engram w pamięci GPU, natomiast DeepInfer korzystał z pamięci hosta. Model roboczy DeepInfer miał 64 ekspertów redundantnych, a model roboczy SGLang nie miał ich wcale. Wykres zespołu przeliczał czas kroku na liczbę tokenów, przyjmując 3,25 zaakceptowanego tokenu na krok.
Jak różniły się pomiary prefill
W prefill frameworki nie korzystały z identycznej procedury pomiarowej. DeepInfer mierzył około dziewięciu partii na GPU 0 i powtarzał ten sam prompt dla żądań na każdym GPU. SGLang uśredniał pełne partie ze wszystkich GPU w okresie, w którym kończyło się od 20% do 90% żądań, a liczba nowych tokenów na żądanie była inna.
Zespół SGLang wybierał dla DeepInfer na każdym punkcie najszybsze z testowanych rozmieszczeń Engram. W SGLang tablice Engram były dzielone między GPU, eksperci redundantni rozkładani równomiernie, a część optymalizacji włączona mimo że nie była domyślnie aktywna. Te szczegóły opisują warunki, w których uzyskano podane wyniki.
Funkcje systemu obsługi opisywane przez SGLang
Poza wynikami benchmarków zespół SGLang opisał swój stos do obsługi modeli: zunifikowany cache KV oparty na radix tree, opcjonalną warstwę HiCache w pamięci hosta, rozdzielenie prefill i decode, równoważenie obciążenia między replikami oraz serwer API. Według zespołu wydanie DeepInfer nie obejmuje systemu cache KV, rozdzielania prefill i decode ani równoważenia obciążenia.
DeepInfer to framework inferencyjny DeepSeek. Wcześniejszy artykuł NeoTeo o udostępnieniu DeepInfer opisuje kontekst jego publikacji. Wyniki opisywanego porównania dotyczą przepustowości i czasu kroku dla jednego modelu; ocenę kosztu tokena lub energii trzeba oprzeć na osobnych danych o działaniu infrastruktury.
