DeepSeek ogłosił 20 października 2026 r. udostępnienie DeepInfer na licencji open source. Publiczna wersja zapewnia inferencję offline dla modelu DeepSeek-V4.1-Flash, ale do pełnej usługi online potrzebne są dodatkowe elementy, w tym system pamięci podręcznej KV i równoważenie obciążenia replik. Według The New Stack repozytorium opublikowano 19 października.
Co zawiera publiczne wydanie
DeepInfer jest objęty licencją Apache 2.0. Repozytorium wymienia model DeepSeek-V4.1-Flash, a domyślnym checkpointem jest DeepSeek-V4.1-Flash-1017. DeepSeek udostępnił też bibliotekę deepseek-recipe, która przekształca dane między protokołami API modeli językowych a sekwencjami tokenów. Firma opisuje jej logikę przetwarzania jako zgodną z oficjalnym API DeepSeek. Kod projektu można znaleźć w repozytorium DeepInfer.
Inferencja offline a pełna usługa online
Wydanie obejmuje między innymi zoptymalizowane jądra obliczeniowe, środowisko uruchomieniowe modelu i próbkowania, obsługę rozproszonej inferencji, dekodowanie spekulacyjne oraz wyjścia strukturalne. DeepInfer pozwala więc uruchamiać inferencję offline, ale sama publikacja nie zawiera wszystkich komponentów wymaganych do kompletnej usługi.
DeepSeek wymienia trzy takie elementy: system pamięci podręcznej KV, rozdzielenie etapów VE, prefill i decode oraz równoważenie obciążenia między replikami równoległymi. Prefill to przetwarzanie wejściowego kontekstu, a decode to generowanie odpowiedzi. DeepSeek podaje, że zarządzanie pamięcią KV i równoważenie obciążenia są powiązane z wewnętrzną infrastrukturą firmy.
Obsługiwane platformy i wymagania
Repozytorium wymienia dwie platformy sprzętowe oraz odpowiadające im backendy:
| Platforma | Wymieniony akcelerator | Backend |
| NVIDIA | GPU SM100 | CUDA 13 |
| Huawei | NPU Ascend 950 | CANN 9.2 |
W obu przypadkach wymagane są Linux, GCC w wersji 13 lub nowszej oraz Python 3.12. DeepSeek oznacza wnioskowanie niezmienne względem składu partii i deterministyczne próbkowanie jako funkcje dostępne wyłącznie na platformie NVIDIA.
Szacunki DSpark zależą od obciążenia
DSpark stosuje dekodowanie spekulacyjne: model tworzy tokeny robocze, a mechanizm przewiduje prawdopodobieństwo ich akceptacji i wybiera fragment do weryfikacji. W tabeli EP64/DP64 DeepSeek porównuje dynamiczną weryfikację ze stałą weryfikacją pięciu tokenów. Podane zmiany przepustowości są szacunkami firmy.
| Równoległe sekwencje na rank | Porównanie | Szacowana zmiana przepustowości |
| 16 | Weryfikacja dynamiczna względem stałej weryfikacji pięciu tokenów | −1,5% |
| 60 | Weryfikacja dynamiczna względem stałej weryfikacji pięciu tokenów | +5,4% |
| 96 | Weryfikacja dynamiczna względem stałej weryfikacji pięciu tokenów | +11,0% |
DeepSeek wskazuje około 60 równoległych sekwencji na rank jako produkcyjny punkt pracy. Wynik w tabeli jest zależny od obciążenia: przy 16 sekwencjach dynamiczna metoda wypada gorzej od wariantu stałego, a przy 60 i 96 sekwencjach jej szacowana przepustowość jest wyższa.
Wdrożenie możliwe do uruchomienia a konfiguracja wydajna
DeepSeek podaje, że można wdrożyć konfigurację z jednym GPU prefill i jednym GPU decode (1P+1D). Za najmniejszą wydajną konfigurację w zalecanym ustawieniu decode firma uznaje jednak 64 GPU prefill i 64 GPU decode. To rozróżnienie opisuje minimalną konfigurację, którą da się wdrożyć, oraz skalę uznawaną przez DeepSeek za wydajną.
Dane operacyjne raportowane przez DeepSeek
DeepSeek podaje, że jeden klaster obsługuje 155 bilionów tokenów dziennie, a przychód wynosi 38 USD na GPU-godzinę przy cenach określanych jako „valley pricing”. Firma publikuje też wyniki benchmarków wykonanych na czterech GPU SM100 dla prefill i 64 GPU SM100 dla decode.
