DeepSeek kondigde op 20 oktober 2026 aan dat het DeepInfer open source maakte. The New Stack meldde dat de release al op 19 oktober plaatsvond. De openbare versie biedt offline inference voor DeepSeek-V4.1-Flash op NVIDIA SM100-GPU’s en Huawei Ascend 950-NPU’s, onder de Apache 2.0-licentie.
Wat DeepSeek heeft uitgebracht
DeepInfer is een framework om DeepSeek-modellen uit te voeren. De openbare release bevat kernels, een runtime en functies voor onder meer parallelle verwerking, planning en gestructureerde uitvoer. Het standaardcheckpoint is DeepSeek-V4.1-Flash-1017.
DeepSeek publiceerde de broncode van DeepInfer. Daarnaast bracht het bedrijf deepseek-recipe uit, een bibliotheek die verzoeken uit verschillende LLM-API-protocollen omzet naar modeltokenreeksen en antwoorden terugzet naar het gevraagde protocol. De verwerking is geschreven in Rust, met Python-koppelingen.
Voor een complete online dienst is extra infrastructuur nodig
De publieke release biedt offline inference. Voor een complete online dienst noemt DeepSeek drie aanvullende onderdelen: beheer van de KV-cache, het verdelen van vision encoder-, prefill- en decodewerk over afzonderlijke diensten, en load balancing over replica’s voor parallelle verwerking. Een KV-cache bewaart eerder berekende modelinformatie, zodat die bij volgende verzoeken opnieuw kan worden gebruikt.
DeepSeek meldde in april 2025 dat de volledige inference-engine nauw verweven was met interne infrastructuur. Het bedrijf koos toen voor het delen van onderdelen en verbeteringen in plaats van het complete systeem. De huidige openbare release maakt de inferencecode beschikbaar, terwijl de genoemde infrastructuur voor een volledige dienst er niet bij zit.
Ondersteunde platforms en bouwvereisten
DeepInfer noemt twee acceleratorplatforms. De bijbehorende software verschilt per platform:
| Platform | Vermelde accelerator | Backend |
| NVIDIA | NVIDIA SM100-GPU | CUDA 13 |
| Huawei | Huawei Ascend 950-NPU | CANN 9.2 |
Voor beide platforms zijn Linux, GCC 13 of hoger en Python 3.12 vereist. DeepSeek markeert batch-invariant inference en deterministisch samplen als functies die alleen op NVIDIA beschikbaar zijn. De repository noemt geen algemene ondersteuning voor andere NVIDIA-generaties.
De gepubliceerde benchmarkopstelling gebruikt vier SM100-GPU’s voor prefill en 64 SM100-GPU’s voor decode, telkens binnen één scale-up-domein. Prefill verwerkt de invoer voordat het model antwoordtokens genereert; decode produceert die tokens. DeepSeek noemt vLLM als de belangrijkste basis voor DeepInfer en SGLang en TensorRT-LLM als aanvullende inspiratie.
DSpark-schattingen veranderen met het aantal gelijktijdige verzoeken
DSpark gebruikt speculative decoding: het systeem laat eerst concepttokens maken en kiest vervolgens welke daarvan worden gecontroleerd. Een Confidence Head schat de kans dat concepttokens worden geaccepteerd. DeepSeek zegt dat de dynamische methode op basis van die schatting een prefix selecteert voor verificatie.
In DeepSeeks EP64/DP64-vergelijking varieert de geschatte doorvoer ten opzichte van fixed-5-verificatie per aantal gelijktijdige sequenties per rank. Bij fixed-5 worden telkens vijf concepttokens gecontroleerd.
| Gelijktijdige sequenties per rank | Vergelijking | Geschatte verandering in doorvoer |
| 16 | Dynamische tegenover fixed-5-verificatie | −1,5% |
| 60 | Dynamische tegenover fixed-5-verificatie | +5,4% |
| 96 | Dynamische tegenover fixed-5-verificatie | +11,0% |
DeepSeek noemt ongeveer 60 sequenties per rank het productiepunt. De cijfers zijn schattingen van het bedrijf voor deze specifieke opstelling; bij 16 sequenties per rank is de geschatte doorvoer lager dan bij fixed-5. De uitkomst hangt dus samen met de belasting en is geen algemene snelheidswinst.
Inzetbaar is iets anders dan efficiënt
DeepSeek zegt dat een configuratie met één prefill-GPU en één decode-GPU inzetbaar is. Als kleinste efficiënte configuratie noemt het bedrijf 64 prefill-GPU’s plus 64 decode-GPU’s, gebaseerd op de aanbevolen decode-opstelling van EP64 of hoger. Dat verschil helpt ontwikkelaars een minimale uitvoerbare opstelling niet te verwarren met de schaal die DeepSeek efficiënt noemt.
De operationele cijfers zijn van DeepSeek
In zijn deployment-Q&A meldt DeepSeek dat één cluster 155 biljoen tokens per dag verwerkt. Het bedrijf rapporteert daarnaast US$38 omzet per GPU-uur bij valley pricing. Die maatstaf betreft DeepSeeks eigen operatie en prijsconditie.
