DeepSeek veröffentlicht DeepInfer für Offline-Inferenz

DeepSeek kündigte am 20. Oktober 2026 die Veröffentlichung von DeepInfer an. Laut einem Bericht von The New Stack war das Framework bereits am 19. Oktober freigegeben worden. Die öffentliche Version bietet Offline-Inferenz für DeepSeek-V4.1-Flash auf NVIDIA SM100 und Huawei Ascend 950, aber keinen vollständigen Online-Dienst. DeepSeek veröffentlicht DeepInfer unter der Apache-2.0-Lizenz (Projekt-Repository).

Was DeepSeek veröffentlicht hat

DeepInfer ist ein Inferenz-Framework, also Software, die ein trainiertes Modell auf Beschleunigern ausführt. Als unterstütztes Modell führt DeepSeek DeepSeek-V4.1-Flash auf; der Standard-Checkpoint heißt DeepSeek-V4.1-Flash-1017.

Zur Veröffentlichung gehört außerdem deepseek-recipe. Die Bibliothek wandelt zwischen gängigen LLM-API-Protokollen und den Tokenfolgen eines Modells um. DeepSeek zufolge ist ihre Verarbeitungslogik an die offizielle DeepSeek-API angelehnt.

Was ein vollständiger Dienst zusätzlich braucht

Die öffentliche Fassung stellt Offline-Inferenz mit Kernels, Laufzeitumgebung und Scheduling bereit. Für einen vollständigen Online-Dienst nennt DeepSeek zusätzlich die Verwaltung des KV-Caches, die Trennung von Prefill und Decode sowie Lastverteilung über datenparallel betriebene Replikate. Prefill verarbeitet die Eingabe; beim Decode erzeugt das Modell die Ausgabe. Der KV-Cache speichert Zwischenzustände, die während der Generierung wiederverwendet werden.

Plattformen und Build-Voraussetzungen

DeepSeek führt zwei Beschleunigerplattformen mit den jeweils passenden Software-Backends auf:

Für beide Plattformen nennt DeepSeek Linux, GCC 13 oder neuer und Python 3.12 als Voraussetzungen. Batch-invariante Inferenz und deterministisches Sampling sind laut Projektbeschreibung NVIDIA vorbehalten. Die veröffentlichten Benchmark-Konfigurationen verwenden vier SM100-GPUs für Prefill und 64 SM100-GPUs für Decode.

DeepInfer umfasst unter anderem parallele Verarbeitung für Attention- und Expertenmodelle, asynchrones Scheduling, strukturierte Ausgaben und DSpark. Die Liste der unterstützten Beschleuniger ist konkret: DeepSeek führt weder V100 noch beliebige gemischte NVIDIA-GPU-Systeme als unterstützte Plattformen auf.

DSparks Durchsatzschätzungen hängen von der Auslastung ab

DSpark ist DeepSeeks Verfahren für spekulatives Decoding. Es schätzt, wie viele vorläufig erzeugte Tokens übernommen werden können, und wählt die Länge des zu prüfenden Präfixes dynamisch. In einer EP64/DP64-Auswertung vergleicht DeepSeek diese dynamische Prüfung mit der festen Prüfung von jeweils fünf Tokens:

DeepSeek bezeichnet rund 60 gleichzeitige Sequenzen pro Rank als seinen Produktionsbetriebspunkt. Dort schätzt das Unternehmen den Durchsatzvorteil gegenüber der festen Fünferprüfung auf 5,4 Prozent. Bei 16 Sequenzen pro Rank fällt die Schätzung dagegen negativ aus. Die Werte sind DeepSeeks eigene Schätzungen für diese EP64/DP64-Konfiguration, keine allgemeine Leistungszusage (Deployment-Fragen und Antworten von DeepSeek).

Lauffähig ist nicht dasselbe wie effizient

DeepSeek zufolge lässt sich eine Konfiguration mit einer Prefill- und einer Decode-GPU betreiben. Als kleinste effiziente Einheit nennt das Unternehmen dagegen 64 Prefill-GPUs plus 64 Decode-GPUs, passend zu seiner empfohlenen Decode-Konfiguration mit EP64 oder mehr. Die Angaben beschreiben unterschiedliche Maßstäbe: eine mögliche Bereitstellung und die von DeepSeek empfohlene effiziente Größe.

Was DeepSeeks Betriebskennzahlen aussagen

DeepSeek gibt an, dass ein einzelner Cluster 155 Billionen Token pro Tag verarbeitet. Außerdem nennt das Unternehmen 38 US-Dollar Umsatz je GPU-Stunde bei Preisen für nachfrageschwache Zeiten. Die zweite Zahl bezeichnet Umsatz, nicht Gewinn, und bezieht sich auf DeepSeeks eigenen Betrieb.