DeepSeek publie DeepInfer pour l’inférence hors ligne

Le 20 octobre 2026, DeepSeek a annoncé la publication de DeepInfer, un framework open source sous licence Apache 2.0. Sa version publique permet l’inférence hors ligne de DeepSeek-V4.1-Flash sur les plateformes NVIDIA SM100 et Huawei Ascend 950. Elle ne comprend pas à elle seule les composants nécessaires à un service en ligne complet.

DeepSeek a annoncé le projet le 20 octobre. The New Stack avait rapporté la veille, le 19 octobre, la mise en ligne du dépôt. DeepInfer est publié sur GitHub.

Ce que DeepInfer permet de faire

L’inférence consiste à utiliser un modèle pour générer une réponse à partir d’une entrée. Le dépôt de DeepInfer indique DeepSeek-V4.1-Flash comme modèle pris en charge et DeepSeek-V4.1-Flash-1017 comme checkpoint par défaut. Le projet est distribué sous licence Apache 2.0.

DeepSeek publie aussi deepseek-recipe, une bibliothèque compagnon qui convertit les requêtes entre les protocoles d’API de modèles de langage et les séquences de tokens utilisées par le modèle. La bibliothèque deepseek-recipe traite donc le formatage des échanges; DeepInfer s’occupe de l’inférence.

L’inférence hors ligne ne constitue pas un service complet

La version publique fournit des composants de calcul, d’exécution et de planification pour l’inférence hors ligne. Pour proposer un service complet, DeepSeek énumère aussi la gestion du cache KV, la séparation des étapes de préremplissage du contexte (prefill) et de génération (decode), ainsi que l’équilibrage de charge entre les répliques de traitement.

Le cache KV conserve des éléments utiles des calculs précédents pendant la génération. La séparation prefill/decode répartit le traitement de l’entrée et la production de la réponse entre des étapes distinctes. Ces composants sont donc une partie importante du système de service que DeepSeek décrit, au-delà du moteur public.

Plateformes prises en charge et prérequis

DeepSeek associe chaque accélérateur répertorié à son environnement logiciel correspondant. Les prérequis communs sont Linux, GCC 13 ou une version ultérieure et Python 3.12.

Le dépôt indique également que l’inférence à comportement invariant par lot et l’échantillonnage déterministe sont réservés à NVIDIA. Les résultats de benchmark publiés utilisent des GPU SM100 : quatre pour le prefill et 64 pour le decode. Ces configurations ne constituent pas une mesure des performances sur Ascend 950.

Les estimations de DSpark varient avec la charge

DSpark est la méthode de décodage spéculatif de DeepSeek : elle estime la probabilité que des tokens proposés à l’avance soient acceptés, puis choisit la longueur de la séquence à vérifier. Dans son tableau EP64/DP64, DeepSeek compare cette vérification dynamique à une vérification fixe de cinq tokens.

Ces estimations rapportées par DeepSeek dépendent de la concurrence. L’entreprise situe son point de fonctionnement de production autour de 60 séquences simultanées par rang. Le résultat négatif à 16 séquences rappelle que le gain annoncé n’est pas le même pour toutes les charges.

Une configuration déployable n’est pas la configuration efficace minimale

DeepSeek indique qu’un déploiement avec un GPU pour le prefill et un pour le decode, noté 1P+1D, est réalisable. Pour la configuration qu’elle juge la plus petite tout en restant efficace, l’entreprise recommande 64 GPU de prefill et 64 GPU de decode. La distinction est utile pour estimer l’échelle matérielle de son service : pouvoir déployer le système ne signifie pas que la configuration minimale soit celle que DeepSeek considère efficace.

Les chiffres opérationnels rapportés par DeepSeek

Dans sa Q&A sur le déploiement de DeepInfer, DeepSeek affirme qu’un de ses clusters traite 155 000 milliards de tokens par jour et rapporte un chiffre d’affaires de 38 dollars américains par GPU-heure, au tarif dit « valley pricing », ou tarif de période creuse. Ces chiffres décrivent l’exploitation de DeepSeek; le montant par GPU-heure est un chiffre d’affaires, pas un bénéfice.