DeepSeek pubblica DeepInfer: cosa offre il rilascio open source

DeepSeek ha annunciato il 20 ottobre 2026 DeepInfer, un framework open source con licenza Apache 2.0 che offre inferenza offline per DeepSeek-V4.1-Flash. Per usarlo come servizio online completo servono anche componenti che la versione pubblica non comprende, fra cui la gestione della cache KV, la separazione tra prefill e decode e il bilanciamento del carico tra repliche. The New Stack ha riferito che DeepInfer era stato pubblicato il 19 ottobre, il giorno prima dell’annuncio di DeepSeek.

Che cosa offre DeepInfer

Il repository di DeepInfer elenca DeepSeek-V4.1-Flash come modello supportato e DeepSeek-V4.1-Flash-1017 come checkpoint predefinito. Il framework include strumenti per l’inferenza offline, fra cui scheduling asincrono, output strutturati, parallelismo degli esperti e DSpark. DeepSeek indica invece batch-invariant inference e campionamento deterministico come funzioni disponibili solo su NVIDIA.

La libreria complementare deepseek-recipe converte i protocolli delle API per modelli linguistici in sequenze di token e viceversa. Serve quindi a collegare il formato delle richieste al trattamento dei token, mentre DeepInfer gestisce l’inferenza.

Che cosa offre l’inferenza offline

DeepSeek descrive la versione pubblica come uno strumento per l’inferenza offline. Un servizio completo richiede inoltre la gestione della cache KV, la separazione dei carichi di prefill e decode e il bilanciamento del carico fra repliche in parallelo.

Il prefill elabora il prompt prima della generazione; il decode produce i token di risposta. La cache KV conserva informazioni intermedie utili durante la generazione. Separare prefill e decode e distribuire le richieste fra repliche richiede quindi componenti di servizio che non fanno parte della versione pubblica di DeepInfer.

Piattaforme e requisiti di compilazione

DeepSeek elenca due piattaforme hardware e i relativi backend software:

Per entrambe le piattaforme servono Linux, GCC 13 o successivo e Python 3.12. DeepSeek raccomanda di partire da un ambiente Python 3.12 vuoto. I benchmark pubblicati dall’azienda usano quattro GPU SM100 per il prefill e 64 GPU SM100 per il decode, ciascuna configurazione all’interno di un unico dominio di scale-up.

DSpark: il risultato stimato dipende dal carico

DSpark è il metodo di decodifica speculativa di DeepSeek: un modello abbozza token, poi il sistema verifica quanti accettarne. Nella sua analisi del deployment, DeepSeek descrive una pianificazione basata sulla fiducia nella previsione dei tassi di accettazione e confronta la verifica dinamica con quella a lunghezza fissa di cinque token.

Nel confronto EP64/DP64, la variazione stimata del throughput cambia con il numero di sequenze concorrenti per rank:

DeepSeek indica circa 60 sequenze concorrenti per rank come punto operativo di produzione. Le stime mostrano che il risultato varia con il carico: a 16 sequenze per rank la verifica dinamica risulta più lenta del 1,5% rispetto a fixed-five, mentre a 60 la stima è di un aumento del 5,4%.

Una configurazione distribuibile non è quella minima efficiente

DeepSeek afferma che una configurazione con una GPU per il prefill e una per il decode è distribuibile. Per la configurazione raccomandata, indica invece 64 GPU per il prefill più 64 per il decode come unità minima efficiente. La distinzione è utile per valutare la scala dell’infrastruttura: poter avviare il sistema con 1P+1D non equivale alla configurazione che DeepSeek considera efficiente.

I dati operativi dichiarati da DeepSeek

Nel suo Q&A sul deployment, DeepSeek afferma che un cluster serve 155 mila miliardi di token al giorno e riporta ricavi complessivi di 38 dollari per GPU-ora con la tariffazione di valle. Sono dati riferiti all’operatività dichiarata dall’azienda; il valore per GPU-ora indica ricavi, non utili.