DeepSeek anunció el 20 de octubre de 2026 la publicación de DeepInfer, un marco de inferencia de código abierto bajo licencia Apache 2.0. The New Stack informó de que la publicación se produjo el 19 de octubre. La versión pública permite ejecutar inferencia offline con DeepSeek-V4.1-Flash en las plataformas enumeradas por la empresa, pero no incluye por sí sola toda la infraestructura de un servicio online completo. El repositorio oficial de DeepInfer detalla el alcance y los requisitos.
Qué incluye DeepInfer
La versión inicial enumera un modelo compatible, DeepSeek-V4.1-Flash, y su checkpoint predeterminado, DeepSeek-V4.1-Flash-1017. DeepSeek también publicó la biblioteca complementaria deepseek-recipe, que convierte entre protocolos habituales de API para modelos de lenguaje y secuencias de tokens. La empresa afirma que su lógica de procesamiento sigue la de la API oficial de DeepSeek.
DeepSeek explica que construyó DeepInfer principalmente sobre vLLM y que también se inspiró en SGLang y TensorRT-LLM. El repositorio incluye, además, paralelismo para la atención y para los expertos de modelos MoE, planificación asíncrona, salidas estructuradas y replay acotado para la atención de ventana deslizante.
Qué ofrece la inferencia offline y qué necesita un servicio completo
La versión pública ofrece inferencia offline. DeepSeek enumera tres componentes adicionales para completar un servicio: gestión de la caché KV, separación de las fases de prefill y decode, y balanceo de carga entre réplicas de procesamiento paralelo. La caché KV guarda información intermedia que el modelo reutiliza al generar tokens; el prefill procesa la entrada y el decode produce la respuesta.
Plataformas y requisitos de compilación
DeepSeek enumera dos plataformas de aceleración y sus respectivos entornos de software:
| Plataforma | Acelerador enumerado | Backend |
| NVIDIA | GPU SM100 | CUDA 13 |
| Huawei | NPU Ascend 950 | CANN 9.2 |
La compilación requiere Linux, GCC 13 o posterior y Python 3.12. DeepSeek marca la inferencia invariante al lote y el muestreo determinista como funciones disponibles solo para NVIDIA. Los resultados de sus benchmarks de prefill se midieron con cuatro GPU SM100 y los de decode con 64 GPU SM100, en ambos casos dentro de un único dominio de escalado.
Las estimaciones de DSpark cambian según la carga
DSpark es el método de decodificación especulativa de DeepSeek: estima cuántos tokens preliminares se aceptarán y ajusta el prefijo que se somete a verificación. En una comparación EP64/DP64, DeepSeek estimó el cambio de rendimiento frente a la verificación fija de cinco tokens en estos tres niveles de concurrencia:
| Secuencias concurrentes por rank | Cambio estimado frente a la verificación fija de cinco tokens |
| 16 | −1,5 % |
| 60 | +5,4 % |
| 96 | +11,0 % |
DeepSeek sitúa en unas 60 secuencias por rank su punto operativo de producción. La estimación es negativa con 16 secuencias y positiva en los otros dos casos, así que el resultado depende de la carga concreta; no es una mejora uniforme.
Una configuración desplegable no es la unidad eficiente mínima
DeepSeek afirma que una configuración con una GPU de prefill y una de decode es desplegable. Para una unidad eficiente mínima, recomienda 64 GPU de prefill y 64 de decode, según su configuración de decode recomendada. La diferencia importa al estimar la escala de infraestructura: que una configuración pueda desplegarse no significa que sea la que DeepSeek considera eficiente.
Qué cifras comunica DeepSeek sobre su servicio
En su Q&A de despliegue, DeepSeek afirma que un clúster sirve 155 billones de tokens al día y que sus ingresos alcanzan 38 dólares por GPU-hora con tarifas valle. La cifra de ingresos corresponde a la operación de DeepSeek y a esa condición de precio; no permite calcular los ingresos de otros proveedores.
El análisis de Alessio Garau sobre DeepInfer y las cifras operativas de DeepSeek comenta esos datos y el diseño del sistema. El vídeo está en italiano.
