Los contribuidores del proyecto llm-d anunciaron la versión 1.0 el 20 de octubre de 2026. Esta pila de inferencia distribuida para Kubernetes incorpora cambios de operación y gestión de sesiones; para los despliegues con DisaggregatedSet, exige LeaderWorkerSet v0.11.1 o posterior y la API DisaggregatedSet habilitada.
Qué es llm-d y qué cambia en la versión 1.0
llm-d coordina servidores de modelos como vLLM y SGLang en Kubernetes. Es un proyecto de código abierto con licencia Apache 2.0, concebido para gestionar inferencia distribuida en entornos de producción.
La versión 1.0 añade control de flujo para varios inquilinos, es decir, para distintos usuarios o cargas que comparten recursos. Ese control tiene en cuenta prioridades y equidad, y puede frenar o descartar solicitudes cuando la carga lo requiere. El enrutador también incorpora alta disponibilidad con una instancia en espera activa.
Para los despliegues que separan las fases de prefill y decode, DisaggregatedSet coordina las réplicas como una sola unidad lógica y permite actualizarlas de forma coordinada. La versión incluye además una API v1 para configurar el enrutador y gestión de sesiones para agentes. La afinidad de sesión y la planificación por prioridad de turno permiten reutilizar contexto en interacciones sucesivas.
El requisito de LeaderWorkerSet para DisaggregatedSet
Si un despliegue usa DisaggregatedSet, necesita LeaderWorkerSet v0.11.1 o posterior y la API DisaggregatedSet habilitada. Las notas de la versión 1.0 advierten que, sin ese requisito, casi todas las guías de despliegue dejan de funcionar. Por eso, quienes planifiquen una actualización con DisaggregatedSet deben comprobar primero esa versión y la configuración de la API.
Qué cambia para las imágenes ROCm
La versión 1.0 depreca las compilaciones de la imagen llm-d-rocm mantenidas por el proyecto. Las notas describen una imagen temporal de vLLM ROCm para ofrecer soporte a la inferencia con prefill y decode separados. El cambio se refiere a esas compilaciones de imagen del proyecto.
Organizaciones que describen usos en producción
DigitalOcean afirma que utiliza llm-d como base de sus servicios Serverless Inference y Managed Agents. JetBrains, por su parte, comunicó que ejecuta llm-d en producción detrás de Junie Lite y que atiende una parte significativa del tráfico de ese plan.
