Os contribuidores do projeto llm-d anunciaram a versão 1.0 em 20 de outubro de 2026. A atualização concentra-se na operação de inferência distribuída em produção, com novos controles para múltiplos usuários, alta disponibilidade do roteador e suporte a sessões de agentes. Para implantações com DisaggregatedSet, há uma exigência específica: LeaderWorkerSet v0.11.1 ou posterior e a API DisaggregatedSet habilitada.
O que o llm-d 1.0 faz
O llm-d é uma stack de código aberto, nativa do Kubernetes, que orquestra servidores de modelos como vLLM e SGLang. O projeto é distribuído sob a licença Apache 2.0.
A versão 1.0 acrescenta controle de fluxo para ambientes multi-tenant, com prioridade e critérios de equidade. Também inclui alta disponibilidade do roteador com instância em espera, atualizações coordenadas para pools separados de prefill e decode e uma API v1 para configurar o roteador.
Para cargas de trabalho com agentes, a versão oferece tratamento de sessão. A API Responses aceita previous_response_id, enquanto a afinidade de sessão e o agendamento por prioridade de turno permitem reutilizar o contexto em interações sucessivas.
As notas também registram que nem todos os itens associados à meta da versão 1.0 foram concluídos.
O requisito para implantações DisaggregatedSet
Quem usa DisaggregatedSet precisa do LeaderWorkerSet v0.11.1 ou de uma versão posterior, além da API DisaggregatedSet habilitada. As notas oficiais da versão 1.0 alertam que quase todos os guias de implantação falham sem esse pré-requisito. A condição se aplica às implantações DisaggregatedSet.
O que muda nas imagens ROCm
As notas de lançamento descontinuam as imagens llm-d-rocm construídas pelo projeto e descrevem uma imagem ROCm temporária do vLLM, mantida upstream, para serving desagregado. Elas também listam trabalho de implantação com AMD ROCm. A mudança indicada é nas imagens do projeto, não uma retirada geral do suporte a ROCm.
Organizações que relatam uso em produção
A DigitalOcean afirma usar llm-d no Serverless Inference e no Managed Agents. A JetBrains relata que o projeto roda em produção por trás do Junie Lite. As duas declarações foram atribuídas às respectivas organizações no anúncio de lançamento.
