I contributori del progetto llm-d hanno annunciato la versione 1.0 il 20 ottobre 2026. L’aggiornamento introduce funzioni per gestire priorità e carichi di lavoro condivisi, mantenere disponibile il router e coordinare gli aggiornamenti dei deployment disaggregati. Per usare DisaggregatedSet occorrono inoltre LeaderWorkerSet v0.11.1 o una versione successiva e l’API DisaggregatedSet abilitata.
Le funzioni operative di llm-d 1.0
llm-d è uno stack open source per l’inferenza distribuita su Kubernetes: coordina server di modelli come vLLM e SGLang. L’inferenza è la fase in cui un modello elabora una richiesta e genera una risposta. La versione 1.0 concentra le novità sulla gestione di questi servizi in produzione.
Il controllo di flusso multi-tenant assegna priorità alle richieste di tenant diversi e applica criteri di equità. Quando il sistema è sotto pressione, può anche scartare richieste secondo le regole configurate. Per gli operatori, questo offre strumenti per decidere come trattare i carichi concorrenti.
Il router ottiene l’alta disponibilità tramite un’istanza di riserva pronta a subentrare. Per il serving disaggregato, che separa i pool dedicati alle fasi di prefill e decode, DisaggregatedSet coordina le repliche come un’unica unità e supporta aggiornamenti sincronizzati. La release porta inoltre a v1 l’API di configurazione del router.
Per i flussi di lavoro con agenti, llm-d 1.0 supporta la gestione delle sessioni: l’affinità di sessione e la pianificazione per priorità dei turni aiutano a riutilizzare il contesto memorizzato tra una richiesta e l’altra. Le note di rilascio descrivono anche il supporto di previous_response_id nell’API Responses.
Il requisito per i deployment DisaggregatedSet
Chi usa DisaggregatedSet deve avere LeaderWorkerSet v0.11.1 o successivo e abilitare l’API DisaggregatedSet. Le note di rilascio avvertono che, senza questi prerequisiti, quasi tutte le guide per quel tipo di deployment si interrompono. Il requisito riguarda i deployment DisaggregatedSet, non ogni installazione di llm-d.
La release ufficiale llm-d 1.0 riporta la dipendenza e le modifiche introdotte, un riferimento utile per pianificare un aggiornamento basato su DisaggregatedSet.
Che cosa cambia per le immagini ROCm
Le note deprecano le build llm-d-rocm create dal progetto e indicano un’immagine ROCm upstream di vLLM come soluzione temporanea per il serving disaggregato. La modifica riguarda quindi le immagini del progetto; le note descrivono separatamente il percorso upstream per ROCm.
Le organizzazioni che dichiarano di usare llm-d
Nell’annuncio IBM, DigitalOcean dichiara di usare llm-d come software di inferenza distribuita per DigitalOcean Serverless Inference e Managed Agents. JetBrains riferisce che llm-d è in produzione dietro Junie Lite. Sono dichiarazioni delle rispettive organizzazioni sui loro deployment.
