Die Mitwirkenden des llm-d-Projekts kündigten am 20. Oktober 2026 Version 1.0 ihres Open-Source-Stacks für verteilte Inferenz an. Das Update richtet sich vor allem an den Betrieb: Es bringt unter anderem feinere Steuerung für mehrere Nutzer, einen hochverfügbaren Router und koordinierte Updates für getrennte Prefill- und Decode-Pools. Wer DisaggregatedSet einsetzt, braucht dafür LeaderWorkerSet v0.11.1 oder neuer und muss die DisaggregatedSet-API aktivieren.

Was llm-d 1.0 für den Betrieb ergänzt

llm-d ist ein Kubernetes-nativer Stack, der Modellserver wie vLLM und SGLang orchestriert. Die quelloffene Software steht unter der Apache License 2.0. Version 1.0 ergänzt Funktionen, die den Umgang mit hoher Auslastung, mehreren Nutzern und Agenten-Workloads betreffen.

Die Flow Control steuert Anfragen nach Priorität und Fairness. Wird die Kapazität knapp, kann sie die Last begrenzen und Anfragen gezielt zurückweisen. Für den Router gibt es Hochverfügbarkeit mit einem Standby-System. Die Router-Konfiguration erhält außerdem eine Version-1-API.

Für getrennte Prefill- und Decode-Pools koordiniert DisaggregatedSet Updates als gemeinsamen Vorgang. Prefill verarbeitet den Eingabekontext, Decode erzeugt die Antwort-Tokens. Die gemeinsame Aktualisierung soll verhindern, dass die beiden Bereiche beim Rollout auseinanderlaufen; außerdem unterstützt die Funktion versionsbewusstes Routing.

Bei Agenten-Workloads unterstützt die Responses API previous_response_id. Sitzungsbindung und Priorisierung einzelner Gesprächsrunden ermöglichen es, zwischengespeicherten Kontext über mehrere Runden hinweg wiederzuverwenden.

Was ein DisaggregatedSet-Upgrade voraussetzt

Für Deployments mit DisaggregatedSet muss LeaderWorkerSet mindestens Version v0.11.1 haben; zusätzlich muss die DisaggregatedSet-API aktiviert sein. Die offiziellen Versionshinweise warnen, dass ohne diese Voraussetzungen nahezu alle Anleitungen scheitern. Betreiber sollten die Abhängigkeiten daher prüfen, bevor sie ein solches Deployment aktualisieren.

Was sich bei den ROCm-Images ändert

Die Projektmitwirkenden kennzeichnen die vom Projekt gebauten llm-d-rocm-Image-Builds als deprecated. Für disaggregiertes Serving beschreiben sie außerdem ein vorübergehendes ROCm-Image von vLLM. Die Änderung betrifft damit den Status der projektgebauten Images und den genannten Image-Pfad für disaggregiertes Serving.

Welche Organisationen llm-d im Produktivbetrieb einsetzen

DigitalOcean gab an, llm-d als Grundlage für DigitalOcean Serverless Inference und Managed Agents zu verwenden. JetBrains berichtete über den Produktiveinsatz hinter Junie Lite; llm-d bediene dort einen erheblichen Anteil des Traffics.