De bijdragers aan het open-sourceproject llm-d kondigden op 20 oktober 2026 versie 1.0 aan. De release voegt functies toe voor het beheer van inferentie op Kubernetes. Voor deployments met DisaggregatedSet geldt een concrete voorwaarde: LeaderWorkerSet v0.11.1 of nieuwer en de DisaggregatedSet-API ingeschakeld.

Wat llm-d 1.0 verandert

llm-d is een Kubernetes-native stack voor gedistribueerde inferentie. De software orkestreert modelservers zoals vLLM en SGLang. Versie 1.0 richt zich vooral op het beheer van die workloads in productie:

  • Flowcontrol voor meerdere tenants houdt rekening met prioriteiten en een eerlijke verdeling van capaciteit. Bij hoge belasting kan het systeem aanvragen gecontroleerd afwijzen.
  • Hoge beschikbaarheid voor de router krijgt ondersteuning met een hot standby, een reserve-instantie die kan overnemen.
  • Gecoördineerde updates laten prefill- en decodepools als één logische eenheid bijwerken. Prefill verwerkt de invoer; decode genereert de uitvoer.
  • De configuratie-API voor de router is opgewaardeerd naar v1.
  • Voor agentworkloads ondersteunt de Responses API previous_response_id. Sessie-affiniteit en planning op basis van beurtprioriteit kunnen gecachte context tussen beurten hergebruiken.

De projectrepository vermeldt de Apache License 2.0. llm-d is dus open source en bouwt voort op bestaande modelservers, in plaats van zelf één modelserver te zijn.

De voorwaarde voor DisaggregatedSet

Gebruik je DisaggregatedSet, dan heb je LeaderWorkerSet v0.11.1 of nieuwer nodig en moet de DisaggregatedSet-API zijn ingeschakeld. Zonder die voorwaarden werken volgens de projectnotities vrijwel alle handleidingen niet. De release notes van llm-d 1.0 geven de precieze vereisten.

Wat de ROCm-wijziging inhoudt

De release deprecieert de door het project gebouwde llm-d-rocm-images. Voor gedisaggregeerde serving beschrijven de projectnotities daarnaast tijdelijk een upstream vLLM ROCm-image. De deprecatie betreft dus de projectgebouwde images; de release beschrijft ook AMD ROCm-deploymentwerk.

Organisaties melden gebruik in productie

In de releaseaankondiging van IBM zegt DigitalOcean llm-d te gebruiken voor DigitalOcean Serverless Inference en Managed Agents. JetBrains meldt dat llm-d in productie draait achter Junie Lite.