Współtwórcy projektu llm-d ogłosili wersję 1.0 20 października 2026 r. To otwarty stos rozproszonej inferencji dla Kubernetes, który orkiestruje serwery modeli, takie jak vLLM i SGLang. Wydanie rozwija narzędzia do obsługi produkcyjnej, a wdrożenia korzystające z DisaggregatedSet wymagają LeaderWorkerSet v0.11.1 lub nowszego oraz włączonego API DisaggregatedSet.

Funkcje dla operatorów

llm-d 1.0 skupia się na zarządzaniu ruchem i aktualizacjami, dostępności routera oraz obsłudze sesji agentów. Najważniejsze zmiany to:

  • Kontrola przepływu dla wielu tenantów, czyli odrębnych użytkowników systemu. Uwzględnia priorytety i sprawiedliwy podział zasobów, a przy przeciążeniu pozwala kontrolować odrzucanie żądań.
  • Wysoka dostępność routera z trybem hot standby oraz bezpiecznymi aktualizacjami kroczącymi.
  • Skoordynowane wdrożenia DisaggregatedSet. Zarządzają replikami prefill i decode jako jedną całością, co pozwala aktualizować obie pule równolegle. Prefill przetwarza prompt, a decode generuje odpowiedź modelu.
  • API konfiguracji routera w wersji v1 oraz obsługa sesji agentów. Powiązanie kolejnych tur rozmowy z buforowanym kontekstem może ułatwić jego ponowne wykorzystanie.

Warunek dla wdrożeń DisaggregatedSet

Wdrożenie korzystające z DisaggregatedSet wymaga LeaderWorkerSet v0.11.1 lub nowszego i włączonego API DisaggregatedSet. To warunek dotyczący tej konkretnej ścieżki wdrożenia, a nie wszystkich instalacji llm-d. Notatki wydania ostrzegają, że bez wymaganego minimum niemal wszystkie przewodniki projektu przestaną działać.

Szczegóły opisują oficjalne notatki wydania llm-d 1.0.

Zmiana dotycząca obrazów ROCm

Projekt oznaczył własne obrazy llm-d-rocm jako przestarzałe. Dla obsługi rozdzielonego przetwarzania prefill i decode notatki wymieniają tymczasowy obraz vLLM ROCm ghcr.io/llm-d/vllm-openai-rocm:v0.32.0-rc.2. Zmiana dotyczy obrazów budowanych przez projekt i wskazanej ścieżki obrazów, a nie stanowi ogólnego komunikatu o zakończeniu prac z ROCm.

Organizacje opisują użycie w produkcji

W komunikacie IBM DigitalOcean zadeklarował, że wykorzystuje llm-d jako podstawę rozproszonego wnioskowania w usługach DigitalOcean Serverless Inference i Managed Agents. JetBrains poinformował o produkcyjnym użyciu llm-d przy planie Junie Lite i obsłudze znacznej części jego ruchu.