Les contributeurs du projet llm-d ont annoncé la version 1.0 le 20 octobre 2026. Cette pile open source orchestre sur Kubernetes des serveurs de modèles comme vLLM et SGLang. La nouvelle version ajoute des outils d’exploitation pour le contrôle du trafic, la disponibilité du routeur et les mises à jour coordonnées. Son prérequis LeaderWorkerSet concerne les déploiements DisaggregatedSet.
Ce que llm-d 1.0 change pour l’exploitation
La version 1.0 ajoute un contrôle de flux multi-tenant, c’est-à-dire conçu pour gérer plusieurs groupes d’utilisateurs. Il prend en compte les priorités et l’équité entre groupes, et peut réduire la charge lorsque les ressources sont saturées. Le routeur gagne aussi une haute disponibilité avec une instance de secours à chaud.
Pour le service d’inférence désagrégé, qui sépare le préremplissage du contexte et le décodage des réponses, DisaggregatedSet coordonne les deux groupes de réplicas comme une seule unité logique. Cette gestion permet des mises à jour synchronisées et un routage qui tient compte des révisions. L’API de configuration du routeur passe en version 1.
La version ajoute aussi des fonctions adaptées aux agents : l’API Responses prend en charge previous_response_id, tandis que l’affinité de session et la planification par priorité des tours favorisent la réutilisation du contexte mis en cache. Les notes de version précisent que tous les tickets associés à l’objectif de la version 1.0 n’ont pas été achevés.
Le prérequis des déploiements DisaggregatedSet
Un déploiement DisaggregatedSet exige LeaderWorkerSet v0.11.1 ou une version ultérieure, ainsi que l’API DisaggregatedSet activée. Les notes de version préviennent que presque tous les guides du projet échouent si cette dépendance n’est pas satisfaite. Les notes de version llm-d 1.0 détaillent cette condition.
Cette exigence s’applique aux déploiements DisaggregatedSet. Elle ne décrit pas un prérequis pour toutes les installations de llm-d.
Ce que change la dépréciation des images ROCm
Les notes de version déprécient les builds d’images llm-d-rocm produits par le projet. Elles décrivent aussi une image ROCm temporaire de vLLM, maintenue en amont, pour le service désagrégé. La dépréciation porte donc sur les images du projet, et non sur un retrait général de ROCm.
Les usages en production déclarés par des organisations
DigitalOcean a déclaré utiliser llm-d comme logiciel d’inférence distribuée pour ses services Serverless Inference et Managed Agents. JetBrains a indiqué que llm-d fonctionne en production derrière Junie Lite. Ces déclarations décrivent les usages rapportés par les organisations elles-mêmes.
