Google Cloud présente Envoy comme une couche de contrôle du trafic des agents IA, capable, selon sa description, d’analyser les requêtes, de gérer des quotas de tokens et d’orienter les appels vers des modèles ou des outils. Une architecture de référence pour Google Distributed Cloud air-gapped montre comment certaines de ces fonctions peuvent s’organiser dans un déploiement précis, avec des limites propres à celui-ci. Google Cloud décrit cette approche.
Pourquoi le trafic des agents demande d’autres règles de routage
Un proxy réseau classique s’appuie souvent sur des éléments comme l’adresse demandée, la méthode HTTP ou les en-têtes. Google Cloud souligne que les informations utiles à un agent — le modèle visé, l’outil appelé ou la consommation en tokens — peuvent aussi se trouver dans le corps de la requête. Le routage et les quotas doivent alors tenir compte de davantage que du nombre de requêtes.
| Besoin | Proxy traditionnel, selon Google Cloud | Fonction décrite pour les agents |
| Choisir une destination | Routage à partir de l’URI, de la méthode ou des en-têtes | Analyse du corps pour repérer le modèle ou l’outil visé |
| Gérer les quotas | Limites fondées sur le nombre de requêtes | Budgets fondés sur les tokens consommés |
| Garder une session cohérente | Répartition sans état, susceptible d’envoyer les échanges vers différents serveurs | Affinité de session et prise en compte du cache du modèle |
| Encadrer les appels d’outils | Le routage réseau ne traite pas à lui seul le contenu des appels | Routage MCP et appels à des contrôles de politique |
Comment Google Cloud décrit ces contrôles
Pour analyser les requêtes, Envoy pourrait convertir entre les formats associés à OpenAI, Anthropic et Gemini. Google Cloud décrit aussi l’extraction des données d’utilisation des tokens dans les flux de réponses envoyés par événements (SSE). L’objectif est de faire correspondre la requête reçue au modèle visé et de suivre l’usage réel après la réponse.
Les quotas décrits portent sur les tokens par minute ou par jour. Le système peut estimer les tokens d’entrée avant l’inférence, puis comparer cette estimation à la consommation renvoyée par le modèle. Google Cloud évoque aussi des budgets cumulés par session ; une requête qui dépasse un quota peut recevoir une réponse HTTP 429 avant d’être transmise au modèle.
Pour la sélection des modèles, la description mentionne l’Endpoint Picker, une affinité avec le préfixe du cache KV et des mécanismes de nouvelle tentative ou de bascule vers un autre groupe de modèles après une défaillance ou une réponse HTTP 429. L’affinité peut aider à conserver les échanges d’une session près des données de cache pertinentes, tandis que la sélection tient compte du modèle demandé.
MCP, le protocole de connexion entre agents et outils, ajoute une autre dimension : une requête peut être orientée d’après son contenu JSON-RPC 2.0 et des en-têtes comme Mcp-Method ou Mcp-Name. Google Cloud indique qu’une incohérence entre les en-têtes et le corps peut être rejetée avec une erreur HTTP 400 et le code -32020.
La même description prévoit des appels ext_proc vers des moteurs de politique tels que Model Armor, ShieldGemma ou des classificateurs locaux. Elle associe aussi Envoy à Agent Substrate pour orienter le trafic vers des environnements d’agents suspendus et contrôler les connexions sortantes.
Ce que comprend la référence pour GDC air-gapped
Dans sa référence d’architecture pour Google Distributed Cloud air-gapped, Google distingue les rôles de trois composants. Envoy Gateway met en œuvre la Kubernetes Gateway API ; Envoy Agent Router, anciennement Envoy AI Gateway, traite les requêtes liées à l’IA ; un proxy Envoy et un processeur externe complètent le chemin de traitement. L’ensemble expose un point d’accès compatible avec l’API OpenAI.
Cette architecture vise Google Distributed Cloud air-gapped 1.16.2-hf1 ou une version ultérieure, avec Kubernetes v1.32.13-gke.400 ou ultérieure. Elle s’exécute dans un cluster standard et prévoit le stockage des artefacts dans Harbor. Ces prérequis concernent ce déploiement de référence.
La sélection des serveurs dépend du type de backend. Les backends InferencePool utilisent l’Endpoint Picker pour une sélection tenant compte du modèle. Les AIServiceBackend, eux, sont répartis entre les points de terminaison du service par l’équilibrage du proxy. L’Endpoint Picker n’intervient donc pas de la même façon pour tous les backends de cette architecture.
Redis n’est nécessaire que si le déploiement active la limitation globale du débit : il sert alors de stockage partagé pour les compteurs entre les réplicas du proxy. Sans cette fonction globale, Redis est facultatif.
La référence GDC exclut le trafic MCP entre agents et outils (MCPRoute), les passerelles gérées, ainsi que le déploiement et le réglage des modèles. Elle prévoit des politiques réseau, la terminaison TLS et l’injection d’identifiants côté backend. Les composants de passerelle fonctionnent sur des nœuds CPU ; le débit et la latence restent liés aux serveurs de modèles. Le guide qualifie par ailleurs InferenceObjective d’API alpha et le support des composants open source de « best effort ».
Pour évaluer un déploiement, examinez séparément le type de backend, le routage MCP et l’activation des quotas globaux : dans la référence GDC, ces fonctions n’ont pas toutes le même périmètre.