Google Cloud présente Envoy comme une couche de contrôle du trafic des agents IA, capable, selon sa description, d’analyser les requêtes, de gérer des quotas de tokens et d’orienter les appels vers des modèles ou des outils. Une architecture de référence pour Google Distributed Cloud air-gapped montre comment certaines de ces fonctions peuvent s’organiser dans un déploiement précis, avec des limites propres à celui-ci. Google Cloud décrit cette approche.

Pourquoi le trafic des agents demande d’autres règles de routage

Un proxy réseau classique s’appuie souvent sur des éléments comme l’adresse demandée, la méthode HTTP ou les en-têtes. Google Cloud souligne que les informations utiles à un agent — le modèle visé, l’outil appelé ou la consommation en tokens — peuvent aussi se trouver dans le corps de la requête. Le routage et les quotas doivent alors tenir compte de davantage que du nombre de requêtes.

BesoinProxy traditionnel, selon Google CloudFonction décrite pour les agents
Choisir une destinationRoutage à partir de l’URI, de la méthode ou des en-têtesAnalyse du corps pour repérer le modèle ou l’outil visé
Gérer les quotasLimites fondées sur le nombre de requêtesBudgets fondés sur les tokens consommés
Garder une session cohérenteRépartition sans état, susceptible d’envoyer les échanges vers différents serveursAffinité de session et prise en compte du cache du modèle
Encadrer les appels d’outilsLe routage réseau ne traite pas à lui seul le contenu des appelsRoutage MCP et appels à des contrôles de politique

Comment Google Cloud décrit ces contrôles

Pour analyser les requêtes, Envoy pourrait convertir entre les formats associés à OpenAI, Anthropic et Gemini. Google Cloud décrit aussi l’extraction des données d’utilisation des tokens dans les flux de réponses envoyés par événements (SSE). L’objectif est de faire correspondre la requête reçue au modèle visé et de suivre l’usage réel après la réponse.

Les quotas décrits portent sur les tokens par minute ou par jour. Le système peut estimer les tokens d’entrée avant l’inférence, puis comparer cette estimation à la consommation renvoyée par le modèle. Google Cloud évoque aussi des budgets cumulés par session ; une requête qui dépasse un quota peut recevoir une réponse HTTP 429 avant d’être transmise au modèle.

Pour la sélection des modèles, la description mentionne l’Endpoint Picker, une affinité avec le préfixe du cache KV et des mécanismes de nouvelle tentative ou de bascule vers un autre groupe de modèles après une défaillance ou une réponse HTTP 429. L’affinité peut aider à conserver les échanges d’une session près des données de cache pertinentes, tandis que la sélection tient compte du modèle demandé.

MCP, le protocole de connexion entre agents et outils, ajoute une autre dimension : une requête peut être orientée d’après son contenu JSON-RPC 2.0 et des en-têtes comme Mcp-Method ou Mcp-Name. Google Cloud indique qu’une incohérence entre les en-têtes et le corps peut être rejetée avec une erreur HTTP 400 et le code -32020.

La même description prévoit des appels ext_proc vers des moteurs de politique tels que Model Armor, ShieldGemma ou des classificateurs locaux. Elle associe aussi Envoy à Agent Substrate pour orienter le trafic vers des environnements d’agents suspendus et contrôler les connexions sortantes.

Ce que comprend la référence pour GDC air-gapped

Dans sa référence d’architecture pour Google Distributed Cloud air-gapped, Google distingue les rôles de trois composants. Envoy Gateway met en œuvre la Kubernetes Gateway API ; Envoy Agent Router, anciennement Envoy AI Gateway, traite les requêtes liées à l’IA ; un proxy Envoy et un processeur externe complètent le chemin de traitement. L’ensemble expose un point d’accès compatible avec l’API OpenAI.

Cette architecture vise Google Distributed Cloud air-gapped 1.16.2-hf1 ou une version ultérieure, avec Kubernetes v1.32.13-gke.400 ou ultérieure. Elle s’exécute dans un cluster standard et prévoit le stockage des artefacts dans Harbor. Ces prérequis concernent ce déploiement de référence.

La sélection des serveurs dépend du type de backend. Les backends InferencePool utilisent l’Endpoint Picker pour une sélection tenant compte du modèle. Les AIServiceBackend, eux, sont répartis entre les points de terminaison du service par l’équilibrage du proxy. L’Endpoint Picker n’intervient donc pas de la même façon pour tous les backends de cette architecture.

Redis n’est nécessaire que si le déploiement active la limitation globale du débit : il sert alors de stockage partagé pour les compteurs entre les réplicas du proxy. Sans cette fonction globale, Redis est facultatif.

La référence GDC exclut le trafic MCP entre agents et outils (MCPRoute), les passerelles gérées, ainsi que le déploiement et le réglage des modèles. Elle prévoit des politiques réseau, la terminaison TLS et l’injection d’identifiants côté backend. Les composants de passerelle fonctionnent sur des nœuds CPU ; le débit et la latence restent liés aux serveurs de modèles. Le guide qualifie par ailleurs InferenceObjective d’API alpha et le support des composants open source de « best effort ».

Pour évaluer un déploiement, examinez séparément le type de backend, le routage MCP et l’activation des quotas globaux : dans la référence GDC, ces fonctions n’ont pas toutes le même périmètre.