Google Cloud beschreibt Envoy als Verkehrsschicht für KI-Agenten: Der Proxy soll Anfragen im Nachrichtentext auswerten, Tokenlimits berücksichtigen, Modell- und MCP-Aufrufe weiterleiten und Sicherheitsprüfungen einbinden. Eine konkrete Referenz für Google Distributed Cloud air-gapped zeigt dazu eine enger umrissene Architektur mit eigenen Komponenten und klar abgegrenztem Funktionsumfang. Google Cloud erläutert den Ansatz für Envoy; die GDC-Dokumentation beschreibt die Referenzarchitektur.
Envoy ist dabei der Proxy, der den Netzwerkverkehr vermittelt. Für Agenten ist relevant, dass wichtige Angaben nicht immer in URL oder HTTP-Headern stehen: Modellnamen, Werkzeugaufrufe und Tokenverbrauch können erst im Inhalt der Anfrage erkennbar werden. Google Cloud beschreibt deshalb Funktionen, die über gewöhnliches Weiterleiten von Verbindungen hinausgehen sollen.
Bei einer Agenten-Infrastruktur zählt nicht nur, wohin eine Anfrage geht, sondern auch, welches Modell und welches Werkzeug sie aufruft und wie viele Tokens sie beansprucht.
Was soll Envoy für KI-Agenten leisten?
Google Cloud ordnet den Ansatz vier Aufgaben zu: Anfrageninhalte auswerten, Tokenverbrauch begrenzen, Modell- und MCP-Verkehr gezielt weiterleiten sowie Sicherheitsprüfungen einbinden. Die folgende Gegenüberstellung fasst Googles Beschreibung herkömmlicher Layer-7-Proxys und der geplanten Agentenfunktionen zusammen.
| Verkehrsfrage | Herkömmliche Proxy-Signale laut Google Cloud | Für Agenten beschriebene Funktion |
| Wohin soll die Anfrage? | URL, HTTP-Methode und Header | Inhalt der Anfrage für Modell- oder MCP-Routing auswerten |
| Wie wird ein Kontingent gemessen? | Anzahl der Anfragen | Tokenlimits und sitzungsbezogene Budgets berücksichtigen |
| Welcher Modellserver passt? | Zustandslose Verteilung kann Anfragen einer Sitzung auf verschiedene Worker verteilen | Modellauswahl und Affinität zu einem vorhandenen KV-Cache berücksichtigen |
| Wie werden Werkzeugaufrufe geprüft? | Routingregeln allein prüfen nicht den MCP-Aufruf im Nachrichtentext | Sicherheitsregeln über externe Verarbeitung einbinden |
Anfragen verstehen und übersetzen
Google Cloud zufolge soll Envoy Anfrageinhalte analysieren, das gewünschte Modell erkennen und Formate aus den API-Schemata von OpenAI, Anthropic und Gemini übersetzen können. Auch Antworten in SSE-Datenströmen – einem Format, das fortlaufend einzelne Ereignisse übermittelt – sollen sich auf Angaben zur Tokenverwendung auswerten lassen. Damit könnte die Vermittlung Informationen berücksichtigen, die ein Proxy anhand von URL und Headern allein nicht erkennt.
Token statt bloßer Anfragen zählen
Google Cloud beschreibt Grenzen für Tokens pro Minute (TPM) und pro Tag (TPD). Vor der Inferenz soll Envoy den Tokenbedarf anhand der Anfrage abschätzen und anschließend tatsächliche Nutzungsangaben aus der Modellantwort übernehmen können. Budgets können demnach auch für eine Sitzung aufsummiert werden. Überschreitet eine Anfrage das Kontingent, sieht die Beschreibung eine Drosselung mit HTTP 429 vor.
Modelle und MCP-Aufrufe weiterleiten
Für Modellanfragen beschreibt Google Cloud eine Auswahl über den Endpoint Picker sowie Affinität anhand von KV-Cache-Präfixen. Ein KV-Cache hält Zwischenzustände einer Modellberechnung vor; eine passende Affinität kann Anfragen mit ähnlichem Kontext zum entsprechenden Modellserver lenken. Bei einem Ausfall des primären Modells oder einer HTTP-429-Antwort soll die Anfrage laut Google Cloud erneut versucht oder an einen sekundären Modellpool weitergeleitet werden.
Beim Model Context Protocol (MCP), einem Protokoll für die Verbindung von Agenten mit Werkzeugen, soll Envoy JSON-RPC-2.0-Nachrichten und die Header Mcp-Method sowie Mcp-Name für die Weiterleitung heranziehen. Google Cloud beschreibt außerdem eine Zurückweisung mit HTTP 400 und dem Fehlercode -32020, wenn Header und Nachrichteninhalt nicht zusammenpassen.
Google Cloud nennt ext_proc als Möglichkeit, externe Richtliniendienste einzubinden, darunter Model Armor, ShieldGemma oder lokale Klassifikatoren. Agent Substrate soll ergänzend den Verkehr zu pausierten Agentenlaufzeiten steuern und ausgehende Verbindungen kontrollieren.
Wie ist die GDC-Referenzarchitektur aufgebaut?
In der Referenz für Google Distributed Cloud air-gapped übernehmen Envoy Gateway und Envoy Agent Router unterschiedliche Aufgaben. Envoy Gateway implementiert die Kubernetes Gateway API; Envoy Agent Router verarbeitet KI-spezifische Anfragen. Die Dokumentation bezeichnet die Router-Komponente als früheres Envoy AI Gateway. Ein Envoy-Proxy arbeitet mit einem externen Prozessor zusammen; nach dem Staging der Artefakte in Harbor stellt die Architektur einen einheitlichen OpenAI-kompatiblen Endpunkt bereit.
Der Endpoint Picker kommt nicht bei jedem Backend zum Einsatz. Bei InferencePool-Backends erfolgt die modellspezifische Auswahl über diesen Picker. AIServiceBackend nutzt dagegen die Proxy-Lastverteilung über Service-Endpunkte. Für eine verteilte, globale Ratenbegrenzung kann Redis als gemeinsamer Zählerspeicher dienen; ohne diese globale Begrenzung ist Redis in der beschriebenen Architektur optional.
Wo liegen die Grenzen dieser Referenz?
Die GDC-Architektur deckt MCP-Verkehr zwischen Agenten und Werkzeugen über MCPRoute nicht ab. Ebenfalls außerhalb ihres Umfangs liegen verwaltete Gateway-Produkte sowie die Bereitstellung und Abstimmung von Modellen und andere Modalitäten als große Sprachmodelle. Die breitere Envoy-Beschreibung von Google Cloud und diese spezielle GDC-Referenz umfassen daher nicht denselben Funktionsbereich.
Die Referenz setzt Google Distributed Cloud air-gapped ab Version 1.16.2-hf1 und Kubernetes ab Version v1.32.13-gke.400 voraus. Die Gateway-Komponenten laufen auf CPU-Knoten; Durchsatz und Latenz bleiben von den Modellservern abhängig. InferenceObjective ist in der Dokumentation als Alpha-API aufgeführt, und der Support für die Open-Source-Komponenten wird dort als Best-Effort beschrieben.