Google Cloud beschrijft Envoy als een verkeerslaag voor AI-agents: die kan verzoeken op inhoud verwerken, tokenlimieten toepassen, model- en MCP-verkeer routeren en beleidcontroles inschakelen. De aparte referentiearchitectuur voor Google Distributed Cloud air-gapped laat zien hoe zo’n opzet eruit kan zien, met eigen grenzen voor MCP-verkeer en modelselectie. (Google Cloud; Google Cloud-documentatie voor GDC air-gapped)

Envoy is hierin de proxy die netwerkverkeer doorstuurt; de AI-specifieke functies komen uit de beschreven verwerking eromheen. Dat onderscheid is nuttig: een gewone proxy kan een verzoek op basis van adres, methode of headers routeren, terwijl informatie over een model of tool ook in de berichtinhoud kan staan.

Bij agentverkeer gaat routering niet alleen over waar een verzoek vandaan komt, maar ook over wat het vraagt en hoeveel modeltokens het kan verbruiken.

Welke problemen wil de Envoy-aanpak oplossen?

Google Cloud beschrijft vier aandachtspunten: informatie over modellen en tools in de berichtinhoud, quota die alleen het aantal verzoeken tellen, sessies die door stateless verdeling bij verschillende modelservers terechtkomen en toolaanroepen die beleidcontroles nodig hebben. De voorgestelde aanpak leest daarom verzoekinhoud en houdt rekening met tokens, modelkeuze en toolverkeer.

VerkeersvraagTraditionele L7-proxy volgens Google CloudAgentgerichte functie die Google Cloud beschrijft
Waar gaat het verzoek heen?Routering op URI, methode en headersRoutering op basis van model- of MCP-informatie in de berichtinhoud
Hoe wordt gebruik begrensd?Limieten op aantallen verzoekenTokenlimieten en budgetten per sessie
Hoe blijft een sessie bij een passende modelserver?Stateless verdeling kan opeenvolgende beurten naar verschillende werkers sturenSessie- en KV-cache-affiniteit, met selectie via Endpoint Picker
Hoe worden toolaanroepen gecontroleerd?De proxylaag inspecteert toolaanroepen niet vanzelf in de door Google Cloud beschreven benaderingBeleidscontroles via externe verwerkingsaanroepen

Hoe verwerkt de aanpak verzoeken, tokens en tools?

Google Cloud beschrijft dat Envoy verzoeken uit OpenAI-, Anthropic- en Gemini-formaten kan normaliseren en de modeldoelkeuze uit de berichtinhoud kan halen. Bij antwoorden via server-sent events (SSE) kan de proxy volgens het bedrijf ook tokengebruik uitlezen. Dat maakt één tussenlaag mogelijk voor verschillende verzoekvormen, zonder dat een router alleen op het zichtbare webadres hoeft af te gaan.

Voor gebruikslimieten beschrijft Google Cloud quota per minuut of dag, uitgedrukt in tokens (TPM en TPD). De aanpak kan het tokengebruik vooraf schatten op basis van een verzoek en het werkelijke gebruik uit modelantwoorden halen. Wanneer een verzoek een limiet overschrijdt, beschrijft Google Cloud afwijzing met HTTP 429. Ook budgetten die het cumulatieve gebruik van een sessie begrenzen, maken deel uit van de beschreven aanpak.

Bij modelverkeer noemt Google Cloud Endpoint Picker voor selectie van modelservers en affiniteit met KV-cache-prefixen. Als de primaire modelpool uitvalt of HTTP 429 teruggeeft, kan de beschreven routering opnieuw proberen of naar een secundaire modelpool uitwijken.

Voor Model Context Protocol (MCP), waarmee agents met tools communiceren, beschrijft Google Cloud routering op basis van JSON-RPC 2.0-inhoud en de headers Mcp-Method en Mcp-Name. Volgens het bedrijf wordt een verschil tussen de headers en de berichtinhoud afgewezen met HTTP 400 en foutcode -32020.

Beleidscontroles kunnen volgens Google Cloud via ext_proc een externe policy-engine aanroepen, zoals Model Armor, ShieldGemma of een lokale classifier. Het bedrijf noemt daarnaast Agent Substrate als aanvulling voor verkeerssturing naar opgeschorte agent-runtimes en voor beperkingen op uitgaand verkeer.

Hoe ziet de GDC-air-gappedreferentie eruit?

In de GDC-architectuur vervult Envoy Gateway de rol van implementatie van de Kubernetes Gateway API. Envoy Agent Router verzorgt de AI-specifieke verzoekverwerking; de documentatie vermeldt dat dit component eerder Envoy AI Gateway heette. De opzet draait in een standaardcluster, met een Envoy-proxy en een externe processor, en biedt één OpenAI-compatibel toegangspunt.

Voor deze concrete opzet noemt Google Distributed Cloud air-gapped versie 1.16.2-hf1 of hoger en Kubernetes v1.32.13-gke.400 of hoger als vereisten. De documentatie sluit onder meer MCPRoute-verkeer tussen agents en tools, beheerde gatewayproducten en het uitrollen of afstellen van modellen uit. De brede beschrijving van MCP-routering geldt dus niet automatisch voor deze GDC-architectuur.

Wanneer gebruikt deze opzet Redis of Endpoint Picker?

Redis is in de GDC-referentie alleen nodig wanneer globale rate limiting is ingeschakeld; het levert dan gedeelde tellers voor de proxyreplica’s. Zonder globale limieten is Redis optioneel.

Ook Endpoint Picker wordt niet voor elk backendtype op dezelfde manier ingezet. De GDC-documentatie beschrijft modelbewuste selectie voor backends van het type InferencePool. Een AIServiceBackend wordt door de proxy verdeeld over Service-eindpunten. Wie deze referentie toepast, moet die backendkeuze dus meenemen in de verwachte routering.

De gatewayonderdelen draaien volgens de documentatie op CPU-nodes; de modelservers bepalen de grenzen voor modeldoorvoer en latentie. De GDC-gids noemt InferenceObjective een alpha-API en omschrijft ondersteuning voor de open-sourcecomponenten als best-effort.