Google Cloud descrive Envoy come uno strato di rete per il traffico degli agenti IA: può interpretare le richieste, applicare controlli basati sui token, instradare chiamate a modelli e strumenti MCP e collegarsi a sistemi di sicurezza. La reference per Google Distributed Cloud air-gapped, però, ha un ambito preciso: usa Envoy Gateway ed Envoy Agent Router, ma non gestisce il traffico MCPRoute tra agenti e strumenti. Google Cloud presenta queste funzioni come parte del proprio approccio tecnico, mentre la documentazione GDC descrive una specifica architettura di riferimento.
Che cosa cambia nel traffico degli agenti IA
Un proxy di rete tradizionale instrada il traffico usando elementi come URI, metodo HTTP e intestazioni. Nelle richieste destinate ai modelli, invece, il nome del modello o le informazioni su uno strumento possono trovarsi nel corpo della richiesta; inoltre, contare le richieste non indica quanti token consumano. Per le conversazioni con più passaggi conta anche mantenere l’affinità con la sessione o con la cache del modello.
Google Cloud inquadra la propria proposta come un modo per gestire questi segnali a livello di proxy. La tabella riassume il confronto secondo la descrizione dell’azienda.
| Esigenza del traffico | Segnale del proxy tradizionale descritto da Google Cloud | Funzione per gli agenti descritta da Google Cloud |
| Scelta della destinazione | URI, metodo e intestazioni | Lettura del corpo della richiesta per instradare modelli o chiamate MCP |
| Controllo delle quote | Numero di richieste | Limiti basati sul consumo di token |
| Continuità della sessione | Bilanciamento senza stato tra i server | Affinità con la sessione e con i prefissi della cache KV |
| Controllo delle chiamate agli strumenti | Instradamento di rete | Verifiche delle richieste tramite componenti di policy |
Quando valuti l’architettura, separa le funzioni descritte per lo stack generale da quelle presenti nella configurazione GDC: quest’ultima non instrada le chiamate MCP verso gli strumenti.
Come funzionano i controlli descritti da Google Cloud
Per le richieste ai modelli, Google Cloud descrive un proxy che legge il corpo, individua il modello di destinazione e traduce tra formati di richiesta compatibili con OpenAI, Anthropic e Gemini. La descrizione comprende anche l’estrazione dei dati sull’uso dei token dai flussi di risposta SSE, cioè eventi inviati dal server mentre la risposta viene generata.
I controlli possono applicare soglie di token al minuto (TPM) o al giorno (TPD), stimare i token in ingresso prima dell’inferenza e aggiornare i conteggi in base all’uso effettivo restituito dal modello. Google Cloud descrive anche budget cumulativi per sessione: una richiesta oltre quota può ricevere una risposta HTTP 429 prima dell’inferenza.
Per la scelta dei server, la proposta usa l’Endpoint Picker e può mantenere l’affinità con prefissi presenti nella cache KV, che conserva informazioni utili a elaborare richieste successive. Google Cloud descrive inoltre tentativi o passaggi a un pool secondario quando il modello principale fallisce o restituisce un HTTP 429.
Per MCP, il routing può basarsi sui dati JSON-RPC 2.0 e su intestazioni come Mcp-Method e Mcp-Name. Secondo la descrizione di Google Cloud, una discordanza tra intestazioni e corpo della richiesta viene respinta con HTTP 400 e codice -32020. Questa funzione fa parte della panoramica generale; la reference GDC ha un perimetro più ristretto.
Sul fronte dei controlli di sicurezza, Google Cloud descrive chiamate ext_proc verso sistemi di policy, tra cui Model Armor, ShieldGemma o classificatori locali. Cita inoltre Agent Substrate per indirizzare il traffico verso runtime di agenti sospesi e controllare il traffico in uscita.
Che cosa comprende la reference per GDC air-gapped
Nella configurazione descritta per Google Distributed Cloud air-gapped, Envoy Gateway implementa Kubernetes Gateway API, mentre Envoy Agent Router svolge l’elaborazione specifica per le richieste IA. La documentazione identifica quest’ultimo come il progetto precedentemente chiamato Envoy AI Gateway. L’architettura usa un proxy Envoy con un processore esterno e offre un endpoint compatibile con OpenAI; gli artefatti vengono preparati in Harbor.
La guida indica come prerequisiti Google Distributed Cloud air-gapped versione 1.16.2-hf1 o successiva e Kubernetes v1.32.13-gke.400 o successiva. I componenti del gateway girano su nodi CPU; throughput e latenza dei modelli restano legati ai rispettivi server di inferenza.
Il limite più rilevante per chi lavora con MCP è esplicito: questa reference esclude il traffico tra agenti e strumenti gestito tramite MCPRoute. Esclude anche i gateway gestiti e la distribuzione o l’ottimizzazione dei modelli. La panoramica di Google Cloud e questo progetto GDC descrivono quindi ambiti diversi.
Il rate limiting globale basato sui token è facoltativo in questa configurazione. Se viene attivato, Redis conserva i contatori condivisi tra le repliche del proxy; senza quel controllo globale, Redis non è richiesto dalla reference.
Anche la selezione dei backend varia secondo il tipo di risorsa. L’Endpoint Picker sceglie i server di modelli collegati tramite InferencePool; con AIServiceBackend, il proxy bilancia invece il traffico tra gli endpoint del servizio. La guida classifica InferenceObjective come API alpha e definisce best effort il supporto dei componenti open source.