O Google Cloud descreve o Envoy como uma camada para interpretar e encaminhar tráfego de agentes de IA, controlar o uso de tokens e conectar chamadas a modelos, ferramentas e políticas de segurança. Na arquitetura de referência para Google Distributed Cloud air-gapped, porém, o tráfego MCP entre agentes e ferramentas fica fora do escopo. Google Cloud Documentação do Google Distributed Cloud
A proposta parte de um problema prático: informações importantes para decidir o destino de uma solicitação — como o modelo ou a ferramenta chamada — podem estar no corpo da requisição, e não apenas no endereço ou nos cabeçalhos HTTP. O Google Cloud também aponta que contar solicitações não equivale a contabilizar tokens e que o balanceamento sem estado de sessão pode direcionar turnos de uma conversa a servidores diferentes.
O que muda no tráfego de agentes de IA?
Na descrição do Google Cloud, o Envoy acrescenta ao roteamento convencional a leitura do corpo das solicitações, controles baseados em tokens e seleção de modelos ou destinos MCP. A tabela resume o contraste apresentado pela empresa; as funções da coluna final são capacidades que ela descreve para essa arquitetura. Google Cloud
| Necessidade | Sinal de um proxy L7 convencional, segundo o Google Cloud | Função descrita para o Envoy |
| Escolher o destino | URI, método HTTP e cabeçalhos | Analisar o corpo da solicitação para identificar modelos e chamadas MCP |
| Aplicar cotas | Contar solicitações | Controlar limites por tokens e orçamentos acumulados por sessão |
| Manter a afinidade de inferência | Balancear tráfego sem considerar a sessão | Direcionar solicitações levando em conta a sessão e a afinidade com o cache do modelo |
| Inspecionar chamadas a ferramentas | Roteamento convencional | Encaminhar chamadas de política para examinar o tráfego de ferramentas |
A diferença importa quando um limite de solicitações não representa bem o consumo: uma chamada com um contexto extenso pode usar mais tokens do que outra. Controles por tokens e por sessão procuram acompanhar esse tipo de uso com mais precisão, conforme a descrição do Google Cloud.
Para entender o alcance de uma implantação, separe as funções descritas para o Envoy daquelas que aparecem na arquitetura específica que você pretende usar.
Como o Google Cloud descreve os controles
O Google Cloud afirma que o Envoy pode normalizar solicitações nos formatos de OpenAI, Anthropic e Gemini e extrair dados de uso de tokens de fluxos de resposta SSE, ou server-sent events. A empresa também descreve limites por minuto ou por dia, estimativas de tokens de entrada antes da inferência e orçamentos acumulados por sessão. Solicitações acima da cota podem ser limitadas com resposta HTTP 429. Google Cloud
Para distribuir solicitações de inferência, a descrição menciona o Endpoint Picker (EPP), seleção de destinos com base em prefixos mantidos no cache KV e tentativas de redirecionamento para outro conjunto de modelos após uma falha ou uma resposta HTTP 429 do modelo principal.
No tráfego MCP, o roteamento considera o corpo JSON-RPC 2.0 e cabeçalhos HTTP como Mcp-Method e Mcp-Name. Segundo o Google Cloud, uma divergência entre os cabeçalhos e o corpo da solicitação provoca uma resposta HTTP 400 com o código -32020.
A camada de segurança descrita usa chamadas ext_proc para conectar o Envoy a mecanismos de política, como Model Armor, ShieldGemma ou classificadores locais. O Google Cloud também apresenta o Agent Substrate como complemento para direcionar tráfego a ambientes de agentes suspensos e controlar tráfego de saída.
O que a arquitetura GDC air-gapped especifica?
Na referência de Google Distributed Cloud air-gapped, o Envoy Gateway implementa a Kubernetes Gateway API, enquanto o Envoy Agent Router faz o processamento específico para IA. A documentação identifica o Agent Router como o antigo Envoy AI Gateway. O desenho combina esses componentes com um proxy Envoy e um processador externo, em um cluster padrão, e oferece um endpoint compatível com OpenAI. Documentação do Google Distributed Cloud
O guia exige Google Distributed Cloud air-gapped 1.16.2-hf1 ou posterior e Kubernetes v1.32.13-gke.400 ou posterior. Também descreve o armazenamento de artefatos no Harbor. São requisitos dessa arquitetura específica.
A distinção entre tipos de backend afeta a seleção de modelos: o Endpoint Picker se aplica aos backends InferencePool. Para AIServiceBackend, o proxy distribui o tráfego entre endpoints do serviço. Portanto, a seleção consciente do servidor de modelos não vale para todos os backends descritos no guia.
O controle global de taxa por tokens é opcional nessa arquitetura. Quando configurado, o Redis fornece contadores compartilhados entre réplicas do proxy; sem esse controle global, o Redis não é necessário para essa função.
A referência exclui o tráfego MCPRoute entre agentes e ferramentas, além de gateways gerenciados e da implantação ou do ajuste de modelos. Ela também indica que os componentes do gateway rodam em nós de CPU, enquanto a vazão e a latência da inferência dependem dos servidores de modelos. A API InferenceObjective é descrita como alfa, e o suporte aos componentes de código aberto como de melhor esforço.