Google Cloud plantea usar Envoy como capa de tráfico para agentes de inteligencia artificial: inspeccionar solicitudes, aplicar límites según el consumo de tokens y dirigir peticiones a modelos y herramientas MCP. Su arquitectura de referencia para Google Distributed Cloud air-gapped concreta una versión más acotada: por ejemplo, no contempla el tráfico MCPRoute entre agentes y herramientas. Google Cloud explica su planteamiento para Envoy y la documentación de GDC detalla esa arquitectura.
La diferencia práctica es dónde puede mirar y qué puede decidir la capa de red. En las solicitudes de IA, el nombre del modelo o de una herramienta puede ir dentro del cuerpo de la petición, y el número de solicitudes no refleja necesariamente los tokens que consumen. Google Cloud propone que Envoy tenga en cuenta esos datos al gestionar el tráfico.
Qué funciones plantea Google Cloud para los agentes
Un proxy convencional suele encaminar tráfico a partir de señales como la ruta, el método HTTP y las cabeceras. Google Cloud describe una configuración orientada a agentes que también interpreta cuerpos de solicitud y considera el uso de modelos y herramientas. La comparación refleja el planteamiento de la empresa, no una regla para todas las instalaciones de proxy.
| Necesidad del tráfico | Señales convencionales descritas por Google Cloud | Función orientada a agentes que describe Google Cloud |
| Elegir destino | Ruta, método HTTP y cabeceras | Inspección del cuerpo para identificar modelos o herramientas |
| Controlar el consumo | Recuento de solicitudes | Cuotas por tokens y presupuestos acumulados por sesión |
| Mantener la afinidad | Balanceo sin estado entre servidores | Selección de modelos y afinidad con prefijos de caché KV |
| Aplicar políticas a llamadas | Enrutamiento de red | Llamadas ext_proc a motores de políticas |
La propuesta contempla normalizar solicitudes de los formatos de OpenAI, Anthropic y Gemini, y extraer información de uso de tokens de respuestas transmitidas como eventos enviados por el servidor (SSE). Google Cloud también describe límites de tokens por minuto y por día: Envoy estimaría el consumo de entrada antes de la inferencia y podría rechazar peticiones que superen la cuota con HTTP 429.
Para servir modelos, la empresa plantea usar Endpoint Picker para elegir un destino y mantener afinidad con prefijos de caché KV. También describe reintentos o el uso de un grupo de modelos alternativo cuando falla el principal o devuelve HTTP 429. Son funciones del planteamiento técnico de Google Cloud.
En MCP, Google Cloud describe el enrutamiento a partir de mensajes JSON-RPC 2.0 y de cabeceras como Mcp-Method y Mcp-Name. Según la empresa, si la cabecera y el cuerpo no coinciden, la petición se rechaza con HTTP 400 y el código -32020 (HeaderMismatch). Para aplicar políticas, el mecanismo ext_proc puede conectar Envoy con Model Armor, ShieldGemma o clasificadores locales.
Google Cloud también sitúa Agent Substrate junto a Envoy para dirigir tráfico hacia entornos de agentes suspendidos y controlar el tráfico saliente. La arquitectura GDC air-gapped descrita por separado tiene otro alcance: sus exclusiones se refieren a ese diseño, no a todas las funciones del planteamiento general.
Para entender qué hace un despliegue concreto, distingue la función de cada componente y el tipo de tráfico que abarca: en la referencia GDC, MCPRoute queda fuera y la selección especializada de modelos depende del tipo de backend.
Cómo se organiza la arquitectura de GDC air-gapped
En la referencia de Google, Envoy Gateway implementa la Gateway API de Kubernetes y Envoy Agent Router procesa solicitudes específicas de IA. La documentación identifica este último como el nombre actual de Envoy AI Gateway. Juntos forman parte de un diseño autogestionado en un clúster estándar, con un proxy Envoy y un procesador externo, y ofrecen un único endpoint compatible con OpenAI.
La ruta para seleccionar un modelo depende del backend. Los backends InferencePool usan Endpoint Picker para una selección consciente del modelo; los AIServiceBackend se distribuyen entre los endpoints del servicio mediante el balanceo del proxy. Por tanto, Endpoint Picker no interviene en todos los tipos de backend de esta arquitectura.
La limitación de velocidad global basada en tokens es opcional. Si se configura, Redis almacena contadores compartidos entre réplicas del proxy; sin esa función, Redis no es necesario para este diseño. La arquitectura excluye además el tráfico MCPRoute entre agentes y herramientas, los productos de pasarela gestionados y el despliegue o ajuste de modelos.
Requisitos y límites operativos de la referencia
La guía establece como requisitos GDC air-gapped 1.16.2-hf1 o posterior y Kubernetes v1.32.13-gke.400 o posterior. El diseño también contempla preparar artefactos en Harbor y ejecutar los componentes de pasarela en nodos de CPU. El rendimiento y la latencia de inferencia dependen de los servidores de modelos; la guía califica InferenceObjective como una API alfa y el soporte de los componentes de código abierto como de mejor esfuerzo.