Google Cloud opisuje Envoy jako warstwę do obsługi ruchu agentów AI: analizy żądań, kontroli limitów tokenów, routingu modeli i MCP oraz wywoływania zabezpieczeń. Przykład dla Google Distributed Cloud air-gapped pokazuje jednak konkretną, ograniczoną architekturę, a nie wszystkie funkcje z szerszego opisu. Google Cloud Dokumentacja Google Distributed Cloud

Przy ocenie architektury agentów sprawdź nie tylko, dokąd trafiają żądania, lecz także jakie informacje proxy analizuje i dla których typów backendów stosuje wybór modeli.

Co Envoy ma robić dla ruchu agentów AI

Zwykły proxy warstwy aplikacyjnej (L7) może kierować ruch według adresu, metody i nagłówków. Google Cloud zwraca uwagę, że wybór modelu czy narzędzia bywa zapisany w treści żądania, a liczba zapytań nie mówi, ile tokenów zużywa model. Przy rozmowie z agentem znaczenie ma też kierowanie kolejnych tur do odpowiedniego zaplecza oraz kontrola wywołań narzędzi.

Obszar ruchuSygnał tradycyjnego proxy w opisie Google CloudFunkcja opisana dla Envoy
Wybór trasyAdres, metoda i nagłówki żądaniaAnaliza treści, by rozpoznać model lub żądanie MCP
LimityLiczba żądańLimity oparte na tokenach i budżety sesji
Obsługa modeluBezstanowe równoważenie ruchuWybór punktu obsługi modelu i powinowactwo do pamięci podręcznej
Kontrola narzędziStandardowe reguły routinguWywołania zewnętrznych mechanizmów polityk dla ruchu agentów

Google Cloud opisuje cztery grupy funkcji: analizę i przekształcanie treści żądań, limity uwzględniające tokeny, routing modeli i MCP oraz wywołania kontroli bezpieczeństwa. To sposób przedstawienia architektury przez firmę. Google Cloud

Jak działają opisane mechanizmy

Według Google Cloud proxy może ujednolicać żądania w formatach OpenAI, Anthropic i Gemini, a także odczytywać informacje o zużyciu tokenów ze strumieni odpowiedzi SSE. Ułatwia to zarządzanie ruchem do różnych modeli na wspólnej warstwie, ale sama obsługa wielu formatów nie oznacza, że każda integracja będzie działać bez dodatkowej konfiguracji.

Limity mogą dotyczyć tokenów na minutę (TPM) lub na dzień (TPD). Google opisuje szacowanie liczby tokenów wejściowych przed przekazaniem żądania do modelu, odczyt rzeczywistego zużycia z odpowiedzi oraz skumulowane budżety sesji. Po przekroczeniu limitu kolejne żądanie może zostać odrzucone kodem HTTP 429, zanim trafi do modelu.

Przy wyborze modelu Google wymienia Endpoint Picker oraz powinowactwo oparte na prefiksie pamięci podręcznej KV. Opisuje też ponowienia lub przejście do zapasowej puli modeli po awarii głównej puli albo odpowiedzi HTTP 429.

W routingu MCP Envoy ma korzystać z treści JSON-RPC 2.0 i nagłówków Mcp-Method oraz Mcp-Name. Google Cloud podaje, że niezgodność nagłówków z treścią żądania skutkuje odpowiedzią HTTP 400 i kodem -32020. Z kolei wywołania ext_proc mogą przekazywać kontrolę do Model Armor, ShieldGemma lub lokalnych klasyfikatorów. Google opisuje też współpracę z Agent Substrate przy kierowaniu ruchu do uśpionych środowisk agentów i ograniczaniu ruchu wychodzącego. Google Cloud

Jak wygląda architektura GDC air-gapped

W dokumentacji Google dla Google Distributed Cloud air-gapped Envoy Gateway implementuje Kubernetes Gateway API, a Envoy Agent Router odpowiada za przetwarzanie specyficzne dla AI. Dokumentacja podaje, że ten drugi komponent był wcześniej nazywany Envoy AI Gateway. Architektura działa w standardowym klastrze, wykorzystuje proxy Envoy z zewnętrznym procesorem i udostępnia jeden punkt końcowy zgodny z API OpenAI. Dokumentacja Google Distributed Cloud

To wdrożenie nie obejmuje ruchu MCP między agentem a narzędziem obsługiwanego przez MCPRoute. Poza zakresem są również zarządzane produkty gateway, wdrażanie i dostrajanie modeli oraz modalności inne niż LLM. Szerszy opis Google Cloud uwzględnia routing MCP, ale nie należy przypisywać tej funkcji tej konkretnej architekturze GDC.

Kiedy potrzebne są Redis i Endpoint Picker

W architekturze GDC globalne limity tokenów są opcjonalne. Jeśli zostaną skonfigurowane, Redis przechowuje wspólne liczniki dla replik proxy; bez globalnego limitowania Redis nie jest wymagany.

Endpoint Picker nie obsługuje każdego typu zaplecza w ten sam sposób. Wybór uwzględniający serwer modelu dotyczy backendów InferencePool. Dla AIServiceBackend proxy równoważy ruch między punktami końcowymi usługi.

Dokumentacja wskazuje, że komponenty gateway działają na węzłach CPU, a przepustowość i opóźnienia zależą od serwerów modeli. Jako wymagania dla tej architektury podaje Google Distributed Cloud air-gapped w wersji 1.16.2-hf1 lub nowszej oraz Kubernetes v1.32.13-gke.400 lub nowszy. InferenceObjective jest opisane jako API w wersji alfa, a wsparcie dla komponentów open source jako „best effort”. Dokumentacja Google Distributed Cloud