Schaal een GKE-nodepool op basis van de capaciteit die actieve of nog niet geschorste agents bezet houden, niet op basis van het aantal open sessies. Een agentsessie kan tussen prompts blijven bestaan terwijl de sandbox die het werk uitvoert idle is; door die sandbox te parkeren, komt de worker vrij voor ander werk.

Waarom een open agentsessie niet gelijkstaat aan een bezette worker

Een sessie bewaart de interactie met de gebruiker, maar de rekenomgeving hoeft niet onafgebroken te draaien. Bij Agent Substrate is een actor de geïsoleerde sandbox van een agent; een worker is een herbruikbare Kubernetes-pod waarop meerdere actors kunnen draaien. SuspendActor legt een idle actor vast in objectopslag en maakt diens worker vrij. De agentharnas of een dienst ervoor moet de suspend-aanroep zelf doen zodra de ingestelde idle-time-out afloopt, zoals Google beschrijft in zijn GKE-model.

Het verschil is praktisch: tel je alle open sessies alsof ze continu een worker bezetten, dan houd je capaciteit gereserveerd terwijl de gebruiker mogelijk op een volgend antwoord wacht. Maar zet je een omgeving simpelweg terug naar nul, dan kan ook de processtatus verloren gaan. Google beschrijft voor AX een andere hervatroute: een volumesnapshot bewaart /workspace, terwijl agentprocessen na hervatten opnieuw starten (AX-runnerhandleiding).

Hoeveel capaciteit houden sessies werkelijk bezet?

Dat hangt onder meer af van het prompttempo en de idle-time-out. In Googles rekenvoorbeeld werken 100 codeeragenten gemiddeld met twee prompts per uur tijdens een werkdag van acht uur. Het model rekent dan met 22% werktijd. Met een idle-time-out van twee minuten houdt een sessie volgens hetzelfde model bijna 29% van de tijd een worker vast: de worker blijft dus ook na het actieve werk nog even bezet.

Voor een piekpool kiest Google de 99e percentielwaarde van het aantal gelijktijdig worker-bezet houdende sessies en telt daar 15% marge bij op. Die berekening veronderstelt dat sessies onafhankelijk van elkaar actief worden. Als veel agents tegelijk werk krijgen, kan een pool die op gemiddelde activiteit is afgestemd alsnog vollopen.

Baseer je poolgrootte op gelijktijdige workerbezetting en de gekozen idle-time-out; het aantal open sessies alleen vertelt niet hoeveel rekenkracht nodig is.

Wat gebeurt er als een actor geen worker kan krijgen?

Agent Substrate v1.0 parkeert hervatverzoeken standaard en probeert tijdelijke fouten door capaciteitstekort of onbeschikbaarheid van het control plane opnieuw. De standaardlimiet is vijf seconden per hervattingspoging. Dat is een begrensd retrybudget; een HTTP 503 kan volgen als de capaciteit binnen die limiet niet beschikbaar komt. De standaard parkeerwachtrij kan maximaal 1.024 verzoeken tegelijk bevatten; ook wanneer die vol is, kan een verzoek een 503 krijgen (de documentatie over request parking).

Voor de planning van workers telt ook hoe Agent Substrate actors plaatst. Een actor heeft CPU- en geheugenlimieten nodig; een worker moet genoeg vrije, gedeelde capaciteit hebben voor die limieten plus de runtime-overhead. De API-handleiding baseert die plaatsing dus op actorlimieten, niet op Kubernetes-podrequests (de handleiding voor actor- en workercapaciteit).

Een GPU-worker maakt een GPU bovendien niet automatisch beschikbaar binnen een actor. De Agent Substrate v1.0-handleiding vermeldt dat GPU-apparaten voor actors tijdelijk niet worden ondersteund.

Wat Googles kostenmodel voor nodepools raamt

Voor 100 codeeragenten vergelijkt Google een configuratie met één pod van 1 vCPU en 1 GiB geheugen per sessie met een pool waarin idle sessies worden geparkeerd. Bij twee prompts per uur raamt het model bijna 40% lagere nodekosten voor parkeren. Bij vier prompts per uur is de geraamde besparing 4%; boven ongeveer vier prompts per uur komt één pod per sessie volgens het model voordeliger uit. Dit zijn uitkomsten van Googles model, gebaseerd op de genoemde werklast en on-demand lijstprijzen voor us-central1 in november 2026, geen universele poolinstellingen.

In de configuratie met één pod per sessie raamt Google 34 c3-standard-4-nodes en ongeveer US$ 1.288 per maand. Een aparte nodevergelijking brengt het aantal terug van 34 naar 16. Een gedetailleerd burstmodel beschrijft daarnaast 15 warme nodes en één permanent actieve node voor het control plane en PostgreSQL. Dat zijn verschillende uitwerkingen binnen het model, geen vaste richtlijn voor elke GKE-omgeving.

Bij 2,5 prompts per uur is de pool van 15 warme nodes in het model tijdens 3% van de beurten verzadigd. Bij vier prompts per uur groeit de pool naar 27 nodes, werkt de agent 44% van het uur en resteert de geraamde besparing van 4%. Google adviseert prompttempo’s te meten aan de hand van een week aan gatewaylogs en het drukste uur met het modelmatige omslagpunt te vergelijken.