Google Cloud rapporteert dat zowel Jev-routering als Gemini 3.8 Flash met een lage denkstand alle 50 programmeertaken oploste. In die ene benchmarkrun kostte de Jev-route minder en lag de gemiddelde latentie lager; het aantal opgeloste taken was gelijk. Google Cloud beschrijft de test en resultaten.
Wat Jev beoordeelde en hoe de route werkte
De geteste classifier beoordeelde of een taak meer dan één opeenvolgende berekening, simulatiestap of logische afleiding vereiste. Jev stuurde taken eerst naar Gemini 3.5 Flash-Lite. Taken die het als complex aanmerkte, gingen door naar Gemini 3.8 Flash met een lage denkstand.
Jev is een classifier van TypeSafe. Google meldt dat het geen samenwerking met TypeSafe heeft. In de test stemde Jev overeen met de handmatig toegekende moeilijkheidslabels voor 34 van de 34 ongeziene taken en voor 48 van de 50 taken in totaal. Dat is de overeenstemming van de classifier met die labels, niet het aantal taken dat het model oploste. Flash-Lite alleen loste alle eenvoudige taken op, maar miste 6 van de 25 moeilijke taken; Jev stuurde die zes door naar de zwaardere configuratie.
Twee configuraties haalden 50 van de 50
| Configuratie | Opgeloste taken | Totale kosten van de benchmarkrun (USD) | Gemiddelde latentie per taak |
| Jev: Gemini 3.5 Flash-Lite, met opschaling naar Gemini 3.8 Flash op lage denkstand | 50/50 | US$ 0,02287 | 1,90 seconde |
| Gemini 3.8 Flash, steeds op lage denkstand | 50/50 | US$ 0,02632 | 3,55 seconden |
De gerapporteerde kosten zijn totalen voor de test met 50 taken, geen algemene API-tarieven. In deze vergelijking waren de totale kosten en gemiddelde latentie lager met Jev-routering, terwijl beide configuraties evenveel taken oplosten.
Testomvang en contextcaching
Google Cloud testte 50 prompts, verdeeld over zeven taakcategorieën, met handmatig toegekende moeilijkheidslabels en eenvoudige automatische beoordeling. Elke configuratie werd één keer uitgevoerd. Google merkt ook op dat promptlengte, contextcaching en productiebelasting de gemeten kosten en latentie kunnen beïnvloeden.
Contextcaching kan volgens Google de kosten voor het opnieuw versturen van opgeslagen context met 75 tot 90 procent verlagen. Een cache is wel aan één model gebonden. Een agent die tussen Flash-Lite en Flash wisselt, kan daarom aparte caches nodig hebben of de korting mislopen. Dat maakt de korte, zelfstandige taken uit de benchmark een andere situatie dan lange agentbeurten met veel hergebruikte context.
