Nel benchmark di Google Cloud, Jev e Gemini 3.8 Flash con thinking impostato su low hanno risolto entrambi tutti e 50 i task. Nella singola esecuzione riportata, il routing ha avuto un costo totale inferiore e una latenza media più bassa. Sergio Villani ha descritto il confronto in un articolo pubblicato il 3 novembre 2026.
Come funzionava il routing con Jev
Jev, un classificatore a output strutturato di TypeSafe, valutava se un task richiedesse più di un calcolo, passaggio di simulazione o deduzione logica in sequenza. Il percorso testato inviava prima i task a Gemini 3.5 Flash-Lite; quelli segnalati come complessi passavano poi a Gemini 3.8 Flash con il livello di thinking impostato su low.
Nel test, Jev ha concordato con le etichette di difficoltà assegnate manualmente su 34 dei 34 task del sottoinsieme di verifica e su 48 dei 50 task complessivi. Questi valori misurano l’accordo sulle etichette, mentre il risultato 50/50 indica quanti task ha risolto ciascuna configurazione.
Google dichiara di non avere una partnership con TypeSafe e presenta Jev come esempio, non come propria soluzione o raccomandazione.
Jev e Gemini 3.8 Flash hanno entrambi risolto 50 task
Il confronto più diretto è tra il percorso Jev e l’esecuzione di Gemini 3.8 Flash con thinking basso su tutti i task. Entrambe le configurazioni hanno ottenuto 50 successi su 50; Google riporta per Jev un costo e una latenza medi inferiori.
| Configurazione | Task risolti su 50 | Costo totale del test | Latenza media per task |
| Jev: Gemini 3.5 Flash-Lite, con passaggio a Gemini 3.8 Flash (thinking low) | 50/50 | 0,02287 US$ | 1,90 s |
| Gemini 3.8 Flash, thinking low | 50/50 | 0,02632 US$ | 3,55 s |
La differenza riportata equivale a circa il 13% in meno sul costo totale e il 46% in meno sulla latenza media rispetto alla configurazione sempre su Gemini 3.8 Flash. Sono importi complessivi e tempi medi di quella prova, non tariffe API generali.
Il campione e la cache del contesto delimitano il risultato
Google ha eseguito una sola prova per configurazione, su 50 prompt di programmazione divisi in sette categorie. La difficoltà era assegnata manualmente e la valutazione dei risultati era automatica e semplice: il confronto descrive quindi quel test, non una misura generale del comportamento degli agenti in produzione.
Il routing può anche incidere sull’uso della cache del contesto. Google riferisce che reinviare un contesto memorizzato può costare dal 75% al 90% in meno, ma ogni cache appartiene a un singolo modello. Un passaggio da Gemini 3.5 Flash-Lite a Gemini 3.8 Flash può richiedere cache separate o far perdere lo sconto, un fattore da considerare soprattutto nei turni lunghi con molto contesto.
