Dans un benchmark publié le 3 novembre 2026, Google Cloud rapporte que le routage Jev et Gemini 3.8 Flash réglé sur un niveau de réflexion faible ont chacun résolu 50 tâches sur 50. Le parcours avec Jev affiche un coût total et une latence moyenne inférieurs dans ce test, sans améliorer le nombre de tâches réussies. Google Cloud détaille la méthode et les résultats.
Comment Jev orientait les tâches vers Gemini
Jev, un classificateur à sortie structurée de TypeSafe, évaluait si une tâche nécessitait plusieurs calculs, étapes de simulation ou déductions logiques successifs. Dans le parcours testé, Gemini 3.5 Flash-Lite traitait d’abord les tâches; Jev signalait celles à transférer vers Gemini 3.8 Flash avec un niveau de réflexion faible.
Google rapporte que Jev concordait avec les étiquettes de difficulté attribuées manuellement pour 34 tâches sur 34 dans le sous-ensemble de test mis de côté, et pour 48 sur 50 sur l’ensemble du benchmark. Ces chiffres mesurent l’accord du classificateur sur la difficulté, pas le nombre de tâches de programmation résolues. Google précise que Jev est un exemple d’outil, sans partenariat avec TypeSafe.
Les deux configurations ont réussi les 50 tâches
Voici les résultats rapportés pour le parcours Jev et pour Gemini 3.8 Flash utilisé seul avec un niveau de réflexion faible :
| Configuration | Tâches résolues | Coût total pour les 50 tâches | Latence moyenne par tâche |
| Jev : Gemini 3.5 Flash-Lite, puis Gemini 3.8 Flash (réflexion faible) | 50/50 | 0,02287 $US | 1,90 s |
| Gemini 3.8 Flash (réflexion faible), sans routage | 50/50 | 0,02632 $US | 3,55 s |
Sur cette exécution, l’écart de coût est de 0,00345 $US, soit environ 13,1 % du total de la configuration sans routage. La latence moyenne est inférieure de 1,65 seconde par tâche, soit environ 46,5 %. Ces coûts sont les montants facturés pour le benchmark de 50 tâches, pas des tarifs généraux d’API.
Ce que le benchmark permet de comparer
Google Cloud a exécuté chaque configuration une seule fois sur 50 prompts répartis en sept catégories. La difficulté avait été attribuée manuellement et la correction reposait sur une évaluation automatique simple. Les chiffres décrivent donc ce test précis; ils ne permettent pas de conclure que le routage donnera les mêmes résultats avec d’autres tâches ou en production.
La mise en cache du contexte peut aussi peser dans le choix du parcours. Google indique que renvoyer un contexte mis en cache peut coûter 75 à 90 % moins cher, mais que chaque cache est lié à un modèle. Si un changement de modèle impose de gérer des caches distincts ou de renoncer à la remise, le routage peut perdre de son intérêt pour les tâches longues qui réutilisent beaucoup de contexte.
