In einem am 3. November veröffentlichten Beitrag berichtet Google Cloud von einem 50-Aufgaben-Test: Jev-Routing und Gemini 3.8 Flash mit niedrigem Thinking-Level lösten jeweils alle 50 Programmieraufgaben. Im Testlauf waren die Gesamtkosten und die mittlere Latenz beim Routing niedriger, die Erfolgsquote blieb gleich. Google Cloud beschreibt den Benchmark und seine Ergebnisse.
Wie Jev Aufgaben an Gemini weiterleitete
Der getestete Router schickte Aufgaben zunächst an Gemini 3.5 Flash-Lite. Jev, ein Klassifikator von TypeSafe, prüfte, ob eine Aufgabe mehrere aufeinanderfolgende Berechnungs-, Simulations- oder Denkschritte erforderte. Als komplex eingestufte Aufgaben leitete der Router an Gemini 3.8 Flash mit niedrigem Thinking-Level weiter.
Google erklärte, dass keine Partnerschaft mit TypeSafe besteht, und führte Jev als Beispiel an, nicht als Empfehlung. Im Test stimmte Jev bei allen 34 Aufgaben der zurückgehaltenen Testgruppe und bei 48 von 50 Aufgaben insgesamt mit der manuell vergebenen Schwierigkeitseinstufung überein.
Gleiche Erfolgsquote, geringere Kosten und Latenz
| Konfiguration | Gelöste Aufgaben | Gesamtkosten im 50-Aufgaben-Lauf | Mittlere Latenz je Aufgabe |
| Jev-Routing: Gemini 3.5 Flash-Lite, komplexe Aufgaben an Gemini 3.8 Flash mit niedrigem Thinking-Level | 50/50 | 0,02287 US-Dollar | 1,90 Sekunden |
| Gemini 3.8 Flash mit niedrigem Thinking-Level, ohne Router | 50/50 | 0,02632 US-Dollar | 3,55 Sekunden |
Der Kostenvorteil im Testlauf betrug rund 13,1 Prozent. Die mittlere Latenz lag beim Routing 1,65 Sekunden je Aufgabe niedriger, etwa 46,5 Prozent. Der Router steigerte also nicht die Zahl gelöster Aufgaben; er benötigte in diesem Vergleich weniger Geld und Zeit.
Flash-Lite allein beantwortete alle einfachen Aufgaben, verfehlte aber sechs von 25 schwierigen. Jev markierte diese sechs im Test für die Weiterleitung. Das veranschaulicht, worauf die Routing-Logik zielte: einfache Aufgaben beim kleineren Modell zu belassen und schwierigere an die andere Gemini-Konfiguration zu geben.
Was der Benchmark über andere Arbeitslasten aussagt
Google Cloud testete 50 Prompts aus sieben Aufgabenbereichen, ordnete den Schwierigkeitsgrad manuell zu und bewertete die Ergebnisse mit einem einfachen automatischen Verfahren. Jede Konfiguration lief einmal. Die gemessenen Kosten und Zeiten beziehen sich daher auf diesen konkreten Aufgabenmix.
Bei längeren Aufgaben mit viel Kontext kann außerdem das Context Caching eine Rolle spielen. Google zufolge kostet das erneute Senden zwischengespeicherten Kontexts 75 bis 90 Prozent weniger; ein Cache ist jedoch an ein einzelnes Modell gebunden. Ein Wechsel zwischen Flash-Lite und Flash kann getrennte Caches erfordern oder den Preisvorteil des Cachings entfallen lassen.
