W pojedynczym benchmarku Google Cloud router Jev oraz Gemini 3.8 Flash z niskim poziomem myślenia rozwiązały po 50 z 50 zadań. Wariant z routerem miał niższy łączny koszt i krótszy średni czas na zadanie, ale nie poprawił wyniku skuteczności.
Jak Jev kierował zadania do modeli Gemini
Jev oceniał, czy zadanie wymaga więcej niż jednego kolejnego obliczenia, kroku symulacji lub wnioskowania logicznego. Na tej podstawie testowana ścieżka najpierw przekazywała zadania do Gemini 3.5 Flash-Lite, a te uznane za złożone kierowała do Gemini 3.8 Flash z ustawieniem thinkingLevel: "LOW".
W teście Jev zgodził się z ręcznie przypisanymi etykietami trudności w przypadku 34 z 34 zadań z zestawu testowego i 48 z 50 z całego zbioru. Sam Gemini 3.5 Flash-Lite rozwiązał wszystkie łatwe zadania, ale nie poradził sobie z sześcioma z 25 trudnych. Jev skierował te sześć zadań do mocniejszej konfiguracji. Google Cloud wskazuje, że Jev jest klasyfikatorem firmy TypeSafe i nie łączy go z nią partnerstwo.
Router i konfiguracja bez routingu uzyskały ten sam wynik
Google Cloud podało takie same wyniki skuteczności dla obu konfiguracji. W porównaniu 50 zadań router Jev kosztował 0,02287 USD łącznie i osiągnął średnie opóźnienie 1,90 sekundy na zadanie. Gemini 3.8 Flash używany zawsze z niskim poziomem myślenia kosztował 0,02632 USD, a średnie opóźnienie wyniosło 3,55 sekundy.
| Konfiguracja | Rozwiązane zadania | Łączny koszt tego przebiegu | Średnie opóźnienie na zadanie |
Jev: Gemini 3.5 Flash-Lite, a zadania uznane za złożone przekazane do Gemini 3.8 Flash z thinkingLevel: "LOW" | 50/50 | 0,02287 USD | 1,90 s |
Gemini 3.8 Flash z thinkingLevel: "LOW" bez routingu | 50/50 | 0,02632 USD | 3,55 s |
Podane kwoty to łączny koszt tych konfiguracji w benchmarku, a nie cennik API. Wynik pokazuje, że w tym przebiegu routing obniżył koszt i średnie opóźnienie przy tej samej liczbie rozwiązanych zadań.
Granice wyników i wpływ pamięci podręcznej
Benchmark obejmował 50 promptów z siedmiu kategorii. Google Cloud ręcznie przypisało zadaniom poziom trudności, zastosowało prostą automatyczną ocenę i wykonało po jednym przebiegu dla każdej konfiguracji. Wyniki opisują ten konkretny test; nie przesądzają, jak routing sprawdzi się przy innych zadaniach lub obciążeniu produkcyjnym.
Przeprowadzona przez Google Cloud próba z limitem wyjścia również pokazuje, że samo skrócenie odpowiedzi nie zastąpiło routingu w tym teście. Przy domyślnym ustawieniu myślenia limit 300 tokenów nie zmniejszył istotnie średniej liczby tokenów myślenia w 27 łatwych zadaniach: wyniosła ona 185,6 wobec 179,7 przy limicie 4096 tokenów. Wśród 25 trudnych zadań konfiguracja z limitem 300 tokenów nie rozwiązała siedmiu.
Przy długich zadaniach z dużą ilością kontekstu znaczenie ma też pamięć podręczna. Google Cloud podaje, że ponowne przesłanie kontekstu z pamięci podręcznej może kosztować o 75–90% mniej, ale pamięć jest przypisana do konkretnego modelu. Przełączanie między modelami może więc wymagać osobnych pamięci podręcznych albo pozbawić część kontekstu tej zniżki.
