W tabeli Google z 26 października 2026 r. konfiguracja Gemini 4 Argon (high) z agentem antigravity-sdk zajęła szóste miejsce w Android Bench 2.0. Jej odsetek zaliczeń wyniósł 21,3%. Claude Fable 5.1 (high) z agentem claude-code znalazł się na piątym miejscu z wynikiem 22,7%.[^1]
Wyświetlane przedziały wyników tych konfiguracji nakładają się: dla Claude Fable 5.1 wynoszą 10,7–36,0%, a dla Gemini 4 Argon 10,0–33,3%. Tabela pokazuje kolejność i wyniki, ale sama nie przesądza, czy różnica między nimi jest statystycznie istotna.
Wyniki Android Bench 2.0 z 26 października
Google podało wyniki sześciu konfiguracji modeli i agentów. Średni koszt dotyczy pełnego uruchomienia benchmarku i jest wyrażony w dolarach amerykańskich.
| Model i agent | Odsetek zaliczeń | Wyświetlany przedział wyniku | Stopień ukończenia | Średni czas | Średni koszt pełnego uruchomienia |
| Claude Sonnet 5.5 (max) / claude-code | 40,0% | 24,0–56,0% | 80,9% | 70,7 godz. | $1 574,9 |
| Claude Opus 5.5 (max) / claude-code | 37,3% | 22,0–52,0% | 85,6% | 56,6 godz. | $1 150,3 |
| GPT 6.1 Sol (max) / codex | 29,3% | 15,3–42,7% | 82,8% | 26,6 godz. | $99,5 |
| GPT 6 Astra (high) / codex | 28,0% | 13,3–42,0% | 82,2% | 7,9 godz. | $375,7 |
| Claude Fable 5.1 (high) / claude-code | 22,7% | 10,7–36,0% | 82,4% | 22,2 godz. | $492,6 |
| Gemini 4 Argon (high) / antigravity-sdk | 21,3% | 10,0–33,3% | 81,8% | 52,8 godz. | $267,6 |
Co sprawdza Android Bench 2.0
Google oceniało 30 długich zadań związanych z programowaniem na Androida: 9 polegało na tworzeniu aplikacji, 13 na migracji, 6 na dodawaniu funkcji, a 2 na konwersji aplikacji między platformami. Każde zadanie wykonywano pięć razy w niezależnych próbach.[^2]
Testy działały w środowiskach kontenerowych i na wirtualnych urządzeniach z Androidem. Google stosowało deterministyczne testy funkcjonalne oraz multimodalną ocenę interfejsu. Wizualną zgodność sprawdzał Gemini 3.5 Flash, odrębny od konfiguracji modeli ocenianych w rankingu.
Jak rozumieć wyniki, czas i koszt
Odsetek zaliczeń oznacza udział zadań ukończonych w pełni. Do zaliczenia potrzebny był idealny wynik, pozytywne przejście testów funkcjonalnych, pełna zgodność wizualna i brak naruszeń ograniczeń zadania. Stopień ukończenia to miara ciągła, która uwzględnia także częściowy postęp; składają się na nią oceny funkcjonalności, regresji, wymagań i wyglądu oraz kary.
Dlatego odsetek zaliczeń i stopień ukończenia opisują różne rezultaty. Gemini 4 Argon uzyskał 21,3% zaliczeń i 81,8% stopnia ukończenia. Ten drugi wynik pokazuje postęp także w próbach, które nie spełniły wszystkich warunków pełnego zaliczenia.
Koszt i czas są średnimi wartościami dla pełnego uruchomienia benchmarku, a nie kosztem pojedynczego rozwiązania ani ceną abonamentu. Google zaznacza, że wczesne niepowodzenie może obniżyć łączne zużycie zasobów. Czas obejmuje przesył danych przez sieć, a koszt zależy od cen API dostawców obowiązujących podczas testu.
Widać to w zestawieniu GPT 6.1 Sol i Claude Sonnet 5.5. Średni koszt pełnego uruchomienia wyniósł odpowiednio 99,5 i 1 574,9 dolara, czyli różnił się o 1 475,4 dolara. GPT 6.1 Sol miał jednocześnie o 10,7 punktu procentowego niższy odsetek zaliczeń: 29,3% wobec 40,0%. Ta różnica kosztów nie jest miarą kosztu jednego poprawnie rozwiązanego zadania.
Co ten ranking mówi o kodowaniu z AI
Android Bench 2.0 mierzy wyniki konfiguracji modeli i agentów w zadaniach inżynierii Androida. Nie jest to uniwersalny ranking zdolności programistycznych: wyników z tego zestawu nie można automatycznie przenosić na inne platformy ani dziedziny programowania.
Podczas lipcowej dyskusji o wcześniejszej aktualizacji benchmarku komentujący na forum Ars Technica pytali o kryteria testu i przejrzystość jego zaplecza. Zwracali też uwagę, że wyniki z Androida nie muszą opisywać pracy w innych dziedzinach programowania. Są to opinie uczestników dyskusji, a nie wyniki Android Bench.
[^1]: Tabela wyników Android Bench [^2]: Metodologia Android Bench 2.0
