Google voegde op 26 oktober 2026 resultaten voor Gemini 4 Argon toe aan Android Bench 2.0. De configuratie stond zesde in de ranglijst, met een slagingspercentage van 21,3%; Claude Fable 5.1 stond met 22,7% op de vijfde plaats. De getoonde prestatie-intervallen overlappen, dus de rangorde stelt op zichzelf geen statistisch significant verschil tussen beide vast.
De resultaten van 26 oktober
Googles Android Bench-ranglijst was bijgewerkt tot en met 26 oktober. De kosten zijn gemiddelden in Amerikaanse dollars per volledige benchmarkrun.
| Model en agent | Slagingspercentage | Verwacht prestatie-interval | Voltooiingspercentage | Gemiddelde latency (uur) | Gemiddelde kosten per volledige run (US$) |
| Claude Sonnet 5.5 (max), claude-code | 40,0% | 24,0–56,0% | 80,9% | 70,7 | 1.574,9 |
| Claude Opus 5.5 (max), claude-code | 37,3% | 22,0–52,0% | 85,6% | 56,6 | 1.150,3 |
| GPT 6.1 Sol (max), codex | 29,3% | 15,3–42,7% | 82,8% | 26,6 | 99,5 |
| GPT 6 Astra (high), codex | 28,0% | 13,3–42,0% | 82,2% | 7,9 | 375,7 |
| Claude Fable 5.1 (high), claude-code | 22,7% | 10,7–36,0% | 82,4% | 22,2 | 492,6 |
| Gemini 4 Argon (high), antigravity-sdk | 21,3% | 10,0–33,3% | 81,8% | 52,8 | 267,6 |
De intervallen van Claude Fable 5.1 en Gemini 4 Argon overlappen ruim. Google toont daarmee wel de volgorde van de resultaten, maar de cijfers stellen geen statistisch significant verschil tussen die twee configuraties vast.
GPT 6.1 Sol had met US$ 99,5 de laagste vermelde runkosten in de tabel. Claude Sonnet 5.5 kostte gemiddeld US$ 1.574,9 per volledige run, een verschil van US$ 1.475,4. Het slagingspercentage van GPT 6.1 Sol lag tegelijk 10,7 procentpunt lager: 29,3% tegenover 40,0% voor Sonnet 5.5. Dit zijn kosten per benchmarkrun, geen kosten per geslaagde taak.
Wat Android Bench 2.0 testte
Google beoordeelde 30 langlopende Android-taken: 9 opdrachten om apps te bouwen, 13 migraties, 6 opdrachten voor nieuwe functies en 2 appconversies tussen platforms. Elke taak kreeg vijf onafhankelijke runs. Google gebruikte containers met virtuele Android-apparaten, functionele controles en multimodale controles van de gebruikersinterface. Voor die visuele beoordeling gebruikte het Gemini 3.5 Flash.
De methodiek van Android Bench 2.0 definieert het slagingspercentage als het aandeel taken dat volledig wordt opgelost. Een run slaagt alleen met een perfecte score, geslaagde functionele tests, volledige visuele overeenstemming en geen overtredingen van de taakvoorwaarden.
Het voltooiingspercentage meet ook gedeeltelijke voortgang, waaronder runs die niet volledig slagen. Die score combineert functionele, regressie-, eisen- en visuele controles, met aftrek voor overtredingen. Zo tonen de 21,3% slagingspercentage en 81,8% voltooiingspercentage van Gemini 4 Argon verschillende aspecten van dezelfde reeks taken.
Kosten en latency hangen af van de uitvoering
Google waarschuwt dat de kosten en latency bruto metingen zijn. Een vroege mislukking kan het totale middelenverbruik en de looptijd drukken. De latency omvat netwerkverkeer; de kosten zijn gebaseerd op de API-prijzen van de aanbieders op het moment van uitvoering. Een lager bedrag per run betekent daardoor niet automatisch lagere kosten per geslaagde taak.
De zesde plaats beschrijft Gemini 4 Argon (high) in combinatie met antigravity-sdk op Googles Android-taken. In een eerdere forumdiscussie over Android Bench vroegen deelnemers naar de criteria en het belang van mislukte runs; een deelnemer waarschuwde dat Android-resultaten niet vanzelf gelden voor iOS- of FPGA-werk. De testresultaten vormen een vergelijking van Android-engineeringtaken, geen algemene rangschikking van programmeermodellen.
