Dans sa mise à jour du 26 octobre 2026, Google classe Gemini 4 Argon sixième parmi les configurations affichées dans Android Bench 2.0, avec un taux de réussite de 21,3 %. Claude Fable 5.1 le précède à 22,7 %. Ce classement porte sur des tâches d’ingénierie Android, pas sur la programmation en général.
Gemini 4 Argon est sixième dans le classement de Google
La ligne de Gemini 4 Argon associe le modèle en mode « high » à l’agent antigravity-sdk. Google lui attribue aussi un taux d’achèvement de 81,8 %, une latence moyenne de 52,8 heures et un coût moyen de 267,6 $ US par exécution complète du benchmark.
| Modèle et agent | Taux de réussite | Intervalle affiché | Taux d’achèvement | Latence moyenne | Coût moyen par exécution complète |
Claude Sonnet 5.5 (max), claude-code | 40,0 % | 24,0 à 56,0 % | 80,9 % | 70,7 h | 1 574,9 $ US |
Claude Opus 5.5 (max), claude-code | 37,3 % | 22,0 à 52,0 % | 85,6 % | 56,6 h | 1 150,3 $ US |
GPT 6.1 Sol (max), codex | 29,3 % | 15,3 à 42,7 % | 82,8 % | 26,6 h | 99,5 $ US |
GPT 6 Astra (high), codex | 28,0 % | 13,3 à 42,0 % | 82,2 % | 7,9 h | 375,7 $ US |
Claude Fable 5.1 (high), claude-code | 22,7 % | 10,7 à 36,0 % | 82,4 % | 22,2 h | 492,6 $ US |
Gemini 4 Argon (high), antigravity-sdk | 21,3 % | 10,0 à 33,3 % | 81,8 % | 52,8 h | 267,6 $ US |
Les intervalles affichés pour Claude Fable 5.1 et Gemini 4 Argon se chevauchent : celui de Fable va de 10,7 à 36,0 %, celui d’Argon de 10,0 à 33,3 %. L’ordre du tableau est net, mais ces valeurs ne suffisent pas à établir que l’écart de 1,4 point entre leurs taux de réussite est statistiquement significatif.
Trente tâches et cinq essais par tâche
Android Bench 2.0 évalue 30 tâches longues de développement Android : 9 créations d’applications, 13 migrations, 6 ajouts de fonctionnalités et 2 conversions d’applications multiplateformes. Google fait exécuter chaque tâche cinq fois, dans des environnements conteneurisés avec des appareils Android virtuels.
Le taux de réussite mesure la part des tâches entièrement résolues. Pour qu’un essai soit réussi, il doit obtenir le score maximal, passer les tests fonctionnels, respecter les exigences visuelles et ne violer aucune contrainte. Le taux d’achèvement, lui, rend compte de la progression même lorsqu’une tâche n’est pas entièrement réussie; son calcul tient compte des fonctions, des régressions, des exigences et des vérifications visuelles.
Ces deux taux répondent donc à des questions différentes. Pour Gemini 4 Argon, 21,3 % des tâches ont satisfait tous les critères de réussite, tandis que son taux d’achèvement de 81,8 % mesure le degré de progression selon le barème continu de Google.
Coût et latence dépendent aussi des conditions d’exécution
Les coûts du tableau sont ceux d’une exécution complète du benchmark, calculés selon les tarifs d’API des fournisseurs au moment des essais. Ce ne sont ni des tarifs d’abonnement ni des coûts par tâche réussie. Google précise aussi que les échecs précoces peuvent réduire les ressources consommées. La latence moyenne inclut le temps de transit sur le réseau.
L’écart de coût entre GPT 6.1 Sol et Claude Sonnet 5.5 est de 1 475,4 $ US par exécution complète, tandis que leurs taux de réussite diffèrent de 10,7 points : 29,3 % pour GPT 6.1 Sol contre 40,0 % pour Sonnet 5.5. Cette comparaison porte sur les chiffres bruts du benchmark; elle ne mesure pas le coût nécessaire pour obtenir une tâche réussie.
Android Bench 2.0 classe des configurations modèle-agent sur des tâches Android précises. Son classement ne mesure pas les performances sur iOS, sur d’autres domaines de programmation ou dans tous les usages du développement logiciel.
