METR estime que le rythme de progression des modèles d’Anthropic sur ses benchmarks a été multiplié par 1,9 depuis un point de rupture situé au 7 octobre 2025. Cette évaluation, publiée le 5 novembre 2026 après onze semaines d’analyse, porte sur des tâches bien définies. Le chiffre de 12× rapporté séparément correspond à une amélioration individuelle autodéclarée par des employés, pas à la même mesure. METR détaille sa méthode et ses résultats.
Ce que mesure l’estimation de 1,9×
L’indice AECI (Anthropic Capability and Efficiency Index) rassemble des résultats obtenus sur différents benchmarks. Dans son estimation principale, METR compare le rythme de progression des scores avant et après le point de rupture qu’elle situe au 7 octobre 2025. Elle obtient un facteur de 1,9, avec un intervalle de confiance à 95 % de 1,5 à 2,8×.
Ce résultat décrit l’évolution des scores sur ces tâches de référence, pas une accélération générale de toute la recherche en IA. Il dépend aussi de la façon dont METR modélise la difficulté des tâches : avec d’autres fonctions de liaison, l’estimation va de 1,1 à 2,9×. Plusieurs autres tests de robustesse se regroupent plutôt autour de 1,9 à 2,2×.
Le 12× correspond à une autre mesure
En octobre 2026, des employés ont estimé dans des sondages informels qu’ils travaillaient en moyenne environ 12 fois plus vite avec le modèle interne le plus performant. METR qualifie ces réponses recueillies par sondage et sur Slack d’éléments très peu probants. Elles décrivent une perception individuelle, tandis que l’AECI mesure la progression des scores de modèles sur des benchmarks.
| Mesure | Valeur | Ce qu’elle décrit | Période et portée |
| Accélération AECI estimée par METR | 1,9× ; IC à 95 % de 1,5 à 2,8× | Le rythme de progression des scores sur les benchmarks étudiés | Depuis le point de rupture estimé au 7 octobre 2025 ; tâches bien définies |
| Gain individuel autodéclaré | Environ 12× en moyenne | La vitesse de travail estimée par les employés avec le modèle interne le plus performant | Sondages informels d’octobre 2026 ; éléments jugés très peu probants par METR |
Pour comprendre ces chiffres, séparez la progression des scores, le ressenti des employés et le volume de code : ces mesures ne décrivent pas la même chose.
Une IA qui assiste surtout les chercheurs
Selon l’évaluation de METR, l’IA a probablement expliqué la majorité de l’accélération observée en octobre 2026, peut-être autour de 80 %, mais cette estimation reste très incertaine. METR indique que l’assistance de l’IA contribuait davantage aux travaux de recherche et développement que des contributions entièrement autonomes. Elle ne jugeait pas ces dernières déterminantes dans les tâches les plus importantes d’entraînement des modèles ; les premiers signes de contributions autonomes variaient selon les domaines.
METR estime également que l’augmentation de l’échelle du calcul d’entraînement n’explique pas l’accélération mesurée. Les éléments qu’elle considère les plus informatifs ont en grande partie été caviardés dans la version publique du rapport.
Les chiffres de programmation publiés par Anthropic
Anthropic affirme que Claude a rédigé plus de 80 % du code intégré à sa base en mai 2026. L’entreprise indique aussi que, au deuxième trimestre 2026, la quantité de code intégrée par ingénieur et par jour était huit fois supérieure à celle de 2024. Anthropic précise que le volume de code mesure une quantité, pas sa qualité, et peut surestimer les gains de productivité. Ces indicateurs de programmation ne mesurent pas la progression des modèles sur les benchmarks de METR. Anthropic présente ses chiffres et leurs limites.
NeoTeo avait déjà évoqué une mise en garde distincte d’Anthropic dans son article sur le formulaire S-1/A. L’évaluation de METR porte ici sur les résultats de benchmark et le rôle de l’IA dans les travaux de recherche d’Anthropic.
