Op 5 november 2026 publiceerde Model Evaluation and Threat Research (METR) een beoordeling waarin de organisatie schat dat Anthropic zijn modelscores op goed afgebakende taken rond 1,9 keer zo snel verbeterde als in de periode van maart 2024 tot oktober 2025. Het gaat om de groei van benchmarkscores, niet om een algemene maat voor alle modellen of toepassingen. Het 95%-betrouwbaarheidsinterval voor de hoofds schatting loopt van 1,5× tot 2,8×. METR
Wat de 1,9×-schatting meet
METR berekende de trend met AECI, Anthropic’s versie van de Epoch Capabilities Index. Die index brengt scores op interne en externe benchmarks samen. Een benchmark is een toets waarmee een model op afgebakende taken wordt beoordeeld.
De schatting beschrijft hoe snel de AECI-scores vanaf oktober 2025 stegen ten opzichte van de eerdere trend. METR stelde die trends vast met lineaire lijnen voor twee perioden en legde het belangrijkste omslagpunt op 7 oktober 2025. De uitkomst betekent dus dat de benchmarkscores in het latere deel van de vergelijking sneller groeiden. Ze zegt niet dat elk model of elke vaardigheid van Anthropic in een jaar bijna verdubbelde.
Lees de 1,9× als een schatting van het groeitempo van AECI-scores op goed afgebakende taken.
De betrouwbaarheidsmarge is iets anders dan methodologische gevoeligheid
Het 95%-betrouwbaarheidsinterval van 1,5× tot 2,8× hoort bij de hoofds schatting van 1,9×. Het geeft de statistische onzekerheid rond die schatting weer. Het omvat geen onzekerheid over welke modellen in de analyse zijn opgenomen.
METR testte daarnaast andere aannames over de relatie tussen benchmarkprestaties en de index. Die gevoeligheidsanalyse leverde schattingen op van 1,1× tot 2,9×. Dat is een aparte maat voor de invloed van methodologische keuzes, geen alternatief betrouwbaarheidsinterval. METR waarschuwt ook dat benchmarks voor goed afgebakende taken niet zonder meer voorspellen hoe modellen in de praktijk presteren.
Hoe zeker is de rol van AI?
METR schatte, met aanzienlijke onzekerheid, dat AI mogelijk verantwoordelijk was voor een meerderheid van de versnelling in oktober 2026, misschien ongeveer 80%. Dat is een oordeel op basis van interne informatie, interviews en zelfrapportages, geen gecontroleerde meting van oorzaak en gevolg. METR dacht bovendien dat factoren buiten AI waarschijnlijk bijdroegen aan de versnelling eind 2025. Snellere groei van de schaal van de trainingscompute verklaarde de versnelling volgens METR niet.
De beoordeling maakt ook onderscheid tussen AI-ondersteuning en zelfstandige ontwikkeling. METR schreef dat AI nog geen zeer grote, volledig autonome bijdragen leverde aan de belangrijkste fasen van modeltraining.
Wat METR kon beoordelen
METR voerde de beoordeling uit van 12 augustus tot 29 oktober 2026. De organisatie kreeg interne benchmarkgegevens en andere bedrijfsinformatie en sprak met medewerkers, maar kon de niet-uitgebrachte modellen niet rechtstreeks bevragen.
Anthropic had het recht om vertrouwelijke informatie eenzijdig uit de openbare rapportage te redigeren. METR zei dat daardoor veel van het bewijs dat de organisatie het meest informatief vond niet in het publieke rapport terechtkwam. De beoordeling bevat daarmee METR’s analyse van gedeelde interne gegevens, terwijl lezers de onderliggende modellen niet zelf konden bevragen.
