Model Evaluation and Threat Research (METR) oszacował, że do października 2026 r. wyniki benchmarków Anthropic dla ściśle określonych zadań rosły w tempie 1,9 raza wyższym niż przed październikiem 2025 r. Chodzi o tempo wzrostu wskaźnika AECI, nie o uniwersalne podwojenie możliwości każdego modelu. METR opublikował ocenę 5 listopada w swoim raporcie.
Wartość 1,9× opisuje tempo wzrostu wyników AECI, a nie zmianę każdej zdolności modelu.
Co mierzy szacunek 1,9×
AECI to opracowana przez Anthropic wersja wskaźnika Epoch Capabilities Index. METR analizował wyniki wewnętrznych modeli w zestawie benchmarków. Benchmark to ustandaryzowany test pozwalający porównywać wyniki modeli w określonych zadaniach.
Szacunek 1,9× odnosi się do tempa wzrostu wyników AECI od października 2025 r. w porównaniu z wcześniejszym trendem. W podsumowaniu METR zestawia tempo z okresu do października 2026 r. z okresem od marca 2024 r. do października 2025 r. Obrazowe ujęcie tego wyniku: w ciągu roku benchmarki mogły odnotować postęp odpowiadający mniej więcej dwóm latom wcześniejszego tempa. To nadal opis wyników w badanych zadaniach, a nie miara całej użyteczności modeli w świecie rzeczywistym.
METR dopasował do wyników dwa odcinki trendu liniowego, rozdzielone punktem zmiany przypadającym na 7 października 2025 r. Taki sposób analizy szacuje, jak zmieniało się tempo wzrostu wyników przed tym punktem i po nim.
Przedział ufności i wrażliwość metody
Dla głównego szacunku 1,9× METR podał 95-procentowy przedział ufności od 1,5× do 2,8×. Osobno sprawdził, jak wynik zmienia się przy zastosowaniu alternatywnych funkcji łączących, czyli sposobów przeliczania wyników benchmarków na wspólną skalę. Ta analiza wrażliwości dała zakres od 1,1× do 2,9×.
Te zakresy odpowiadają na różne pytania: przedział ufności dotyczy niepewności głównego oszacowania, a zakres wrażliwości pokazuje, jak wynik zależy od wyboru funkcji łączącej. METR zaznaczył też, że rzeczywiste przyspieszenie mogło być bliższe 1,3× albo 3×. To jego szersza, subiektywna ocena niepewności, a nie kolejny przedział ufności.
Jaką rolę METR przypisuje AI
METR ocenia, że większość przyspieszenia z października 2026 r., być może około 80 proc., wynikała z wykorzystania AI. To osąd oparty na wewnętrznych informacjach, rozmowach i samoocenach pracowników, obarczony znaczną niepewnością. METR uważa zarazem, że na przyspieszenie pod koniec 2025 r. prawdopodobnie wpłynęły czynniki niezwiązane z AI. Według organizacji szybszy wzrost skali obliczeń treningowych nie wyjaśnia zaobserwowanej zmiany tempa.
W ankiecie przeprowadzonej w Slacku w październiku 2026 r. pracownicy szacowali średnio około 12-krotny wzrost własnej wydajności dzięki AI przy pracy nad najbardziej zaawansowanym modelem wewnętrznym. METR określił te odpowiedzi jako luźne i potencjalnie niereprezentatywne. Nie są one miarą wzrostu zdolności modeli ani tempem rozwoju całej firmy.
METR napisał również, że AI nie wnosiło jeszcze bardzo znaczącego, w pełni autonomicznego wkładu w najważniejsze etapy trenowania modeli. Wśród rozmówców pojawiały się wstępne sygnały, że rola AI może wzrosnąć.
Zakres oceny i dostęp do danych
METR prowadził ocenę od 12 sierpnia do 29 października 2026 r. Organizacja analizowała udostępnione przez Anthropic wyniki benchmarków i inne wewnętrzne informacje oraz rozmawiała z pracownikami. Nie miała dostępu do bezpośredniego odpytywania niewydanych modeli.
Anthropic miało jednostronne prawo do redagowania niepublicznych informacji przed publikacją. METR poinformował, że redakcje zasłoniły znaczną część materiału uznanego przez niego za najbardziej informacyjny. Organizacja zaznaczyła też, że AECI może nie odzwierciedlać dobrze wpływu modeli na rzeczywiste zadania, a wyników dla zadań ściśle określonych nie należy automatycznie przenosić na szersze zastosowania.
