METR ocenił, że do października 2026 r. możliwości modeli Anthropic w dobrze określonych zadaniach rozwijały się mniej więcej dwa razy szybciej niż od marca 2024 do października 2025. Osobna analiza benchmarków AECI wskazała na trend szybszy 1,9 raza od października 2025 r. To wyniki dotyczące postępów w zadaniach testowych, a nie miara całego rozwoju AI. METR opublikował ocenę 5 listopada 2026 r.
W szerszym kontekście debaty o tempie rozwoju AI mieści się także propozycja Daria Amodeia, by spowolnić rozwój zaawansowanych modeli. Ocena METR dotyczy jednak konkretnych trendów w modelach Anthropic i różnych sposobów mierzenia ich postępów.
Co oznaczają liczby 2x, 1,9x i 12x?
Każda z tych liczb opisuje coś innego. METR zaznaczył, że jego szerszy szacunek mógłby być bliższy 1,3x albo 3x. Liczba 12x pochodzi zaś z nieformalnych ankiet pracowników, a nie z analizy trendu benchmarków.
| Wynik | Co opisuje | Zakres i okres | Zastrzeżenie METR |
| Około 2x | Szacunek tempa poprawy możliwości modeli | Dobrze określone zadania; stan na październik 2026 r. w porównaniu z okresem od marca 2024 do października 2025 r. | METR uznał, że rzeczywisty wynik mógłby być bliższy 1,3x albo 3x. |
| 1,9x | Trend punktacji AECI dla modeli Anthropic | Od października 2025 r.; przedział ufności 95% wynosi 1,5–2,8x. | Wynik opiera się na dopasowaniu trendu do benchmarków, w tym wyników modeli wewnętrznych. |
| Około 12x | Średnia samoocena wzrostu produktywności dzięki wewnętrznemu Model 4 | Nieformalne ankiety Slackowe z października 2026 r. | METR określił ankiety jako słabe dowody; samoocena pracowników nie jest tempem przyspieszenia rozwoju modeli. |
Przy tych liczbach liczy się przede wszystkim to, co zmierzono: postęp w zadaniach, trend benchmarków czy samoocenę pracowników.
AECI to opracowana przez Anthropic wersja Epoch Capabilities Index, która zbiera wyniki wewnętrznych i zewnętrznych benchmarków. METR podaje, że wzrost o 15 punktów AECI odpowiada podwojeniu trudności benchmarku. W jego głównym dopasowaniu trend wynosił 15 punktów rocznie przed październikiem 2025 r. i 29 punktów rocznie później.
Jak METR obliczył trend i co wpływa na jego wynik?
METR dopasował do danych odcinkowe trendy liniowe metodą najmniejszych kwadratów, z jednym punktem zmiany. W głównej analizie przypadał on na 7 października 2025 r. Przedział ufności 1,5–2,8x uwzględnia niepewność wyników AECI, ale nie niepewność dotyczącą tego, które modele trafiły do obliczeń.
Wyniki zmieniały się zależnie od przyjętych założeń. Przy alternatywnych funkcjach łączących szacunki przyspieszenia mieściły się w przedziale 1,1–2,9x. Przy innych zestawach modeli i benchmarków wynosiły 1,9–2,2x, a przy alternatywnych wariantach regularyzacji 1,9–2,1x.
Jaką rolę METR przypisał AI?
METR oszacował subiektywnie, że być może około 80% obecnego przyspieszenia wynikało z użycia AI w pracach badawczo-rozwojowych, ale określił tę ocenę jako obciążoną dużą niepewnością. Zdaniem organizacji czynniki niezwiązane z AI prawdopodobnie również odegrały istotną rolę w przyspieszeniu pod koniec 2025 r. METR uznał zarazem, że szybszy wzrost mocy obliczeniowej używanej do trenowania modeli nie wyjaśniał tego przyspieszenia.
AI przede wszystkim wspierała prace badawczo-rozwojowe. Według METR do października 2026 r. nie wnosiła jeszcze wysoce istotnego, w pełni autonomicznego wkładu w najważniejsze etapy trenowania modeli. Badacze odnotowali pierwsze oznaki, że bardziej autonomiczne działania mogą pojawić się wkrótce.
Co ogranicza ocenę publicznie dostępnych wyników?
Anthropic mogło samodzielnie redagować niepubliczne informacje w raporcie. METR podał, że usunięto większość materiałów, które uznał za najbardziej przydatne do oceny ryzyka. Organizacja nie otrzymała też dostępu pozwalającego testować nieudostępnione modele.
Associated Press podała, że Sam McCandlish, współzałożyciel Anthropic, mówił o przyspieszeniu badań dzięki AI, ale zarazem o trudnościach w dokładnym określeniu jego skali. Wyjaśniał też, że ujawnienie szczegółowych przyczyn mogłoby odsłonić wrażliwe handlowo informacje i pomóc innym firmom przyspieszyć prace. Relację AP opublikowaną przez Newsday
