Anthropic opublikował 6 listopada 2026 r. wyniki Project EVE, badań prowadzonych od kwietnia do lipca z udziałem Fenris Creations. W EVE Online agenci Claude handlowali na symulacji rynku, a w EVE Frontier wykonywali misje w działającej grze. W symulowanych, dwutygodniowych sesjach średni wzrost kapitału był wyższy dla nowszych testowanych modeli, ale zakłady na kierunek zmian cen wypadały znacznie mniej pewnie. Zespoły w Frontier współpracowały, lecz trudno było im rozpoznać agenta, któremu polecono sabotować grupę. Anthropic opisał przebieg i wyniki eksperymentu.
Wynik z odtworzonego rynku mówi o skuteczności w tej symulacji, nie o handlu na żywo.
Dwie gry EVE, dwa różne testy
Badanie obejmowało dwa odmienne zadania. W części dotyczącej EVE Online Claude nie zawierał transakcji na żywym rynku. Symulator odtwarzał wcześniejsze zlecenia kupna i sprzedaży graczy. W EVE Frontier czteroosobowe zespoły agentów grały w działającym środowisku gry; każdy agent miał własną instancję Claude’a, postać i statek.
W symulacji rynku każdy przebieg zaczynał się od 3 mld ISK, waluty używanej w EVE Online. Odtworzenie zleceń nie reagowało na działania agentów. Ponadto okresowe migawki danych z publicznego API pomijały około połowy rzeczywistego obrotu, według Anthropic. Wyniki pokazują więc, jak modele radziły sobie w tym konkretnym odtworzeniu rynku.
Jak Claude radził sobie na symulowanym rynku
W dziewięciu symulowanych oknach trwających po dwa tygodnie Anthropic odnotował następujący średni wzrost kapitału:
| Model Claude | Średni wzrost kapitału | Podstawa pomiaru |
| Claude Opus 4.6 | około 4% | Średnia z dziewięciu symulowanych okien dwutygodniowych |
| Claude Opus 4.7 | około 16% | Średnia z dziewięciu symulowanych okien dwutygodniowych |
| Claude Opus 4.8 | około 22% | Średnia z dziewięciu symulowanych okien dwutygodniowych |
| Claude Fable 5 | około 43% | Średnia z dziewięciu symulowanych okien dwutygodniowych |
Claude Opus 4.7, Claude Opus 4.8 i Claude Fable 5 zakończyły wszystkie dziewięć okien z zyskiem. Najczęstsza strategia polegała na kupowaniu przedmiotów poniżej ich typowej wartości i odsprzedawaniu ich, często tego samego dnia. Taki sposób zarabiania na różnicy między ceną kupna i sprzedaży jest nazywany łapaniem spreadu.
Wyniki gorzej wyglądały przy próbach przewidywania kierunku zmian cen. Claude Fable 5 zarabiał na takich zakładach w około połowie przebiegów. Część prób Claude Opus 4.7 pominięto w tym pomiarze, ponieważ model często odchodził od polecenia i wracał do łapania spreadu. Anthropic podaje też, że zlecenia w symulacji, które zaniżały ceny ofert agentów, obniżyły ich końcowy zysk o około 35%.
Współpraca agentów w EVE Frontier
Czteroosobowe zespoły dzieliły się rolami, wymieniały informacje i paliwo oraz wspólnie odciągały silniejszych przeciwników sterowanych przez grę. Zdarzały się jednak „zakleszczenia grzecznościowe”, gdy agenci zwlekali z przejęciem inicjatywy. W jednym z opisanych przypadków utrata połączenia ze statkiem, przy którym skupiono kluczową infrastrukturę, zatrzymała gospodarkę zespołu na kilka godzin.
Zespoły korzystały z oprogramowania pośredniczącego, zwanego scaffoldem, które automatyzowało szybkie działania i zapisywało wnioski z wcześniejszych prób. Zespół Claude Fable 5 używający scaffolda napisanego przez Claude Fable 5 ukończył samouczek w ciągu 12 godzin i nie stracił statku. Zespoły Claude Fable 5 korzystające ze scaffolda napisanego przez Claude Opus 4.8 wielokrotnie traciły statki, a ukończenie samouczka zajmowało im dni. Anthropic zaznacza, że niezawodność scaffolda obejmowała sytuacje napotkane podczas jego tworzenia. W trudniejszym zadaniu budowy dużego okrętu wojennego najdalej zaszedł zespół, który wykonał mniej więcej połowę celu.
Co wykrywanie sabotażu mówi o agentach
W osobnym teście Anthropic polecił jednemu agentowi przeszkadzać zespołowi; pozostałe agenty uprzedzono, że ktoś może realizować inny cel. Tylko jeden uczciwie działający agent jednoznacznie rozpoznał sabotażystę. Ten eksperyment mierzył reakcję na sabotaż wykonujący wydane polecenie, a nie samorzutną skłonność Claude’a do sabotowania zespołu.
Anthropic sprawdził też osobne, eksperymentalne monitory Claude’a, które analizowały publiczny kanał rozmów, ale nie miały dostępu do prywatnego rozumowania agentów ani ich indywidualnych działań. Przy ograniczeniu odsetka fałszywych oskarżeń do 5% monitory z modeli Opus wykrywały 30–40% sabotażystów, a monitor Claude Sonnet 4.6 wykrywał 20%. Żaden z monitorów nie przekroczył 50% pewności.
