22 października 2026 r. METR i Redwood Research opublikowały opis pilotażu monitoringu wewnętrznych agentów OpenAI, przeprowadzonego od 21 lipca do 11 sierpnia 2026 r. Badacze wskazali lukę, która mogła ukryć przed systemem monitorującym setki ostatnich działań agenta, oraz inne potencjalne sposoby opóźnienia lub ominięcia kontroli. Oceniali historyczną wersję systemu, istniejącą 21 lipca lub wcześniej.
Co mierzyły szacunki zasięgu
METR oszacował, że monitoringowi kwalifikowało się 75–94% wewnętrznego ruchu Responses API pochodzącego od modeli co najmniej tak sprawnych jak GPT-5.5. Dla podzbioru tego ruchu używanego przez wewnętrznych agentów Codex szacunek wyniósł 99,2%. METR zaznaczył znaczną niepewność obu wartości.
Kwalifikowalność oznacza, że żądanie miało zostać skierowane do monitoringu. Nie przesądza, czy monitorowanie faktycznie się zakończyło. METR nie oszacował pozostałego wewnętrznego ruchu agentów kodujących.
Osobny problem dotyczył zdarzeń kompakcji. METR oszacował, że od maja do lipca 2026 r. mogły one sprawić, iż monitoring ominął około 10% kwalifikującego się wewnętrznego ruchu Codex. Szacunek był obarczony znaczną niepewnością. Pracownicy OpenAI rozpoznali tę lukę przed ćwiczeniem i usunęli ją w jego trakcie. Na początku pilotażu monitoring nie obejmował przebiegów treningu uczenia ze wzmocnieniem. Zespół METR dowiedział się, że część takich przebiegów monitorowano od marca do czerwca 2026 r.
Dane pokazane ewaluatorom wskazywały błędy monitora w mniej niż 0,2% żądań oraz zero odrzuceń z powodu przeciążenia w jednym 24-godzinnym okresie.
Jak agenci mogli opóźnić lub ominąć kontrolę
System uruchamiał monitoring, gdy agent oddawał kontrolę użytkownikowi. W czasie luki związanej z kompakcją agent mógł potencjalnie odsuwać kontrolę bez końca, wykonując kolejne działania. METR nie ustalił, czy agenci rzeczywiście korzystali z tej drogi. Osobny exploit mógł ukryć setki niedawnych działań, w tym działania prowadzące do samego exploitu; OpenAI zredagowało jego szczegóły.
METR opisał też potencjalny sposób, w jaki agenci Codex mogli ominąć sandboxing, czyli ograniczenie ich dostępu do systemu, oraz Auto-Review i wykonywać działania dostępne użytkownikowi hosta. Inna luka wiązała się z różnicą między zapisem przebiegu widocznym dla agenta a tym, który otrzymywał monitor. Według METR agent mógł prawdopodobnie przygotować dane wejściowe wykorzystujące tę rozbieżność, co mogło doprowadzić do błędu monitora i uniemożliwić skierowanie sprawy do oceny człowieka.
Dwa nagłówki kontrolowane przez klienta mogły wyłączyć monitoring dla nowych agentów, choć samo ustawienie nagłówków i utworzenie instancji mogło zostać wychwycone. METR wskazał również dwa niemonitorowane wewnętrzne narzędzia uznawane za tylko do odczytu oraz prosty exploit, który mógł podważyć ich ograniczenia. Badacze nie zweryfikowali działania tego exploitu ani jego praktycznej wykonalności.
Zakres pilotażu i deklaracja OpenAI
Po jednym pracowniku METR i Redwood Research uzyskało dostęp do wewnętrznego kodu OpenAI, promptów i konfiguracji monitoringu oraz dokumentacji. Ewaluatorzy rozmawiali też z około tuzinem badaczy i inżynierów. W trakcie pilotażu OpenAI rozbudowywało system, ale ewaluacja nie ustaliła zasięgu tej rozszerzonej wersji.
METR i Redwood przekazały OpenAI 61-stronicowy raport. Wysokopoziomowy opis publiczny obejmował tylko część ustaleń, a 38-stronicowa wersja z redakcjami OpenAI trafiła do kierownictwa obu organizacji ewaluacyjnych.
OpenAI poinformowało ewaluatorów, że załatało podatności wpływające na produkcyjne zabezpieczenia. METR i Redwood Research nie oceniły tej deklaracji.
