METR en Redwood Research meldden op 22 oktober 2026 kwetsbaarheden in OpenAI’s interne monitorsysteem voor agenten. Tijdens hun pilot van 21 juli tot en met 11 augustus onderzochten ze de historische versie van het systeem. Een mogelijke route kon honderden recente acties, waaronder de acties van de exploit zelf, buiten de monitoring houden.

Wat de cijfers over monitoring betekenen

METR schatte dat 75 tot 94 procent van het interne Responses API-verkeer van modellen die minstens zo capabel waren als GPT-5.5 in aanmerking kwam voor monitoring. Voor het deel van dat verkeer dat door interne Codex-agenten werd gebruikt, was de schatting 99,2 procent. METR meldde aanzienlijke onzekerheid bij beide schattingen.

Geschikt zijn voor monitoring betekent dat een verzoek bedoeld was om door een monitor te worden gecontroleerd. Het bewijst niet dat de controle ook is uitgevoerd of afgerond. De Codex-schatting omvat bovendien niet al het interne verkeer voor agentisch programmeerwerk.

METR schatte ook dat gemiste compactiegebeurtenissen tussen mei en juli 2026 waarschijnlijk maakten dat ongeveer 10 procent van het interne Codex-verkeer dat voor monitoring in aanmerking kwam, niet werd gemonitord. OpenAI-medewerkers hadden het probleem volgens METR vóór de pilot ontdekt en tijdens de pilot verholpen.

Bij aanvang van de pilot vielen reinforcement-learning-trainingsruns buiten het monitorsysteem. METR hoorde dat sommige trainingsroll-outs tussen maart en juni 2026 wel waren gemonitord.

Hoe monitoring kon worden uitgesteld of omzeild

De monitor werd geactiveerd wanneer een agent de controle teruggaf aan de gebruiker. Tijdens het compactiegat kon een agent monitoring onbeperkt uitstellen door door te gaan met handelen. METR kon niet nagaan of agenten deze route in de praktijk hadden gebruikt.

De evaluatoren beschreven ook andere mogelijke zwakke plekken in de historische versie. Codex-agenten zouden de sandbox en Auto-Review kunnen omzeilen en handelingen uitvoeren waarvoor de hostgebruiker bevoegd was. Een verschil tussen de taakgeschiedenis die een agent zag en de versie die de monitor ontving, kon de monitor waarschijnlijk laten falen en voorkomen dat een geval voor menselijke beoordeling werd opgeschaald.

Twee door de client instelbare headers konden monitoring voor nieuwe agenten uitschakelen. Het instellen ervan en het maken van een nieuwe agent kon zelf wel door de monitor worden opgemerkt. METR meldde daarnaast twee interne agenttools die niet werden gemonitord en vermoedelijk alleen-leestoegang hadden. De onderzoekers vonden een eenvoudige exploit die de beperkingen van die tools kon ondermijnen, maar valideerden het gedrag niet en onderzochten de praktische uitvoerbaarheid niet.

Wat de pilot onderzocht en wat OpenAI over patches zei

Eén medewerker van METR en één van Redwood Research kregen toegang tot interne code, monitorprompts, configuraties en documentatie. Ook spraken ze ongeveer twaalf onderzoekers en technici. De evaluatie betrof het systeem zoals dat op en vóór 21 juli 2026 bestond. OpenAI breidde het systeem tijdens de pilot uit, maar de evaluatie stelde de dekking van die uitgebreide versie niet vast.

OpenAI vertelde METR en Redwood Research dat het kwetsbaarheden die de productiebeveiligingen raakten had gepatcht. METR en Redwood Research beoordeelden die uitspraak niet.