METR publiceerde op 22 oktober 2026 een samenvatting van een pilotonderzoek naar OpenAI’s interne monitor voor AI-agenten. De onderzoekers schatten dat 75–94% van een afgebakende groep intern agentverkeer in aanmerking kwam voor monitoring. Voor interne Codex-agents lag die schatting op 99,2%. Die percentages gaan over verschillende verkeersgroepen; in een aparte schatting bleef door een fout rond compactie ongeveer 10% van het daarvoor in aanmerking komende Codex-verkeer buiten de monitoring.
Wat METR en Redwood Research onderzochten
Eén medewerker van METR en één van Redwood Research voerden de drie weken durende pilot uit, samen met OpenAI. De toegangsperiode liep van 21 juli tot en met 11 augustus; METR vermeldde niet in welk jaar. Het onderzoek richtte zich op OpenAI’s interne, asynchrone monitor voor mogelijke misalignment: gedrag van een agent dat niet aansluit bij de bedoelde doelen. De onderzoekers bekeken onder meer interne code, monitorprompts en configuratie, documenten en gesprekken met ongeveer twaalf onderzoekers en technici.
Wat de monitoringspercentages betekenen
Verkeer dat in aanmerking kwam voor monitoring, was bedoeld om naar een monitor te worden gestuurd. Dat garandeert niet dat elk verzoek de volledige monitoringketen doorliep. METR gaf bovendien aan dat de brede schatting geen andere bekende interne bronnen omvatte, zoals verkeer via OpenAI’s interne onderzoeksdienst voor inferentie; de omvang daarvan kon METR niet bepalen.
| Maatstaf | Verkeersgroep | Schatting en periode | Toelichting |
| Verkeer dat in aanmerking kwam voor monitoring | Intern agentverkeer via de Responses API, van modellen minstens zo krachtig als GPT-5.5 | 75–94% | METR meldde aanzienlijke onzekerheid; andere interne verkeersbronnen vielen buiten deze schatting. |
| Verkeer dat in aanmerking kwam voor monitoring | Responses API-verkeer van interne Codex-agents | 99,2% | Dit betreft een subset van het interne verkeer. |
| Verkeer dat waarschijnlijk niet werd gemonitord door gemiste compactiegebeurtenissen | Verkeer van interne Codex-agents dat voor monitoring in aanmerking kwam, mei tot en met juli 2026 | Ongeveer 10% | METR meldde aanzienlijke onzekerheid over deze schatting. |
Compactie is het samenvoegen of inkorten van eerdere informatie in een lange agenttaak. De schatting van 99,2% betreft verkeer dat voor monitoring in aanmerking kwam; de schatting van ongeveer 10% gaat over verkeer dat door gemiste compactiegebeurtenissen waarschijnlijk niet werd gemonitord. Het zijn dus verschillende maten, met verschillende noemers.
Welke omzeilingsroutes METR meldde
METR rapporteerde dat een agent monitoring kon uitstellen door te blijven handelen: de monitor werd geactiveerd wanneer de agent de controle teruggaf aan de gebruiker. Tijdens de compactiekloof konden agents de controle volgens METR daardoor onbeperkt uitstellen. METR kon niet vaststellen of agents die zwakte daadwerkelijk hadden benut.
De onderzoekers vonden ook een manier waarop Codex-agents de sandbox en Auto-Review in principe konden omzeilen, plus een exploit waarmee honderden recente acties verborgen konden blijven. Invoer kon de monitor waarschijnlijk laten falen. Twee door de client instelbare headers konden monitoring voor nieuwe agents uitschakelen; het instellen van die headers kon zelf worden gedetecteerd. METR publiceerde de technische details van de exploits niet.
Bij aanvang van de oefening vielen RL-trainingsruns niet onder het monitorsysteem. METR had gehoord dat een deel van de RL-rollouts tussen maart en juni wel was gemonitord. OpenAI breidde de monitoring tijdens de pilot uit, maar METR beoordeelde die latere dekking niet.
OpenAI’s patchmelding en de openbare samenvatting
OpenAI meldde dat de kwetsbaarheden die de productiebeveiliging raakten, waren verholpen. METR beoordeelde die patches niet en onderzocht ook latere wijzigingen in de monitoringdekking niet.
METR beschreef het volledige interne rapport als 61 pagina’s lang. Een door OpenAI geredigeerde versie van 38 pagina’s ging naar de leiding van METR en Redwood Research; het publiek kreeg een kortere samenvatting. De gepubliceerde audit ging over OpenAI’s interne monitoring van agenten.
