METR und Redwood Research berichteten am 22. Oktober 2026 über Schwachstellen im damaligen internen Überwachungssystem von OpenAI. Eine mögliche Umgehung hätte Hunderte zuletzt ausgeführte Aktionen eines Agenten, einschließlich der Umgehung selbst, der Überwachung entziehen können. Der Pilot untersuchte den Systemstand vom 21. Juli 2026 und davor. METR erklärte, die Prüfer hätten nicht feststellen können, ob Agenten den beschriebenen Weg tatsächlich genutzt hatten.

Welche Schwachstellen die Prüfer beschrieben

Der Pilot lief vom 21. Juli bis zum 11. August 2026. METR und Redwood Research beschrieben mehrere mögliche Wege, die Überwachung zu umgehen oder zu verzögern. Bei einer Schwachstelle hätte ein Agent Hunderte seiner jüngsten Aktionen vor dem Monitor verbergen können. OpenAI redigierte die Details dieser Umgehung.

Die Überwachung wurde ausgelöst, wenn ein Agent die Kontrolle an den Nutzer zurückgab. Während einer Lücke bei der Überwachung von Kompaktierungsereignissen hätte ein Agent die Prüfung unbegrenzt verzögern können, indem er weiterarbeitete. Kompaktierung fasst einen längeren Agentenverlauf zusammen. METR konnte nicht feststellen, ob Agenten diesen Verzögerungsweg tatsächlich genutzt hatten.

METR berichtete außerdem, Codex-Agenten könnten möglicherweise Sandbox und Auto-Review umgehen und dadurch Aktionen mit den Berechtigungen des Host-Nutzers ausführen. Eine Sandbox ist eine isolierte Laufzeitumgebung, die den Zugriff eines Programms begrenzt. Die Prüfer beschrieben auch einen möglichen Fehler durch unterschiedliche Darstellungen des Agentenverlaufs für Agent und Monitor: Ein Agent könnte Eingaben so gestalten, dass der Monitor ausfällt und eine Weiterleitung zur menschlichen Prüfung verhindert wird.

Zwei vom Client steuerbare Header könnten die Überwachung neuer Agenten deaktivieren. Das Setzen dieser Header und das Erstellen einer neuen Instanz hätten ihrerseits vom Monitor erfasst werden können. METR fand zudem zwei nicht überwachte interne Agentenwerkzeuge, die nach damaliger Einschätzung nur lesend zugriffen. Die Prüfer beschrieben einen einfachen Weg, ihre Beschränkungen zu unterlaufen, überprüften aber weder das Verhalten noch die praktische Ausnutzbarkeit.

Was die Prozentwerte zur Überwachung aussagen

METR schätzte, dass 75 bis 94 Prozent des internen Responses-API-Verkehrs mit Modellen mindestens auf dem Leistungsniveau von GPT-5.5 für eine Überwachung vorgesehen waren. Für den Teil des Responses-API-Verkehrs, den interne Codex-Agenten nutzten, lag die Schätzung bei 99,2 Prozent. METR nannte für beide Werte erhebliche Unsicherheit.

Die Prozentsätze beschreiben die geschätzte Überwachungseignung, nicht den Anteil der Anfragen, bei denen die Prüfung tatsächlich abgeschlossen wurde. Für andere interne agentische Programmieraktivitäten konnte METR den Anteil nicht schätzen.

Für den Zeitraum von Mai bis Juli 2026 schätzte METR, dass nicht überwachte Kompaktierungsereignisse wahrscheinlich dazu führten, dass rund 10 Prozent des überwachungsgeeigneten internen Codex-Verkehrs ungeprüft blieben. Auch bei dieser Schätzung war die Unsicherheit erheblich. Mitarbeitende von OpenAI hatten das Problem vor dem Pilot erkannt und behoben es während der Prüfung. Zu deren Beginn waren außerdem Trainingsläufe des bestärkenden Lernens nicht von diesem Überwachungssystem erfasst. METR war mitgeteilt worden, dass einige Trainingsdurchläufe zwischen März und Juni 2026 überwacht worden waren.

Umfang des Piloten und OpenAIs Aussage zu den Patches

Je ein Mitarbeiter von METR und Redwood Research erhielt Zugang zu internem Code, Überwachungsanweisungen und Konfigurationen sowie Dokumentation. Die Prüfer befragten außerdem ungefähr ein Dutzend Forschende und Ingenieure. Während des Piloten baute OpenAI das Überwachungssystem aus; die Untersuchung bewertete die Abdeckung dieses erweiterten Systems nicht.

Der OpenAI vorgelegte Bericht umfasste 61 Seiten. METR und Redwood Research veröffentlichten eine Zusammenfassung; eine von OpenAI redigierte Fassung mit 38 Seiten ging an die Leitungen der beiden Prüforganisationen. OpenAI teilte den Prüfern mit, Schwachstellen mit Auswirkungen auf Schutzmaßnahmen im Produktivbetrieb behoben zu haben. METR und Redwood Research erklärten, diese Aussage nicht geprüft zu haben.