OpenAI beschreibt Performance Factory als internes System, in dem Codex-Agenten Leistungseinbrüche bei ChatGPT untersuchen. Die Agenten prüfen mögliche Ursachen, schlagen Korrekturen vor und kontrollieren nach deren Einsatz, ob sich die Leistung erholt. Über die Integration einer Änderung entscheidet ein Ingenieur. OpenAI veröffentlichte die Beschreibung am 19. November in einem Engineering-Bericht.

Ein früherer NeoTeo-Bericht über Codex in OpenAIs Incident Response behandelte den Einsatz bei der Reaktion auf Vorfälle. Performance Factory beschreibt den internen Ablauf, mit dem OpenAI Leistungsprobleme von ChatGPT untersucht.

Wie Codex einen Leistungseinbruch untersucht

Der Regression Workflow beginnt mit einem konfigurierten Leistungsalarm. Er löst eine Aufgabe aus, die den Fall durch die Untersuchung und die anschließende Prüfung begleitet. Eine Regression ist eine Verschlechterung der Leistung; bei der Suche nach ihrer Ursache prüft Codex unter anderem, wann sie begann, welche Anfragen betroffen sind und ob eine Auslieferung oder eine Konfigurationsänderung damit zusammenhängen könnte.

Dafür nutzt Codex OpenAI zufolge interne Code-Repositories und Beobachtungswerkzeuge wie Messwerte, Protokolle, verteilte Ablaufspuren, CPU-Profile und Speicherabbilder. Die Agenten arbeiten mit Dienstkonten, deren Berechtigungen auf bestimmte Zugriffe begrenzt sind. Die wiederverwendbare Fähigkeit perf-forensics gibt vor, welche Werkzeuge und Fragen zur Untersuchung passen.

Eine zweite Codex-Sitzung erhält einen frischen Kontext und fordert die erste Diagnose heraus: Sie überprüft die Belege und sucht nach anderen Erklärungen. OpenAI beschreibt außerdem eine gegnerische Prüfung vorgeschlagener Änderungen. So durchläuft nicht nur die Ursachenanalyse eine Gegenkontrolle.

Eine brauchbare Korrektur muss sich nach dem Einsatz bewähren: Der Ablauf prüft, ob die Leistung zum Ausgangsniveau zurückkehrt.

Was nach dem Vorschlag geschieht

Codex schlägt eine Korrektur vor, doch ein Ingenieur prüft die Änderung und entscheidet, ob sie zusammengeführt wird. Nach der Bereitstellung kontrolliert ein Agent die Leistung. Bleibt ein Einbruch bestehen oder kehrt sie nur teilweise zurück, kann der Fall erneut untersucht oder als eigene Aufgabe weiterbearbeitet werden.

OpenAI hält Änderungen mit klarer Ursache und begrenztem Umfang für geeigneter als Eingriffe in die Architektur. Eine größere Änderung kann neue Probleme mit sich bringen; OpenAI nennt etwa veraltete Daten, die durch Zwischenspeicherung entstehen können. Die beschriebene Prüfung durch einen Menschen ist deshalb Teil des Ablaufs, bevor eine Korrektur integriert wird.

Welche Zahlen OpenAI nennt

OpenAI berichtet, der Regression Workflow habe in etwas mehr als drei Monaten über 1.700 Untersuchungen erfasst und in mehr als 600 Fällen eine Ursache gefunden. Im Durchschnitt seien täglich 17 automatisierte Untersuchungen gelaufen. Zusätzlich habe das Unternehmen 100 Vorschläge zu Ursachen manuell geprüft und 70 Prozent als zutreffend bewertet. Die übrigen 30 Prozent hätten weitere Überarbeitung gebraucht oder die Ursache nicht vollständig belegt.

MessgrößeVon OpenAI genannter WertUmfang
Erfasste UntersuchungenMehr als 1.700In etwas mehr als drei Monaten
Fälle mit gefundener UrsacheMehr als 600Derselbe Zeitraum
Automatisierte Untersuchungen17 pro TagVon OpenAI genannter Durchschnitt
Manuell bewertete Vorschläge100; davon 70 % als zutreffend bewertetOpenAI stufte die übrigen 30 % als überarbeitungsbedürftig oder nicht ausreichend ursächlich belegt ein

Die Zahlen beschreiben den Betrieb des internen Workflows und OpenAIs eigene Bewertung von Vorschlägen. Proaktive Erkennung von Problemen über mehrere Auslieferungen, synthetische Leistungstests und das automatische Ausliefern ausgewählter risikoarmer Korrekturen nennt OpenAI als laufende Arbeit oder Erkundung.