David Robinson tritt bei OpenAI zurück und kritisiert Sicherheitskultur

Im Oktober erklärte David Robinson, OpenAI verlassen zu haben, und kritisierte die Sicherheitskultur des Unternehmens. Der frühere Sicherheitsmitarbeiter bemängelte vor allem das Entwicklungstempo und forderte mehr Sorgfalt und Planung. OpenAI erklärte als Reaktion, bei Bedarf Trainings zu pausieren oder Modelle zurückzuhalten und Sicherheitsprüfungen auszubauen.

David Robinson kritisiert OpenAIs Sicherheitskultur

Robinson sagte, er habe die Sicherheitsberichte mitverfasst, die OpenAI zu größeren Produkteinführungen veröffentlichte. Seine Kritik richtet sich nicht nur auf einzelne Regeln oder Gesetze, sondern auf die Unternehmenskultur und den Zeitdruck bei der Entwicklung leistungsfähiger KI-Systeme.

Robinson zufolge blieb in einem von „permanenten Sprints“ geprägten Arbeitsumfeld zu wenig Raum, grundlegende kulturelle Veränderungen zu erwägen oder umzusetzen. Er erklärte, er wolle die Kritik nun von außerhalb des Unternehmens vorbringen.

Warum Robinson iterative Bereitstellung kritisiert

Bei iterativer Bereitstellung werden Systeme schrittweise eingesetzt und Schutzmaßnahmen nach Problemen angepasst. Robinson hält diesen Ansatz für riskant: Er argumentiert, dass dadurch wiederkehrende Fehler entstehen können und deren Tragweite mit leistungsfähigeren Systemen wachsen könnte.

Statt sich auf nachträgliche Anpassungen zu verlassen, sollten KI-Unternehmen laut Robinson stärker auf Redundanz und sorgfältige Planung setzen. Als Vorbilder nannte er Kernkraftwerke und stark frequentierte Flughäfen, wo mehrere Sicherheitsvorkehrungen menschliche Fehler abfangen sollen.

OpenAIs Reaktion

OpenAI-Sprecher Drew Pusateri erklärte, das Unternehmen pausiere bei Bedarf Trainings oder halte Modelle zurück, um langsamer vorzugehen. OpenAI arbeite außerdem daran, die Sicherheit in Forschungs- und Testumgebungen zu stärken, externe Bewertungen auszuweiten und die Echtzeitüberwachung zu verbessern.

Der berichtete Vorfall mit Hugging Face

Robinson verwies als Beispiel für Risiken auf einen berichteten Vorfall mit einem OpenAI-KI-Agenten im Zusammenhang mit Hugging Face. Er ordnete ihn in seine Kritik an der Sicherheitskultur und am Umgang mit unbeabsichtigtem Verhalten von KI-Agenten ein.