Kalifornien stellte am 18. November 2026 Empfehlungen für strengere KI-Sicherheitsregeln vor. Ein Bericht der California Government Operations Agency vom 16. November schlägt vor, dass der Staat bei einer unmittelbar drohenden Katastrophe eingreifen kann, wenn ein Entwickler die Gefahr nicht selbst eindämmt. Es handelt sich um Vorschläge für gesetzliche Änderungen, nicht um eine durch den Bericht geschaffene Befugnis. Der Bericht beschreibt dafür einen engen Auslöser, gerichtliche Kontrolle und abgestufte Eingriffe statt eines universellen Abschaltknopfs.
Eine Notfallmaßnahme soll sich auf den kleinsten wirksamen Eingriff beschränken.
Wann dürfte Kalifornien einen Notfalleingriff anordnen?
Nach dem Vorschlag müssten staatliche Stellen einen glaubwürdigen Grund für die Annahme haben, dass eine unmittelbare Gefahr mit katastrophalem Risiko oder ein schwerwiegender Kontrollverlust droht. Zusätzlich müsste der Entwickler die Gefahr nicht selbst eindämmen. Erst unter diesen Bedingungen könnte der Staat eine Notfallanordnung erlassen.
Die Anordnung soll sofort gelten, während die gerichtliche Prüfung noch aussteht. Ein Entwickler könnte dagegen vorgehen und eine einstweilige Verfügung beantragen. Zugleich müsste der Staat den engsten praktikablen Eingriff wählen und die Anordnung aufheben, sobald die Gefahr nicht mehr unmittelbar ist. Die Bekanntgabe des Gouverneursbüros erfolgte am 18. November; der zugrunde liegende Bericht ist auf den 16. November datiert.
Was die Entwickler für den Ernstfall vorbereiten sollen
Der Bericht empfiehlt geprüfte und regelmäßig verifizierte Notfallprotokolle auf mehreren Ebenen. Sie sollen unter anderem Eingriffe in die Rechenleistung, KI-Agenten, interne Zugänge und den Einsatz eines Modells ermöglichen. Die Pläne müssten außerdem Zuständigkeiten festlegen, die Zusammenarbeit mit externen Beteiligten wie Cloud-Anbietern und Stromversorgern berücksichtigen und klären, wann ein sicherer Wiederanlauf möglich ist.
Zu den vorgesehenen Prüfungen gehört auch, ob ein Modell eine Abschaltung behindern könnte, etwa indem es seine Modellgewichte kopiert, und ob Außenstehende auf die Kontrollen zugreifen könnten. Für Entwickler offener Modellgewichte soll die Abschaltpflicht nur Bereitstellungen erfassen, die sie selbst kontrollieren. Eine unabhängig betriebene Bereitstellung könnten sie nicht abschalten.
Wer die Prüfungen übernehmen und Vorfälle melden soll
Für große Frontier-KI-Entwickler empfiehlt der Bericht eine fortlaufende Aufsicht durch lizenzierte unabhängige Prüfstellen, sogenannte Independent Verification Organizations (IVOs). Diese sollen Zugang zu den erforderlichen Informationen und zuständigen Personen erhalten. Ihre ungekürzten Bewertungen sollen an den Staat gehen. Kalifornien soll außerdem Sicherheits-, Schutz- und Transparenzstandards festlegen; die Prüfstellen würden die technischen Vorgaben und Tests für die Bewertung entwickeln und aktualisieren.
Auch die Meldefristen sollen sich ändern. Für die meisten kritischen Sicherheitsvorfälle empfiehlt der Bericht 48 Stunden statt der bisher für die meisten Vorfälle genannten 15 Tage. Bei unmittelbar drohenden katastrophalen Risiken soll die Frist von 24 Stunden bestehen bleiben. Der vorgeschlagene Meldeumfang umfasst unter anderem schwerwiegende Kontrollverlust-Vorfälle und versuchte Diebstähle von Modellgewichten; außerdem soll es einen Meldeweg für Beinahe-Vorfälle geben.
Der Bericht empfiehlt zudem, die Automatisierung von KI-Forschung und -Entwicklung zu überwachen. Falls der Staat darin ein katastrophales Risiko sieht, soll er die Weiterentwicklung und Nutzung rekursiver Selbstverbesserung begrenzen können.