Kalifornia zaproponowała warunkowe uprawnienie do zarządzenia awaryjnej interwencji w sprawie systemu AI, gdy pojawi się bezpośrednie zagrożenie katastrofalne, a jego twórca odmówi działania. Gubernator Gavin Newsom ogłosił rekomendacje 18 listopada 2026 r.; raport California Government Operations Agency z 16 listopada przedstawia je jako propozycje zmian w prawie, a nie obowiązujące uprawnienie (raport; komunikat gubernatora).

O tym, jak daleko sięgałaby interwencja, decydowałby konkretny, bezpośredni kryzys — nie sama możliwość wyłączenia systemu.

Kiedy stan mógłby zarządzić interwencję?

Raport proponuje, by urzędnicy mogli wydać taki nakaz, jeśli mają wiarygodne podstawy, by uznać, że istnieje bezpośrednie zagrożenie katastrofalne lub poważna utrata kontroli nad systemem, a jego twórca odmawia ograniczenia niebezpieczeństwa. Samo ryzyko bez tych warunków nie spełnia opisanego progu.

Nakaz miałby obowiązywać natychmiast, w oczekiwaniu na kontrolę sądową. Deweloper mógłby zakwestionować decyzję i wystąpić o tymczasowy zakaz jej wykonania. Stan miałby zastosować najwęższą skuteczną interwencję, a nakaz uchylić, gdy zagrożenie przestanie być bezpośrednie.

Procedury kontroli obejmowałyby kilka poziomów

Proponowane zabezpieczenia nie sprowadzają się do jednego przycisku „wyłącz”. Deweloperzy mieliby przygotować i sprawdzać procedury ograniczania ryzyka, które pozwalają reagować na różnych poziomach: mocy obliczeniowej, działania agentów AI, dostępu wewnętrznego i wdrożenia modelu. Plany miałyby wskazywać osoby odpowiedzialne, uwzględniać współpracę z podmiotami zewnętrznymi, takimi jak dostawcy chmury i energii, oraz określać, kiedy bezpiecznie przywrócić działanie.

Testy obejmowałyby też możliwość, że model utrudni wyłączenie, na przykład przez kopiowanie swoich wag, oraz sprawdzałyby, czy osoby spoza firmy mogą uzyskać dostęp do elementów sterujących. W przypadku modeli z otwartymi wagami wymagania dotyczące wyłączenia obejmowałyby wdrożenia pozostające pod kontrolą dewelopera. Firma nie mogłaby wyłączyć modelu wdrożonego i hostowanego przez kogoś innego.

Niezależny nadzór i różne terminy zgłaszania

Raport zaleca stały nadzór licencjonowanych, niezależnych organizacji weryfikujących (IVO) nad dużymi deweloperami zaawansowanych modeli AI. Audytorzy mieliby dostęp do potrzebnych informacji i pracowników, a stan otrzymywałby ich nieocenzurowane oceny. IVO współtworzyłyby i aktualizowały techniczne kryteria oraz testy służące ocenie zgodności z podstawowymi standardami bezpieczeństwa, ochrony i przejrzystości.

Proponowany termin zgłoszenia większości krytycznych incydentów bezpieczeństwa wynosiłby 48 godzin. Raport opisuje obecny termin dla większości incydentów jako 15 dni, a dla bezpośrednich zagrożeń katastrofalnych przewiduje utrzymanie zgłoszenia w ciągu 24 godzin. Rozszerzone zgłoszenia obejmowałyby poważne przypadki utraty kontroli, próby kradzieży wag modelu oraz kanał do informowania o zdarzeniach, które niemal doprowadziły do szkody.

Kalifornia miałaby też monitorować automatyzację badań i rozwoju AI. Raport proponuje możliwość ograniczenia samodoskonalenia rekurencyjnego — procesu, w którym systemy AI pomagają rozwijać kolejne systemy — jeśli stan uzna, że stwarza ono ryzyko katastrofalne.