Californië wil dat de staat bij een acute, catastrofale AI-dreiging onder strikte voorwaarden kan ingrijpen. De aanbevelingen, die het kantoor van gouverneur Gavin Newsom op 18 november 2026 bekendmaakte, geven die bevoegdheid niet al aan de staat: daarvoor is nieuwe wetgeving nodig. Het rapport van de California Government Operations Agency is gedateerd op 16 november.De bekendmaking van de gouverneur en het rapport beschrijven voorstellen voor extra veiligheidsregels en toezicht.

Wanneer zou Californië kunnen ingrijpen?

Volgens het rapport zouden staatsfunctionarissen een noodbevel mogen uitvaardigen als er een geloofwaardige reden is om aan te nemen dat een catastrofaal risico of ernstig verlies van controle op handen is én de ontwikkelaar weigert het gevaar te beheersen. De staat zou de kleinst mogelijke werkbare ingreep moeten kiezen. Het bevel zou direct ingaan, in afwachting van rechterlijke toetsing; de ontwikkelaar zou een tijdelijk gerechtelijk verbod kunnen aanvragen. De maatregel zou moeten eindigen zodra het gevaar niet langer acuut is.

De kern is tweedelig: ontwikkelaars moeten getoetste noodprocedures hebben; staatsingrijpen is gekoppeld aan een geloofwaardige, acute catastrofale dreiging en weigering om die te beheersen.

Geen universele uitknop voor AI

Het rapport vraagt om geteste en onafhankelijk gecontroleerde plannen waarmee ontwikkelaars risico’s op verschillende niveaus kunnen indammen. Mogelijke ingrepen betreffen rekenkracht, AI-agenten, interne toegang en de inzet van een model. De procedures moeten ook nagaan of een model een uitschakeling kan hinderen, bijvoorbeeld door zijn gewichten te kopiëren, en of buitenstaanders toegang hebben tot de benodigde bediening. Verder moeten ze vastleggen wie verantwoordelijk is, hoe ontwikkelaars met partijen zoals cloud- en energieleveranciers samenwerken en wanneer herstel veilig is.

Voor modellen met open gewichten geldt een duidelijke grens: de voorgestelde uitschakelvereisten zouden alleen gelden voor inzetten die de ontwikkelaar zelf beheerst. Een ontwikkelaar kan een model dat door anderen wordt gehost en gebruikt niet zelf uitschakelen.

Onafhankelijke toetsing en meldtermijnen

Het rapport beveelt doorlopend toezicht aan op grote ontwikkelaars van geavanceerde AI-modellen. Gelicentieerde onafhankelijke verificatieorganisaties (IVO’s) zouden daarvoor toegang krijgen tot relevante medewerkers en informatie. Hun beoordelingen zouden ongecensureerd met de staat worden gedeeld. De staat zou ook basisnormen vaststellen voor veiligheid, beveiliging en transparantie; IVO’s zouden de technische specificaties en tests ontwikkelen en bijwerken waarmee naleving wordt gecontroleerd.

Voor de meeste kritieke veiligheidsincidenten stelt het rapport een meldtermijn van 48 uur voor, tegenover de huidige termijn van 15 dagen die het rapport voor de meeste incidenten beschrijft. Voor dreigende catastrofale risico’s zou de bestaande termijn van 24 uur blijven gelden. De voorgestelde uitbreiding omvat onder meer ernstige incidenten waarbij de controle over een systeem verloren gaat, pogingen om modelgewichten te stelen en een meldmogelijkheid voor bijna-incidenten.

De aanbevelingen omvatten ook toezicht op de automatisering van AI-onderzoek en -ontwikkeling. De staat zou de ontwikkeling en het gebruik van zelfverbeterende AI kunnen begrenzen als automatisering boven een bepaald niveau volgens de staat een catastrofaal risico oplevert.