California anunció el 18 de noviembre de 2026 recomendaciones para reforzar la seguridad de la inteligencia artificial. Entre ellas, un informe de la California Government Operations Agency, fechado el 16 de noviembre, propone que el estado pueda ordenar una intervención de emergencia si existe una amenaza inminente de riesgo catastrófico o una pérdida grave de control y el desarrollador se niega a contenerla. Es una propuesta legislativa, no una autoridad ya establecida. El anuncio de la Gobernación y el informe de la agencia detallan un plan que combina supervisión continua, preparación de las empresas y poderes de emergencia con límites concretos.
Cuándo podría intervenir el estado
La recomendación permitiría una orden estatal si los responsables tienen motivos creíbles para considerar que existe un riesgo catastrófico inminente o un episodio grave de pérdida de control, y el desarrollador no actúa para contenerlo. La intervención no se plantea como una facultad general para apagar sistemas de IA.
Si se emite, la orden tendría efecto inmediato mientras se revisa judicialmente. El desarrollador podría impugnarla y solicitar una orden judicial temporal. El estado debería elegir la intervención viable más limitada y levantar la orden cuando el peligro deje de ser inminente.
La contención dependería de varios controles
El informe recomienda que los grandes desarrolladores de modelos de frontera —sistemas de IA de capacidades avanzadas— preparen protocolos de contención verificados de forma continua. Las medidas podrían actuar sobre distintos niveles: la capacidad de cálculo, los agentes, el acceso interno y el despliegue del modelo. No se reducirían a un único botón de apagado.
Los protocolos también deberían identificar a las personas responsables, coordinarse con actores externos, como proveedores de servicios en la nube y de electricidad, y definir cuándo sería seguro reanudar el funcionamiento. Las pruebas tendrían que evaluar, entre otros fallos posibles, si un modelo podría obstaculizar el apagado copiando sus pesos —los parámetros que determinan su comportamiento— o si alguien ajeno a la empresa podría acceder a los controles.
Para los desarrolladores de modelos de pesos abiertos, el requisito de apagado se aplicaría únicamente a los despliegues bajo su control. Un desarrollador no podría desactivar por sí mismo una copia alojada y puesta en funcionamiento por terceros.
Auditorías y plazos de notificación
La agencia propone que organizaciones independientes de verificación (IVO, por sus siglas en inglés) con licencia supervisen de forma continua a los grandes desarrolladores de modelos de frontera. Estas organizaciones tendrían acceso a la información y al personal pertinentes, y enviarían al estado evaluaciones sin partes ocultas. El informe también plantea que el estado conceda y revoque licencias según la competencia, independencia y rigor de cada entidad.
Las recomendaciones ampliarían los incidentes que deben notificarse, incluidos los episodios graves de pérdida de control, los intentos de robar pesos de modelos y los incidentes que casi llegan a producirse. También crearían un canal específico para comunicar esos cuasi accidentes.
El informe propone un plazo de 48 horas para la mayoría de los incidentes graves de seguridad. Mantendría el de 24 horas para los riesgos catastróficos inminentes y describe un plazo vigente de 15 días para la mayoría de los incidentes. Los modelos capaces de realizar acciones que puedan causar un riesgo catastrófico entrarían en el ámbito de notificación aunque se hubieran entrenado con menos de 10²⁶ operaciones enteras o de coma flotante.
En una emergencia, la propuesta combina rapidez de intervención con revisión judicial y la obligación de limitar la medida a lo necesario.
Estándares estatales y supervisión del desarrollo de IA
El informe recomienda estándares estatales básicos de seguridad, protección y transparencia. Las organizaciones independientes de verificación desarrollarían y actualizarían las especificaciones técnicas y las pruebas para evaluar su cumplimiento. La Gobernación indicó que las leyes SB 813 y AB 1405 ya habían sentado bases para la verificación independiente y la supervisión de auditores de IA.
La propuesta también prevé vigilar cuánto se automatiza la investigación y el desarrollo de IA, incluida la proporción de capacidad de cálculo dedicada a esas tareas. Si el estado considera que un nivel de automatización puede generar un riesgo catastrófico, podría limitar el desarrollo y el uso de la automejora recursiva: sistemas de IA que participan en la creación de sus sucesores.