Satya Nadella propose un arrêt d’urgence pour l’IA

Le 10 octobre 2026, Satya Nadella a proposé qu’une personne autorisée puisse mettre un modèle d’IA en pause ou l’arrêter en pleine tâche. Le PDG de Microsoft veut que les commandes d’accès et d’action restent hors du modèle, afin que celui-ci ne puisse pas modifier lui-même les limites qui lui sont imposées. Son billet prolonge ses prises de position sur le maintien de l’IA sous contrôle humain, déjà abordées par NeoTeo.

Un contrôle extérieur au modèle

Pour Nadella, le « frein d’urgence » ne se résume pas à demander au modèle de s’arrêter. Il préconise de séparer le modèle du harnais d’orchestration — le logiciel qui coordonne ses tâches et ses outils — ainsi que des actions auxquelles il peut accéder. Une personne autorisée devrait pouvoir interrompre son activité en cours ; les contrôles qui définissent ses permissions resteraient indépendants du modèle.

Cette architecture s’inscrit dans sept principes énoncés par Nadella : diversité des modèles, observabilité, vérifiabilité, contrôles indépendants, auditabilité indépendante, confinement et signalement des incidents. Il préconise aussi des traces lisibles par des humains et difficiles à falsifier, pour reconstituer les actions sans s’en remettre au récit du modèle, ainsi que des tests continus portant sur les échecs, les attaques, les cas limites et les changements du système.

Pourquoi la transparence ne suffit pas

Nadella juge indispensable la transparence de la chaîne de raisonnement, souvent désignée par l’acronyme anglais CoT. Mais il estime qu’elle ne constitue pas, à elle seule, une protection suffisante ni fiable : les réponses d’un modèle ne reflètent pas toujours fidèlement son raisonnement et ne sont pas toujours transparentes.

Son argument en faveur du confinement ne suppose pas qu’une IA soit malveillante. Un système capable, doté d’un accès à des ressources importantes, peut commettre une erreur ou être compromis. Pour Nadella, ces risques justifient des contrôles extérieurs même sans prêter d’intention au modèle.

Des protections à normaliser

Nadella estime que les modèles les plus avancés nécessiteront des technologies de confinement plus avancées et appelle à les normaliser. C’est une recommandation pour élaborer des protections communes, pas une norme adoptée.

Le billet expose le principe — une personne autorisée doit pouvoir interrompre le modèle et ses permissions doivent être contrôlées de l’extérieur — sans décrire le mécanisme technique qui réaliserait cette interruption.