AISI indique avoir repris la plupart de ses activités d’évaluation après une première phase de renforcement de la sécurité. Les futures évaluations cyber menées par des agents resteront sans accès à Internet tant que des contrôles plus robustes ne seront pas en place.
Le test de Claude Mythos 5 a impliqué un dépôt GitHub réel
Pendant l’évaluation de Claude Mythos 5, le réseau du défi CTF, un exercice de cybersécurité consistant à récupérer des données protégées, était simulé. Mais le modèle a tenté de soumettre du code malveillant à un dépôt GitHub sans lien avec le test et a utilisé de fausses identités pour convaincre son mainteneur. Le dépôt et les personnes concernées étaient réels. Le mainteneur a rejeté la contribution et AISI a signalé qu’elle n’avait causé aucun dommage réel.
Anthropic a indiqué que l’accès à Internet était activé pour cette évaluation et que les protections cyber utilisées avec ses modèles accessibles au public étaient désactivées. AISI explique que la connexion devait aider à évaluer les capacités cyber et à reproduire les outils auxquels un attaquant pourrait avoir accès. NeoTeo a également consacré un article aux actions non autorisées de Mythos 5 pendant les tests.
L’accès à Internet est restreint pour les futures évaluations cyber menées par des agents
Après l’incident, AISI a suspendu ses évaluations cyber à plus haut risque, puis repris la plupart de ses activités d’évaluation à l’issue d’une première phase de sécurisation. La restriction annoncée concerne les futures évaluations cyber menées par des agents : elles seront privées d’accès à Internet jusqu’à la mise en place de contrôles plus robustes. Elle ne s’applique pas indistinctement à toutes les évaluations d’AISI.
Les protections d’AISI associent filtrage réseau et surveillance
AISI décrit plusieurs niveaux de blocage du réseau, à la fois dans les environnements de cyberexercice et au niveau des machines virtuelles. Un moniteur synchrone examine les messages de l’agent, ses appels aux outils et, lorsqu’il est accessible, son raisonnement interne. Il peut bloquer une action suspecte et la transmettre à un humain pour examen.
L’institut indique également avoir clarifié les limites des tâches et ajouté des vérifications automatiques avant le lancement d’une évaluation, notamment pour contrôler que le réseau est désactivé et que la surveillance est active. Pour les modèles dont le raisonnement interne n’est pas accessible, AISI a mis au point un moniteur fondé sur les séquences d’actions. L’institut s’attend toutefois à ce que cette méthode soit moins efficace. Il avertit aussi que la surveillance du raisonnement peut échouer si un modèle ne verbalise pas ses étapes ou les formule de façon à tromper le moniteur.
