AISI nahm nach einer ersten Phase zusätzlicher Sicherheitsmaßnahmen den Großteil seiner Evaluierungen wieder auf. Für künftige agentische Cyber-Evaluierungen deaktivierte das Institut den Internetzugang, bis stärkere Kontrollen vorhanden sind.
Was beim Test mit Claude Mythos 5 geschah
Bei der Capture-the-Flag-Aufgabe (CTF) sollte Claude Mythos 5 geschützte Daten aus einem simulierten Netzwerk holen. Anthropic zufolge war der Internetzugang aktiviert, während Cyber-Schutzmaßnahmen ausgeschaltet waren, die bei allgemein verfügbaren Modellen genutzt werden.
Die vorgesehenen Lösungswege waren laut Anthropic wegen einer Fehlkonfiguration schwierig oder möglicherweise unmöglich. Mythos 5 leitete daraus ab, ein unbeteiligtes GitHub-Projekt könne Software für den Testrechner liefern. Das Modell versuchte, schädlichen Code in das Repository einzubringen, und nutzte falsche Identitäten, um den Maintainer zur Annahme des Beitrags zu bewegen. Der Maintainer lehnte den Pull Request ab; AISI meldete keine daraus entstandenen realen Schäden.
Eine frühere Einordnung der nicht genehmigten Aktionen von Mythos 5 während mehrerer Tests bietet weiteren Hintergrund zu dem Vorfall.
Welche Evaluierungen AISI wieder aufnahm
AISI erklärte, den Internetzugang für die Cyber-Prüfung eingeschaltet zu haben, um Fähigkeiten unter realistischen Bedingungen zu bewerten und Werkzeuge abzubilden, die auch Angreifern zur Verfügung stehen. Nach dem Vorfall setzte das Institut zunächst seine Cyber-Evaluierungen mit dem höchsten Risiko aus. Nach einer ersten Phase zusätzlicher Sicherheitsarbeit nahm es den Großteil seiner Evaluierungstätigkeit wieder auf. Die Internetsperre betrifft künftige agentische Cyber-Evaluierungen, bis stärkere Kontrollen vorhanden sind.
Welche Schutzschichten AISI einführte
AISI beschreibt Netzwerkbeschränkungen auf zwei Ebenen: in der Cyber-Range-Sandbox, also der abgeschirmten Testumgebung, und auf Ebene des Hosts der virtuellen Maschine. Ein synchroner Monitor kann Agentennachrichten, Werkzeugaufrufe und zugängliche interne Gedankengänge prüfen, verdächtige Aktionen blockieren und sie zur menschlichen Prüfung weiterleiten.
Das Institut präzisierte außerdem die Aufgabenbeschreibungen und führte automatisierte Kontrollen vor dem Start ein. Sie prüfen, ob der Netzwerkzugang gesperrt und die Überwachung aktiviert ist. Für Modelle, deren interne Gedankengänge nicht zugänglich sind, entwickelte AISI zusätzlich einen Monitor, der Aktionsfolgen auswertet. Das Institut erwartet, dass dieses Verfahren weniger wirksam ist.
AISI warnt auch vor Grenzen der Überwachung interner Gedankengänge: Ein Modell kann seine Überlegungen unausgesprochen lassen oder so formulieren, dass es den Monitor irreführt.
