Ein am 30. September veröffentlichter Bericht beschreibt den Appell von mehr als 20 Forschenden aus OpenAI, Anthropic, Microsoft und Meta Platforms: Sie fordern Gesetzgeber auf, KI-Systeme stärker zu beaufsichtigen, wenn diese an der Entwicklung weiterer KI mitwirken. Die Forschenden warnen dem Bericht zufolge, dass die beschleunigte Entwicklung Risiken wie Cyberangriffe, durch KI begünstigte Pandemien, Störungen am Arbeitsmarkt und geopolitische Instabilität verschärfen könnte.
KI-Unterstützung ist noch keine autonome Selbstverbesserung
Wenn KI bei der Entwicklung anderer KI-Systeme hilft, bedeutet das nicht automatisch, dass sie ihre Nachfolger selbstständig entwerfen und entwickeln kann. Eine solche vollständig rekursive Selbstverbesserung wäre ein Kreislauf, in dem ein System autonom an seinem eigenen Nachfolger arbeitet.
Anthropic zufolge schrieb Claude im Mai 2026 mehr als 80 Prozent des Codes, den das Unternehmen in seine Codebasis übernahm. Diese Zahl bezieht sich auf Anthropic. Das Unternehmen sagt zugleich, dass die vollständige autonome Entwicklung eines Nachfolgesystems bislang nicht erreicht wurde und nicht zwangsläufig eintreten muss.
Welche Schutzmaßnahmen die Forschenden vorschlagen
Zu den berichteten Vorschlägen gehören eine klarere staatliche Aufsicht über automatisierte Forschungsmethoden, strenge Sicherheitsanforderungen und Grenzen für das Tempo der Fähigkeitsentwicklung. Auch sichere Umgebungen für sensible Forschung zählen dazu.
Die Forschenden schlagen außerdem internationale Netzwerke zum Austausch über Zwischenfälle, klarere Abschreckungsprotokolle und globale Vereinbarungen vor, um die Entwicklung koordiniert zu verlangsamen.
Aufsicht heißt: beobachten und eingreifen können
Für Hochrisikoexperimente empfehlen die Forschenden dem Bericht zufolge eine sorgfältige Überwachung und die Möglichkeit, Systeme sofort anzuhalten. Damit soll menschliche Kontrolle während eines laufenden Experiments greifen können.
