Rekursive Selbstverbesserung bezeichnet einen möglichen Kreislauf, in dem KI-Systeme zunehmend an der Entwicklung späterer KI-Systeme mitarbeiten. Berichte vom 29. September 2026 geben Warnungen aktueller und ehemaliger Forschender von OpenAI und Google DeepMind vor den Risiken dieser Entwicklung wieder. Anthropic sagt, vollständig autonomes Entwickeln leistungsfähigerer Nachfolger sei noch nicht erreicht.

Forschende warnen vor dem Entwicklungstempo

Die Warnungen gehen auf Video-Statements zurück, die Palisade Research von aktiven und ehemaligen KI-Forschenden gesammelt hatte. Juan Felipe Ceron Uribe, KI-Forscher bei OpenAI, warnte vor einem Wettlauf führender KI-Labore, dessen Folgen schwer zu überblicken seien. Neel Nanda, Forschungswissenschaftler bei Google DeepMind, schätzte das Risiko, dass KI zum Aussterben der Menschheit führen könnte, auf mindestens 10 Prozent.

Solche Sorgen betreffen ein mögliches künftiges Szenario: Ein System entwickelt einen Nachfolger, der seinerseits leistungsfähiger ist und die nächste Entwicklungsrunde vorantreibt. Je mehr Schritte die KI übernimmt, desto schwieriger könnte menschliche Kontrolle werden. Das ist eine Risikovorstellung, keine Beschreibung einer bereits erreichten Fähigkeit.

Was rekursive Selbstverbesserung bedeutet

Bei heutiger KI-Unterstützung erledigen Systeme einzelne Aufgaben in der Entwicklung, etwa beim Programmieren oder bei Experimenten. Rekursive Selbstverbesserung ginge weiter: KI würde immer mehr zur Entwicklung der nächsten KI-Generation beitragen. Der Begriff beschreibt also eine mögliche Rückkopplung zwischen aufeinanderfolgenden Systemen, nicht bloß den Einsatz eines KI-Assistenten.

Ein mögliches Problem liegt darin, worauf ein System optimiert. Nathalie Baracaldo, KI-Sicherheitsforscherin, warnt, dass wiederholte Optimierung ein falsch festgelegtes Ziel verstärken könnte. Wenn ein System etwa eine fehlerhafte Messgröße immer besser erfüllt, kann sich der Fehler von Runde zu Runde fortsetzen. Das beschreibt einen möglichen Risikomechanismus, nicht einen nachgewiesenen Ausgang heutiger Systeme.

KI-Unterstützung ist noch keine autonome Selbstverbesserung

Anthropic berichtet, dass Claude im Mai 2026 mehr als 80 Prozent der Zeilen verfasste, die in den Produktivcode des Unternehmens übernommen wurden. Das zeigt einen umfangreichen Beitrag zur Softwareentwicklung. Anthropic sagt zugleich, dass KI-Systeme noch keine leistungsfähigeren Nachfolger vollständig autonom entwickeln.

Auch die von Anthropic beschriebenen Ergebnisse bei der Code-Optimierung betreffen eine klar umrissene Übung. Claude Opus 4 erzielte im Mai 2025 im Durchschnitt etwa die dreifache Geschwindigkeit des Ausgangscodes; Claude Mythos Preview erreichte im April 2026 etwa das 52-Fache. Diese Werte messen die Beschleunigung des optimierten Codes in dieser Aufgabe, nicht eine Beschleunigung des Trainings realer KI-Modelle.

Was die Risikoschätzung aussagt

Die Neel Nanda zugeschriebene Einschätzung von mindestens 10 Prozent ist ein persönliches Urteil über die Möglichkeit, dass KI zum Aussterben der Menschheit führt. Sie ist weder eine gemessene Häufigkeit noch ein allgemeiner Konsenswert.

Geoffrey Irving hält es für möglich, dass ein KI-Labor sein Entwicklungstempo auch ohne branchenweite Einigung senkt. Seine Position richtet sich gegen die Vorstellung, dass langsameres Vorgehen zwingend eine gemeinsame Entscheidung aller Unternehmen voraussetzt.