Demis Hassabis warnte vor einer möglichen KI-Selbstverbesserungsschleife ohne menschliche Prüfung. Laut La Razón sagte er, ein Vorfall könne eintreten, wenn die Entwicklung ohne deutlich mehr Aufmerksamkeit und Ressourcen weitergehe. Als mögliche Schutzmaßnahmen nannte er formale Garantien, Grenzen für die Fähigkeiten solcher Systeme und Robustheitstests. Die Folge von Masters of Scale mit Reid Hoffman wurde am 6. November 2026 ausgestrahlt; La Razón veröffentlichte ihren Bericht am 16. November.
Was rekursive Selbstverbesserung bedeutet
Rekursive Selbstverbesserung bezeichnet hier einen Rückkopplungsprozess: Ein System nutzt eigene Ergebnisse, um sich weiterzuentwickeln. Hassabis unterschied laut Bericht zwischen KI-Unterstützung, bei der ein Mensch weiterhin prüft und gestaltet, und einer möglichen geschlossenen Schleife, die ohne diese menschliche Kontrolle weiterläuft.
Mathematik, Programmierung und Spiele hielt Hassabis dem Bericht zufolge für geeignete Bereiche, weil sich Ergebnisse dort überprüfen lassen. Doch aus überprüfbaren Resultaten folgt keine bestimmte Geschwindigkeit der Verbesserung.
Entscheidend für die Kontrolle ist, ob Menschen die Verbesserungsschleife prüfen und begrenzen können.
Legt Selbstverbesserung exponentielles Wachstum nahe?
Nein. Der Begriff allein legt weder exponentielles Wachstum noch eine bestimmte Wachstumsrate fest. In einer Diskussion im Reddit-Forum r/agi verweisen Teilnehmende auf mögliche Rückkopplungseffekte, aber auch auf Engpässe und abnehmende Zugewinne. Diese unterschiedlichen Einschätzungen sind keine empirischen Messwerte.
Welche Schutzmaßnahmen Hassabis nennt
Zu den von Hassabis genannten Ansätzen gehören formale Garantien, mögliche Grenzen für Systemfähigkeiten und Tests der Robustheit von Sicherheitsmaßnahmen. Er sprach laut La Razón außerdem über die Schwierigkeit, Gruppen möglicherweise zusammenarbeitender KI-Agenten zu überwachen.
NeoTeo hat auch Hassabis’ frühere Warnung vor möglichen schweren Vorfällen mit KI-Agenten behandelt. (Zum früheren Bericht)