Am 28. September 2026 erschienen Berichte über ein neues Papier, dessen Autoren vor einer möglichen Beschleunigung der KI-Entwicklung durch automatisierte Forschung und Entwicklung warnen. Sie schlagen unter anderem Fortschrittsberichte, unabhängige Prüfungen und Möglichkeiten vor, bestimmte Projekte zu pausieren oder automatisierte Systeme zu isolieren. Die Warnung beschreibt ein unsicheres Szenario, kein bereits eingetretenes Ereignis.
Ein Bericht warnt vor automatisierter KI-Forschung
Bei automatisierter KI-Forschung und -Entwicklung übernehmen KI-Systeme Aufgaben, die dazu beitragen können, leistungsfähigere KI zu entwickeln. Zu den in der Berichterstattung als Mitautoren genannten Personen zählen Geoffrey Hinton, Yoshua Bengio, Jack Clark und Jakub Pachocki. Insgesamt soll das Papier mehr als 20 Autoren haben.
Die Autoren halten automatisierte Forschung und Entwicklung für einen möglichen Auslöser einer sogenannten „Intelligenzexplosion“: Der KI-Fortschritt könnte sich so stark beschleunigen, dass Entwicklungen, für die sonst Jahre nötig wären, in Monaten oder noch kürzerer Zeit stattfinden. Das ist ein mögliches Szenario, keine feststehende Entwicklung.
Was eine mögliche „Intelligenzexplosion“ bedeutet
Mit rekursiver Selbstverbesserung ist hier die Möglichkeit gemeint, dass KI-Systeme die Forschung und Entwicklung automatisieren, aus der wiederum leistungsfähigere KI hervorgeht. Der Begriff beschreibt also eine mögliche Rückkopplung zwischen KI und ihrer Weiterentwicklung – nicht den Nachweis, dass ein solcher Kreislauf bereits vollständig autonom abläuft.
Die beschriebenen Risiken reichen von Cyber- oder Biogefahren, die sich schneller entwickeln könnten als Gegenmaßnahmen, bis zu einem Rückgang menschlicher Kontrolle, wenn Menschen weniger an der KI-Forschung beteiligt sind. Auch Staaten könnten nach diesem Szenario einen kleinen Vorsprung in einen entscheidenden Vorteil verwandeln. Die Folgen dieser Entwicklungen sind laut den Autoren unsicher.
Welche Aufsicht die Autoren vorschlagen
Die Empfehlungen zielen darauf, Fortschritte bei der KI-Forschung sichtbarer und bestimmte Entwicklungsarbeiten besser kontrollierbar zu machen. Dazu zählen transparente Berichte über den Stand der KI-Forschung und -Entwicklung sowie unabhängige Prüfungen durch Evaluatoren oder Auditoren.
Außerdem schlagen die Autoren vor, das Entwicklungstempo zu begrenzen, bestimmte KI-Forschungsprojekte in Rechenzentren pausieren zu können und automatisierte Forschungssysteme zu isolieren. Notfallpläne sollen den Umgang mit kritischen Situationen vorbereiten. Das sind Vorschläge der Autoren, keine bereits geltenden allgemeinen Regeln.
Prognose für 2028 und mögliche Grenzen
Die Autoren prognostizieren, dass KI bis 2028 Projekte vollständig automatisieren könnte, für die Menschen Monate benötigen. Die Vorhersage bezieht sich auf solche Projekte, nicht auf sämtliche Forschungsarbeit, und beschreibt eine erwartete Fähigkeit statt eines bereits erreichten Zustands.
Als mögliche Begrenzungen nennen die Autoren Beschränkungen bei der Rechenleistung, Schwierigkeiten bei der Automatisierung, abnehmende Fortschrittsgewinne, lange Trainingsläufe, Lieferketten und Regulierung. Zugleich könnte KI nach ihrer Einschätzung auch dazu beitragen, Risiken einzudämmen.
