Josh Engels gab am 12. September 2026 bekannt, dass er Google DeepMind verlassen hat und zu METR gewechselt ist. Drei Wochen zuvor hatte er nach eigener Aussage das AGI-Sicherheitsteam von Google DeepMind verlassen. Bei METR will der KI-Sicherheitsforscher untersuchen, wie Fehlanpassungen entstehen, ob aktuelle Schutzmaßnahmen ausreichen und ob die Alignment-Forschung mit der Entwicklung leistungsfähigerer Systeme Schritt hält.

Seine Warnung vor enormem Schaden durch KI innerhalb der nächsten fünf Jahre ist dabei seine persönliche Risikoeinschätzung – keine etablierte wissenschaftliche Prognose und kein Beleg dafür, dass eine Katastrophe bevorsteht.

Der Wechsel von Google DeepMind zu METR

Engels erklärte, dass er die Arbeit bei Google DeepMind gern gemacht und Angebote von Anthropic und OpenAI abgelehnt habe. Der Grund für seinen Wechsel sei nicht Unzufriedenheit mit der bisherigen Tätigkeit, sondern seine Einschätzung der Risiken rund um fortgeschrittene KI.

Im Mittelpunkt steht für ihn die Frage, ob die Entwicklung sogenannter Frontier-KI schneller voranschreitet als die Methoden, mit denen Forschende solche Systeme ausrichten und bewerten können. Mit Alignment ist gemeint, dass sich das Verhalten eines Modells zuverlässig an menschlichen Vorgaben und Zielen orientiert.

Warum Engels vor einem Alignment-Rückstand warnt

Engels hält insbesondere rekursive Selbstverbesserung für problematisch. Damit ist ein Szenario gemeint, in dem KI-Systeme dabei helfen, leistungsfähigere Nachfolgesysteme zu entwickeln. Eine solche Rückkopplung könnte die Fähigkeiten künftiger Systeme schneller wachsen lassen – und damit den Druck auf Sicherheits- und Evaluierungsmethoden erhöhen.

Seine zentrale Aussage lautet nicht, dass dieser Ablauf bereits stattfindet oder zwangsläufig in einer Katastrophe endet. Engels sagt vielmehr, dass derzeit nicht bekannt sei, wie KI-Systeme für eine solche rekursive Selbstverbesserung sicher genug gemacht werden könnten. Deshalb fordert er mehr Zeit und ein Entwicklungstempo, bei dem die Fähigkeiten von KI nicht den Möglichkeiten zur Ausrichtung und Bewertung davonlaufen.

Was Engels bei METR untersuchen will

Bei METR beschäftigt sich Engels mit KI-Fehlanpassungen. Er will nach eigenen Angaben drei Fragen verfolgen:

  • Wo entstehen Fehlanpassungen während des Trainings?
  • Reichen die derzeitigen Schutzmaßnahmen aus?
  • Ist die Alignment-Forschung auf dem Weg, das Problem tatsächlich zu lösen?

METR wird als gemeinnützige Organisation beschrieben, die fortgeschrittene KI-Systeme unter anderem auf autonome Fähigkeiten und mögliche katastrophale Risiken untersucht. Engels’ neue Aufgabe verschiebt den Schwerpunkt damit von der Entwicklung solcher Systeme hin zu ihrer unabhängigen Bewertung und zu den Bedingungen, unter denen ihr Verhalten zuverlässig kontrollierbar bleiben soll.

Was die Fünfjahreswarnung bedeutet – und was nicht

Engels sagte, er halte die Wahrscheinlichkeit für enormen Schaden durch KI in den kommenden fünf Jahren für hoch genug, um das Thema als eines der wichtigsten Probleme der Welt zu betrachten. Eine genaue Wahrscheinlichkeit nannte er nicht.