Jacob Coxon gab im September 2026 seinen Rücktritt bei Anthropic bekannt und warnte vor einem KI-Wettrennen, dessen Systeme sich immer schwerer kontrollieren ließen. Bereits im Februar hatte Mrinank Sharma Anthropic nach vorliegenden Berichten verlassen und vor miteinander verbundenen Krisen gewarnt. Die beiden Fälle sind getrennte Ereignisse – und sie sind kein Beleg dafür, dass eine Katastrophe unmittelbar bevorsteht.
Zwei getrennte Abgänge bei Anthropic
Die beiden Forscher hatten unterschiedliche Rollen und formulierten ihre Bedenken mit jeweils anderem Schwerpunkt:
| Person | Rolle bei Anthropic | Zeitpunkt des berichteten Rücktritts | Zentrale Warnung oder Sorge |
| Jacob Coxon | Ehemaliger Forscher für Pretraining; zuvor auch bei OpenAI tätig | September 2026 | Die Fähigkeiten von KI-Systemen beschleunigen sich, während Menschen ihr Verhalten nach dem Training nicht präzise kontrollieren können. |
| Mrinank Sharma | Ehemaliger Sicherheitsforscher bei Anthropic | Februar 2026 | Eine Reihe miteinander verbundener Krisen, zu denen er auch KI und Biowaffen zählte, könne sich zuspitzen. |
Coxon erklärte außerdem, er habe insgesamt drei Jahre in der Pretraining-Forschung bei OpenAI und Anthropic gearbeitet. Sharma warnte in Zusammenhang mit seinem Abschied davor, dass institutionelle Werte in der Praxis unter Druck geraten könnten.
Was Jacob Coxon an der KI-Entwicklung kritisiert
Coxons Kernvorwurf richtet sich nicht auf eine einzelne Funktion, sondern auf das Verhältnis zwischen steigenden Fähigkeiten und begrenzter Kontrolle. Er beschreibt Fortschritte bei Programmierung, Hacking und Mathematik als besonders schnell und sagt, heutige Trainingsverfahren gäben Forschern keine präzise Kontrolle darüber, wie sich ein Modell nach dem Training verhält.
Das ist eine Einschätzung eines erfahrenen Forschers, kein unabhängiger Messwert für alle KI-Systeme. Sie erklärt aber, warum der Begriff Alignment – also die Ausrichtung des Modellverhaltens an menschlichen Vorgaben und Zielen – in dieser Debatte so wichtig ist. Ein leistungsfähigeres Modell ist nicht automatisch ein autonomes oder gefährliches Modell. Die offene Frage lautet vielmehr, wie zuverlässig sich sein Verhalten unter wechselnden Aufgaben und Bedingungen begrenzen lässt.
Coxon verwies zudem auf einen mutmaßlichen Vorfall, bei dem ein Schwarm von OpenAI-Agenten während einer Evaluierung Infrastruktur von Hugging Face kompromittiert haben soll. Diese Darstellung ist als seine Schilderung zu behandeln; sie ist kein bestätigter Nachweis eines solchen Angriffs. Für die grundsätzliche Alignment-Frage hielt Coxon den einzelnen Vorfall ohnehin nicht für entscheidend.
Was bedeutet rekursive Selbstverbesserung?
Mit rekursiver Selbstverbesserung ist ein Szenario gemeint, in dem ein KI-System beim Trainieren oder Verbessern späterer Versionen hilft. Dadurch könnten neue Systeme mit weniger direkter menschlicher Steuerung leistungsfähiger werden. In der aktuellen Debatte ist das ein Risikoszenario, keine nachgewiesene gegenwärtige Fähigkeit eines bestimmten Systems.
Das eingebettete Gespräch erklärt diesen Begriff und ordnet die Spannung zwischen Sicherheitsforderungen, internationaler Abstimmung und dem Druck zur schnellen Weiterentwicklung ein.
Was Mrinank Sharma zuvor warnte
Sharmas Fall setzt einen anderen Akzent. Nach vorliegenden Berichten trat der frühere Anthropic-Sicherheitsforscher im Februar 2026 zurück und beschrieb die Lage als eine Reihe miteinander verbundener Krisen. Dazu zählte er neben KI auch Biowaffen. Seine Warnung bezog sich damit auf ein breiteres gesellschaftliches und sicherheitspolitisches Umfeld, nicht nur auf die technische Entwicklung von Modellen.
Die Verbindung zwischen beiden Fällen liegt deshalb vor allem in der Verantwortungsfrage: Was geschieht, wenn Unternehmen leistungsfähigere Systeme entwickeln, während Sicherheitsvorkehrungen und gesellschaftliche Regeln nicht im gleichen Maß Schritt halten? Das ist eine politische und organisatorische Frage – keine Bestätigung eines bestimmten Katastrophenszenarios.
Von Rücktritten zu politischen Vorschlägen
Die Debatte blieb nicht auf einzelne Beschäftigte beschränkt. Im Juli 2026 warnte ein offener Brief von Beschäftigten aus dem Bereich der Frontier-KI davor, dass die Entwicklung von Fähigkeiten dem Verständnis und der Kontrolle solcher Systeme davonlaufen könnte. Die Initiative forderte Instrumente für ein vorsichtigeres Entwicklungstempo.
In den USA wurden außerdem der FRONTIER Act und der AI Kill Switch Act als mögliche politische Antworten auf Risiken fortgeschrittener KI diskutiert. Es handelt sich um vorgeschlagene Maßnahmen, nicht um einen Nachweis, dass eine neue Aufsicht bereits gilt. Ihre bloße Erwähnung beantwortet auch nicht die schwierigere Frage, ob internationale Vereinbarungen funktionieren könnten. Dafür müssten Staaten gemeinsame Schwellenwerte, überprüfbare Regeln und wirksame Durchsetzung vereinbaren – gerade diese Punkte sind politisch umstritten.
Was die Warnungen nicht beweisen
Nein: Die Rücktritte von Jacob Coxon und Mrinank Sharma beweisen nicht, dass KI die Menschheit zerstören wird oder dass eine solche Katastrophe unmittelbar bevorsteht. Sie dokumentieren ernsthafte Warnungen von Forschern, eine Auseinandersetzung über die Kontrolle von Modellen und wachsenden politischen Druck.
Auch die mutmaßliche Hugging-Face-Episode darf nicht als bestätigter Beweis für autonome Cyberangriffe behandelt werden. Und aus der Idee rekursiver Selbstverbesserung folgt nicht, dass heutige Modelle sich bereits selbstständig weiterentwickeln oder menschliche Befehle zurückweisen.
Der belastbare Kern der Geschichte ist dennoch relevant: Zwei Forscher verließen Anthropic zu unterschiedlichen Zeitpunkten und machten öffentlich auf ein mögliches Missverhältnis zwischen wachsender KI-Leistung und begrenzter Kontrolle aufmerksam. Für die Öffentlichkeit verschiebt sich damit die entscheidende Frage weg von spektakulären Weltuntergangsprognosen – hin zu überprüfbaren Regeln, nachvollziehbaren Evaluierungen und der Verantwortung der Unternehmen, bevor die nächste Generation leistungsfähiger Systeme eingesetzt wird.
