Am 15. September 2026 warnte Liu Shengyu, ein Machine-Learning-Systemingenieur bei DeepSeek, vor einer möglichen Machtkonzentration, falls Anthropic die fortgeschrittenste künstliche Intelligenz oder eine künstliche allgemeine Intelligenz (AGI) kontrollieren würde. Am 16. September wurde die Warnung mit der breiteren Debatte über KI-Sicherheit und Entwicklungstempo verknüpft. Es geht dabei um ein hypothetisches Szenario – nicht um den Nachweis, dass Anthropic eine AGI kontrolliert oder dass eine AGI bereits existiert.
Liu Shengyu kritisiert Konzentration und Zugang
Liu argumentiert, fortgeschrittene KI müsse offen und erschwinglich zugänglich sein. Er misstraut nach eigener Aussage Anthropic und OpenAI, wenn es darum geht, diesen Zugang sicherzustellen. Seine drastische historische Analogie stellte eine mögliche Anthropic-Kontrolle der leistungsfähigsten KI der Situation gegenüber, in der Nazi-Deutschland vor den Alliierten über Atomwaffentechnologie verfügt hätte.
Die Analogie ist eine politische und persönliche Bewertung von Liu Shengyu. Sie beschreibt weder eine aktuelle Fähigkeit von Anthropic noch eine Absicht des Unternehmens. Ebenso folgt aus dem Wunsch nach offenem Zugang nicht automatisch, dass offene oder frei zugängliche Modelle sicherer sind. Die Debatte betrifft hier zunächst Machtverteilung und Bezahlbarkeit.
Dario Amodei setzt auf Tempo und Aufsicht
Dario Amodei, CEO von Anthropic, verfolgt einen anderen Ansatz. In einem Essay vom September 2026 fordert er, die Verbesserung der KI-Fähigkeiten so weit zu verlangsamen, dass Sicherheitsforschung, Auswertung und Schutzmaßnahmen Schritt halten können. Er sagt ausdrücklich, dass dieses „Pacing“ kein Ende des technischen Fortschritts oder des Modelltrainings bedeute.
Sein Vorschlag umfasst drei Bausteine:
- Eingebettete Prüfer: Unabhängige Drittanbieter-Teams sollen dauerhaft, mit einem mit Beschäftigten vergleichbaren Zugang, relevante Werkzeuge, Arbeitsbereiche und Abläufe eines KI-Unternehmens prüfen können.
- Koordination demokratischer Staaten: Frontier-KI-Unternehmen in demokratischen Ländern sollen gemeinsame Sicherheitsstandards und Grenzen für unkontrollierte Fortschritte entwickeln.
- Internationale Koordination: Demokratische und autoritäre Regierungen sollen nach Möglichkeiten zur Zusammenarbeit suchen; dabei spielen Überprüfbarkeit und Vertrauen eine zentrale Rolle.
Amodei begründet das langsamere Tempo mit der Sorge, dass rekursive Selbstverbesserung – also KI, die an der nächsten Generation von KI mitarbeitet – die Sicherheitsarbeit überholen könnte.
Zwei Risiken, die zusammengehören – aber nicht dasselbe sind
Liu Shengyu und Dario Amodei sprechen über Governance, setzen den Schwerpunkt aber an unterschiedlichen Stellen:
| Akteur und Organisation | Zentrales Risiko | Vorgeschlagene Antwort | Was die jeweilige Position beschreibt |
| Liu Shengyu / DeepSeek | Eine kleine Zahl privater Unternehmen könnte die leistungsfähigste KI und damit erheblichen Einfluss kontrollieren. | Offener und erschwinglicher Zugang zu fortgeschrittener KI. | Der Schwerpunkt liegt auf Machtkonzentration, Zugang und Bezahlbarkeit. |
| Dario Amodei / Anthropic | Die Fähigkeiten von KI könnten schneller wachsen als Sicherheitsforschung und Aufsicht. | Langsameres Entwicklungstempo, eingebettete Prüfer und internationale Koordination. | Der Schwerpunkt liegt auf Sicherheitsvorkehrungen, Bewertung und Abstimmung. |
Die beiden Positionen überschneiden sich bei der Frage, wer Regeln für fortgeschrittene KI bestimmt. Sie schlagen jedoch unterschiedliche Antworten vor: Liu will eine dauerhafte Hierarchie durch breiteren Zugang verhindern, während Amodei mehr Zeit für Kontrolle und Sicherheitsarbeit gewinnen will.
Coxon und Hubinger verschärfen die Sicherheitsdebatte
Jacob Coxon schied nach drei Jahren bei Anthropic aus und kritisierte das Wettrennen von Unternehmen wie Anthropic und OpenAI zu selbstverbessernden Superintelligenzen. Seine Aussagen sind Warnungen eines ehemaligen Forschers, keine bestätigte Prognose über den weiteren Verlauf der KI-Entwicklung.
Evan Hubinger, Leiter des Bereichs Alignment Science bei Anthropic, schätzte seine persönliche Wahrscheinlichkeit für eine durch KI verursachte Auslöschung der Menschheit innerhalb des nächsten Jahrzehnts auf mehr als 10 Prozent. Diese Zahl ist seine individuelle Einschätzung – weder eine Konsensprognose noch eine gemessene Wahrscheinlichkeit.
Damit liegen innerhalb der Debatte mehrere Ebenen übereinander: Liu warnt vor der politischen Macht einer möglichen Konzentration, Amodei vor einem Entwicklungstempo, das Sicherheitsmaßnahmen überfordern könnte, und Coxon sowie Hubinger sprechen über existenzielle Risiken selbstverbessernder Systeme. Keine dieser Warnungen verwandelt ein Zukunftsszenario in einen Nachweis gegenwärtiger AGI-Kontrolle. Die konkrete politische Frage bleibt deshalb offen: Wie lässt sich leistungsfähige KI zugänglich machen, ohne die Aufsicht über ihre Risiken dem Tempo der Entwicklung zu opfern?
