Am 15. September 2026 prallten bei Dreamforce 2026 drei unterschiedliche Vorstellungen von sicherer Frontier-KI aufeinander: Dario Amodei forderte abgestimmtes Tempo und unabhängige Prüfer, Sam Altman setzte auf Sicherheitszusagen ohne Bedingungen an Konkurrenten, und Jensen Huang wollte Sicherheit vor allem durch technische Tests und kontrollierte Produktfreigaben gewährleisten. Eine bindende Vereinbarung über eine langsamere KI-Entwicklung entstand daraus nicht.
Drei Wege zu sichererer KI, direkt verglichen
| Akteur | Vorgeschlagener Mechanismus | Rolle von Regulierung oder Koordination | Beschriebene praktische Schranke |
| Dario Amodei / Anthropic | Langsameres Wachstum der Modellfähigkeiten, damit Sicherheitsarbeit Schritt hält | Eingebettete unabhängige Prüfer, gemeinsame Standards demokratischer Staaten und globale Koordination | Sicherheitspraktiken, Trainingsprozesse und Vorfälle laufend prüfen lassen |
| Sam Altman / OpenAI | Sicherheit, Ausrichtung und Überwachung vor dem Ausbau der Fähigkeiten halten | Sicherheitszusagen dürfen nicht davon abhängen, ob Konkurrenten oder andere Länder zuerst handeln | Vorfälle transparent melden, daraus lernen und bei Bedarf bremsen oder stoppen |
| Jensen Huang / NVIDIA | Sicherheit als Ingenieurs- und Validierungsaufgabe behandeln | Keine neuen KI-spezifischen Gesetze oder Vorschriften erforderlich | Produkte nur freigeben, wenn Funktion, Leistungsfähigkeit und Sicherheit ausreichend geprüft sind |
| Marc Benioff / Salesforce | Unternehmen für ihre Tempoentscheidungen und Risiken verantwortlich machen | Bestehende Regeln gelten und können sich weiterentwickeln | Unternehmen sollen selbst über Beschleunigung oder Verlangsamung entscheiden und dafür einstehen |
Was Dario Amodei vorgeschlagen hat
Amodei veröffentlichte am 12. September 2026 seinen Vorschlag, das Tempo bei der Verbesserung von KI-Fähigkeiten zu drosseln. Gemeint war kein Ende des Modelltrainings und kein vollständiger Stopp des technischen Fortschritts. Sicherheitsforschung, Evaluierung, Interpretierbarkeit und der praktische Betrieb sollen vielmehr mit der Entwicklung Schritt halten.
Sein Modell besteht aus drei Stufen:
- Eingebettete unabhängige Prüfer: Frontier-Unternehmen sollen Teams unabhängiger Prüfer fortlaufenden, mit Beschäftigten vergleichbaren Zugang zu relevanten Büros, Werkzeugen, Berechtigungen und Prozessen geben. Die Prüfer sollen Sicherheitspraktiken und Vorfälle untersuchen können. Amodeis Vorschlag sieht auch die Veröffentlichung wichtiger Ergebnisse vor, mit begrenzten Ausnahmen etwa für Sicherheitsgeheimnisse, rechtlich geschützte Informationen und vertrauliche Daten Dritter.
- Koordination demokratischer Staaten: Frontier-Labore in demokratischen Ländern sollen gemeinsame Sicherheitsstandards und Grenzen für ungeprüftes Wachstum entwickeln.
- Globale Koordination: Auch demokratische und autoritär regierte Staaten sollen gemeinsame Regeln ausloten. Amodei bezeichnete dabei die Kontrolle und die geopolitischen Anreize als große Hürden.
Der entscheidende Punkt: Amodei wollte die Entwicklung nicht vollständig anhalten, sondern das Tempo an die Fähigkeit zur Sicherheitsprüfung koppeln. Die eingebetteten Prüfer waren Teil seines vorgeschlagenen beziehungsweise zugesagten Modells; eine vollständig etablierte, unabhängig überprüfte Infrastruktur beschrieb Dreamforce nicht.
Was Sam Altman anders gewichten wollte
Sam Altman unterstützte ein vorsichtigeres Entwicklungstempo, wollte Sicherheitszusagen aber nicht davon abhängig machen, dass rivalisierende Unternehmen oder Staaten sich ebenfalls verantwortungsvoll verhalten. Für OpenAI hob er unabhängige Evaluierung, Überwachung und eine Kultur der Unfallmeldung hervor.
Altman verwies außerdem auf zwei Risiken: Unfälle durch den Verlust menschlicher Kontrolle und eine zu starke Konzentration von Macht. Sein vorgeschlagener Umgang damit erinnert teilweise an die Luftfahrt: Vorfälle sollen gemeldet, untersucht und für Verbesserungen genutzt werden. Wenn Sicherheit und Überwachung nicht vor den wachsenden Fähigkeiten bleiben, sollen Unternehmen laut seiner Position bremsen oder anhalten.
Warum Jensen Huang neue KI-Gesetze ablehnt
Jensen Huang beschrieb KI-Sicherheit bei Dreamforce als Ingenieursproblem. Sein Kontrollpunkt liegt vor der Veröffentlichung: Unternehmen sollen ein Produkt oder einen Dienst nicht freigeben, wenn sie von Funktion, Leistungsfähigkeit oder Sicherheit nicht überzeugt sind.
Huang lehnte neue Gesetze und Vorschriften speziell für KI ab. Er argumentierte, Innovation, Geschwindigkeit und sichere Produkte seien kein zwangsläufiger Gegensatz. In seinem Modell liegt die Verantwortung damit hauptsächlich bei den Unternehmen, ihren Tests und der Entscheidung, ein System nicht auf den Markt zu bringen, wenn die Validierung nicht ausreicht.
Diese Position unterscheidet sich deutlich von Amodeis Vorschlag. Huang setzt auf technische Freigabekriterien einzelner Anbieter, während Amodei zusätzliche unabhängige Kontrolle und abgestimmte Grenzen zwischen Unternehmen und Staaten fordert.
Benioff setzt auf Verantwortung unter bestehenden Regeln
Marc Benioff beschrieb die Lage als dynamische Phase, in der Unternehmen und Regierungen die Fähigkeiten moderner Modelle weiter einordnen. Nach seiner Position gelten bereits Regeln, die sich mit zunehmendem Verständnis der Systeme weiterentwickeln können.
Benioff legte die Verantwortung für Tempoentscheidungen bei den Unternehmen: Wer beschleunigt oder verlangsamt, soll für die Folgen dieser Entscheidung einstehen. Damit nahm er eine Zwischenposition ein. Er forderte nicht Amodeis Koordinationsmodell, verließ sich aber auch nicht ausschließlich auf technische Prüfungen vor der Veröffentlichung.
Koa brachte ein konkretes Produkt in die Debatte
Neben der Grundsatzdiskussion kündigten Salesforce und NVIDIA Salesforce Koa an. Das Modell ist ein CRM-Reasoning-Modell von Salesforce, basiert auf NVIDIA Nemotron und wurde mit synthetischen Szenarien aus dem CRM-Bereich trainiert. Salesforce erklärte, dass dabei keine Kundendaten für das Training verwendet wurden.
Koa ist auf CRM-Aktionen zugeschnitten, nicht auf eine allgemeine Messung von Intelligenz. Salesforce berichtet für seinen CRM Bench drei Mal weniger Fehler bei CRM-Aktionen als bei der dort verglichenen Leistung führender Modelle. Auf den eigenen Tests meldet das Unternehmen außerdem 11 Prozent mehr Aktionspräzision, 2,1-mal höhere Zuverlässigkeit und 15 Prozent bessere Ergebnisse beim Arbeiten mit langen Kontexten gegenüber nicht näher benannten Standardmodellen für allgemeine Intelligenz.
Koa war für ausgewählte Pilotkunden vorgesehen. Die genannten Kennzahlen beschreiben Salesforce’ eigene Produkt- und Benchmark-Angaben für CRM-Aufgaben — genau dort liegt ihr Aussagebereich.
