Google DeepMind zufolge prüfte das Unternehmen Gemini 4 Carbon unter anderem auf CBRN-Risiken, die Robustheit von Schutzmaßnahmen und die Transparenz der Chain of Thought. Bestimmte Fähigkeitseinstufungen übernahm Google jedoch von Argon, weil Carbon nach der internen Bewertung keine wesentliche Fähigkeitsänderung erreicht hatte. In einer am 16. November 2026 veröffentlichten Analyse kritisierte Redwood Research, dass gezielte Kontrolltests nicht mit Carbon wiederholt worden seien. Googles Sicherheitsbericht beschreibt die Begründung und die durchgeführten Prüfungen.
Warum Google Einstufungen von Argon übernahm
Google verwendete für die Entscheidung einen internen Fähigkeitsindex, den General Capability Index (GCI v2). Das Unternehmen wertete einen Zuwachs von mehr als vier Monaten an Fähigkeitsfortschritt als wesentliche Änderung (Material Capability Change, MCC). Als historischen Fortschritt bei Gemini-Modellen nannte Google rund 4,7 GCI-Punkte pro Monat. Carbon blieb nach Googles Einschätzung unter der MCC-Schwelle; deshalb übernahm das Unternehmen bestimmte Fähigkeitsbewertungen und Schwellenentscheidungen von Argon, statt eine vollständige neue Prüfung kritischer Fähigkeiten vorzunehmen.
Bei den übernommenen Einstufungen konnte Google nach eigener Aussage die Schwellen für Cyber-Uplift auf Stufe 1, für biologische Informationen im CBRN-Bereich auf Stufe 1 sowie für die verfolgten Fähigkeiten Stealth und Situational Awareness nicht ausschließen. Die übernommenen Bewertungen erreichten laut Bericht dagegen nicht die Schwellen für chemische, radiologische und nukleare CBRN-Fähigkeiten, schädliche Manipulation oder kritische Fähigkeiten in der ML-Forschung und -Entwicklung.
Die üblichen Tests im Bericht untersuchten das Modell grundsätzlich ohne Schutzmaßnahmen, die außerhalb des Modells im Produktivbetrieb greifen, und ohne eine Suche, die Antworten mit Suchergebnissen fundiert. Google beschreibt solche zusätzlichen Schutzvorkehrungen für den Einsatz; welche Maßnahmen aktiv sind, kann je nach Einsatzbereich variieren. Die berichteten Modelltests und die Schutzschichten im Produktivbetrieb betreffen damit unterschiedliche Prüfbedingungen.
Welche Prüfungen Google für Carbon aufführte
Zusätzlich zu den übernommenen Einstufungen nennt Google mehrere Carbon-spezifische Untersuchungen: Tests zur Neigung zu CBRN-Missbrauch, zur Abdeckung und Widerstandsfähigkeit von Schutzmaßnahmen gegen CBRN- und Cybermissbrauch, eine verkürzte Ausrichtungsbewertung sowie Prüfungen der Chain-of-Thought-Transparenz. Dabei ging es unter anderem um Lesbarkeit, Abdeckung und Überwachbarkeit.
Für den Cyberbenchmark ExploitGym meldete Google bei Carbon eine kausale Erfolgsquote von 54,8 Prozent. Das waren 12,8 Prozentpunkte mehr als bei Argon. Der Wert beschreibt das Abschneiden in einem Cybersecurity-Benchmark; er ist keine Messung dazu, wie oft ein Modell Kontrollmechanismen umgehen kann.
Ein Cyberbenchmark und ein gezielter Kontrolltest beantworten unterschiedliche Fragen. Die eine Messung ersetzt die andere nicht.
Was Redwood Research an den Kontrolltests kritisierte
Redwood Research argumentierte, Google habe die gezielten Tests zu Monitor-Umgehung, Steganografie und Kontrollierbarkeit der Chain of Thought nicht mit Carbon wiederholt. Die Analyse nennt Umgehungsraten von rund 45,5 Prozent in einer LinuxArena-Konfiguration und rund 64 Prozent in einem separaten Test mit einer internen Codebasis. Beide Werte beziehen sich auf Gemini 4 Argon und unterschiedliche Testumgebungen.
Auch die Alarmzahlen bewertet Redwood zurückhaltend. Google berichtete für Carbon im internen Einsatz ungefähr siebenmal weniger bestätigte schwerwiegende Alarme pro Sitzung und zehnmal weniger pro Modellaufruf als bei Argon. Das Unternehmen verwies zugleich auf Unterschiede bei Aufgaben, Verlaufslängen, Werkzeugaufrufen, Prüfungsabdeckung und ausgewählten Checkpoints. Redwood zufolge lässt sich aus dieser Beobachtung nicht unterscheiden, ob Carbon seltener problematisch reagierte oder schwerer zu überwachen war.
Neben der Sicherheitsbewertung von Argon war auch dessen Programmierleistung Thema: NeoTeo berichtete zuvor über Kritik an Gemini 4 Argons praktischer Leistung. Diese Debatte betrifft eine andere Frage als die Kontrolltests für Carbon.
Redwood Research sprach sich in der Analyse dennoch für den externen Einsatz der Modelle aus. Adam Kaufman und Alek Westover forderten zugleich stärkere Sicherheitsargumente, insbesondere für Modelle, die intern in der KI-Forschung und -Entwicklung eingesetzt werden.