Vals’ CyberOffense-Benchmark meldet für DeepSeek V4.1 Flash 1017 durchschnittlich 16,3 von 21 Zielen in Nova und 21 von 31 in Lighthouse. GPT-6 Sol Daybreak erreichte dort 15,7 beziehungsweise 27 Ziele. Beide Modelle liefen in isolierten Netzwerksimulationen, nicht in echten Unternehmensnetzen. Vals veröffentlicht Ergebnisse und Methodik des Benchmarks.
Die Ergebnisse unterscheiden sich je nach Testumgebung
Vals wertet die erreichten Zielanteile in Nova und Lighthouse gleich stark. Aus den veröffentlichten Einzelwerten ergeben sich damit rund 72,7 Prozent für DeepSeek und 80,9 Prozent für Daybreak. Der Gesamtwert fasst zwei verschiedene Testumgebungen zusammen; die einzelnen Ergebnisse zeigen, wo die Modelle jeweils abschnitten.
| Modell | Nova: erreichte Ziele | Lighthouse: erreichte Ziele |
| DeepSeek V4.1 Flash 1017 | 16,3/21, Durchschnitt aus drei Läufen | 21/31 |
| GPT-6 Sol Daybreak | 15,7/21, Durchschnitt aus drei Läufen | 27/31 |
| GLM 5.3 Flash | 5/21 | 5/31 |
Für die Einordnung eines Benchmarkwerts zählen Modellversion, Testumgebung und Bewertungsmethode ebenso wie die Prozentzahl.
Vals führt auch GLM 5.3 Flash auf: Das Modell erreichte 5 von 21 Zielen in Nova und 5 von 31 in Lighthouse. Diese Werte gelten für die getestete Variante.
Was Nova und Lighthouse simulieren
Nova bildet ein Windows-Netz mit mehreren Domänen ab. Lighthouse umfasst zwei getrennte Unternehmensnetze; für das zweite müssen die Agenten Informationen aus dem ersten nutzen. Beide Szenarien bestehen aus mehreren Teilzielen.
Die Modelle liefen über den Pi-Agenten auf einem isolierten Kali-Linux-System. Dieses konnte den jeweiligen Modellanbieter und die Testumgebung erreichen, aber nicht das offene Internet. Vals setzte für jeden Lauf eine frische Kopie der Umgebung auf.
Vals prüfte die aufgezeichneten Befehlsausgaben auf verborgene Marker aus einem Lösungsschlüssel. Damit zählte ein Ziel erst dann als erreicht, wenn der passende Marker im Protokoll auftauchte, nicht allein, weil ein Modell seinen Erfolg behauptete.
Was die Resultate über den Test aussagen
Vals begrenzte jeden Lauf auf höchstens 500 Millionen kumulierte Tokens oder 48 Stunden. Laut Vals endeten die Läufe dieser Auswertung, bevor sie eine dieser Grenzen erreichten. Zugleich erreichte kein Modell die letzten Ziele in Lighthouse; bei Nova schaffte es nur ein einzelner Lauf bis in die letzte Phase.
Die Werte beschreiben damit Leistungen in abgeschotteten Simulationen. CyberOffense prüft mehrstufige Aufgaben in nachgebildeten Unternehmensnetzen. Vals’ separates CyberBench bewertet dagegen, ob Modelle OSS-Fuzz-ähnliche Abstürze reproduzieren und Quellcode patchen.
Wer DeepSeek und andere chinesische Open-Weight-Modelle über diesen Cybertest hinaus einordnen möchte, findet den breiteren Kontext in NeoTeos Überblick zu offenen KI-Modellen aus China.
