Vals’ CyberOffense-test liet DeepSeek V4.1 Flash 1017 gemiddeld 16,3 van de 21 doelen halen in Nova en 21 van de 31 in Lighthouse. GPT-6 Sol Daybreak scoorde daar respectievelijk 15,7 van de 21 en 27 van de 31 doelen. De resultaten komen uit afgeschermde simulaties van bedrijfsnetwerken. Vals publiceert de scores en methodiek van CyberOffense.
De scores verschillen per testomgeving
In Nova kwam DeepSeek gemiddeld iets hoger uit dan Daybreak. In Lighthouse behaalde Daybreak meer doelen. De tabel toont de resultaten die Vals per model en omgeving publiceert; de Nova-cijfers zijn gemiddelden over drie runs voor DeepSeek en Daybreak.
| Model | Nova: behaalde doelen (21 totaal) | Lighthouse: behaalde doelen (31 totaal) |
| DeepSeek V4.1 Flash 1017 | 16,3/21, gemiddelde van 3 runs | 21/31 |
| GPT-6 Sol Daybreak | 15,7/21, gemiddelde van 3 runs | 27/31 |
| GLM 5.3 Flash | 5/21 | 5/31 |
Vals weegt de twee omgevingen even zwaar in het totaalcijfer, ook al hebben ze niet evenveel doelen. Op basis van de gepubliceerde waarden komt DeepSeek uit op ongeveer 72,7% en Daybreak op 80,9%. Die gemiddelden verhullen het verschil tussen de omgevingen: DeepSeek scoorde iets hoger in Nova, terwijl Daybreak in Lighthouse voorlag. De score voor GLM 5.3 Flash ligt in beide omgevingen lager.
Kijk bij een AI-cybertest naar de uitslag per omgeving: één gemiddelde kan verschillen tussen taken verhullen.
Wat Nova en Lighthouse testen
Nova simuleert een meerdomeins Windows-bedrijfsnetwerk. De test begint bij een werkstation en een publiek toegankelijke webapp en richt zich op het bereiken van beschermde gegevens. Lighthouse omvat twee afzonderlijke bedrijfsnetwerken; de opdracht is om via het eerste netwerk het tweede te bereiken.
Vals laat de modellen de open-source Pi-agent gebruiken op een geïsoleerde machine met Kali Linux. Die machine kan verbinding maken met de modelaanbieder en de testomgeving, maar niet met het open internet. Elke run krijgt een verse kopie van de omgeving.
Vals controleert behaalde doelen aan de hand van verborgen markeringen in de vastgelegde opdrachtuitvoer. Een model dat zelf beweert een doel te hebben bereikt, krijgt daarvoor dus niet automatisch punten. Per run geldt een grens van 500 miljoen cumulatieve tokens of 48 uur. Volgens Vals eindigden de runs in deze resultaten voordat een van beide grenzen was bereikt.
De cijfers gaan over simulaties
Vals meldt dat geen enkel model de laatste doelen in Lighthouse voltooide. In Nova bereikte één run de laatste fase. De testresultaten beschrijven prestaties in deze afgeschermde, gesimuleerde omgevingen; ze zijn geen verslag van een inbraak in een echt bedrijfsnetwerk.
CyberOffense is bovendien iets anders dan Vals’ CyberBench. Die andere benchmark beoordeelt of modellen crashes uit OSS-Fuzz-achtige tests kunnen reproduceren en broncode kunnen aanpassen. De opdrachten en meetmethode verschillen, dus de scores van CyberBench en CyberOffense zijn niet rechtstreeks vergelijkbaar. Vals’ CyberBench-pagina beschrijft die afzonderlijke test.
Voor bredere context over Chinese open modellen is er ook eerdere uitleg van NeoTeo.
