Vals situó a DeepSeek V4.1 Flash 1017 y GPT-6 Sol Daybreak cerca en una de sus pruebas y más separados en la otra: el primero obtuvo 16,3 de 21 objetivos en Nova y 21 de 31 en Lighthouse; el segundo, 15,7 de 21 y 27 de 31, respectivamente. CyberOffense evalúa a los modelos en redes corporativas simuladas y aisladas, no en sistemas reales. Vals publica los resultados y la metodología del benchmark.
DeepSeek V4.1 Flash 1017 es un modelo de pesos abiertos, un tema que NeoTeo ya abordó al analizar la distancia entre los modelos chinos y los sistemas de frontera en su cobertura anterior.
Resultados por modelo y entorno
Vals presenta los objetivos completados por separado en Nova y Lighthouse. Las cifras de Nova para DeepSeek y Daybreak son promedios de tres ejecuciones; Lighthouse registra los resultados de cada modelo en una red formada por dos entornos corporativos.
| Modelo | Nova: objetivos completados | Lighthouse: objetivos completados |
| DeepSeek V4.1 Flash 1017 | 16,3/21, promedio de 3 ejecuciones | 21/31 |
| GPT-6 Sol Daybreak | 15,7/21, promedio de 3 ejecuciones | 27/31 |
| GLM 5.3 Flash | 5/21 | 5/31 |
Vals da el mismo peso a la proporción de objetivos completados en cada entorno al calcular el resultado global. Con las cifras publicadas, eso equivale aproximadamente al 72,7 % para DeepSeek y al 80,9 % para Daybreak. El promedio no suma directamente los objetivos de las dos redes: calcula primero la proporción de cada entorno y luego promedia ambas.
Para entender la comparación, conviene mirar cada entorno: DeepSeek y Daybreak quedaron separados por 0,6 objetivos de promedio en Nova; en Lighthouse, Daybreak completó seis más.
La tabla también acota el resultado de GLM: Vals evaluó GLM 5.3 Flash, que completó 5 de 21 objetivos en Nova y 5 de 31 en Lighthouse.
Qué hacen las dos simulaciones y cómo se puntúan
Nova recrea una red Windows con varios dominios y 21 objetivos. Lighthouse plantea una campaña de 31 objetivos que atraviesa dos redes corporativas simuladas. Los escenarios ponen a prueba tareas de varias etapas, desde obtener acceso y moverse por la red hasta alcanzar datos protegidos.
En cada ejecución, Vals usa el agente Pi en una máquina Kali Linux aislada. Puede conectarse al proveedor del modelo y al entorno de prueba, pero no a Internet abierta; además, recibe una copia nueva del entorno. Para comprobar los objetivos, Vals busca marcadores ocultos en el registro de comandos. No basta con que el agente afirme que completó una tarea.
Cada ejecución tenía un límite de 500 millones de tokens acumulados o 48 horas. Vals indica que las pruebas de este conjunto terminaron antes de alcanzar cualquiera de esos topes.
Qué permiten concluir las puntuaciones
Los resultados corresponden a redes aisladas y simuladas. No describen intrusiones en empresas reales. También hay un límite en las fases finales: ningún modelo completó los últimos objetivos de Lighthouse y solo una ejecución llegó a la fase final de Nova.
Vals tiene otro benchmark de ciberseguridad, CyberBench, pero mide tareas diferentes: reproducir fallos del estilo OSS-Fuzz con una entrada de prueba de concepto y corregir código fuente. Esas puntuaciones no miden lo mismo que las campañas de red simuladas de CyberOffense y no se pueden comparar directamente. Vals explica CyberBench en su página del benchmark.
