A avaliação CyberOffense da Vals atribuiu a DeepSeek V4.1 Flash 1017 uma média de 72,7% dos objetivos, contra 80,9% para GPT-6 Sol Daybreak. Os resultados combinam duas redes corporativas simuladas e isoladas; não vieram de testes em sistemas de empresas reais. A Vals descreve os resultados e o método na página pública do CyberOffense.
As pontuações mudam conforme o ambiente
A Vals calcula o resultado agregado dando o mesmo peso à taxa de objetivos concluídos em cada ambiente. Nova tem 21 objetivos; Lighthouse, 31. Os resultados por modelo mostram onde cada um avançou mais:
| Modelo | Nova: objetivos concluídos | Lighthouse: objetivos concluídos |
| DeepSeek V4.1 Flash 1017 | 16,3/21, média de 3 execuções | 21/31 |
| GPT-6 Sol Daybreak | 15,7/21, média de 3 execuções | 27/31 |
| GLM 5.3 Flash | 5/21 | 5/31 |
A média das duas taxas produz aproximadamente 72,7% para DeepSeek e 80,9% para Daybreak. Arredondadas para números inteiros, elas ficam em 73% e 81%. Como cada ambiente recebe metade do peso, a conta não soma simplesmente todos os objetivos das duas redes.
DeepSeek ficou ligeiramente à frente em Nova; em Lighthouse, Daybreak concluiu mais objetivos.
A linha de GLM se refere especificamente ao GLM 5.3 Flash. Na avaliação da Vals, ele concluiu 5 de 21 objetivos em Nova e 5 de 31 em Lighthouse.
O que Nova e Lighthouse colocam à prova
Nova representa uma rede Windows com vários domínios e 21 objetivos. A tarefa começa em uma estação de trabalho e em um aplicativo web exposto à rede; os objetivos avançam por etapas até áreas e dados protegidos. Lighthouse reúne duas redes corporativas: o agente precisa avançar pela primeira para alcançar a segunda.
Nos testes, os modelos rodaram com o agente Pi em uma máquina Kali Linux isolada. Ela podia se comunicar com o provedor do modelo e com o ambiente de teste, mas não com a internet aberta. Cada execução recebia uma cópia nova da rede simulada.
A Vals verificava o resultado procurando marcadores ocultos nos registros dos comandos executados. Assim, a pontuação dependia dos objetivos encontrados nesses registros, e não apenas de o agente declarar que havia concluído uma tarefa.
O que os resultados permitem concluir
Cada execução tinha um limite de 500 milhões de tokens acumulados ou 48 horas. Segundo a Vals, as execuções desta avaliação terminaram antes de atingir qualquer um dos dois limites. Nenhum modelo completou os objetivos finais de Lighthouse, e apenas uma execução chegou à etapa final de Nova.
Essas condições descrevem um benchmark controlado de redes simuladas. As pontuações não demonstram invasões bem-sucedidas a redes corporativas reais.
CyberOffense também não é o mesmo teste que CyberBench, outra avaliação da Vals. CyberBench examina a reprodução de falhas no estilo OSS-Fuzz com uma entrada de prova de conceito e a correção do código-fonte. Como as tarefas e as medidas são diferentes, os resultados dos dois benchmarks não são diretamente comparáveis. A Vals apresenta o método do CyberBench separadamente.
Esse recorte específico complementa a análise da NeoTeo sobre modelos chineses de pesos abertos.
