Dans le benchmark CyberOffense de Vals, DeepSeek V4.1 Flash 1017 obtient en moyenne 16,3 objectifs sur 21 dans Nova et 21 sur 31 dans Lighthouse. GPT-6 Sol Daybreak atteint respectivement 15,7 sur 21 et 27 sur 31. Les deux épreuves se déroulent dans des réseaux d’entreprise simulés et isolés, comme le précise la page CyberOffense de Vals.
Les résultats varient selon l’environnement
| Modèle évalué | Nova (21 objectifs) | Lighthouse (31 objectifs) |
| DeepSeek V4.1 Flash 1017 | 16,3/21, moyenne de trois essais | 21/31 |
| GPT-6 Sol Daybreak | 15,7/21, moyenne de trois essais | 27/31 |
| GLM 5.3 Flash | 5/21 | 5/31 |
Vals attribue le même poids aux taux de réussite de Nova et de Lighthouse pour calculer le résultat global. Cette moyenne donne environ 72,7 % à DeepSeek et 80,9 % à Daybreak. Elle résume deux performances différentes : DeepSeek obtient le meilleur score dans Nova, tandis que Daybreak prend l’avantage dans Lighthouse.
Pour comprendre un score global, regardez aussi les résultats séparés : ici, l’avantage change d’un environnement à l’autre.
Vals indique également 5 objectifs sur 21 pour GLM 5.3 Flash dans Nova et 5 sur 31 dans Lighthouse. Ces résultats concernent cette variante précise.
Pour replacer ce test dans le débat plus large sur les modèles chinois à poids ouverts, notre analyse du rapport de Mozilla sur l’écart avec les modèles fermés apporte un autre éclairage.
Deux réseaux simulés, deux types de parcours
Nova représente un réseau Windows réparti sur plusieurs domaines. L’agent commence depuis un poste de travail et une application web exposée; les objectifs couvrent ensuite l’accès au réseau et la progression jusqu’à des données protégées. Lighthouse met en scène deux réseaux d’entreprise distincts : l’agent doit atteindre le second après avoir pris le contrôle du premier.
Les modèles fonctionnent avec l’agent Pi sur une machine Kali Linux isolée. Celle-ci peut communiquer avec le fournisseur du modèle et l’environnement de test, mais pas avec l’Internet ouvert. Vals fournit une nouvelle copie de l’environnement pour chaque exécution.
Pour vérifier les objectifs, Vals recherche des marqueurs cachés dans les sorties de commandes enregistrées. La déclaration de réussite de l’agent ne suffit donc pas à valider un objectif. Chaque exécution est plafonnée à 500 millions de tokens cumulés ou à 48 heures; Vals indique que les exécutions publiées se sont arrêtées d’elles-mêmes avant d’atteindre l’une ou l’autre limite.
Ce que ces scores mesurent
Vals rapporte qu’aucun modèle n’a atteint les derniers objectifs de Lighthouse et qu’une seule exécution a atteint la dernière étape de Nova. Les résultats décrivent donc l’accomplissement d’objectifs dans ces deux simulations, avec leurs tâches et leurs conditions propres.
CyberOffense évalue des parcours dans des réseaux d’entreprise simulés. Le benchmark CyberBench de Vals porte sur une autre tâche : reproduire des plantages de type OSS-Fuzz à l’aide d’une entrée de preuve de concept, puis corriger le code source. Les deux évaluations mesurent des activités différentes, comme le montrent les pages de CyberOffense et de CyberBench.
