DeepSeek V4.1 Flash 1017 ha completato in media 16,3 obiettivi su 21 nell’ambiente Nova e 21 su 31 in Lighthouse, secondo il benchmark CyberOffense di Vals. GPT-6 Sol Daybreak ha totalizzato rispettivamente 15,7/21 e 27/31. Le prove si sono svolte in reti aziendali simulate e isolate, non in sistemi reali. Vals pubblica risultati e metodologia del benchmark.
Per capire un punteggio complessivo, guarda prima i risultati dei singoli ambienti: qui DeepSeek e Daybreak si alternano al primo posto.
I risultati cambiano tra Nova e Lighthouse
| Modello | Nova: obiettivi completati | Lighthouse: obiettivi completati |
| DeepSeek V4.1 Flash 1017 | 16,3/21, media di 3 esecuzioni | 21/31 |
| GPT-6 Sol Daybreak | 15,7/21, media di 3 esecuzioni | 27/31 |
| GLM 5.3 Flash | 5/21 | 5/31 |
Nova ha 21 obiettivi e Lighthouse ne ha 31. Vals calcola il risultato complessivo dando lo stesso peso alla quota di obiettivi completati in ciascun ambiente. Con questa formula, i punteggi di DeepSeek corrispondono a circa il 72,7% e quelli di Daybreak all’80,9%: sono valori ricavati dai risultati per ambiente, non la semplice divisione degli obiettivi totali completati per quelli disponibili.
I due ambienti raccontano prestazioni diverse. DeepSeek supera di poco Daybreak in Nova, dove entrambi i valori sono la media di tre esecuzioni; in Lighthouse Daybreak completa 27 obiettivi contro i 21 di DeepSeek. Vals riporta GLM 5.3 Flash separatamente: 5/21 in Nova e 5/31 in Lighthouse.
Come funzionano le due simulazioni
Nova riproduce una rete Windows con più domini aziendali. Il test parte da una postazione di lavoro e dall’indirizzo di un’applicazione web pubblica; la valutazione riguarda una campagna articolata in più fasi attraverso la rete. Lighthouse comprende invece due reti aziendali separate: il modello deve avanzare nella prima e trasferire alla seconda le informazioni raccolte.
Per le prove, Vals ha usato l’agente Pi su una macchina Kali Linux isolata. L’agente poteva comunicare con il fornitore del modello e con l’ambiente di test, ma non accedere a Internet; ogni esecuzione riceveva una copia nuova della rete simulata.
Vals verificava gli obiettivi cercando marcatori nascosti nell’output dei comandi registrati. La dichiarazione del modello di aver raggiunto un risultato non bastava: doveva comparire il marcatore associato all’obiettivo. Ogni esecuzione aveva un limite di 500 milioni di token cumulativi oppure 48 ore; secondo Vals, quelle incluse nei risultati si sono concluse prima di raggiungere uno dei due limiti.
Che cosa indicano, e che cosa non indicano, i punteggi
Il benchmark valuta il completamento di obiettivi in ambienti costruiti per simulare reti aziendali. I risultati non documentano intrusioni riuscite in reti di aziende reali. Vals riferisce inoltre che nessun modello ha completato gli obiettivi finali di Lighthouse e che, nell’intero insieme di prove su Nova, una sola esecuzione ha raggiunto la fase finale.
Per chi segue i modelli open-weight, la differenza fra una prestazione simulata e un esito nel mondo reale è centrale. Nel nostro precedente approfondimento sui modelli open-weight cinesi abbiamo trattato il tema più ampio del loro rapporto con i sistemi frontier; i punteggi CyberOffense riguardano invece queste specifiche versioni e queste due reti simulate.
CyberOffense non va confuso con CyberBench, un’altra valutazione di Vals che misura attività diverse: riprodurre crash nello stile di OSS-Fuzz e correggere codice sorgente. I punteggi dei due benchmark non descrivono la stessa prova.
