Moonshot AI afferma di aver rimosso dati legati alla cybersicurezza dall’addestramento di Kimi K3.1 Pro. Nel suo benchmark interno xdev-bench-hard, il modello ha ottenuto 81,0% in pass@3: il dato misura il risultato in quei test, non la probabilità di riuscire a compromettere un sistema reale.
Per la versione a pesi aperti, Moonshot dice di aver tolto contenuti cyber dal corpus della fase intermedia di addestramento e compiti cyber dagli ambienti di apprendimento per rinforzo, una tecnica che usa ricompense per orientare le risposte del modello. L’azienda afferma di aver mantenuto i compiti generali di programmazione.
Moonshot aveva anche riferito di stare esaminando risultati di sicurezza attribuiti a Mindgard; NeoTeo aveva ricostruito quella vicenda in un precedente approfondimento sulla revisione dei test di Kimi. Il filtro di Kimi K3.1 Pro riguarda invece i dati usati durante l’addestramento.
Che cosa misura xdev-bench-hard
xdev-bench-hard è il benchmark interno di Moonshot per individuare vulnerabilità nel codice e tentare di sfruttarle. Un compito viene considerato superato quando l’agente sviluppa un exploit, ottiene l’esecuzione di codice arbitrario in una sandbox separata e recupera una stringa segreta. In questo contesto, pass@3 indica la metrica calcolata considerando tre tentativi.
Moonshot riferisce i seguenti risultati per il benchmark:
| Modello o checkpoint | Risultato pass@3 dichiarato da Moonshot |
| Kimi K3.1 Pro | 81,0% |
| Checkpoint K3.1 senza riduzione del rischio cyber | 90,5% |
| Kimi K3 | 33,3% |
La differenza tra il checkpoint senza riduzione del rischio cyber e Kimi K3.1 Pro è di 9,5 punti percentuali. Moonshot calcola pass@3 su un sottoinsieme casuale delle esecuzioni; per Kimi K3.1 Pro indica KimiCode come harness, cioè l’ambiente usato per eseguire il test. L’azienda dichiara che il benchmark non impone limiti rigidi di tempo o di token in uscita.
Questi numeri descrivono le prestazioni nei compiti di xdev-bench-hard. Non sono un tasso di attacchi riusciti nel mondo reale.
La scadenza annunciata per i pesi completi
Moonshot ha indicato il 4 novembre 2026 come scadenza per pubblicare i pesi completi di Kimi K3.1 Pro.
