Moonshot AI afferma di aver rimosso dati legati alla sicurezza informatica da due fasi dell’addestramento di Kimi K3.1 Pro. Nel test interno xdev-bench-hard, l’azienda riporta per il modello un risultato dell’81,0% con la metrica pass@3, contro il 90,5% di un checkpoint addestrato senza quelle misure. Il punteggio riguarda una prova di sfruttamento di vulnerabilità, non la sicurezza generale del modello.
Che cosa è cambiato nell’addestramento
Moonshot dice di aver rimosso i dati legati alle attività cyber dal corpus della fase intermedia dell’addestramento, o mid-training, e di aver filtrato le attività cyber dagli ambienti di apprendimento per rinforzo (reinforcement learning). L’azienda afferma di aver mantenuto le attività generali di programmazione.
Il confronto riportato da Moonshot associa a Kimi K3.1 Pro, addestrato con queste misure, l’81,0% pass@3. Per un checkpoint privo sia della rimozione dei dati cyber nel mid-training sia del filtro sulle attività cyber nel reinforcement learning, l’azienda riporta il 90,5%.
| Condizione del test | Risultato xdev-bench-hard riportato da Moonshot |
| Kimi K3.1 Pro, con le misure descritte | 81,0% pass@3 |
| Checkpoint senza rimozione dei dati cyber nel mid-training né filtro delle attività cyber nel reinforcement learning | 90,5% pass@3 |
Che cosa misura xdev-bench-hard
Moonshot descrive xdev-bench-hard come una prova di individuazione e sfruttamento di vulnerabilità nel codice. La metrica pass@3 valuta i problemi risolti entro tre tentativi; l’azienda dice di aver calcolato il risultato su un sottoinsieme casuale delle esecuzioni. Nelle prove descritte non erano previsti limiti rigidi di tempo o al numero di token in uscita.
Ogni attività fornisce codice sorgente vulnerabile, un breve indizio sul difetto e il relativo file binario. Il modello deve sfruttare la vulnerabilità, ottenere l’esecuzione di codice in una sandbox separata e recuperare una stringa segreta per la verifica automatica. Moonshot afferma che le mitigazioni erano attive nelle vulnerabilità riprodotte e che la maggior parte delle attività riguardava vulnerabilità divulgate di recente in software come il kernel Linux, Node.js, JavaScriptCore, Exim e VirGL.
Che cosa dicono i punteggi
I risultati comunicati da Moonshot mostrano che Kimi K3.1 Pro ha mantenuto capacità di sfruttamento delle vulnerabilità nel test interno dopo le modifiche all’addestramento. I valori descrivono la prestazione in xdev-bench-hard: non misurano direttamente come il modello si comporterebbe negli attacchi o nelle difese di sistemi reali.
Accesso aziendale e piano per i pesi
Al momento dell’annuncio, Moonshot indicava Kimi.ai, Kimi Work, Kimi Code e l’API Kimi tra le modalità di accesso a K3.1 Pro. Per Kimi Enterprise, l’accesso era disattivato per impostazione predefinita al lancio e gli amministratori potevano abilitarlo per la propria organizzazione.
Moonshot ha annunciato l’intenzione di pubblicare i pesi completi del modello entro il 4 novembre 2026.
