Moonshot AI zegt dat het voor de geplande open-weightsversie van Kimi K3.1 Pro cybergerelateerde data uit zowel de mid-training als de omgevingen voor reinforcement learning heeft verwijderd. Algemene programmeertaken bleven volgens het bedrijf behouden. De score van 81,0% die Moonshot noemt, is een resultaat op zijn interne xdev-bench-hard-test, geen kans dat het model een aanval op een echt systeem uitvoert.
NeoTeo berichtte eerder over Moonshot AI’s beoordeling van gemelde veiligheidsbevindingen rond Kimi. Dit artikel richt zich op de trainingsingreep en op wat de bijbehorende benchmarkscore meet.
Welke trainingsdata Moonshot zegt te hebben verwijderd
Moonshot zegt cybergerelateerd materiaal uit twee trainingsonderdelen te hebben gehaald: de mid-training, een latere trainingsfase, en omgevingen voor reinforcement learning, waarbij modelgedrag met feedback wordt bijgestuurd. Het bedrijf zegt algemene programmeertaken te hebben behouden.
Wat de score van xdev-bench-hard meet
Moonshot beschrijft xdev-bench-hard als een interne test met broncode waarin modellen kwetsbaarheden opsporen en proberen te benutten. Voor een geslaagde taak moet een agent een exploit ontwikkelen, daarmee code uitvoeren in een afzonderlijke sandbox en een geheime tekenreeks ophalen. Een automatisch systeem controleert dat resultaat.
Moonshot rapporteert de uitkomsten als pass@3, berekend op een willekeurige deelverzameling van runs. Voor Kimi K3.1 Pro gebruikte het bedrijf de KimiCode-harness. Moonshot noemt geen harde tijdslimieten of limieten voor het aantal outputtokens.
| Model of checkpoint | Door Moonshot gemelde score op xdev-bench-hard |
| Kimi K3.1 Pro | 81,0% pass@3 |
| K3.1-checkpoint zonder cyberrisicobeperking | 90,5% pass@3 |
| Kimi K3 | 33,3% pass@3 |
Het verschil tussen 90,5% en 81,0% is 9,5 procentpunt op deze benchmark. De scores beschrijven prestaties op Moonshots interne testtaken, niet de kans op een succesvolle aanval in de praktijk.
De aangekondigde deadline voor de volledige gewichten
Moonshot kondigde aan de volledige modelgewichten uiterlijk 4 november 2026 te publiceren.
Moonshot AI beoordeelt gemelde veiligheidsbevindingen over Kimi
