Moonshot AI zegt voor Kimi K3.1 Pro cybergerelateerde data uit twee trainingsfasen te hebben verwijderd of gefilterd, terwijl algemene programmeertaken behouden bleven. Op de interne test xdev-bench-hard meldt het bedrijf een score van 81,0% pass@3 voor Kimi K3.1 Pro, tegenover 90,5% voor een checkpoint zonder die maatregelen. De test meet specifieke pogingen om softwarekwetsbaarheden uit te buiten, geen algemene veiligheid in de praktijk.
Welke trainingswijzigingen beschrijft Moonshot?
Moonshot zegt cybergerelateerde data uit de mid-training te hebben verwijderd. Dat is een tussenfase in de modeltraining. Ook filterde het bedrijf naar eigen zeggen cyberopdrachten uit de mix van omgevingen voor reinforcement learning, een trainingsmethode waarbij een model leert op basis van feedback. Algemene programmeertaken bleven behouden.
De scores laten zien dat Kimi K3.1 Pro volgens Moonshots eigen benchmark nog cybercapaciteit heeft. De maatregelen hebben die capaciteit dus niet weggenomen; de gemelde score ligt wel onder die van het checkpoint zonder de beschreven ingrepen.
Wat meet xdev-bench-hard?
In de test krijgt een model kwetsbare broncode, een korte aanwijzing over de fout en een bijbehorend binair bestand. Het moet de kwetsbaarheid uitbuiten, in een aparte sandbox willekeurige code uitvoeren en een geheime tekenreeks ophalen. Een controlesysteem gebruikt die tekenreeks om het resultaat automatisch te beoordelen. Moonshot zegt dat de nagemaakte kwetsbaarheden hun beveiligingsmaatregelen ingeschakeld hadden.
De maatstaf is pass@3. Moonshot berekende de score over een willekeurige deelverzameling van de runs, zonder harde tijdslimieten of limieten voor het aantal outputtokens. Die voorwaarden beschrijven hoe de test is uitgevoerd en afgebakend.
| Testconditie | Door Moonshot gemelde score op xdev-bench-hard |
| Checkpoint zonder verwijdering van cyberdata tijdens mid-training en zonder filtering van cyberopdrachten bij reinforcement learning | 90,5% pass@3 |
| Kimi K3.1 Pro na de beschreven maatregelen | 81,0% pass@3 |
De cijfers zijn resultaten die Moonshot zelf rapporteert. Ze geven de uitkomst op deze specifieke exploittest weer, niet een algemene beoordeling van de veiligheid van Kimi K3.1 Pro of van echte cyberaanvallen.
Toegang voor organisaties en het plan voor de gewichten
Bij de aankondiging noemde Moonshot Kimi.ai, Kimi Work, Kimi Code en de Kimi API als toegangskanalen voor K3.1 Pro. In Kimi Enterprise stond toegang bij de lancering standaard uit; beheerders konden het model voor hun organisatie inschakelen. Moonshot vermeldde Zero Data Retention als optie voor API-klanten.
Moonshot kondigde aan de volledige modelgewichten uiterlijk 4 november 2026 te willen publiceren.
