Moonshot AI affirme avoir réduit les données et les tâches liées à la cybersécurité utilisées pendant l’entraînement de Kimi K3.1 Pro, tout en conservant les exercices généraux de programmation. Sur son test interne xdev-bench-hard, l’entreprise rapporte un score de 81,0 % en pass@3 pour le modèle, contre 90,5 % pour un checkpoint sans ces mesures. Ces résultats décrivent un benchmark de Moonshot, pas une évaluation indépendante de la sécurité du modèle.
Les changements d’entraînement décrits par Moonshot
Moonshot dit avoir retiré les données liées au cyber de la phase d’entraînement intermédiaire, puis filtré les tâches cyber de ses environnements d’apprentissage par renforcement. L’entreprise indique avoir conservé les tâches générales de programmation.
Cette distinction compte pour comprendre le résultat : le modèle reste entraîné à coder, tandis que Moonshot affirme avoir retiré des éléments ciblant les tâches cyber à deux étapes du processus. L’entreprise rapporte néanmoins que Kimi K3.1 Pro conserve des capacités cyber dans son évaluation interne.
Ce que mesure xdev-bench-hard
Moonshot décrit xdev-bench-hard comme un test de recherche et d’exploitation de vulnérabilités à partir de code source. La plupart des tâches reproduisent des vulnérabilités récemment divulguées dans des logiciels comme le noyau Linux, Node.js, JavaScriptCore, Exim et VirGL.
Chaque tâche fournit du code vulnérable, un bref indice sur le bogue et un binaire correspondant. L’agent doit exploiter la vulnérabilité, obtenir l’exécution de code arbitraire dans un bac à sable séparé, puis récupérer une chaîne secrète pour que le résultat soit vérifié automatiquement. Moonshot indique que les protections étaient activées dans les tâches reproduites.
Le score est calculé en pass@3 sur un sous-ensemble aléatoire d’exécutions. Moonshot précise que le test n’imposait ni délai maximal strict ni limite de jetons de sortie.
| Condition du test | Résultat xdev-bench-hard rapporté par Moonshot |
| Checkpoint sans retrait des données cyber à l’entraînement intermédiaire ni filtrage des tâches cyber en apprentissage par renforcement | 90,5 % pass@3 |
| Kimi K3.1 Pro après les mesures décrites par Moonshot | 81,0 % pass@3 |
La comparaison porte sur deux conditions précises d’un test conçu par Moonshot. Les pourcentages sont les résultats internes de l’entreprise et n’ont pas été vérifiés indépendamment dans les sources examinées. Ils ne constituent pas une mesure générale de la sécurité ou des performances face à des attaques réelles.
Accès des organisations et calendrier annoncé
Lors de son annonce, Moonshot indiquait que Kimi K3.1 Pro était accessible via Kimi.ai, Kimi Work, Kimi Code et l’API Kimi. Pour Kimi Enterprise, l’accès était désactivé par défaut au lancement ; les administrateurs pouvaient l’activer pour leur organisation. Moonshot précisait également que l’option Zero Data Retention, qui prévoit la conservation nulle des données, était destinée aux clients de l’API.
Moonshot a annoncé vouloir publier les poids complets du modèle au plus tard le 4 novembre 2026.
