Moonshot AI affirme avoir retiré des données liées à la cybersécurité de deux étapes d’entraînement de Kimi K3.1 Pro, tout en conservant les tâches générales de programmation. Le modèle obtient 81,0 % au test interne xdev-bench-hard de l’entreprise : ce résultat décrit ce benchmark, pas la probabilité d’une attaque réussie dans le monde réel.
Ce que Moonshot dit avoir retiré de l’entraînement
Pour la version à poids ouverts, Moonshot dit avoir supprimé des contenus liés à la cybersécurité du corpus d’entraînement intermédiaire et des tâches cyber présentes dans les environnements d’apprentissage par renforcement. L’entreprise affirme avoir conservé les exercices de programmation à usage général.
Ce nouvel angle complète un précédent article de NeoTeo consacré aux résultats de tests de sécurité signalés par Mindgard à Moonshot AI, et à l’examen de ces résultats par Moonshot.
Ce que mesure le score de 81,0 %
xdev-bench-hard est le benchmark interne de Moonshot consacré à la découverte de vulnérabilités dans du code source et à leur exploitation. Pour réussir une tâche, un agent doit concevoir un exploit, obtenir l’exécution de code arbitraire dans un environnement de test isolé, puis récupérer une chaîne secrète. Moonshot indique avoir calculé le score pass@3 sur un sous-ensemble aléatoire d’exécutions, sans limite stricte de temps ni de jetons de sortie. L’entreprise précise que Kimi K3.1 Pro a été évalué avec KimiCode.
Moonshot rapporte les résultats suivants pour ce test :
| Modèle ou checkpoint | Résultat pass@3 annoncé par Moonshot |
| Kimi K3.1 Pro | 81,0 % |
| Checkpoint K3.1 sans réduction du risque cyber | 90,5 % |
| Kimi K3 | 33,3 % |
L’écart entre les deux versions K3.1 est de 9,5 points de pourcentage. Ces chiffres correspondent aux tâches et aux conditions de xdev-bench-hard ; ils ne mesurent pas un taux de compromission de systèmes réels.
L’échéance annoncée pour les poids complets
Moonshot a annoncé vouloir publier les poids complets de Kimi K3.1 Pro d’ici au 4 novembre 2026.
