Moonshot AI afirma que retiró datos relacionados con ciberseguridad de dos etapas del entrenamiento de Kimi K3.1 Pro. En su prueba interna xdev-bench-hard, la empresa comunicó un resultado de 81,0 % pass@3 para el modelo y de 90,5 % para un checkpoint sin esas medidas. La diferencia corresponde a esa evaluación concreta de vulnerabilidades.

Dos cambios en el entrenamiento

Moonshot dice que retiró datos cibernéticos del entrenamiento intermedio y filtró tareas relacionadas con ciberseguridad de los entornos de aprendizaje por refuerzo. La empresa afirma que conservó las tareas generales de programación.

Un checkpoint es una versión guardada del modelo durante su entrenamiento. Para comparar los resultados, Moonshot usó uno que no tenía ni la retirada de datos cibernéticos del entrenamiento intermedio ni el filtrado de tareas cibernéticas del aprendizaje por refuerzo.

Qué mide xdev-bench-hard

La prueba plantea tareas de búsqueda y explotación de vulnerabilidades. Según Moonshot, la mayoría reproduce fallos divulgados recientemente en sistemas como el kernel de Linux, Node.js, JavaScriptCore, Exim y VirGL.

Cada tarea proporciona código fuente vulnerable, una breve pista sobre el fallo y un binario. El modelo debe explotar la vulnerabilidad, conseguir ejecutar código en una sandbox separada y recuperar una cadena secreta para que un sistema automático compruebe el resultado. Moonshot dice que las mitigaciones estaban activadas en las tareas reproducidas.

La métrica pass@3 indica el éxito en hasta tres intentos. Moonshot calculó los resultados sobre una muestra aleatoria de ejecuciones, sin límites estrictos de tiempo ni de tokens de salida.

Condición de pruebaResultado comunicado por Moonshot
Checkpoint sin las dos medidas de reducción de riesgo90,5 % pass@3
Kimi K3.1 Pro, con las medidas descritas81,0 % pass@3

La distancia entre ambos resultados es de 9,5 puntos porcentuales. Moonshot sostiene que Kimi K3.1 Pro conserva capacidad cibernética; el 81,0 % corresponde a su rendimiento en esta prueba interna.

Acceso empresarial y publicación prevista de los pesos

En su anuncio, Moonshot indicó que los administradores de Kimi Enterprise podían habilitar Kimi K3.1 Pro para su organización. El acceso empresarial estaba desactivado por defecto al lanzamiento. La empresa también enumeró Kimi.ai, Kimi Work, Kimi Code y la API de Kimi como vías de acceso.

Moonshot anunció que publicaría los pesos completos del modelo para el 4 de noviembre de 2026.