Qué muestran las pruebas de código de Kimi K3.1 Pro

El 23 de octubre de 2026, Kingy informó de que cuatro de los ocho parches de Kimi K3.1 Pro superaron las pruebas requeridas en su experimento con repositorios, pero ninguno de los ocho intentos terminó con una entrega formal. La diferencia importa: un parche puede pasar los tests y quedarse en el entorno de trabajo sin completar el proceso de entrega.

Qué contó como una tarea completada

Kingy exigió que el agente imprimiera COMPLETE_TASK_AND_SUBMIT_FINAL_OUTPUT y entregara una explicación final. Dejar un parche aprobado en el disco no bastaba para contar el intento como una entrega normal. Un agente de código es un modelo que trabaja en un entorno de programación; en esta prueba, debía producir un cambio y completar también ese paso final.

El experimento cubrió cuatro incidencias históricas de Django, pytest, scikit-learn y Sphinx, con dos intentos por modelo en cada incidencia. Por tanto, los ocho intentos de Kimi corresponden a cuatro problemas distintos, no a ocho. Kingy usó mini-SWE-agent 2.4.6 en contenedores Linux nuevos, sin acceso a la red y con una CPU y 2 GiB de RAM por tarea.

Kimi superó ambos intentos en pytest y scikit-learn, pero no dejó ningún parche en sus intentos con Django y Sphinx. Kingy atribuyó las cuatro ejecuciones con un parche aprobado que no llegaron a la entrega formal a una comprobación conservadora de reserva de tokens de entrada.

En el primer intento con pytest, Kimi hizo nueve llamadas y acumuló 87.885 tokens de entrada y 3.655 de salida, incluidos los de razonamiento. La ejecución duró unos 87 segundos y registró US$0,083296 de uso medido de la API. Esa cifra corresponde a ese intento concreto.

Qué aportan las tareas de una sola ejecución

En otra prueba, Beau Johnson informó de que Kimi K3.1 Pro generó una tarea de Minecraft en 4 minutos y 28 segundos, con un coste de US$0,15, y un caballo de estilo low-poly en 4 minutos y 39 segundos, también por US$0,15. En una búsqueda de errores, Kimi K3.1 Pro, Claude Opus 5.5 y Claude Sonnet 5.5 obtuvieron 10/10; Claude puntuó las respuestas. Johnson hizo una sola ejecución por tarea, así que estos resultados describen esos intentos concretos.

Moonshot AI comunicó por separado un resultado del 65,7 % para Kimi K3.1 Pro en Terminal-Bench 4.0. En esa comparación de la empresa, Claude Opus 5.5 obtuvo un 66,4 % y GPT-6 Astra, un 58,2 %. Esos resultados corresponden a otro benchmark y no miden las incidencias de repositorio de Kingy ni las tareas de Johnson.

Las pruebas describen trabajos y métodos distintos, por lo que sus resultados no forman una clasificación general de modelos para programar.