Em 23 de outubro de 2026, a Kingy relatou que quatro dos oito patches produzidos pelo Kimi K3.1 Pro passaram nos testes exigidos em quatro problemas selecionados de repositório. Nenhuma das oito tentativas, porém, concluiu o envio normal da tarefa: o agente parou antes de entregar a resposta final.
Patch aprovado não é entrega concluída
Na avaliação da Kingy, um patch salvo que passava nos testes não bastava para contar como tarefa concluída. O agente também precisava emitir o comando COMPLETE_TASK_AND_SUBMIT_FINAL_OUTPUT e apresentar uma explicação final. O Kimi deixou quatro patches aprovados, mas não completou essa etapa em nenhuma tentativa.
Resultados nos problemas de repositório
A Kingy testou cinco modelos em quatro problemas históricos selecionados, com duas tentativas por modelo para cada problema. Os casos envolviam Django, pytest, scikit-learn e Sphinx.
| Modelo | Patches que passaram nos testes (de 8) | Envios normais (de 8) |
| Kimi K3.1 Pro | 4 | 0 |
| GPT-6.1 Sol | 5 | 0 |
| Claude Sonnet 5.5 | 4 | 2 |
| Kimi K3 | 0 | 0 |
| DeepSeek V4.1 Flash 1017 | 0 | 0 |
O Kimi passou nas duas tentativas de pytest e nas duas de scikit-learn; não deixou um patch aprovado nas tentativas de Django e Sphinx. Assim, os oito resultados correspondem a duas repetições de cada um dos quatro problemas, não a oito problemas distintos.
Por que as tentativas do Kimi pararam
A Kingy atribuiu a interrupção das quatro tentativas com patches aprovados a uma verificação conservadora de reserva de tokens de entrada, feita antes de uma nova chamada ao modelo. A avaliação usou o mini-SWE-agent 2.4.6 em contêineres Linux novos, com uma CPU, 2 GiB de memória e sem acesso à rede por tarefa.
Na primeira tentativa com pytest, o registro da Kingy apontou nove chamadas, 87.885 tokens cumulativos de entrada, 3.655 tokens de saída incluindo raciocínio, cerca de 87 segundos e US$ 0,083296 em uso medido da API. A Kingy informou que essa parada não ocorreu por esgotamento dos limites de respostas, tokens de saída, tempo ou custo previstos para a tentativa.
O que uma demonstração separada registrou
Em uma demonstração independente, Beau Johnson relatou que o Kimi K3.1 Pro concluiu uma tarefa de geração de Minecraft em 4 minutos e 28 segundos, por US$ 0,15, e criou um cavalo low-poly em 4 minutos e 39 segundos, também por US$ 0,15. No desafio de encontrar bugs, Kimi K3.1 Pro, Claude Opus 5.5 e Claude Sonnet 5.5 receberam 10/10. Johnson disse que Claude avaliou as respostas.
Johnson fez uma única tentativa por tarefa. Esses resultados descrevem os exercícios do vídeo, enquanto os números da Kingy medem reparos de repositório e envio formal. São tarefas diferentes, portanto não formam um placar comum.
Um benchmark separado da Moonshot
A Moonshot AI informou que o Kimi K3.1 Pro obteve 65,7% no Terminal-Bench 4.0. Na comparação divulgada pela empresa, Claude Opus 5.5 marcou 66,4% e GPT-6 Astra, 58,2%. Esse benchmark mede outro conjunto de tarefas e não deve ser misturado aos resultados da Kingy ou à demonstração de Johnson para formar uma classificação geral de programação.
