A Moonshot AI afirma que removeu dados relacionados à cibersegurança de duas etapas do treinamento do Kimi K3.1 Pro para a versão de pesos abertos, mantendo tarefas gerais de programação. A empresa reporta 81,0% no xdev-bench-hard, um teste interno de busca e exploração de vulnerabilidades em código.
O que a Moonshot diz ter retirado do treinamento
Segundo a Moonshot AI, a filtragem abrangeu a etapa intermediária do treinamento e os ambientes de aprendizado por reforço. A empresa diz ter mantido tarefas de programação de uso geral. Essa mudança de treinamento é o foco deste acompanhamento; a NeoTeo já publicou uma análise de relatos de jailbreak no Kimi.
O que mede o resultado do xdev-bench-hard
A Moonshot descreve o xdev-bench-hard como um teste de tarefas de descoberta de vulnerabilidades e exploração de código-fonte. Para concluir uma tarefa, o agente precisa criar uma exploração que permita executar código arbitrário em uma sandbox separada e recuperar uma sequência secreta, verificada automaticamente.
A empresa informa resultados pass@3 calculados em um subconjunto aleatório de execuções. Para avaliar o Kimi K3.1 Pro, usou o KimiCode como ambiente de execução e não aplicou limites rígidos de tempo nem de tokens de saída.
| Modelo ou checkpoint | Resultado pass@3 no xdev-bench-hard, informado pela Moonshot |
| Kimi K3.1 Pro | 81,0% |
| Checkpoint do K3.1 sem redução de risco cibernético | 90,5% |
| Kimi K3 | 33,3% |
A diferença entre 90,5% e 81,0% é de 9,5 pontos percentuais nesse teste. Os percentuais descrevem o desempenho nas tarefas do xdev-bench-hard, não uma taxa de sucesso em invasões a sistemas reais.
O prazo anunciado para os pesos completos
A Moonshot anunciou que pretendia publicar os pesos completos do Kimi K3.1 Pro até 4 de novembro de 2026.
