A Moonshot AI afirma que reduziu a capacidade cibernética do Kimi K3.1 Pro ao remover dados relacionados a cibersegurança do treinamento intermediário e filtrar tarefas desse tipo no aprendizado por reforço. No teste interno xdev-bench-hard, a empresa relata 81,0% de acerto para o modelo, ante 90,5% para um checkpoint sem essas medidas.
O que mudou no treinamento
Segundo a Moonshot, dados relacionados a cibersegurança faziam parte do corpus de treinamento intermediário, e tarefas cibernéticas apareciam nos ambientes usados no aprendizado por reforço. Para o Kimi K3.1 Pro, a empresa diz que removeu esses dados e filtrou essas tarefas, mantendo as atividades gerais de programação.
O que o xdev-bench-hard mede
O xdev-bench-hard avalia tarefas de identificação e exploração de vulnerabilidades em código. A Moonshot informa que a maioria delas reproduz falhas divulgadas recentemente em projetos como Linux kernel, Node.js, JavaScriptCore, Exim e VirGL.
Cada tarefa fornece código-fonte vulnerável, uma pista curta sobre o defeito e um binário. O agente precisa explorar a vulnerabilidade, obter execução arbitrária de código em uma sandbox separada e recuperar uma sequência secreta, usada para verificar o resultado automaticamente. A empresa diz que as tarefas reproduzidas mantêm as mitigações de segurança ativadas.
A métrica pass@3 considera o desempenho em até três tentativas. A Moonshot relata que calculou os resultados sobre um subconjunto aleatório de execuções, sem limites rígidos de tempo ou de tokens de saída.
| Condição no teste interno | Resultado pass@3 divulgado pela Moonshot |
| Checkpoint sem remoção de dados cibernéticos no treinamento intermediário nem filtragem de tarefas cibernéticas no aprendizado por reforço | 90,5% |
| Kimi K3.1 Pro, após as medidas descritas | 81,0% |
O que os resultados dizem sobre a capacidade do modelo
A Moonshot afirma que o Kimi K3.1 Pro ainda mantém capacidade cibernética. A pontuação de 81,0% se refere ao desempenho na tarefa controlada do xdev-bench-hard; não é uma medida geral da segurança do modelo em sistemas implantados. Os resultados são da avaliação interna divulgada pela própria empresa.
A comparação registra pontuações diferentes para dois conjuntos de treinamento no mesmo benchmark. Ela não mede diretamente a frequência de ataques reais nem o efeito das mudanças em ambientes de produção.
Acesso empresarial e pesos completos
No anúncio, a Moonshot informou que o Kimi K3.1 Pro estava disponível em Kimi.ai, Kimi Work, Kimi Code e na API da Kimi. No Kimi Enterprise, o acesso vinha desativado por padrão no lançamento, mas administradores podiam habilitá-lo para suas organizações. A empresa também informou que clientes da API podem usar a opção Zero Data Retention.
A Moonshot planeja publicar os pesos completos do modelo até 4 de novembro de 2026.
