Kimi K3.1 Pro Coder é uma quantização comunitária de Kimi K3.1 Pro publicada pela conta Grawnch, não uma versão lançada pela Moonshot AI. A ficha do modelo descreve 96 arquivos que somam 774,97 GB (721,75 GiB) e apresenta resultados de desempenho declarados pelo próprio autor. Veja a ficha de Grawnch no Hugging Face.

Para entender o modelo-base e o contexto dos pesos abertos, a NeoTeo já publicou uma reportagem sobre Kimi K3.1 Pro. A quantização Coder é outro projeto: reorganiza a precisão dos pesos e os distribui por diferentes tipos de memória e armazenamento.

Ao avaliar a proposta, separe o tamanho dos arquivos, a forma de alocação descrita e os resultados que o autor relata: são informações relacionadas, mas não intercambiáveis.

Como a ficha distribui o modelo

Quantização reduz a quantidade de bits usada para representar os pesos de um modelo. A ficha mantém os pesos não roteados em BF16/F32 e divide os especialistas roteados — componentes de uma arquitetura de mistura de especialistas, ou MoE — em três níveis de precisão. “Bits por peso”, ou bpw, indica a precisão média atribuída a cada peso.

ComponentePrecisãoTamanho indicadoAlocação indicada na ficha
Pesos não roteados16,0 bpw, BF16/F32114,76 GBVRAM/compartilhada
Nível 1: especialistas quentes2,81 bpw; 15% dos especialistas160,58 GBVRAM da GPU
Nível 2: especialistas intermediários2,56 bpw; 30% dos especialistas254,53 GBRAM do sistema fixada na memória
Nível 3: especialistas menos usados1,44 bpw; 55% dos especialistas244,95 GBSSD NVMe, via mmap

A ficha descreve 896 especialistas roteados por camada MoE e 82.432 no total, distribuídos pelas camadas 1 a 92. Ela diz que a calibração dos especialistas roteados usou frequências de ativação do roteador em tarefas de programação e raciocínio matemático. A tabela reproduz as alocações descritas pelo autor; não é uma medição independente de execução.

O que os testes relatados pelo autor cobrem

A avaliação descrita na ficha reúne 70 sequências e 22.307 tokens. Entre os testes, há 30 problemas do AIME 2025 e 30 problemas do LiveCodeBench, usando a janela móvel de outubro de 2024 a maio de 2025. O autor relata 29 acertos em cada conjunto tanto para o modelo-base quanto para a versão quantizada.

AvaliaçãoAmostra descritaKimi K3.1 ProKimi K3.1 Pro Coder
AIME 202530 problemas29/3029/30
LiveCodeBench30 problemas, janela de outubro de 2024 a maio de 202529/3029/30

A ficha também relata concordância do próximo token de 95,20% no AIME e 95,06% no LiveCodeBench para a previsão principal; entre as cinco principais previsões, os valores são 99,91% e 99,92%, respectivamente. No LiveCodeBench, a perplexidade — uma medida de quão inesperado um texto é para o modelo — passa de 2,6911 no modelo-base para 2,7629 na quantização, diferença indicada pelo autor como 2,67%.

Para desempenho, Grawnch informa 36,77 tokens por segundo e identifica a medida como vazão em lote para as 93 camadas. A ficha atribui a avaliação a uma NVIDIA RTX PRO 6000 Blackwell Server Edition com 102,6 GB de VRAM GDDR7. Esses números e resultados são afirmações do autor, não uma reprodução independente nem uma demonstração em outras configurações.

O que a soma dos componentes indica

Os quatro tamanhos da tabela totalizam 774,82 GB, 0,15 GB abaixo dos 774,97 GB declarados para o modelo. Já os pesos não roteados e o Nível 1 somam 275,34 GB. A ficha associa esses componentes à VRAM/área compartilhada e à VRAM da GPU, e cita uma placa com 102,6 GB de VRAM; não detalha como essas alocações se relacionam com essa capacidade.

Essa conta identifica uma diferença entre os valores publicados, mas, sozinha, não determina como o modelo se comporta durante a execução. A ficha também não apresenta uma demonstração independente do desempenho em outras tarefas ou sistemas.

Condições descritas no arquivo de licença

O arquivo LICENSE incluído no repositório tem o título Kimi K3.1-Pro License e identifica a Moonshot AI como detentora dos direitos autorais. Para operadores que oferecem acesso de terceiros como serviço de modelo e ultrapassam US$ 20 milhões em receita agregada em qualquer período consecutivo de 12 meses, o texto exige um acordo separado antes do uso comercial do software ou de seus derivados.

O arquivo também determina que produtos ou serviços comerciais com mais de 100 milhões de usuários ativos mensais, ou receita mensal superior a US$ 20 milhões, exibam com destaque o nome “Kimi K3.1-Pro”. O texto exclui das seções 2 e 3 o uso interno e o acesso por produtos oficiais da Moonshot ou parceiros de inferência certificados. Leia o arquivo de licença incluído no repositório.