Kimi K3.1 Pro Coder è una quantizzazione comunitaria di Kimi K3.1 Pro pubblicata da Grawnch. La scheda la descrive come un insieme di 96 shard da 774,97 GB (721,75 GiB) e riporta risultati di valutazione dichiarati dall’autore. La scheda del modello presenta inoltre una distribuzione degli esperti tra memoria video, RAM e archiviazione NVMe.

Che cos’è Kimi K3.1 Pro Coder

La quantizzazione riduce la precisione con cui vengono rappresentati i pesi di un modello, così da occuparne meno spazio. In questo caso, Grawnch parte dal modello Kimi K3.1 Pro di Moonshot AI e divide gli esperti del modello in tre livelli di precisione. Per il contesto sul modello di base, puoi leggere anche il precedente approfondimento di NeoTeo su Kimi K3.1 Pro.

La scheda descrive un’architettura Mixture of Experts (MoE): per ogni token vengono selezionati alcuni esperti anziché attivare l’intera rete. Indica 896 esperti instradati per livello MoE e top_k=16, cioè 16 esperti selezionati; gli esperti instradati sono distribuiti nei livelli da 1 a 92.

La dimensione dei file descrive quanto occupa il checkpoint; da sola non dice quanta memoria serve per eseguirlo.

Come la scheda distribuisce il modello

Grawnch mantiene i pesi non instradati a 16 bit per peso (bpw), mentre assegna agli esperti tre livelli di precisione effettiva. La scheda associa il primo livello alla memoria della GPU, il secondo alla RAM di sistema bloccata in memoria e il terzo all’archiviazione NVMe, letta tramite mmap.

ComponenteQuota di espertiPrecisione effettivaDimensione indicataAllocazione indicata nella scheda
Livello 1134 su 896 per livello (15%)2,81 bpw160,58 GBVRAM della GPU
Livello 2269 su 896 per livello (30%)2,56 bpw254,53 GBRAM di sistema bloccata in memoria
Livello 3493 su 896 per livello (55%)1,44 bpw244,95 GBSSD NVMe, tramite mmap

I pesi non instradati, descritti come BF16/F32 a 16 bpw, occupano 114,76 GB e sono assegnati alla VRAM o a memoria condivisa. La scheda collega il caricamento a tre livelli a Strata e indica dr-triton per i kernel di dequantizzazione Triton.

Che cosa riportano i test dichiarati dall’autore

La valutazione descritta da Grawnch comprende 70 sequenze e 22.307 token. Il campione include 30 problemi di AIME 2025 e 30 problemi di LiveCodeBench, con una finestra mobile dal 2024.10 al 2025.05. Su ciascuno dei due insiemi, la scheda riporta 29 risposte corrette su 30 sia per il modello di base sia per la versione quantizzata.

Per l’accordo sulla previsione del token successivo, la scheda indica valori top-1 del 95,20% su AIME e del 95,06% su LiveCodeBench; i valori top-5 sono rispettivamente 99,91% e 99,92%. Su LiveCodeBench, la perplexity — una misura della sorpresa del modello davanti ai dati — passa da 2,6911 per il modello di base a 2,7629 per quello quantizzato, con un aumento riportato del 2,67%.

Grawnch dichiara di aver effettuato la valutazione su una NVIDIA RTX PRO 6000 Blackwell Server Edition con 102,6 GB di VRAM GDDR7. La scheda etichetta il risultato di 36,77 token al secondo come throughput dell’intero modello a 93 livelli; riporta anche 3.382,7 layer-tok/s. I numeri descrivono i test e la configurazione dichiarati nella scheda, non una misura indipendente su altre macchine o attività.

Che cosa dicono i valori di memoria

Sommando le quattro dimensioni elencate per pesi non instradati e livelli 1, 2 e 3, il totale è 774,82 GB: 0,15 GB in meno rispetto ai 774,97 GB dichiarati per il checkpoint. Inoltre, i pesi non instradati e il livello 1 insieme ammontano a 275,34 GB, mentre la scheda indica 102,6 GB di VRAM per la GPU usata nella valutazione. Sono valori da tenere presenti quando si valuta l’allocazione descritta, senza trasformarli in una misura delle prestazioni su un altro sistema.

Le condizioni riportate nel file di licenza

Il file LICENSE incluso nel repository si intitola Kimi K3.1-Pro License e indica Moonshot AI come titolare del copyright. Per gli operatori che rientrano nella definizione di Model-as-a-Service, il testo prevede un accordo separato prima dell’uso commerciale del software o dei suoi derivati se il titolare della licenza e le sue affiliate gestiscono un servizio di inferenza o fine-tuning per terzi e superano, insieme, 20 milioni di dollari di ricavi in un qualsiasi periodo consecutivo di 12 mesi.

Il file prevede inoltre che i prodotti o servizi commerciali con più di 100 milioni di utenti attivi mensili oppure oltre 20 milioni di dollari di ricavi mensili mostrino in modo prominente il nome Kimi K3.1-Pro. Le sezioni 2 e 3 non si applicano all’uso interno né all’uso tramite i prodotti ufficiali di Moonshot AI o i suoi partner di inferenza certificati. Il testo della licenza incluso nel repository riporta queste condizioni.