Kimi K3.1 Pro Coder is een community-kwantisatie van Moonshot AI’s Kimi K3.1 Pro, gepubliceerd onder de accountnaam Grawnch. De modelkaart vermeldt 96 safetensors-shards met een totale grootte van 774,97 GB (721,75 GiB) en bevat prestatiecijfers die Grawnch zelf rapporteert. (Modelkaart van Grawnch)
Wie eerst wil weten wat Moonshot AI’s basismodel inhoudt, kan onze eerdere uitleg over de open gewichten van Kimi K3.1 Pro lezen.
Behandel de prestaties als resultaten van de tests die Grawnch beschrijft, niet als een algemene maat voor elke taak of computer.
Wat Kimi K3.1 Pro Coder doet
Kwantisatie verlaagt de precisie waarmee modelgewichten worden opgeslagen. Minder bits per gewicht (bpw) kunnen de opslagruimte verkleinen, maar de uitkomst hangt af van welke gewichten met welke precisie worden bewaard. Kimi K3.1 Pro Coder gebruikt daarvoor drie precisieniveaus voor de gerouteerde experts in een MoE-model. MoE staat voor mixture of experts: per invoertoken wordt een selectie uit meerdere expertmodules gebruikt.
Volgens de modelkaart heeft het basismodel 93 lagen en 896 gerouteerde experts per MoE-laag; top_k=16 geeft aan dat per token 16 experts worden geselecteerd. De kaart verdeelt de experts over drie geheugenniveaus en houdt de niet-gerouteerde gewichten apart. (Modelkaart van Grawnch)
Hoe de gewichten over geheugen zijn verdeeld
De kaart koppelt de hoogste van de drie expertprecisies aan GPU-geheugen, een middenniveau aan systeemgeheugen en het laagste niveau aan NVMe-opslag. De opgegeven verdeling ziet er zo uit:
| Onderdeel | Precisie | Vermelde grootte | Toegewezen geheugen volgens de kaart |
| Niet-gerouteerde gewichten | 16,0 bpw | 114,76 GB | GPU-geheugen/gedeeld |
| Tier 1 (15% van de experts) | 2,81 bpw | 160,58 GB | GPU-geheugen |
| Tier 2 (30% van de experts) | 2,56 bpw | 254,53 GB | Vastgezet systeemgeheugen |
| Tier 3 (55% van de experts) | 1,44 bpw | 244,95 GB | NVMe-ssd (mmap) |
De 15%, 30% en 55% zijn de opgegeven aandelen van de experts; ze zeggen niet dat elk niveau evenveel opslagruimte gebruikt. Tier 3 bevat bijvoorbeeld volgens de kaart 55% van de experts, maar krijgt een precisie van 1,44 bpw. De omvang van dat onderdeel is 244,95 GB. De vier opgegeven componentgroottes tellen samen op tot 774,82 GB, 0,15 GB minder dan het genoemde totaal van 774,97 GB.
Welke prestaties de tests rapporteren
Grawnch beschrijft een evaluatie met 70 sequenties en in totaal 22.307 tokens. De twee scoreverzamelingen bestonden uit 30 opgaven van AIME 2025 en 30 LiveCodeBench-opgaven uit de rollende periode 2024.10–2025.05. Op beide verzamelingen rapporteert de kaart 29 goede antwoorden uit 30 voor zowel het basismodel als de kwantisatie. (Modelkaart van Grawnch)
De kaart vermeldt daarnaast een overeenkomst van de volgende token op de eerste plaats van 95,20% voor AIME en 95,06% voor LiveCodeBench. Voor top-5-overeenkomst zijn de cijfers respectievelijk 99,91% en 99,92%. Op LiveCodeBench liep de gerapporteerde perplexiteit op van 2,6911 voor het basismodel naar 2,7629 voor de kwantisatie, een stijging van 2,67%. Perplexiteit is een maat voor hoe goed een model tekst voorspelt; een hogere score betekent hier dat de kwantisatie de geteste tekst iets minder goed voorspelde.
Voor de evaluatie noemt Grawnch een NVIDIA RTX PRO 6000 Blackwell Server Edition met 102,6 GB GDDR7-VRAM. De kaart vermeldt 36,77 tokens per seconde als doorvoer voor een volledige batch over alle 93 lagen. Dat is een resultaat dat de auteur bij deze evaluatie rapporteert, naast de twee afgebakende benchmarksets.
De geheugengetallen geven ook een concrete vergelijking: niet-gerouteerde gewichten plus Tier 1 komen samen op 275,34 GB, terwijl de genoemde GPU 102,6 GB VRAM heeft. De kaart koppelt die onderdelen aan GPU-geheugen/gedeeld en GPU-geheugen. Deze cijfers beschrijven de opgegeven indeling en de genoemde testkaart; ze vormen op zichzelf geen prestatiemeting voor andere systemen.
Voorwaarden in de meegeleverde licentie
Het repositorybestand met de titel Kimi K3.1-Pro License noemt Moonshot AI als rechthebbende. Voor aanbieders van bepaalde Model-as-a-Service-diensten verlangt de tekst een afzonderlijke overeenkomst vóór commercieel gebruik wanneer de gezamenlijke omzet van de licentiehouder en diens gelieerde ondernemingen meer dan US$ 20 miljoen bedraagt in een periode van twaalf opeenvolgende maanden.
De licentie noemt daarnaast een aparte voorwaarde voor commerciële producten of diensten met meer dan 100 miljoen maandelijkse actieve gebruikers of meer dan US$ 20 miljoen maandelijkse omzet: daarbij moet de naam “Kimi K3.1-Pro” prominent worden getoond. De tekst zondert intern gebruik en gebruik via officiële producten of gecertificeerde inferentiepartners van Moonshot AI uit van de genoemde onderdelen 2 en 3. (Licentiebestand in de repository)