Kimi K3.1 Pro Coder ist eine von Grawnch veröffentlichte, dreistufige Quantisierung von Moonshot AIs Basismodell Kimi K3.1 Pro. Die Modellkarte von Grawnch beziffert das Paket auf 774,97 GB und führt Leistungsmessungen auf, die Grawnch selbst berichtet. Für die Einordnung sind deshalb sowohl die Speichereinteilung als auch der genaue Umfang dieser Tests entscheidend.
Die Modellkarte beschreibt einen Speicherplan und nennt Messwerte. Beides lässt sich getrennt prüfen: Die Messungen haben einen klar umrissenen Umfang, und die aufgeführten Speichergrößen ergeben nicht exakt die angegebene Gesamtsumme.
Was Kimi K3.1 Pro Coder ist
Grawnch veröffentlicht Kimi K3.1 Pro Coder als Community-Quantisierung von Kimi K3.1 Pro; Moonshot AI ist der Entwickler des Basismodells. Die Variante umfasst laut Karte 96 Dateien im Safetensors-Format und insgesamt 774,97 GB beziehungsweise 721,75 GiB.
Quantisierung bedeutet, dass Modellgewichte mit geringerer Zahlengenauigkeit gespeichert werden. Die Abkürzung bpw steht für „bits per weight“, also Bits pro Gewicht. Kimi K3.1 Pro verwendet laut Karte eine Mixture-of-Experts-Architektur (MoE): Dabei wird pro Verarbeitungsschritt eine Auswahl spezialisierter Teilnetze aktiviert. Die Karte nennt 896 geroutete Experten pro MoE-Schicht und top_k=16; die drei Präzisionsstufen der Quantisierung verteilen sich auf 82.432 geroutete Experten in den Schichten 1 bis 92.
Wer zunächst das Basismodell einordnen möchte, findet Hintergrund in NeoTeos Artikel zu Kimi K3.1 Pro. Kimi K3.1 Pro Coder ist davon die von Grawnch veröffentlichte Quantisierung.
Wie die Karte die Gewichte auf Speicher verteilt
Die Modellkarte ordnet die drei Expertenstufen unterschiedlichen Speichertypen zu. Tier 1 soll im GPU-Speicher liegen, Tier 2 im fest gebundenen Arbeitsspeicher und Tier 3 auf einer NVMe-SSD, auf die das System per mmap zugreift.
| Stufe | Anteil der Experten | Effektive Präzision | Angegebene Größe | Laut Karte zugewiesener Speicher |
| Tier 1 | 15,0 % | 2,81 bpw | 160,58 GB | GPU-VRAM |
| Tier 2 | 30,0 % | 2,56 bpw | 254,53 GB | Fest gebundener Arbeitsspeicher |
| Tier 3 | 55,0 % | 1,44 bpw | 244,95 GB | NVMe-SSD (mmap) |
Die nicht gerouteten Gewichte führt Grawnch separat mit 114,76 GB und 16,0 bpw auf; als Speicherzuweisung nennt die Karte GPU-VRAM beziehungsweise gemeinsam genutzten Speicher. Für die Gesamtdatei nennt sie 774,97 GB.
Was die berichteten Tests abdecken
Sämtliche hier genannten Messwerte stammen aus Grawnchs Modellkarte. Sie beschreibt eine Auswertung mit 70 Sequenzen und insgesamt 22.307 Tokens. Darin enthalten sind jeweils 30 Aufgaben aus AIME 2025 und LiveCodeBench; die LiveCodeBench-Aufgaben stammen aus dem rollierenden Zeitraum Oktober 2024 bis Mai 2025.
| Auswertung | Stichprobe | Basismodell | Quantisierung |
| AIME 2025 | 30 Aufgaben | 29/30 | 29/30 |
| LiveCodeBench | 30 Aufgaben | 29/30 | 29/30 |
Zusätzlich nennt die Karte für die Übereinstimmung der jeweils wahrscheinlichsten nächsten Tokens („Top 1“) 95,20 % bei AIME und 95,06 % bei LiveCodeBench. Bei den fünf wahrscheinlichsten Tokens („Top 5“) sind es 99,91 % beziehungsweise 99,92 %. Die LiveCodeBench-Perplexität – ein Maß für die Vorhersage der nächsten Tokens – steigt laut Karte von 2,6911 beim Basismodell auf 2,7629 bei der Quantisierung, ein Anstieg um 2,67 %.
Für den Durchsatz führt Grawnch 3.382,7 Layer-Tokens pro Sekunde sowie 36,77 Tokens pro Sekunde als Batch-Durchsatz über alle 93 Schichten auf. Als Testhardware nennt die Karte eine NVIDIA RTX PRO 6000 Blackwell Server Edition mit 102,6 GB GDDR7-VRAM.
Was die angegebenen Speicherwerte ergeben
Addiert man die vier Größen aus der Aufteilung, kommt man auf 774,82 GB: 114,76 + 160,58 + 254,53 + 244,95 GB. Das sind 0,15 GB weniger als die angegebene Gesamtsumme von 774,97 GB.
Auch die nicht gerouteten Gewichte und Tier 1 zusammen ergeben eine konkrete Vergleichszahl: 114,76 + 160,58 GB sind 275,34 GB. Für die genannte Test-GPU weist die Karte 102,6 GB VRAM aus. Diese Werte stehen neben den unterschiedlichen Speicherzuweisungen, die Grawnch für die beiden Komponenten aufführt.
Bedingungen der beigefügten Lizenzdatei
Die im Repository enthaltene Datei heißt „Kimi K3.1-Pro License“ und nennt Moonshot AI als Rechteinhaber. Sie beschreibt eine zusätzliche Vereinbarung, die bestimmte Betreiber eines Model-as-a-Service vor der kommerziellen Nutzung der Software oder ihrer Ableitungen mit Moonshot AI schließen müssen: Das gilt, wenn der Betreiber und seine verbundenen Unternehmen zusammen mehr als 20 Millionen US-Dollar Umsatz in einem beliebigen Zeitraum von zwölf aufeinanderfolgenden Monaten erzielen.
Daneben verlangt die Datei, dass kommerzielle Produkte oder Dienste mit mehr als 100 Millionen monatlich aktiven Nutzern oder mehr als 20 Millionen US-Dollar Monatsumsatz den Namen „Kimi K3.1-Pro“ deutlich anzeigen. Für interne Nutzung sowie für die Nutzung über offizielle Moonshot-Produkte oder zertifizierte Inferenzpartner nimmt sie die Abschnitte 2 und 3 aus.
Die Lizenzdatei im Repository enthält diese Bedingungen.