Kimi K3.1 Pro Coder to społecznościowa kwantyzacja Kimi K3.1 Pro opublikowana pod kontem Grawnch, a nie wydanie Moonshot AI. Karta modelu podaje 774,97 GB (721,75 GiB) w 96 shardach i przypisuje różne grupy wag do pamięci GPU, RAM i dysku NVMe. Opis bazowego modelu znajdziesz w wcześniejszym artykule NeoTeo o Kimi K3.1 Pro.
Kwantyzacja zapisuje wagi z mniejszą precyzją liczbową, co może ograniczyć ich rozmiar. W tym przypadku konto Grawnch opisuje trzy poziomy precyzji dla ekspertów modelu, a także wyniki własnej ewaluacji. To, co karta deklaruje, warto oddzielić od tego, co wynika z podanych w niej sum.
Przy ocenie kwantyzacji oddziel rozmiar plików, opisany przydział pamięci i wyniki podane przez autora karty — to trzy różne rzeczy.
Jak Kimi K3.1 Pro Coder dzieli wagi
Kimi K3.1 Pro to model typu MoE, czyli „mieszanka ekspertów”: mechanizm routingu kieruje tokeny do wybranych części sieci. Karta podaje 2,8 bln parametrów, 93 warstwy i 82 432 routowanych ekspertów w warstwach 1–92. W każdej warstwie MoE ma być ich 896, a parametr top_k=16 opisuje wybór 16 ekspertów.
Karta modelu konta Grawnch przypisuje wagi nieroutowane i trzy grupy ekspertów do różnych poziomów pamięci. Wartość bpw oznacza efektywną liczbę bitów przypadającą na jedną wagę.
| Składnik | Precyzja | Podany rozmiar | Miejsce wskazane w karcie |
| Wagi nieroutowane | 16,0 bpw (BF16/F32) | 114,76 GB / 106,88 GiB | VRAM / pamięć współdzielona |
| Tier 1: gorący eksperci kodowania i matematyki (134/896 na warstwę; 15%) | 2,81 bpw | 160,58 GB / 149,55 GiB | VRAM GPU |
| Tier 2: eksperci ogólnego zastosowania (269/896 na warstwę; 30%) | 2,56 bpw | 254,53 GB / 237,05 GiB | Przypięta RAM systemowa |
| Tier 3: rzadziej aktywowani eksperci (493/896 na warstwę; 55%) | 1,44 bpw | 244,95 GB / 228,13 GiB | Dysk NVMe przez mmap |
Karta opisuje kalibrację ekspertów na podstawie częstotliwości ich aktywacji przy programowaniu i rozumowaniu matematycznym. Podane przypisania są częścią opisu tej kwantyzacji; same w sobie nie podają wymagań dla dowolnego komputera.
Co obejmują wyniki podane przez autora
Karta Grawnch opisuje ewaluację wszystkich 93 warstw obejmującą 70 sekwencji i 22 307 tokenów. Wśród zadań wymienia 30 problemów AIME 2025 oraz 30 problemów LiveCodeBench z okna 2024.10–2025.05. Według autora zarówno model bazowy, jak i kwantyzowany rozwiązały po 29 zadań z każdego zestawu.
Dla zgodności kolejnych tokenów karta podaje wyniki top-1 na poziomie 95,20% dla AIME i 95,06% dla LiveCodeBench. Zgodność top-5 wynosi odpowiednio 99,91% i 99,92%. W LiveCodeBench ogólna perpleksja — miara używana do oceny przewidywania kolejnych tokenów — wzrosła według karty z 2,6911 dla modelu bazowego do 2,7629 dla kwantyzacji, czyli o 2,67%.
Karta podaje też przepustowość 36,77 tokenu/s dla całego modelu o 93 warstwach w trybie batch oraz 3 382,7 tokenu warstwowego/s. Jako sprzęt ewaluacyjny wskazuje NVIDIA RTX PRO 6000 Blackwell Server Edition z 102,6 GB pamięci GDDR7. Wszystkie te wyniki są raportem autora karty; opisują konkretne zestawy zadań i wskazaną konfigurację.
Co wynika z podanych wartości pamięci
Cztery rozmiary z tabeli sumują się do 774,82 GB, czyli o 0,15 GB mniej niż podane przez kartę 774,97 GB. Z kolei wagi nieroutowane i Tier 1 mają łącznie 275,34 GB. Karta przypisuje te pozycje do VRAM lub pamięci współdzielonej i gorącej pamięci GPU, a przy ewaluacji wymienia kartę graficzną z 102,6 GB VRAM. W opisie nie wyjaśnia, jak te wartości łączą się w praktycznej konfiguracji.
Warunki w dołączonej licencji
Plik licencyjny dołączony do repozytorium nosi nazwę Kimi K3.1-Pro License i wskazuje Moonshot AI jako właściciela praw autorskich. Zgodnie z jego treścią podmioty oferujące kwalifikującą się usługę Model-as-a-Service, czyli dostęp do wnioskowania lub dostrajania modelu dla stron trzecich, muszą uzyskać odrębną umowę przed komercyjnym użyciem oprogramowania lub jego pochodnych, jeśli łączne przychody licencjobiorcy i podmiotów powiązanych przekraczają 20 mln USD w dowolnym kolejnym okresie 12 miesięcy. Treść dołączonej licencji określa też, że komercyjne produkty lub usługi przekraczające 100 mln aktywnych użytkowników miesięcznie albo 20 mln USD miesięcznego przychodu mają wyraźnie wyświetlać nazwę „Kimi K3.1-Pro”. Dokument wyłącza stosowanie sekcji 2 i 3 przy użytku wewnętrznym oraz korzystaniu z oficjalnych produktów Moonshot lub usług certyfikowanych partnerów wnioskowania.