Kimi K3.1 Pro Coder to społecznościowa kwantyzacja Kimi K3.1 Pro opublikowana pod kontem Grawnch, a nie wydanie Moonshot AI. Karta modelu podaje 774,97 GB (721,75 GiB) w 96 shardach i przypisuje różne grupy wag do pamięci GPU, RAM i dysku NVMe. Opis bazowego modelu znajdziesz w wcześniejszym artykule NeoTeo o Kimi K3.1 Pro.

Kwantyzacja zapisuje wagi z mniejszą precyzją liczbową, co może ograniczyć ich rozmiar. W tym przypadku konto Grawnch opisuje trzy poziomy precyzji dla ekspertów modelu, a także wyniki własnej ewaluacji. To, co karta deklaruje, warto oddzielić od tego, co wynika z podanych w niej sum.

Przy ocenie kwantyzacji oddziel rozmiar plików, opisany przydział pamięci i wyniki podane przez autora karty — to trzy różne rzeczy.

Jak Kimi K3.1 Pro Coder dzieli wagi

Kimi K3.1 Pro to model typu MoE, czyli „mieszanka ekspertów”: mechanizm routingu kieruje tokeny do wybranych części sieci. Karta podaje 2,8 bln parametrów, 93 warstwy i 82 432 routowanych ekspertów w warstwach 1–92. W każdej warstwie MoE ma być ich 896, a parametr top_k=16 opisuje wybór 16 ekspertów.

Karta modelu konta Grawnch przypisuje wagi nieroutowane i trzy grupy ekspertów do różnych poziomów pamięci. Wartość bpw oznacza efektywną liczbę bitów przypadającą na jedną wagę.

SkładnikPrecyzjaPodany rozmiarMiejsce wskazane w karcie
Wagi nieroutowane16,0 bpw (BF16/F32)114,76 GB / 106,88 GiBVRAM / pamięć współdzielona
Tier 1: gorący eksperci kodowania i matematyki (134/896 na warstwę; 15%)2,81 bpw160,58 GB / 149,55 GiBVRAM GPU
Tier 2: eksperci ogólnego zastosowania (269/896 na warstwę; 30%)2,56 bpw254,53 GB / 237,05 GiBPrzypięta RAM systemowa
Tier 3: rzadziej aktywowani eksperci (493/896 na warstwę; 55%)1,44 bpw244,95 GB / 228,13 GiBDysk NVMe przez mmap

Karta opisuje kalibrację ekspertów na podstawie częstotliwości ich aktywacji przy programowaniu i rozumowaniu matematycznym. Podane przypisania są częścią opisu tej kwantyzacji; same w sobie nie podają wymagań dla dowolnego komputera.

Co obejmują wyniki podane przez autora

Karta Grawnch opisuje ewaluację wszystkich 93 warstw obejmującą 70 sekwencji i 22 307 tokenów. Wśród zadań wymienia 30 problemów AIME 2025 oraz 30 problemów LiveCodeBench z okna 2024.10–2025.05. Według autora zarówno model bazowy, jak i kwantyzowany rozwiązały po 29 zadań z każdego zestawu.

Dla zgodności kolejnych tokenów karta podaje wyniki top-1 na poziomie 95,20% dla AIME i 95,06% dla LiveCodeBench. Zgodność top-5 wynosi odpowiednio 99,91% i 99,92%. W LiveCodeBench ogólna perpleksja — miara używana do oceny przewidywania kolejnych tokenów — wzrosła według karty z 2,6911 dla modelu bazowego do 2,7629 dla kwantyzacji, czyli o 2,67%.

Karta podaje też przepustowość 36,77 tokenu/s dla całego modelu o 93 warstwach w trybie batch oraz 3 382,7 tokenu warstwowego/s. Jako sprzęt ewaluacyjny wskazuje NVIDIA RTX PRO 6000 Blackwell Server Edition z 102,6 GB pamięci GDDR7. Wszystkie te wyniki są raportem autora karty; opisują konkretne zestawy zadań i wskazaną konfigurację.

Co wynika z podanych wartości pamięci

Cztery rozmiary z tabeli sumują się do 774,82 GB, czyli o 0,15 GB mniej niż podane przez kartę 774,97 GB. Z kolei wagi nieroutowane i Tier 1 mają łącznie 275,34 GB. Karta przypisuje te pozycje do VRAM lub pamięci współdzielonej i gorącej pamięci GPU, a przy ewaluacji wymienia kartę graficzną z 102,6 GB VRAM. W opisie nie wyjaśnia, jak te wartości łączą się w praktycznej konfiguracji.

Warunki w dołączonej licencji

Plik licencyjny dołączony do repozytorium nosi nazwę Kimi K3.1-Pro License i wskazuje Moonshot AI jako właściciela praw autorskich. Zgodnie z jego treścią podmioty oferujące kwalifikującą się usługę Model-as-a-Service, czyli dostęp do wnioskowania lub dostrajania modelu dla stron trzecich, muszą uzyskać odrębną umowę przed komercyjnym użyciem oprogramowania lub jego pochodnych, jeśli łączne przychody licencjobiorcy i podmiotów powiązanych przekraczają 20 mln USD w dowolnym kolejnym okresie 12 miesięcy. Treść dołączonej licencji określa też, że komercyjne produkty lub usługi przekraczające 100 mln aktywnych użytkowników miesięcznie albo 20 mln USD miesięcznego przychodu mają wyraźnie wyświetlać nazwę „Kimi K3.1-Pro”. Dokument wyłącza stosowanie sekcji 2 i 3 przy użytku wewnętrznym oraz korzystaniu z oficjalnych produktów Moonshot lub usług certyfikowanych partnerów wnioskowania.