Kimi K3.1 Pro: cztery poprawki przeszły testy, zero oddań

W eksperymencie przeprowadzonym przez Kingy 23 października 2026 r. cztery poprawki Kimi K3.1 Pro przeszły wymagane testy, ale żadna z ośmiu prób nie zakończyła się standardowym oddaniem zadania. Wynik pokazuje, dlaczego zaliczenie testów przez poprawkę i ukończenie pracy przez agenta to dwie różne miary.

Zaliczenie testów a oddanie zadania

Poprawka przechodzi testy, gdy spełnia wymagania sprawdzane przez zestaw testów. W eksperymencie Kingy standardowe oddanie wymagało dodatkowo wyświetlenia przez agenta polecenia COMPLETE_TASK_AND_SUBMIT_FINAL_OUTPUT i przedstawienia końcowego wyjaśnienia. Sama poprawka pozostawiona w repozytorium nie spełniała tego kryterium.

Kingy sprawdziła pięć modeli na czterech wybranych, historycznych problemach z repozytoriów Django, pytest, scikit-learn i Sphinx. Każdy model miał po dwie próby na problem, czyli osiem prób łącznie. Wyniki wyglądały tak:

Problemy dotyczyły zapytań zliczających w Django, serializacji łańcuchów wyjątków w pytest, zachowania typów danych w obiektach DataFrame w scikit-learn i dokumentacji właściwości klas w Sphinx. Kingy użyła mini-SWE-agent 2.4.6, nowych kontenerów Linuksa, jednej jednostki CPU i 2 GiB pamięci RAM na zadanie; kontenery nie miały dostępu do sieci.

Dlaczego próby Kimi zatrzymały się przed oddaniem

Kingy przypisała zatrzymanie czterech prób Kimi, w których powstały poprawki przechodzące testy, zachowawczej kontroli rezerwacji tokenów wejściowych. Nie były to zakończone standardowym oddaniem zadania przebiegi.

W pierwszej próbie dotyczącej pytest odnotowano dziewięć wywołań modelu, 87 885 skumulowanych tokenów wejściowych i 3 655 tokenów wyjściowych, w tym tokeny rozumowania. Próba trwała około 87 sekund. Kingy podała, że kontrola rezerwacji zatrzymała przebieg, zanim wyczerpały się określone w teście limity odpowiedzi, tokenów wyjściowych, czasu lub kosztu.

Zadania z filmu Beau Johnsona

W odrębnej demonstracji Beau Johnson uruchomił każde zadanie jeden raz. Kimi K3.1 Pro wygenerował zadanie Minecraft w 4 minuty i 28 sekund za 0,15 USD, a model niskopoligonowego konia w 4 minuty i 39 sekund, również za 0,15 USD. W teście wyszukiwania błędów Kimi K3.1 Pro, Claude Opus 5.5 i Claude Sonnet 5.5 uzyskały po 10/10; odpowiedzi oceniał Claude.

Dlaczego wyniki nie tworzą jednego rankingu

Moonshot AI podało dla Kimi K3.1 Pro wynik 65,7% w benchmarku Terminal-Bench 4.0. W porównaniu firmy Claude Opus 5.5 uzyskał 66,4%, a GPT-6 Astra 58,2%. To odrębny benchmark, a nie kolejny wynik z prób repozytoriów Kingy ani z demonstracji Johnsona.

Każdy z tych testów mierzył coś innego: poprawki i formalne oddanie w wybranych problemach repozytoriów, pojedyncze zadania generowania oraz wyniki benchmarku agentów. Nie dają więc podstaw do ogólnego rankingu modeli do programowania.