Op 23 oktober 2026 rapporteerde Kingy dat vier van de acht patches van Kimi K3.1 Pro slaagden voor de vereiste tests, maar dat geen van de pogingen eindigde met een formele inzending. Een patch die tests doorstaat is nog geen afgeronde opdracht: daarvoor moest de codeeragent ook een eindcommando geven en een toelichting indienen.
Vier geselecteerde repositoryproblemen
Kingy testte vijf modellen op vier historische problemen uit Django, pytest, scikit-learn en Sphinx. Elk model kreeg twee pogingen per probleem, dus acht pogingen in totaal. De codeeragent, een AI-model dat binnen een programmeeromgeving opdrachten uitvoert, werkte met mini-SWE-agent 2.4.6 in nieuwe Linux-containers. Elke taak kreeg één CPU en 2 GiB werkgeheugen; netwerktoegang was uitgeschakeld.
| Model | Patches die de vereiste tests doorstonden (van 8) | Formele inzendingen (van 8) |
| Kimi K3.1 Pro | 4 | 0 |
| GPT-6.1 Sol | 5 | 0 |
| Claude Sonnet 5.5 | 4 | 2 |
| Kimi K3 | 0 | 0 |
| DeepSeek V4.1 Flash 1017 | 0 | 0 |
Kimi K3.1 Pro slaagde in beide pogingen voor de pytest- en scikit-learn-problemen. Voor de Django- en Sphinx-problemen leverde het geen patch op. De tabel vergelijkt dus twee verschillende uitkomsten: testsucces van een opgeslagen patch en het daadwerkelijk indienen van de afgeronde taak.
Waarom de geslaagde patches niet werden ingediend
Kingy schreef de vier Kimi-pogingen met een geslaagde patch toe aan een conservatieve controle die vooraf inputruimte reserveerde. Die controle stopte de pogingen voordat ze de formele indiening voltooiden.
Bij de eerste pytest-poging registreerde Kingy negen modelaanroepen, 87.885 cumulatieve inputtokens, 3.655 outputtokens inclusief redenering, ongeveer 87 seconden en US$ 0,083296 aan gemeten API-gebruik. Die poging stopte bij de inputreserveringscontrole, niet doordat de ingestelde reactie-, output-, tijd- of kostenlimiet was bereikt.
Een aparte demonstratie met één poging
In een afzonderlijke demonstratie meldde Beau Johnson dat Kimi K3.1 Pro een Minecraft-taak in 4 minuten en 28 seconden afrondde voor US$ 0,15. Een paard in low-poly-stijl kostte in die test 4 minuten en 39 seconden en eveneens US$ 0,15. Voor een bughunt kregen Kimi K3.1 Pro, Claude Opus 5.5 en Claude Sonnet 5.5 alle drie 10/10; Claude beoordeelde de antwoorden. Johnson voerde elke taak één keer uit.
De benchmarkcijfers meten andere taken
Moonshot AI rapporteerde voor Kimi K3.1 Pro een score van 65,7% op Terminal-Bench 4.0. In die vergelijking meldde Moonshot 66,4% voor Claude Opus 5.5 en 58,2% voor GPT-6 Astra. Dat is een andere benchmark dan Kingy’s geselecteerde repositoryproblemen en Johnsons eenmalige opdrachten. De drie proeven leveren daarom geen algemene ranglijst van codeermodellen op.
