Kingys Repository-Test vom 23. Oktober 2026 ergab: Kimi K3.1 Pro hinterließ in acht Versuchen vier Patches, die alle erforderlichen Tests bestanden. Eine reguläre Abgabe schloss jedoch keiner der acht Läufe ab. Ein bestandener Patch war also noch keine fertig übergebene Aufgabe.
Was ein bestandener Patch von einer abgeschlossenen Aufgabe unterscheidet
Ein Patch ist eine Änderung am Programmcode. Im Test galt ein Patch als bestanden, wenn er die erforderlichen Prüfungen erfüllte. Für eine reguläre Abgabe musste der Agent zusätzlich den vorgesehenen Abschlussbefehl ausgeben und eine abschließende Erklärung liefern. Ein bestandener Patch auf der Festplatte reichte dafür nicht.
Ergebnisse in den ausgewählten Repository-Aufgaben
Kingy prüfte fünf Modelle an vier ausgewählten älteren Problemen aus Django, pytest, scikit-learn und Sphinx. Jedes Modell erhielt zwei Versuche pro Problem, also acht Versuche insgesamt. Die Tabelle trennt bestandene Patches von regulären Abgaben:
| Modell | Patches bestanden (von 8) | Reguläre Abgaben (von 8) |
| Kimi K3.1 Pro | 4/8 | 0/8 |
| GPT-6.1 Sol | 5/8 | 0/8 |
| Claude Sonnet 5.5 | 4/8 | 2/8 |
| Kimi K3 | 0/8 | 0/8 |
| DeepSeek V4.1 Flash 1017 | 0/8 | 0/8 |
Kimi K3.1 Pro bestand beide Versuche bei pytest und scikit-learn. Bei den Django- und Sphinx-Aufgaben hinterließ das Modell keinen Patch. Der Test lief mit mini-SWE-agent 2.4.6 in neuen Linux-Containern, jeweils mit einer CPU, 2 GiB Arbeitsspeicher und ohne Netzwerkzugriff.
Warum die Kimi-Läufe nicht regulär endeten
Kingy führte die vier Kimi-Läufe mit bestandenen Patches auf eine vorsichtige Prüfung des reservierten Eingabekontingents zurück. Beim ersten pytest-Versuch protokollierte der Test neun Modellaufrufe, insgesamt 87.885 Eingabetokens, 3.655 Ausgabetokens einschließlich der Reasoning-Tokens, rund 87 Sekunden Laufzeit und 0,083296 US-Dollar API-Kosten. Diese Zahlen beschreiben genau diesen einzelnen Versuch.
Was Beau Johnsons Einmaltest ergab
In einem separaten Video testete Beau Johnson Kimi K3.1 Pro mit Aufgaben zur Minecraft-Erstellung, zum Entwurf eines Low-Poly-Pferdes und zur Fehlersuche. Kimi erledigte die Minecraft-Aufgabe in 4 Minuten und 28 Sekunden für 0,15 US-Dollar und die Pferde-Aufgabe in 4 Minuten und 39 Sekunden, ebenfalls für 0,15 US-Dollar. Beim Bug-Hunt-Test erhielten Kimi K3.1 Pro, Claude Opus 5.5 und Claude Sonnet 5.5 jeweils 10 von 10 Punkten; laut Johnson bewertete Claude die Antworten. Johnson führte jede Aufgabe nur einmal durch.
Warum daraus keine allgemeine Rangliste folgt
Die Ergebnisse beantworten unterschiedliche Fragen: Kingy prüfte ausgewählte historische Repository-Probleme und zählte bestandene Patches sowie reguläre Abgaben. Johnsons Video zeigte einzelne Aufgaben zur Code- und Inhaltserstellung. Moonshot AI meldete für Kimi K3.1 Pro 65,7 Prozent bei Terminal-Bench 4.0; in Moonshots Vergleich erreichte Claude Opus 5.5 66,4 Prozent und GPT-6 Astra 58,2 Prozent. Diese vom Modellanbieter berichteten Benchmark-Werte stammen aus einem anderen Testaufbau. Zusammen ergeben die drei Prüfungen keine allgemeine Rangfolge für Programmieraufgaben.
