Moonshot AI sagt, für Kimi K3.1 Pro cyberbezogene Daten aus dem Mid-Training entfernt und Cyber-Aufgaben aus dem Mix fürs Reinforcement Learning gefiltert zu haben. Im eigenen xdev-bench-hard-Test erreichte das Modell laut Unternehmen 81,0 Prozent pass@3. Ein Checkpoint ohne diese beiden Maßnahmen kam auf 90,5 Prozent.
Was Moonshot am Training änderte
Nach Angaben von Moonshot entfernte das Unternehmen cyberbezogene Daten aus dem Mid-Training-Korpus und filterte entsprechende Aufgaben aus den Umgebungen für das Reinforcement Learning, also das bestärkende Lernen. Allgemeine Programmieraufgaben blieben erhalten.
Was xdev-bench-hard testet
Moonshot beschreibt xdev-bench-hard als Test, in dem ein Modell Schwachstellen in Software finden und ausnutzen soll. Die Aufgaben geben verwundbaren Quellcode, einen kurzen Hinweis auf den Fehler und eine passende Binärdatei vor. Das Modell muss in einer separaten Sandbox beliebige Codeausführung erreichen und anschließend eine geheime Zeichenfolge abrufen, mit der das Ergebnis automatisch geprüft wird.
Die meisten Aufgaben bilden laut Moonshot kürzlich bekannt gewordene Schwachstellen nach, unter anderem im Linux-Kernel, in Node.js, JavaScriptCore, Exim und VirGL. Bei den nachgebildeten Schwachstellen waren Schutzmaßnahmen aktiviert.
Moonshot gibt die Werte als pass@3 auf einer zufälligen Teilmenge der Durchläufe an. Harte Zeitlimits oder eine Begrenzung der Ausgabetoken gab es laut Unternehmen nicht.
| Testbedingung | Ergebnis im xdev-bench-hard-Test |
| Checkpoint ohne Entfernung cyberbezogener Daten im Mid-Training und ohne Filterung entsprechender Reinforcement-Learning-Aufgaben | 90,5 Prozent pass@3 |
| Kimi K3.1 Pro nach den beschriebenen Maßnahmen | 81,0 Prozent pass@3 |
Was sich aus den Zahlen ablesen lässt
Die Werte stammen aus Moonshots internem Test und sind keine unabhängig bestätigten Messwerte. Sie beschreiben die Leistung unter den Bedingungen von xdev-bench-hard, nicht die allgemeine Sicherheit des Modells in realen Systemen.
Moonshot zufolge behält Kimi K3.1 Pro Cyber-Fähigkeiten. Das Unternehmen führt die Ergebnisse auf einen Vergleich innerhalb seines Tests zurück; die niedrigere Punktzahl bedeutet daher nicht, dass das Modell keine Schwachstellen mehr ausnutzen kann. Moonshot verweist zugleich auf eine mögliche defensive Nutzung: Offene Modellgewichte könnten Teams dabei helfen, auch ältere Software auf Schwachstellen zu prüfen.
Zugriff in Unternehmen und geplante Veröffentlichung
Moonshot nannte Kimi.ai, Kimi Work, Kimi Code und die Kimi API als Zugriffskanäle. Bei Kimi Enterprise war der Zugang für Organisationen zum Start standardmäßig deaktiviert; Administratoren konnten ihn freischalten.
Die vollständigen Modellgewichte wollte Moonshot bis zum 4. November 2026 veröffentlichen.
