Moonshot AI zufolge entfernte das Unternehmen für die geplante Veröffentlichung der Modellgewichte cyberbezogene Daten aus zwei Trainingsphasen von Kimi K3.1 Pro. Im internen Benchmark xdev-bench-hard erzielte das Modell laut Moonshot 81,0 % bei pass@3. Dieser Wert beschreibt das Ergebnis bei den Aufgaben und unter den Bedingungen dieses Tests.
NeoTeo berichtete zuvor über Moonshot AIs Prüfung gemeldeter Sicherheitsbefunde zu Kimi.
Was Moonshot aus dem Training entfernte
Moonshot sagt, cyberbezogenes Material aus dem allgemeinen Datenbestand des Mid-Trainings und cyberbezogene Aufgaben aus dem Aufgabenmix seiner Reinforcement-Learning-Umgebungen entfernt zu haben. Allgemeine Programmieraufgaben habe das Unternehmen beibehalten.
Was der Wert von 81,0 % misst
xdev-bench-hard ist Moonshots interner Benchmark zur Suche nach Schwachstellen und zur Entwicklung von Exploits in Quellcode. Eine Aufgabe gilt als gelöst, wenn ein Agent einen Exploit entwickelt, damit in einer getrennten Sandbox beliebige Codeausführung erreicht und eine geheime Zeichenfolge ausliest. Moonshot wertete pass@3 für eine zufällige Auswahl von Durchläufen aus. Für Kimi K3.1 Pro nennt das Unternehmen KimiCode als Harness; harte Zeitlimits oder Begrenzungen für die Ausgabetoken gab es nach Moonshots Angaben nicht.
Moonshot nennt für diesen Benchmark drei Ergebnisse:
| Modell oder Checkpoint | Ergebnis bei pass@3 |
| Kimi K3.1 Pro | 81,0 % |
| K3.1-Checkpoint ohne Cyber-Risikominderung | 90,5 % |
| Kimi K3 | 33,3 % |
Zwischen Kimi K3.1 Pro und dem Checkpoint ohne Cyber-Risikominderung liegen 9,5 Prozentpunkte. Alle drei Werte beziehen sich auf Moonshots xdev-bench-hard, nicht auf Angriffe auf reale Systeme.
Moonshots angekündigter Termin für die vollständigen Gewichte
Moonshot hatte angekündigt, die vollständigen Modellgewichte bis zum 4. November 2026 zu veröffentlichen.
