Moonshot AI twierdzi, że ograniczyło cyberbezpieczeństwo Kimi K3.1 Pro, usuwając związane z nim dane z dwóch etapów treningu, a zarazem zachowało ogólne zadania programistyczne. W wewnętrznym teście xdev-bench-hard firma podaje wynik 81,0% pass@3 dla Kimi K3.1 Pro i 90,5% dla checkpointu bez tych zmian. Test dotyczył konkretnych zadań związanych z wykrywaniem i wykorzystywaniem podatności.
Jak Moonshot zmienił trening modelu
Według Moonshot AI firma usunęła dane związane z cyberbezpieczeństwem z korpusu na etapie mid-training, czyli środkowej fazy treningu. Odfiltrowała też zadania cybernetyczne z puli środowisk używanych w uczeniu przez wzmacnianie. Jak podaje, zachowała przy tym ogólne zadania programistyczne.
Porównanie wyników obejmuje Kimi K3.1 Pro oraz checkpoint z tego samego procesu treningowego, w którym nie zastosowano ani usuwania danych cybernetycznych na etapie mid-training, ani filtrowania takich zadań w uczeniu przez wzmacnianie.
| Warunek testu | Wynik xdev-bench-hard pass@3 podany przez Moonshot AI |
| Kimi K3.1 Pro po opisanych zmianach treningu | 81,0% |
| Checkpoint bez usuwania danych cybernetycznych i filtrowania zadań | 90,5% |
Co mierzy xdev-bench-hard
Moonshot opisuje xdev-bench-hard jako test, w którym model otrzymuje podatny kod źródłowy, krótką wskazówkę dotyczącą błędu oraz odpowiadający mu plik binarny. Zadanie polega na wykorzystaniu podatności, uzyskaniu wykonania dowolnego kodu w oddzielnej piaskownicy i odczytaniu tajnego ciągu znaków, który służy do automatycznej oceny wyniku. W odtworzonych zadaniach zabezpieczenia były włączone. Większość zadań dotyczyła niedawno ujawnionych podatności w projektach takich jak jądro Linuksa, Node.js, JavaScriptCore, Exim i VirGL.
Wynik pass@3 Moonshot obliczyło dla losowej podpróby uruchomień. Firma podaje, że test nie miał twardych limitów czasu ani limitu tokenów wyjściowych. Te warunki opisują zakres i sposób przeprowadzenia benchmarku.
Co mówią wyniki, a czego nie rozstrzygają
Moonshot AI podaje, że Kimi K3.1 Pro zachował możliwości związane z cyberbezpieczeństwem: model uzyskał 81,0% pass@3 w opisanym teście. Wyniki pochodzą z wewnętrznego benchmarku firmy. Dotyczą zadań z podatnym kodem i próbą wykonania kodu w piaskownicy, więc nie są ogólną oceną bezpieczeństwa modelu w rzeczywistych wdrożeniach.
Dostęp dla firm i plan publikacji wag
W swoim ogłoszeniu Moonshot wymienił dostęp do Kimi K3.1 Pro przez Kimi.ai, Kimi Work, Kimi Code i Kimi API. Przy premierze dostęp w Kimi Enterprise był domyślnie wyłączony; administratorzy mogli włączyć model dla swojej organizacji. Moonshot wskazał też opcję Zero Data Retention, czyli nieprzechowywania danych, dla klientów API.
Moonshot zapowiedział publikację pełnych wag Kimi K3.1 Pro do 4 listopada 2026 roku.
