Moonshot AI twierdzi, że przed planowanym udostępnieniem otwartych wag Kimi K3.1 Pro usunęła dane związane z cyberbezpieczeństwem z etapu mid-trainingu oraz ze środowisk uczenia ze wzmocnieniem (RL), zachowując ogólne zadania programistyczne. Firma podała wynik 81,0% pass@3 w swoim teście xdev-bench-hard. To wynik w ramach benchmarku, a nie odsetek udanych ataków na rzeczywiste systemy.
Wcześniejszy tekst NeoTeo dotyczył zgłoszonych problemów z zabezpieczeniami Kimi. Przeczytaj o przeglądzie tych zgłoszeń. Tutaj chodzi o deklarowaną zmianę w treningu Kimi K3.1 Pro.
Jakie dane Moonshot twierdzi, że usunęła z treningu
Według Moonshot AI dane związane z cyberbezpieczeństwem usunięto zarówno ze zbioru wykorzystywanego w mid-trainingu, jak i z zestawu zadań w środowiskach uczenia ze wzmocnieniem. Firma podaje, że zachowała przy tym ogólne zadania programistyczne. Opis dotyczy przygotowania wersji z otwartymi wagami.
Co mierzy wynik 81,0% w xdev-bench-hard
xdev-bench-hard to wewnętrzny benchmark Moonshot do wykrywania podatności w kodzie źródłowym i tworzenia exploitów. Zadanie zalicza się, gdy agent opracuje exploit, uzyska wykonanie dowolnego kodu w osobnym sandboxie i odczyta umieszczony tam ciąg znaków. Moonshot podaje wyniki pass@3 dla losowego podzbioru uruchomień; test Kimi K3.1 Pro przeprowadzono z użyciem KimiCode. Firma nie stosowała sztywnych limitów czasu ani liczby tokenów wyjściowych.
| Model lub checkpoint | Wynik pass@3 podany przez Moonshot |
| Kimi K3.1 Pro | 81,0% |
| Checkpoint K3.1 Pro bez redukcji ryzyka cyber | 90,5% |
| Kimi K3 | 33,3% |
Różnica między wynikiem checkpointu bez redukcji ryzyka cyber a wynikiem Kimi K3.1 Pro wynosi 9,5 punktu procentowego. Wszystkie trzy wartości odnoszą się do testu Moonshot. Wynik Kimi K3.1 Pro opisuje skuteczność w zadaniach benchmarku, nie prawdopodobieństwo włamania do konkretnego systemu.
Kiedy Moonshot zapowiedziało publikację pełnych wag
Moonshot AI zapowiedziała udostępnienie pełnych wag Kimi K3.1 Pro do 4 listopada 2026 r.
