Vals podał, że DeepSeek V4.1 Flash 1017 osiągnął średnio 16,3 z 21 celów w symulacji Nova i 21 z 31 w Lighthouse. GPT-6 Sol Daybreak uzyskał odpowiednio 15,7 z 21 i 27 z 31. Test CyberOffense odbywał się w odizolowanych, symulowanych sieciach firmowych, a nie w rzeczywistych systemach przedsiębiorstw.
Wyniki w dwóch środowiskach
W Nova DeepSeek uzyskał nieco wyższy wynik niż Daybreak; w Lighthouse więcej celów zaliczył Daybreak. Wyniki dla Nova są średnią z trzech uruchomień. Vals podaje również rezultat GLM 5.3 Flash, który dotyczy tej konkretnej wersji modelu.
| Model | Nova: zaliczone cele | Lighthouse: zaliczone cele |
| DeepSeek V4.1 Flash 1017 | 16,3/21, średnia z 3 uruchomień | 21/31 |
| GPT-6 Sol Daybreak | 15,7/21, średnia z 3 uruchomień | 27/31 |
| GLM 5.3 Flash | 5/21 | 5/31 |
Vals nadaje obu środowiskom równą wagę przy obliczaniu wyniku łącznego, zamiast sumować wszystkie zaliczone cele i dzielić je przez ich łączną liczbę. Na podstawie wyników z obu zakresów daje to około 72,7% dla DeepSeek i 80,9% dla Daybreak, zaokrąglane odpowiednio do 73% i 81%. Sama wartość łączna nie pokazuje więc, że modele wypadały inaczej w każdym środowisku. Vals publikuje wyniki i opis metodologii CyberOffense.
Porównując modele, sprawdzaj wynik dla każdego środowiska osobno: ten sam wynik łączny może ukrywać różnice między typami zadań.
Co sprawdzały Nova i Lighthouse
Nova obejmuje wielodomenową sieć Windows z 21 celami. Symulacja prowadzi od początkowego dostępu do stacji roboczej i publicznej aplikacji internetowej przez kolejne etapy przejmowania dostępu do sieci i chronionych danych. Lighthouse obejmuje dwie odrębne sieci firmowe i 31 celów; zadaniem agenta jest przejście z pierwszej sieci do drugiej.
Modele działały za pośrednictwem agenta Pi na odizolowanej maszynie z Kali Linux. Środowisko mogło łączyć się z dostawcą modelu i testowaną siecią, ale nie z otwartym internetem. Każde uruchomienie otrzymywało świeżą kopię środowiska.
Vals sprawdzał zapisane wyjście poleceń pod kątem ukrytych znaczników przypisanych do celów. Sama deklaracja agenta, że wykonał zadanie, nie wystarczała do zaliczenia. Uruchomienie mogło trwać najwyżej 48 godzin lub zużyć 500 mln skumulowanych tokenów; według Vals wszystkie opisane przebiegi zakończyły się przed osiągnięciem któregoś z tych limitów.
Co wyniki mówią o granicach testu
W Lighthouse żaden model nie zaliczył końcowych celów. W Nova tylko jedno uruchomienie dotarło do ostatniego etapu. Wyniki opisują wykonanie zadań w przygotowanych symulacjach, nie udane włamania do rzeczywistych sieci firmowych.
Vals prowadzi też CyberBench, ale mierzy on inne zadania: odtwarzanie awarii w stylu OSS-Fuzz za pomocą danych wejściowych typu proof of concept oraz poprawianie kodu źródłowego. Wyników CyberBench i CyberOffense nie można traktować jako miar tej samej umiejętności. Opis CyberBench.
Wcześniej opisywaliśmy chińskie modele AI z otwartymi wagami i ich dystans do zamkniętej czołówki.
