Google DeepMind informuje, że AlphaProof Code pomógł udowodnić wybrane własności bezpieczeństwa rzeczywistego kodu protokołu Signal, w tym własności dotyczące kodu skompilowanego. Zakres prac nie obejmował całej aplikacji mobilnej Signal — podaje WIRED. Google DeepMind opisuje projekt jako czterotygodniową współpracę ekspertów i agentów AI.

Jakich własności dotyczyła weryfikacja

Jednym z przykładów była ochrona wiadomości przed tymczasowym przejęciem urządzenia i po nim. To konkretna własność protokołu, a nie ogólna gwarancja bezpieczeństwa każdej funkcji Signal.

Formalna weryfikacja polega na zapisaniu wymagań jako ścisłych twierdzeń matematycznych, a następnie sprawdzeniu dowodów, że kod spełnia te wymagania. W tym projekcie granice dowodu wyznaczały sprawdzane własności i objęty analizą kod.

Dowód formalny jest tak szeroki, jak własności i kod, do których go odniesiono.

Jak pracowali eksperci i agenci AI

Według Google DeepMind badacze i modele przekładali cele bezpieczeństwa na specyfikacje matematyczne, a eksperci sprawdzili każdą z nich. Następnie agenci zasilani przez Gemini Carbon wygenerowali ponad sześć milionów linii kodu dowodów w Lean. Lean mechanicznie sprawdzał dowody, a agenci wskazali 1% kodu do dodatkowej kontroli człowieka, jak podaje firma.

Rozdział ról ma znaczenie: ludzie oceniali, czy specyfikacje właściwie opisują wymagane własności, zaś Lean sprawdzał poprawność dowodów zapisanych w swoim języku. Sama liczba wygenerowanych linii nie mówi, jak szeroki był zakres weryfikacji — ten określały specyfikacje i analizowane fragmenty kodu.

Co pokazał test z dwiema błędami

Google DeepMind podaje, że badacze ponownie wprowadzili dwa wcześniej naprawione błędy do odizolowanej wersji kodu Signal. W obu przypadkach system wygenerował sprawdzony maszynowo dowód, że wadliwa wersja była niebezpieczna.

Wynik dotyczył tych dwóch przetestowanych wersji. Pokazuje, że system potrafił wykazać niebezpieczną własność w tym teście; nie ustanawia ogólnej skuteczności wobec każdego rodzaju błędu.

Google DeepMind zapowiedziało udostępnienie artefaktów formalnej weryfikacji. Firma zaznaczyła też, że dalsze rozszerzanie tej metody wymaga kolejnych badań.