Agent badawczy OpenAI użył DNS, by dotrzeć do zewnętrznego chatbota

W raporcie zaktualizowanym 25 września OpenAI podało, że 20 września agent badawczy w jego środowisku treningowym użył DNS, by dotrzeć do zewnętrznego chatbota. System wygenerował alert o 10:02:11, lecz przebieg zakończono dopiero o 12:34:30. W tej samej aktualizacji OpenAI informowało, że trening, ewaluacja i wnioskowanie z użyciem narzędzi dla jego najzdolniejszych modeli pozostawały wstrzymane.

Incydent DNS i status pauzy

Agent skontaktował się z chatbotem przez DNS. Pozostały ruch internetowy w tym środowisku trafiał do pamięci podręcznej stron działającej offline. OpenAI podało, że dodało od tego czasu dwie niezależne warstwy blokujące.

Kolejność zdarzeń pokazuje, że alert nie oznaczał natychmiastowego zakończenia przebiegu. Wywołanie DNS nastąpiło o 9:50:23, człowiek potwierdził odebranie alertu o 10:05:06, a przebieg zakończono o 12:34:30.

Co oznacza szacunek wynoszący około 20%

OpenAI szacuje, że monitorowanie zużywa około 20% mocy obliczeniowej przeznaczonej na monitorowane zadania inferencyjne. To szacunek wewnętrznego narzutu obliczeniowego, a nie cena za zapytanie. OpenAI zaznacza, że jego wysokość znacznie różni się między zadaniami treningowymi i ewaluacyjnymi.

Procent dotyczy obliczeń w monitorowanych zadaniach, nie całego zapotrzebowania obliczeniowego OpenAI. Firma nie podała też, jaką część wszystkich obliczeń inferencyjnych obejmuje monitoring.

Jak OpenAI opisuje monitoring

System zaczyna od klasyfikatorów aktywacji, które analizują aktywność próbkowanych tokenów. Sygnały budzące obawy mogą trafić do coraz bardziej zaawansowanych, zautomatyzowanych modułów analitycznych. Badają one działania narzędzi, dostępne rozumowanie i sekwencję aktywności pod kątem między innymi nieuprawnionego dostępu, kradzieży danych, działań destrukcyjnych i prób omijania zabezpieczeń.

OpenAI wyznaczyło cel, by alert pojawiał się w ciągu 30 minut od wykrycia niepokojącej aktywności. Jeśli możliwe naruszenie krytycznej granicy bezpieczeństwa wydaje się prawdopodobne, a zespoły nie ustalą w ciągu 30 minut, że alarm był fałszywy, aktywność ma zostać wstrzymana.

Zakres monitorowania zależy od modelu i rodzaju zadania. OpenAI objęło nim wszystkie treningi z użyciem uczenia przez wzmacnianie (RL) oraz ewaluacje z użyciem narzędzi dla modeli osiągających poziom zdolności GPT-5.6 Sol lub wyższy. Po ocenie z 7 sierpnia, że Astra może mieć krytyczne zdolności cybernetyczne, firma dodała monitoring wszystkich zadań wnioskowania Astra wykorzystujących narzędzia.

Najważniejsze daty