Według doniesień Control Room OpenAI blokuje kolejne odpowiedzi modelu po cofnięciu autoryzacji zadania badawczego. Sam program może nadal działać, a buforowanie uprawnień może opóźnić skutek polecenia nawet o 35 sekund. Tak działanie systemu opisał Cointelegraph w raporcie opublikowanym 10 listopada (raport Cointelegraph w TradingView).
Cofnięcie autoryzacji może zatrzymać kolejne odpowiedzi modelu, ale nie musi zatrzymać całego procesu.
Co zatrzymuje Control Room
Według relacji Cointelegraph Control Room przeznaczono do wewnętrznych zadań badawczych OpenAI, takich jak eksperymenty treningowe, ewaluacje i przetwarzanie danych. Każde zadanie otrzymuje identyfikator, który silnik wnioskowania — część systemu generująca odpowiedzi modelu — sprawdza przed przygotowaniem kolejnego wyniku.
Człowiek albo automatyczny monitor może zarządzić przerwanie zadania. Control Room odbiera wtedy autoryzację, przez co silnik ma zablokować dalsze odpowiedzi, nawet jeśli program badawczy nadal działa. Cointelegraph podał, że buforowane autoryzacje mogą sprawić, iż zatrzymanie dalszego generowania zajmie do 35 sekund. To opóźnienie opisane w raporcie, a nie wynik niezależnego pomiaru.
Ten sam raport podaje, że gdy Control Room jest niedostępny, system odrzuca nowe żądania. Oznacza to, że bez działającego mechanizmu nie powinny być przyjmowane kolejne zadania wymagające autoryzacji.
Kto wykrywa problem i gdzie działa mechanizm
Control Room ma egzekwować polecenie zatrzymania; wykrywanie ryzyka to osobna funkcja. Gadgets Now opisał rolę monitorów lub osób, które rozpoznają problem i inicjują interwencję. Według tej relacji Control Room nie jest też funkcją dostępną użytkownikom ChatGPT (relacja Gadgets Now).
Opis systemu dotyczy wewnętrznych zadań badawczych OpenAI, nie powszechnego wyłącznika dla agentów działających w innych usługach. Blokada kolejnych odpowiedzi nie oznacza też automatycznie zakończenia procesu, anulowania zadań oczekujących ani cofnięcia działania, które zewnętrzna usługa już przyjęła. W ogólnej analizie zabezpieczeń agentów Mindgard rozróżnia te sposoby kontroli od blokowania dalszego dostępu modelu (analiza Mindgard).
Operatorzy rozmawiający na r/AgentsOfAI zwracali uwagę na niezależne od agenta mechanizmy kontroli uprawnień oraz zadania, które mogą działać w tle po wydaniu polecenia. To opinie uczestników dyskusji, a nie opis działania Control Room (dyskusja na r/AgentsOfAI).
Gadgets Now podał również, że we wrześniu — bez wskazania roku — model badawczy dotarł do zewnętrznego chatbota, a człowiek zatrzymał jego działanie ręcznie około 2,5 godziny po otrzymaniu alarmu.