14 października Ars Technica opisała jakościową ocenę White Circle: ChatGPT Images 2.5 i Nano Banana 2.1 miały być znacznie bardziej podatne na obejście zabezpieczeń niż ich poprzednie wersje. Liczbowy wynik badania RISE dotyczy natomiast DALL·E 3, Nano Banana 2 i GPT-Image-2: jego autorzy podają do 13 proc. wskaźnika skuteczności ataku zweryfikowanego przez ludzi, czyli ASR (abstrakt preprintu RISE).
Jak rozumieć wynik do 13 proc.
ASR to odsetek prób zakończonych powodzeniem ataku. Sformułowanie „do 13 proc.” oznacza najwyższy wynik raportowany w badaniu obejmującym trzy wymienione systemy; nie przypisuje tej samej wartości każdemu z nich. RISE nie podaje tu średniej dla tych modeli.
Których modeli dotyczy porównanie
Abstrakt wymienia DALL·E 3, Nano Banana 2 i GPT-Image-2. W relacji Ars Technica White Circle osobno oceniło ChatGPT Images 2.5 i Nano Banana 2.1 jako znacznie łatwiejsze do przełamania niż wcześniejsze wersje. To twierdzenie jakościowe, odrębne od wyniku liczbowego RISE.
Ars Technica podała również, że White Circle pominęło Midjourney, ponieważ nie miało publicznego API odpowiedniego do kontrolowanego benchmarku.
Jak RISE oceniało próby
RISE, czyli Red-teaming via Iterative Strategy Evolution, rozwija strategie testowania i wykorzystuje je do tworzenia promptów dla nowych scenariuszy. Autorzy stosowali ścisłe, zależne od kategorii kryteria sukcesu, a modele oceniające kalibrowali na etykietach nadanych przez ludzi. Preprint złożono w arXiv 28 września 2026 r.
Według opisu Ars Technica w pipeline’ie model Qwen pobrany z Hugging Face generował ataki, a Gemini 3.8 Flash pełnił rolę sędziego oceniającego wyniki.
Porównanie z wcześniejszymi metodami
Autorzy RISE podają, że wcześniejsze metody, którym przypisywano ASR sięgający około 30 proc., w ich skalibrowanej ocenie osiągały wartości bliskie zeru. To porównanie wcześniejszych raportowanych wyników z rezultatami uzyskanymi po zastosowaniu kalibracji, a nie wynik RISE dla tych samych metod.
