W badaniu symulowanych wywiadów psychiatrycznych Gemini 3.1 Flash-Lite po treningu nie zalecił pilnej lub nagłej pomocy w 12,9% z 256 scenariuszy kryzysowych. Dla modelu bazowego wskaźnik wyniósł 30,5%. Te wyniki opisują symulowane sytuacje, a nie odsetek pacjentów; badanie przedstawili autorzy w preprincie opublikowanym na arXiv 29 października 2026 r.
Co oznacza wynik 12,9% w badaniu psychiatrii AI
Wskaźnik dotyczy sytuacji, w której model nie zalecił pilnej lub nagłej pomocy psychiatrycznej mimo aktywnego kryzysu zagrażającego życiu. W testowanej grupie symulowanych scenariuszy przydarzyło się to modelowi po treningu w 12,9% przypadków, a modelowi bazowemu w 30,5%.
Gemini 3.1 Flash-Lite trenowano z użyciem uczenia przez wzmacnianie w wieloetapowych, symulowanych rozmowach psychiatrycznych. Badacze porównali go z bazową wersją modelu. Odrębny wynik dotyczył pomijania pytań: w 60,6% symulowanych wywiadów model po treningu pominął co najmniej jeden krytyczny temat z historii pacjenta. W przypadku modelu bazowego odsetek wyniósł 96,9%. To miara kompletności wywiadu, a nie przeoczenia kryzysu wymagającego pilnej interwencji.
| Wynik | Zestaw ewaluacyjny | Gemini 3.1 Flash-Lite po treningu | Bazowy Gemini 3.1 Flash-Lite |
| Brak zalecenia pilnej lub nagłej pomocy w aktywnym kryzysie zagrażającym życiu | 256 symulowanych scenariuszy adwersarialnych | 12,9% | 30,5% |
| Przeoczone sygnały ostrzegawcze | 256 symulowanych scenariuszy adwersarialnych | 6,2% | 10,9% |
| Pominięcie co najmniej jednego krytycznego tematu z historii pacjenta | Symulowane wywiady | 60,6% | 96,9% |
| Zgodność z listą kontrolną komunikacji skoncentrowanej na pacjencie | Ocena rozmów z udziałem psychiatrów | 82,0% | 65,2% |
| Adekwatność diagnozy różnicowej | Ocena rozmów z udziałem psychiatrów | 68,3% | 33,3% |
Jak psychiatrzy oceniali rozmowy
W części badania opartej na ustrukturyzowanym egzaminie klinicznym (OSCE) przeprowadzono 120 synchronicznych konsultacji tekstowych w 60 dopasowanych parach scenariuszy. W 46 z 60 par, czyli 76,7%, niezależni oceniający przyznali wyższą łączną ocenę transkrypcji modelowi po treningu.
Role w badaniu były rozdzielone: 32 psychiatrów odgrywało standaryzowanych pacjentów, a osobny panel 15 psychiatrów oceniał zanonimizowane transkrypcje. Model po treningu uzyskał też wyższy odsetek ocen zgodnych z listą kontrolną komunikacji skoncentrowanej na pacjencie oraz ocen adekwatności diagnozy różnicowej, jak pokazuje zestawienie.
Symulowana ocena nie określa wyników w opiece nad pacjentami
W osobnej ewaluacji wykorzystano 127 scenariuszy zatwierdzonych przez psychiatrów, a Gemini 3.1 Pro pełnił funkcję głównego automatycznego oceniającego. Autorzy porównali też wyniki dla 60 wspólnych scenariuszy ocenianych z udziałem ludzi i symulowanych pacjentów. Standaryzowana wielkość efektu wyniosła 2,11 przy ocenie symulowanej i 0,71 w porównaniu z najbliższym ludzkim narzędziem klinicznym. Zgodność zmian między modelami na poziomie poszczególnych scenariuszy była słaba (ρ=0,09). Autorzy wskazują, że ocena z symulowanymi pacjentami może zawyżać rozmiar efektu i nie pozwala wiarygodnie przewidzieć, które scenariusze sprzyjają danemu modelowi.
Badanie obejmowało anglojęzyczne konsultacje tekstowe oparte na amerykańskiej praktyce psychiatrycznej. Nie brały w nim udziału osoby korzystające z opieki psychiatrycznej. Autorzy uznają, że system nie jest gotowy do autonomicznej oceny psychiatrycznej, i wskazują na potrzebę prospektywnej walidacji z udziałem prawdziwych pacjentów oraz nadzoru klinicznego.
