De met simulaties getrainde Gemini 3.1 Flash-Lite had in 256 adversariële crisisscenario’s een ondertriagepercentage van 12,9%, tegenover 30,5% bij het basismodel. Ondertriage betekent hier dat het model geen spoedeisende of urgente psychiatrische zorg adviseerde bij een actieve, levensbedreigende crisis. De cijfers komen uit een preprint dat op 29 oktober 2026 op arXiv verscheen. De auteurs beschrijven daarin een onderzoek met gesimuleerde gesprekken en psychiaters als patiëntacteurs, geen zorg aan echte patiënten.
Wat de 12,9 procent meet
De 12,9% gaat specifiek over het opschalen van een acute crisis in 256 adversariële scenario’s. Twee andere maten uit dezelfde test betroffen gemiste alarmsignalen en ongeschikte behandeladviezen. Een aparte evaluatie keek naar de volledigheid van de intake: was minstens één kritisch anamnesethema niet aan bod gekomen?
| Uitkomst | Evaluatieset | Met simulaties getrainde Gemini 3.1 Flash-Lite | Basismodel Gemini 3.1 Flash-Lite |
| Ondertriage bij een acute crisis | 256 adversariële scenario’s | 12,9% | 30,5% |
| Gemiste alarmsignalen | 256 adversariële scenario’s | 6,2% | 10,9% |
| Contra-indicaties in behandeladviezen | 256 adversariële scenario’s | 0,8% | 6,2% |
| Minstens één kritisch anamnesethema overgeslagen | Gesimuleerde intakes | 60,6% | 96,9% |
De laatste rij meet iets anders dan ondertriage: een intake kan vragen overslaan zonder dat er sprake is van een acute crisis. De 60,6% is dus geen crisispercentage. Het gaat om het aandeel gesimuleerde intakes waarin ten minste één onderwerp uit de kritieke anamnese ontbrak.
Wie beoordeelde de gesprekken?
De menselijke evaluatie bestond uit 120 Engelstalige tekstconsulten, verdeeld over 60 gematchte scenarioparen. In dit gerandomiseerde, dubbelblinde cross-overonderzoek speelden 32 psychiaters met een board-certificering gestandaardiseerde patiënten. Een afzonderlijk panel van 15 onafhankelijke psychiaters beoordeelde de geanonimiseerde transcripties zonder te weten welke modelversie aan het gesprek had deelgenomen.
De getrainde versie kreeg in 46 van de 60 paren de hogere totaalscore, oftewel 76,7%. Ook op twee afzonderlijke onderdelen lagen de gerapporteerde scores hoger: naleving van de checklist voor patiëntgerichte communicatie was 82,0% tegenover 65,2%; de geschiktheid van de differentiaaldiagnose was 68,3% tegenover 33,3%.
Wat de simulatie-evaluatie zegt over de resultaten
De auteurs vergeleken de uitkomsten ook op 60 scenario’s die zowel met gesimuleerde patiënten als met menselijke beoordelaars waren onderzocht. De gestandaardiseerde effectgrootte was 2,11 bij de evaluatie met gesimuleerde patiënten en 0,71 tegenover het meest vergelijkbare menselijke klinische beoordelingsinstrument. De winst per scenario hing bovendien maar zwak samen tussen de evaluaties (ρ=0,09). De auteurs waarschuwen daarom dat simulaties de richting van een verschil kunnen laten zien, maar niet betrouwbaar de omvang ervan of de gunstige uitkomst per afzonderlijk scenario voorspellen.
De studie onderzocht één Engelstalig tekstconsult per scenario, gebaseerd op de Amerikaanse psychiatrische praktijk. De auteurs zeggen dat het systeem niet klaar is voor autonome psychiatrische beoordeling. Zij vragen om prospectieve validatie met echte patiënten en toezicht door clinici.
