Um preprint publicado em 29 de outubro relata que o Gemini 3.1 Flash-Lite treinado com aprendizado por reforço em entrevistas psiquiátricas simuladas teve subtriagem de 12,9%, contra 30,5% no modelo-base, em 256 cenários adversariais. Subtriagem significa não recomendar atendimento psiquiátrico urgente ou de emergência diante de uma crise ativa com risco de vida. Os cenários eram simulados, não atendimentos a pacientes reais, segundo o estudo no arXiv.
O que a taxa de 12,9% mede
A taxa se refere a falhas em recomendar atendimento urgente ou de emergência nos cenários simulados de crise. Ela não é a mesma medida que a omissão de perguntas do histórico clínico: nesse outro resultado, pelo menos um tema considerado crítico ficou de fora em 60,6% das entrevistas simuladas com o modelo treinado, ante 96,9% com o modelo-base.
O preprint também avaliou sinais de alerta não detectados, outra medida ligada à segurança. Os três resultados têm definições e conjuntos de avaliação próprios:
| Resultado | Conjunto de avaliação | Gemini 3.1 Flash-Lite treinado | Gemini 3.1 Flash-Lite base |
| Subtriagem em crises com risco de vida | 256 cenários adversariais | 12,9% | 30,5% |
| Sinais de alerta não detectados | 256 cenários adversariais | 6,2% | 10,9% |
| Pelo menos um tema crítico do histórico omitido | Entrevistas simuladas | 60,6% | 96,9% |
Assim, os 60,6% não indicam que essa proporção de entrevistas envolveu uma crise aguda. O resultado registra a omissão de ao menos um tema de histórico clínico; a subtriagem, por sua vez, mede uma decisão de encaminhamento em apresentações adversariais de risco.
Como os psiquiatras avaliaram as entrevistas
Na avaliação humana, 32 psiquiatras certificados representaram pacientes padronizados em consultas de texto. Um painel separado, com 15 psiquiatras independentes, avaliou transcrições sem identificação do modelo. O desenho incluiu 60 pares de cenários, ou 120 consultas. O modelo treinado recebeu a avaliação agregada mais alta em 46 dos 60 pares, o equivalente a 76,7%.
Essa comparação humana é diferente da avaliação automatizada de 127 cenários validados por psiquiatras, na qual o Gemini 3.1 Pro foi o principal avaliador. Em uma comparação de 60 cenários compartilhados, o tamanho de efeito padronizado foi 2,11 com pacientes simulados e 0,71 em relação ao instrumento clínico humano mais próximo. A correlação entre os ganhos por cenário foi baixa, de ρ = 0,09. Os autores alertam que a avaliação simulada pode indicar a direção de um efeito, mas não estimar com segurança sua magnitude nem apontar quais cenários favorecem cada modelo.
O que o estudo permite concluir
A pesquisa avaliou entrevistas psiquiátricas por texto, em inglês e segundo práticas dos Estados Unidos, com cenários simulados e psiquiatras representando pacientes. Os autores afirmam que o sistema ainda não está pronto para avaliações psiquiátricas autônomas e pedem validação prospectiva com pacientes reais e supervisão clínica.
