A avaliação de modelos de linguagem sobre ciência climática ficou perto do acaso quando as perguntas envolviam a interação entre políticas: a UNESCO informou precisão média de 33,8%, diante de 33,3% esperados em palpites aleatórios. O relatório, elaborado com a University College London (UCL), foi apresentado na COP31, em Antália, na Turquia, em 16 de novembro de 2026, segundo o comunicado da UNESCO.

Uma boa resposta sobre fatos climáticos não substitui a avaliação do raciocínio sobre como as políticas se combinam.

O que o teste de políticas climáticas avaliou

A avaliação geral considerou até 33 modelos, nove bases de dados sobre clima e meio ambiente — duas desenvolvidas para o estudo — e 13 idiomas. Para testar perguntas sobre políticas climáticas, os pesquisadores compararam respostas a 656 questões com resultados do simulador En-ROADS.

A média de 33,8% nas perguntas sobre interação entre políticas ficou 0,5 ponto percentual acima da expectativa de 33,3% ao acaso. A medida se refere a esse tipo específico de questão, que envolve como políticas atuam em conjunto.

Em outra tarefa, os modelos mais fortes tiveram média de 75% ao avaliar informações novas em relação a fatos estabelecidos, segundo a UNESCO. Avaliar uma evidência nova e raciocinar sobre a interação entre políticas são tarefas diferentes; os resultados mostram desempenhos distintos em cada uma.

Como as médias variaram entre idiomas

Na avaliação multilíngue, a UNESCO informou médias de 88,6% em inglês, 81,4% em urdu e 78,3% em suaíli. O desempenho em português, espanhol e francês foi descrito como comparável ao do inglês.

IdiomaPrecisão média informada pela UNESCO
Inglês88,6%
Urdu81,4%
Suaíli78,3%

Esses resultados mostram por que o desempenho em um idioma não deve ser tomado como medida automática para todos os outros: as médias reportadas variaram conforme a língua avaliada.

Como os modelos reagiram à discordância do usuário

Em um teste de contestação com 15 modelos, a UNESCO relatou que oito em cada dez mudaram de posição ao primeiro sinal leve de discordância do usuário. A observação descreve essa etapa do teste; não resume o desempenho de todos os modelos em qualquer conversa sobre clima.