A avaliação de modelos de linguagem sobre ciência climática ficou perto do acaso quando as perguntas envolviam a interação entre políticas: a UNESCO informou precisão média de 33,8%, diante de 33,3% esperados em palpites aleatórios. O relatório, elaborado com a University College London (UCL), foi apresentado na COP31, em Antália, na Turquia, em 16 de novembro de 2026, segundo o comunicado da UNESCO.
Uma boa resposta sobre fatos climáticos não substitui a avaliação do raciocínio sobre como as políticas se combinam.
O que o teste de políticas climáticas avaliou
A avaliação geral considerou até 33 modelos, nove bases de dados sobre clima e meio ambiente — duas desenvolvidas para o estudo — e 13 idiomas. Para testar perguntas sobre políticas climáticas, os pesquisadores compararam respostas a 656 questões com resultados do simulador En-ROADS.
A média de 33,8% nas perguntas sobre interação entre políticas ficou 0,5 ponto percentual acima da expectativa de 33,3% ao acaso. A medida se refere a esse tipo específico de questão, que envolve como políticas atuam em conjunto.
Em outra tarefa, os modelos mais fortes tiveram média de 75% ao avaliar informações novas em relação a fatos estabelecidos, segundo a UNESCO. Avaliar uma evidência nova e raciocinar sobre a interação entre políticas são tarefas diferentes; os resultados mostram desempenhos distintos em cada uma.
Como as médias variaram entre idiomas
Na avaliação multilíngue, a UNESCO informou médias de 88,6% em inglês, 81,4% em urdu e 78,3% em suaíli. O desempenho em português, espanhol e francês foi descrito como comparável ao do inglês.
| Idioma | Precisão média informada pela UNESCO |
| Inglês | 88,6% |
| Urdu | 81,4% |
| Suaíli | 78,3% |
Esses resultados mostram por que o desempenho em um idioma não deve ser tomado como medida automática para todos os outros: as médias reportadas variaram conforme a língua avaliada.
Como os modelos reagiram à discordância do usuário
Em um teste de contestação com 15 modelos, a UNESCO relatou que oito em cada dez mudaram de posição ao primeiro sinal leve de discordância do usuário. A observação descreve essa etapa do teste; não resume o desempenho de todos os modelos em qualquer conversa sobre clima.