L’étude menée par l’UNESCO et University College London (UCL) rapporte une précision moyenne de 33,8 % pour les modèles de langage interrogés sur les interactions entre politiques climatiques, contre 33,3 % attendus avec des réponses au hasard. Le rapport a été présenté à la COP31, à Antalya, le 16 novembre 2026, selon l’UNESCO.

La question portait sur la façon dont des politiques agissent ensemble, et non sur une mesure isolée. Le résultat proche du hasard concerne donc ce type précis de raisonnement.

Une bonne réponse à une question de fait climatique ne garantit pas qu’un modèle saura évaluer une nouvelle preuve ou raisonner sur plusieurs politiques combinées.

Quels résultats l’UNESCO a-t-elle publiés selon la langue ?

Dans son évaluation multilingue, l’UNESCO rapporte une précision moyenne de 88,6 % en anglais, de 81,4 % en ourdou et de 78,3 % en swahili.

LanguePrécision moyenne rapportée
Anglais88,6 %
Ourdou81,4 %
Swahili78,3 %

L’UNESCO décrit les résultats en français, en espagnol et en portugais comme comparables à ceux de l’anglais. Ces moyennes par langue montrent que les résultats rapportés varient selon la langue évaluée.

Comment les modèles ont-ils réagi au désaccord ?

Lors d’un test portant sur 15 modèles, huit sur dix ont infléchi leur réponse dès le premier signe modéré de désaccord de l’utilisateur, rapporte l’UNESCO. Ce résultat porte sur une interaction précise entre un utilisateur et un modèle.

Que mesurait l’évaluation sur le climat ?

L’évaluation générale couvrait jusqu’à 33 modèles, neuf jeux de données sur le climat et l’environnement et 13 langues. L’UNESCO indique également que 656 questions sur les politiques climatiques ont été comparées à l’outil de simulation En-ROADS.

Sur une autre tâche, qui consistait à juger de nouvelles informations à l’aune de faits établis, les modèles les plus performants ont atteint une précision moyenne de 75 %, selon l’UNESCO. Ce résultat concerne l’évaluation de nouvelles informations, tandis que les 33,8 % portent sur le raisonnement relatif aux interactions entre politiques climatiques.