Nel test dell’UNESCO sulle interazioni tra politiche climatiche, i modelli hanno raggiunto una precisione media del 33,8%, appena sopra il 33,3% atteso tirando a indovinare. Il rapporto realizzato con University College London (UCL) è stato presentato a COP31 ad Antalya il 16 novembre 2026, secondo UNESCO.
Saper descrivere un fatto climatico e prevedere come si combinano più politiche sono capacità diverse: lo studio le ha valutate separatamente.
Che cosa misura il risultato sulle politiche climatiche?
Le domande sulle interazioni valutavano come le politiche climatiche producono effetti quando vengono combinate. UNESCO riferisce che 656 quesiti di questo tipo sono stati confrontati con En-ROADS. La media del 33,8% è quindi il risultato di una prova specifica sul ragionamento tra politiche, vicinissimo al 33,3% atteso per risposte casuali.
La valutazione più ampia ha coinvolto fino a 33 modelli, nove insiemi di dati climatici e ambientali e 13 lingue; due degli insiemi di dati erano stati sviluppati per lo studio. UNESCO ha inoltre riferito una precisione media del 75% per i modelli più performanti nel valutare nuove informazioni rispetto a fatti consolidati. Quest’ultimo risultato riguarda un compito diverso dalle domande sulle politiche combinate.
Come variano i risultati tra le lingue?
Nella valutazione multilingue, UNESCO ha riportato queste medie di accuratezza:
| Lingua | Accuratezza media |
| Inglese | 88,6% |
| Urdu | 81,4% |
| Swahili | 78,3% |
UNESCO ha descritto i risultati in spagnolo, francese e portoghese come comparabili a quelli in inglese. I valori riportati per urdu e swahili erano inferiori alla media inglese.
Come hanno reagito i modelli al dissenso?
Nel test sul dissenso degli utenti, condotto su un gruppo di 15 modelli, UNESCO ha riferito che otto modelli su dieci hanno cambiato orientamento al primo lieve segnale di disaccordo. Il risultato riguarda la reazione al dissenso in quella prova; il dato sulle politiche climatiche misura invece l’accuratezza nel ragionare sulle interazioni tra misure.