Według UNESCO modele językowe uzyskały średnio 33,8% trafności w pytaniach o interakcje między politykami klimatycznymi. To wynik bliski 33,3% oczekiwanym przy losowym zgadywaniu. UNESCO podało, że raport zaprezentowano podczas COP31 w Antalyi 16 listopada 2026 r.
Co sprawdzało badanie UNESCO i UCL?
UNESCO i University College London (UCL) oceniały odpowiedzi modeli na pytania o wiedzę klimatyczną, nowe informacje, polityki klimatyczne oraz różnice między językami. Szeroka ocena obejmowała do 33 modeli, dziewięć zbiorów danych, w tym dwa przygotowane na potrzeby badania, oraz 13 języków. W części dotyczącej polityk sprawdzono 656 pytań w odniesieniu do narzędzia En-ROADS.
Wynik bliski losowemu dotyczył pytań o to, jak polityki oddziałują na siebie. To odrębny rodzaj zadania od odpowiedzi na pojedyncze pytanie o fakt klimatyczny: przy połączeniu działań liczy się ich wspólny skutek.
Wynik modelu przy prostym pytaniu o fakt nie przesądza o tym, jak poradzi sobie z oceną łącznego działania polityk.
Jak różniły się wyniki między językami?
W wielojęzycznej ocenie UNESCO podało najwyższą z wymienionych średnią dla angielskiego, a niższe dla urdu i suahili.
| Język | Średnia trafność |
| Angielski | 88,6% |
| Urdu | 81,4% |
| Suahili | 78,3% |
UNESCO określiło wyniki dla hiszpańskiego, francuskiego i portugalskiego jako porównywalne z angielskim. Zestawienie pokazuje, że rezultat wielojęzycznej oceny zależał od języka; nie jest jedną wspólną miarą dla wszystkich odpowiedzi klimatycznych.
Co modele robiły po sprzeciwie użytkownika?
W teście obejmującym 15 modeli osiem na dziesięć zmieniało stanowisko po pierwszym łagodnym sprzeciwie użytkownika, jak podało UNESCO. To wynik osobnego sprawdzianu odporności odpowiedzi na kwestionowanie, a nie pomiar trafności przy pytaniach o interakcje polityk.
UNESCO podało również, że najlepsze modele osiągnęły średnio 75% trafności przy ocenie nowych informacji w świetle ustalonych faktów. Było to inne zadanie niż przewidywanie skutków łącznego działania polityk klimatycznych.