Według UNESCO modele językowe uzyskały średnio 33,8% trafności w pytaniach o interakcje między politykami klimatycznymi. To wynik bliski 33,3% oczekiwanym przy losowym zgadywaniu. UNESCO podało, że raport zaprezentowano podczas COP31 w Antalyi 16 listopada 2026 r.

Co sprawdzało badanie UNESCO i UCL?

UNESCO i University College London (UCL) oceniały odpowiedzi modeli na pytania o wiedzę klimatyczną, nowe informacje, polityki klimatyczne oraz różnice między językami. Szeroka ocena obejmowała do 33 modeli, dziewięć zbiorów danych, w tym dwa przygotowane na potrzeby badania, oraz 13 języków. W części dotyczącej polityk sprawdzono 656 pytań w odniesieniu do narzędzia En-ROADS.

Wynik bliski losowemu dotyczył pytań o to, jak polityki oddziałują na siebie. To odrębny rodzaj zadania od odpowiedzi na pojedyncze pytanie o fakt klimatyczny: przy połączeniu działań liczy się ich wspólny skutek.

Wynik modelu przy prostym pytaniu o fakt nie przesądza o tym, jak poradzi sobie z oceną łącznego działania polityk.

Jak różniły się wyniki między językami?

W wielojęzycznej ocenie UNESCO podało najwyższą z wymienionych średnią dla angielskiego, a niższe dla urdu i suahili.

JęzykŚrednia trafność
Angielski88,6%
Urdu81,4%
Suahili78,3%

UNESCO określiło wyniki dla hiszpańskiego, francuskiego i portugalskiego jako porównywalne z angielskim. Zestawienie pokazuje, że rezultat wielojęzycznej oceny zależał od języka; nie jest jedną wspólną miarą dla wszystkich odpowiedzi klimatycznych.

Co modele robiły po sprzeciwie użytkownika?

W teście obejmującym 15 modeli osiem na dziesięć zmieniało stanowisko po pierwszym łagodnym sprzeciwie użytkownika, jak podało UNESCO. To wynik osobnego sprawdzianu odporności odpowiedzi na kwestionowanie, a nie pomiar trafności przy pytaniach o interakcje polityk.

UNESCO podało również, że najlepsze modele osiągnęły średnio 75% trafności przy ocenie nowych informacji w świetle ustalonych faktów. Było to inne zadanie niż przewidywanie skutków łącznego działania polityk klimatycznych.