Według The Hechinger Report audyt Patricka O’Neilla wskazał poważne błędy koncepcyjne i statystyczne w 14 z 39 metaanaliz dotyczących AI w edukacji. W odrębnej, wstępnej analizie 44 eksperymentów średni wynik był bliski zeru, choć poszczególne rezultaty miały sięgać od bardzo korzystnych do bardzo szkodliwych.
Relacja o audycie ukazała się 26 października 2026 r. i opisywała wystąpienie O’Neilla podczas webinaru z 20 października. Podane liczby nie składają się na jeden werdykt o wpływie AI na naukę: dwie opublikowane syntezy dotyczą konkretnych, odmiennych zastosowań.
Co audyt przypisał 14 metaanalizom
The Hechinger Report podał, że O’Neill zbadał 14 spośród 39 metaanaliz, które raportowały korzyści z AI w edukacji. Relacja przypisała mu wskazanie problemów takich jak niemożliwe statystyki, błędne lub niepowiązane cytowania oraz wnioski wykraczające poza wyniki badań.
Metaanaliza łączy wyniki wielu badań, by oszacować wspólny efekt. Audyt opisywany przez The Hechinger Report miał objąć także badania składowe oraz metody statystyczne użyte do łączenia ich wyników.
Co mówi wstępny wynik z 44 eksperymentów
Przypisywana O’Neillowi średnia bliska zeru dotyczy wstępnej analizy 44 eksperymentów, a nie każdego narzędzia AI ani każdej sytuacji edukacyjnej. Według relacji wyniki poszczególnych eksperymentów wahały się od bardzo pomocnych do bardzo szkodliwych.
Średnia zbiorcza może ukrywać taką rozpiętość. Dlatego wynik bliski zeru nie oznacza, że każde zastosowanie AI przynosi zerowy efekt; mówi o średniej z określonej grupy badań.
Dwie syntezy, dwa różne pytania
Metaanaliza opublikowana w marcu 2026 r. w Humanities and Social Sciences Communications dotyczyła wpływu ChatGPT na wyniki w nauce. Objęła 35 badań eksperymentalnych i quasi-eksperymentalnych opublikowanych w latach 2022–2024, z udziałem 4193 osób. Autorzy podali dodatni łączny wynik g Hedgesa równy 0,670 (95-procentowy przedział ufności: 0,495–0,844). Heterogeniczność, czyli zróżnicowanie wyników między badaniami, wyniosła I² = 91,444%; tylko trzy uwzględnione badania miały ujemny wynik.
Inna metaanaliza, opublikowana online 24 września 2025 r. w Educational Psychology, porównywała informację zwrotną generowaną przez AI z informacją od ludzi. W badaniach nad wykonaniem zadań łączny wynik wyniósł g = 0,25, a przedział ufności obejmował wartości od −0,11 do 0,60; różnica nie była istotna statystycznie. I² wyniosło 75,0%. Większość badań dotyczyła nauki języków i pisania.
| Synteza | Badane pytanie i próba | Wynik | Zróżnicowanie wyników |
| ChatGPT a wyniki w nauce | 35 badań z lat 2022–2024; 4193 uczestników | g Hedgesa = 0,670; 95-procentowy przedział ufności: 0,495–0,844 | I² = 91,444% |
| Informacja zwrotna AI a ludzka | 41 artykułów i 4813 uczniów; wynik wykonania zadań obliczono na podstawie 11 artykułów i 12 badań | g = 0,25; 95-procentowy przedział ufności: −0,11 do 0,60; brak istotności statystycznej | I² = 75,0% |
Brak istotnej statystycznie różnicy w drugim zestawieniu nie dowodzi, że informacja zwrotna AI i ludzi działa równoważnie. To porównanie dotyczy dostawcy informacji zwrotnej, a nie ogólnego wpływu AI na naukę. Z kolei dodatni wynik dla ChatGPT jest średnią z badań, których rezultaty były mocno zróżnicowane.
Te wyniki nie rozstrzygają, czy AI zawsze pomaga, czy nigdy nie pomaga w nauce. Każda synteza dotyczy innej interwencji i innego pytania badawczego.
