The Hechinger Report meldde op 26 oktober 2026 dat Patrick O’Neill in een audit ernstige conceptuele en statistische tekortkomingen had gevonden in 14 van 39 meta-analyses over AI in het onderwijs. Het medium schreef hem ook een afzonderlijke, voorlopige analyse toe van 44 experimenten. Die kwam gemiddeld rond nul uit, met resultaten van zeer gunstig tot zeer schadelijk. Volgens hetzelfde bericht besprak O’Neill de audit op 20 oktober tijdens een webinar van Justin Reich.
Wat de audit volgens het bericht aantrof
Een meta-analyse bundelt de resultaten van eerder onderzoek. Volgens het verslag trof O’Neill onder meer onmogelijke statistieken, verwijzingen naar niet-passende studies en conclusies die verder gingen dan de resultaten toelieten aan. Beth Tipton, hoogleraar aan Northwestern University en expert in meta-analyses, benadrukte volgens het verslag dat onderzoekers precies moeten omschrijven welke toepassing ze onderzoeken. AI in een onderwijsapp zoals Khan Academy is een andere interventie dan leerlingen toegang geven tot de chatbot Claude.
Wat het voorlopige gemiddelde van 44 experimenten zegt
Het gemiddelde rond nul is een voorlopige uitkomst die aan O’Neill wordt toegeschreven. Omdat de resultaten uiteenliepen van zeer gunstig tot zeer schadelijk, beschrijft het gemiddelde niet wat elke toepassing of leerling oplevert. Het is ook geen afgeronde uitkomst voor alle vormen van AI in het onderwijs.
Twee meta-analyses, twee verschillende onderzoeksvragen
Een meta-analyse van Xinning Wu en collega’s, gepubliceerd op 26 maart 2026, bundelde 35 experimentele en quasi-experimentele studies naar ChatGPT en leeruitkomsten. De studies, gepubliceerd tussen 2022 en 2024, omvatten 4.193 deelnemers. De gemiddelde effectschatting was Hedges’ g = 0,670 (95%-betrouwbaarheidsinterval: 0,495–0,844). Hedges’ g is een gestandaardiseerde maat voor de omvang en richting van een effect. De heterogeniteit was hoog: I² bedroeg 91,444%. I² geeft aan hoeveel de resultaten tussen studies uiteenlopen.
De meta-analyse over ChatGPT en leeruitkomsten onderzocht dus een andere vraag dan de analyse van Patrick O’Neill over 44 experimenten.
| Synthese | Onderzoeksvraag en omvang | Resultaat | I² bij deze uitkomst |
| Wu et al., gepubliceerd op 26 maart 2026 | ChatGPT en leeruitkomsten; 35 studies uit 2022–2024, met 4.193 deelnemers | Hedges’ g = 0,670 (95%-betrouwbaarheidsinterval: 0,495–0,844) | 91,444% |
| Kaliisa et al., online verschenen op 24 september 2025 | AI-feedback tegenover menselijke feedback; 41 artikelen en 4.813 studenten. De uitkomst voor taakprestatie kwam uit 11 artikelen en 12 studies. | Hedges’ g = 0,25 (95%-betrouwbaarheidsinterval: −0,11 tot 0,60); niet statistisch significant | 75,0% |
De tweede synthese vergeleek AI-feedback met feedback van mensen, vooral in onderzoek naar taal en schrijven. Voor leerwinst was het verschil eveneens niet statistisch significant: g = 0,36 (95%-betrouwbaarheidsinterval: −0,37 tot 1,10; I² = 94,0%). Een uitkomst die niet statistisch significant is, bewijst op zichzelf niet dat beide soorten feedback gelijkwaardig zijn.
De meta-analyse over AI-feedback en menselijke feedback beantwoordt daarmee een andere vraag dan de ChatGPT-synthese. De positieve gemiddelde uitkomst voor ChatGPT en de niet-significante vergelijking van feedbackbronnen zijn dus geen tegengestelde antwoorden op dezelfde onderzoeksvraag. De hoge heterogeniteit in de ChatGPT-synthese betekent bovendien dat de positieve gemiddelde uitkomst niet voor iedere onderzochte situatie hetzelfde effect voorspelt.
