Dans un article publié le 26 octobre 2026, The Hechinger Report rapporte que Patrick O’Neill a relevé de graves failles conceptuelles et statistiques dans 14 des 39 méta-analyses sur l’IA en éducation qui concluaient à des bénéfices substantiels. Le même article situe la présentation de son audit lors d’un webinaire organisé par Justin Reich le 20 octobre 2026.
Dans une analyse distincte, O’Neill a calculé une moyenne préliminaire proche de zéro sur 44 expériences, selon The Hechinger Report. Le récit indique que leurs résultats allaient de très bénéfiques à très nuisibles : cette moyenne rassemble donc des résultats très dispersés.
Une moyenne qui ne résume pas tous les usages
Les études recensées ne portent pas toutes sur la même intervention. Le récit cite notamment une étude où des étudiants infirmiers bénéficiaient de trois heures hebdomadaires d’étude avec l’appui de l’IA, tandis que le groupe témoin n’avait aucune séance d’étude. Une autre comparait des jeux vidéo associés à des questions générées par l’IA à un groupe qui ne recevait ni l’un ni l’autre. Ces exemples illustrent pourquoi une moyenne générale ne décrit pas à elle seule l’effet d’un usage précis.
Deux synthèses ciblées mesurent des effets différents
Une méta-analyse dirigée par Xinning Wu, publiée le 26 mars 2026 dans Humanities and Social Sciences Communications, examine les résultats d’apprentissage associés à ChatGPT. Une autre, menée par Rogers Kaliisa et ses collègues et publiée en ligne le 24 septembre 2025 dans Educational Psychology, compare les retours pédagogiques produits par l’IA à ceux fournis par des humains. Leurs échantillons et leurs questions diffèrent : les résultats ne forment pas un face-à-face avec les 44 expériences attribuées à O’Neill.
| Synthèse | Question et périmètre | Résultats rapportés | Hétérogénéité |
| ChatGPT et apprentissage | 35 études expérimentales et quasi expérimentales publiées entre 2022 et 2024; 4 193 participants | Hedges’ g = 0,670; IC à 95 % : 0,495 à 0,844 | I² = 91,444 % |
| Retours de l’IA comparés aux retours humains | 41 articles et 4 813 étudiants au total; pour la performance, 11 articles et 12 études | Performance aux tâches : g = 0,25 (IC à 95 % : −0,11 à 0,60), résultat non significatif. Gains d’apprentissage : g = 0,36 (IC à 95 % : −0,37 à 1,10), résultat non significatif | Performance : I² = 75,0 %. Gains d’apprentissage : I² = 94,0 % |
Hedges’ g est une mesure standardisée de la taille d’un effet; l’intervalle de confiance encadre l’estimation. Dans la synthèse sur ChatGPT, I² = 91,444 % signale une très forte hétérogénéité entre les études. L’estimation groupée est positive, mais elle ne décrit pas à elle seule ce qui se passerait dans chaque classe ou pour chaque usage.
Dans la méta-analyse de Kaliisa, les intervalles de confiance des deux résultats comprennent zéro, ce qui correspond à des différences non statistiquement significatives. La plupart des études portaient sur l’apprentissage des langues et l’écriture, un champ plus restreint que l’ensemble des usages de l’IA en éducation.
