El 26 de octubre de 2026, The Hechinger Report informó que Patrick O’Neill detectó fallos conceptuales y estadísticos en 14 de 39 metaanálisis sobre IA en educación. El medio también atribuyó a O’Neill un promedio preliminar cercano a cero en un análisis separado de 44 experimentos, cuyos resultados iban de muy favorables a muy perjudiciales.
Qué fallos describió la auditoría
Según The Hechinger Report, O’Neill señaló estadísticas imposibles, referencias que calificó de alucinadas, citas que conducían a estudios ajenos y conclusiones exageradas. Presentó la auditoría en un seminario web celebrado el 20 de octubre de 2026, seis días antes de que el medio publicara su relato.
El promedio de los 44 experimentos resume resultados muy dispares: no describe un efecto uniforme en cada uso de la IA. El relato de The Hechinger Report también señala que el resultado depende de qué herramienta se utiliza y cómo se incorpora al aprendizaje. Una aplicación educativa con IA integrada, como Khan Academy, y el acceso directo a un chatbot de propósito general, como Claude, son intervenciones distintas.
Dos metaanálisis que responden preguntas distintas
Un metaanálisis estima un resultado conjunto al combinar varios estudios. La síntesis de Xinning Wu y sus coautores examinó el efecto de ChatGPT en los resultados de aprendizaje. En otra pregunta, Rogers Kaliisa y sus coautores compararon la retroalimentación generada por IA con la proporcionada por personas. Sus muestras, intervenciones y resultados no son intercambiables.
| Síntesis | Pregunta estudiada | Muestra | Resultado | Variación entre estudios |
| ChatGPT y resultados de aprendizaje | Efecto de ChatGPT en el aprendizaje | 35 estudios experimentales y cuasiexperimentales publicados entre 2022 y 2024; 4.193 participantes | Hedges’ g = 0,670; IC del 95 %: 0,495–0,844. Tres estudios tuvieron efectos negativos. | I² = 91,444 % |
| Retroalimentación de IA frente a humana | Rendimiento en tareas | La revisión reunió 41 artículos y 4.813 estudiantes; este resultado agrupó 11 artículos y 12 estudios | Hedges’ g = 0,25; IC del 95 %: −0,11 a 0,60. La diferencia no fue estadísticamente significativa. | I² = 75,0 % |
En la primera síntesis, publicada en Humanities and Social Sciences Communications el 26 de marzo de 2026, Hedges’ g = 0,670 es una estimación agrupada positiva. Sin embargo, la heterogeneidad fue muy alta: los resultados variaron considerablemente entre los estudios incluidos. El promedio no predice por sí solo qué ocurrirá en cada aula.
La segunda síntesis, publicada en línea el 24 de septiembre de 2025 en Educational Psychology, comparó quién proporcionaba la retroalimentación, no el uso de IA frente a la ausencia de IA en general. Su intervalo de confianza para el rendimiento en tareas incluye el cero, por lo que la diferencia no alcanzó significación estadística. Eso tampoco demuestra que la retroalimentación humana y la de IA sean equivalentes. En el resultado sobre ganancias de aprendizaje, la estimación también fue no significativa: g = 0,36, con un IC del 95 % de −0,37 a 1,10 e I² = 94,0 %.
La síntesis sobre ChatGPT y resultados de aprendizaje y el metaanálisis sobre retroalimentación de IA frente a la humana examinan asuntos más acotados que el análisis preliminar de O’Neill. Para interpretar cualquier resultado sobre IA educativa, importa distinguir qué herramienta se estudió, qué hizo con ella el alumnado y qué resultado se midió.
