Relato atribui a O’Neill falhas em 14 meta-análises de IA na educação

A reportagem publicada pelo The Hechinger Report em 26 de outubro de 2026 atribuiu a Patrick O’Neill uma auditoria que encontrou falhas conceituais e estatísticas em 14 de 39 meta-análises sobre IA na educação. O relato também atribuiu a O’Neill uma análise preliminar separada de 44 experimentos, com média próxima de zero. Os resultados de duas sínteses mais específicas ajudam a entender por que essas cifras não resumem todos os usos educacionais da IA.

O que a auditoria relatada examinou

Segundo a reportagem, O’Neill apresentou a auditoria em um webinar realizado em 20 de outubro de 2026. A análise examinou 14 das 39 meta-análises que relatavam benefícios da IA na educação. O’Neill apontou problemas conceituais e estatísticos, como referências descritas por ele como inexistentes e conclusões exageradas.

Uma meta-análise reúne resultados de vários estudos para estimar um efeito geral. Mas essa média depende de quais intervenções, grupos e resultados entram na conta. Por exemplo, permitir que estudantes usem um chatbot é uma intervenção diferente de incorporar IA a um aplicativo educacional.

O que indica a média preliminar de 44 experimentos

A análise preliminar atribuída a O’Neill teve média próxima de zero, embora os resultados individuais variassem de muito favoráveis a muito prejudiciais. Uma média perto de zero pode resumir efeitos em direções opostas; não descreve o que ocorreu em cada estudo nem prevê o resultado de cada uso da IA.

Esse cálculo é distinto da auditoria das 14 meta-análises: um examina experimentos, enquanto o outro avalia sínteses de pesquisas. O relato não apresenta a média como resultado final.

Duas sínteses respondem a perguntas diferentes

Uma meta-análise publicada em 26 de março de 2026 por Xinning Wu e coautores reuniu 35 estudos experimentais e quase-experimentais sobre ChatGPT e resultados de aprendizagem, publicados entre 2022 e 2024, com 4.193 participantes. O efeito combinado foi positivo: g de Hedges = 0,670, com intervalo de confiança de 95% entre 0,495 e 0,844. A medida g de Hedges expressa a diferença entre grupos em uma escala padronizada.

Os autores também relataram I² = 91,444%, um nível alto de heterogeneidade, que indica grande variação entre os resultados dos estudos. Apenas três dos 35 estudos tiveram efeitos negativos. Assim, a média positiva resume aquele conjunto de pesquisas, mas não determina o resultado de cada contexto. A meta-análise sobre ChatGPT e aprendizagem responde a uma pergunta diferente da análise preliminar atribuída a O’Neill; os conjuntos de estudos não foram demonstrados como coincidentes.

Já a meta-análise publicada on-line em 24 de setembro de 2025 por Rogers Kaliisa e coautores comparou feedback gerado por IA com feedback humano. No conjunto, foram 41 artigos e 4.813 estudantes; para desempenho em tarefas após a intervenção, a estimativa veio de 11 artigos, com 12 estudos. O resultado foi g = 0,25, com intervalo de confiança de 95% entre −0,11 e 0,60, e I² = 75,0%. A diferença não foi estatisticamente significativa, e a pesquisa se concentrou sobretudo em língua e escrita. A meta-análise sobre feedback de IA e humano trata de quem fornece o feedback, não do efeito geral da IA em comparação com nenhuma IA.

As duas estimativas não são resultados de um teste direto entre si: uma sintetiza estudos sobre ChatGPT e aprendizagem, e a outra compara fontes de feedback. Por isso, elas não formam um veredito único sobre a eficácia da IA na educação.