Un resoconto pubblicato il 26 ottobre 2026 da The Hechinger Report attribuisce a Patrick O’Neill un audit che avrebbe rilevato gravi problemi concettuali e statistici in 14 delle 39 meta-analisi sull’IA nell’istruzione che riportavano benefici sostanziali. Lo stesso resoconto riferisce che una sua analisi preliminare di 44 esperimenti ha prodotto una media vicina allo zero, con risultati che andavano da molto favorevoli a molto dannosi.
O’Neill aveva presentato l’audit durante un webinar ospitato da Justin Reich il 20 ottobre. Una meta-analisi combina statisticamente i risultati di più studi, ma la domanda a cui risponde dipende dagli interventi e dagli esiti inclusi.
Che cosa riferisce l’audit
Secondo il resoconto, O’Neill ha esaminato una parte degli studi sottostanti e i metodi statistici usati per combinarne i risultati. Tra i problemi descritti figurano statistiche impossibili, riferimenti bibliografici inesistenti, citazioni che rimandavano a studi non pertinenti e conclusioni troppo ampie.
Gli esempi citati aiutano a capire perché definire l’intervento conta. In uno studio, gli studenti di infermieristica del gruppo sperimentale ricevevano tre ore settimanali di studio con il supporto dell’IA e di un docente, mentre il gruppo di controllo non aveva sessioni di studio. In un altro, il confronto metteva insieme videogiochi e domande generate dall’IA da una parte, nessuna delle due attività dall’altra. In un caso con chatbot, l’esito misurato era l’ansia dichiarata dagli studenti. Interventi e misure così diversi non rispondono tutti alla stessa domanda sull’apprendimento.
Che cosa indica la media preliminare sui 44 esperimenti
Il valore vicino allo zero riassume, secondo il resoconto, una prima analisi di 44 esperimenti che O’Neill considerava ben progettati. Il loro ventaglio di risultati comprendeva effetti molto favorevoli e molto dannosi: la media aggregata non descrive quindi l’esito di ogni singolo impiego dell’IA.
ChatGPT e feedback umano: due domande diverse
La meta-analisi di Wu e colleghi, pubblicata il 26 marzo 2026 su Humanities and Social Sciences Communications, riguarda gli esiti di apprendimento associati a ChatGPT. Quella di Kaliisa e colleghi, pubblicata online il 24 settembre 2025 su Educational Psychology, confronta il feedback generato dall’IA con quello fornito da esseri umani. L’articolo di Wu e colleghi e l’articolo di Kaliisa e colleghi rispondono dunque a quesiti distinti.
| Sintesi | Che cosa confronta | Campione | Risultato principale | Eterogeneità |
| Wu e colleghi | Effetto di ChatGPT sugli esiti di apprendimento | 35 studi sperimentali e quasi sperimentali pubblicati tra il 2022 e il 2024; 4.193 partecipanti | Hedges’ g = 0,670; IC 95%: 0,495–0,844 | I² = 91,444% |
| Kaliisa e colleghi | Feedback dell’IA rispetto a quello umano, per la prestazione nei compiti | 11 articoli e 12 studi per questa stima; la sintesi complessiva comprende 41 articoli e 4.813 studenti | Hedges’ g = 0,25; IC 95%: −0,11–0,60; risultato non statisticamente significativo | I² = 75,0% |
Hedges’ g è una misura standardizzata della dimensione dell’effetto; l’intervallo di confidenza al 95% indica la precisione della stima. I² misura quanto i risultati dei singoli studi variano tra loro oltre quanto atteso per caso. Nella sintesi su ChatGPT, l’eterogeneità era molto elevata e soltanto tre studi avevano un effetto negativo: la media positiva non descrive un risultato uniforme in ogni contesto.
La sintesi sul feedback ha esaminato anche i guadagni di apprendimento: la stima era g = 0,36, con IC 95% da −0,37 a 1,10 e I² = 94,0%, senza una differenza statisticamente significativa. La maggior parte degli studi riguardava lingua e scrittura. Una stima non significativa, da sola, non dimostra che il feedback umano e quello dell’IA siano equivalenti.
Per chi insegna, conta l’uso concreto
L’audit riportato, la sintesi su ChatGPT e il confronto tra feedback riguardano campioni e interventi diversi. Le conclusioni dipendono quindi dalla domanda specifica: quale strumento si usa, per fare che cosa e con quale risultato misurato. Nel resoconto del 26 ottobre, agli educatori viene consigliato di sperimentare con gruppi piccoli e monitorare i risultati; O’Neill avverte che anche l’impiego dell’IA in un corso frontale da 300 studenti può comportare rischi.
