Lo studio di Gary King e Steven Worthington su rapidPeer ha confrontato revisioni umane e testi generati con Claude Opus 4.8 per 124 manoscritti. Nella configurazione ottimizzata, il giudice IA ha preferito la revisione di Claude in 132 confronti, mentre due sono rimasti indecisi. Il risultato riguarda la qualità dei commenti agli autori secondo i criteri dello studio, non la capacità dell’IA di decidere quali articoli pubblicare. Il manoscritto degli autori è datato 28 ottobre 2026.
Per interpretare i numeri, tieni distinti i 134 confronti valutati dall’IA dai 30 voti espressi dagli ex editor su 10 coppie.
Che cosa ha confrontato lo studio
Il corpus comprendeva 124 articoli inviati a rapidPeer e 134 revisioni scritte da persone, raccolti tra il 2019 e il 2026. Dieci manoscritti avevano ricevuto due revisioni umane indipendenti. Gli autori hanno generato revisioni con Claude Opus 4.8, impostato al massimo livello di ragionamento, in due condizioni: una seguiva le linee guida di rapidPeer senza strumenti esterni; l’altra usava un prompt preparato per lo studio e il recupero di informazioni dal web.
GPT-5.5, appartenente a una famiglia di modelli diversa da Claude, ha valutato le revisioni. Il confronto considerava sette aspetti, tra cui fonti, metodi, punti deboli, comunicazione e figure o tabelle. Nella configurazione ottimizzata, il punteggio medio delle revisioni IA era più alto in tutte e sette le aree.
Che cosa significa il voto degli ex editor
Tre ex editor di riviste scientifiche hanno valutato alla cieca dieci coppie di revisioni, senza leggere i manoscritti. Nei loro 30 giudizi complessivi, 26 hanno favorito la revisione IA. Il dato descrive i voti di quel gruppo su quelle dieci coppie: non è un risultato ottenuto su tutti i 134 confronti.
Nel confronto più ampio, il giudice IA ha assegnato alla revisione ottimizzata di Claude 132 vittorie, nessuna vittoria alla revisione umana e due esiti indecisi su 134 coppie. Il giudice ha valutato i testi delle revisioni senza il manoscritto; con accesso al manoscritto, il risultato riportato per la stessa configurazione è stato ancora di 132 vittorie IA, zero umane e due esiti indecisi.
L’audit ha segnalato errori anche nelle revisioni IA
Un audit basato su un giudice IA ha segnalato come scorrette, rispetto ai manoscritti, 57 delle 1.039 valutazioni di affermazioni nelle revisioni IA (5,5%) e 152 delle 956 valutazioni nelle revisioni umane (15,9%). Si tratta di quote di affermazioni valutate, non della percentuale di revisioni intere prive di errori. Inoltre, 46 delle 124 revisioni IA contenevano almeno un’affermazione segnalata.
Gli autori riferiscono che una verifica umana di 90 affermazioni ha concordato con l’audit in 87 casi. Il controllo riduce il rischio di affidarsi soltanto al giudice automatico, ma non trasforma il risultato in una replica indipendente dello studio.
Il risultato riguarda il feedback, non le decisioni editoriali
King e Worthington non hanno misurato se gli autori migliorassero i propri manoscritti dopo aver ricevuto i commenti. Lo studio non ha neppure valutato se l’IA porti a decisioni migliori su quali articoli pubblicare. I risultati descrivono quindi una specifica prova di qualità delle revisioni, condotta con i manoscritti e i criteri di rapidPeer.
Gli autori dichiarano di aver ideato e gestire rapidPeer, il servizio da cui provenivano gli articoli e le revisioni analizzati. Quando Inside Higher Ed ha pubblicato il suo resoconto, il 5 novembre 2026, ha riferito che il manoscritto non era ancora stato sottoposto a revisione paritaria. Il resoconto colloca questa informazione alla data della pubblicazione.
