Dans une étude menée sur rapidPeer, les comptes rendus générés par Claude Opus 4.8 ont obtenu l’avantage sur les avis humains selon les critères du service. Le résultat porte sur la qualité des commentaires destinés aux auteurs, pas sur le choix des articles à publier.
Le chiffre de 87 % correspond à 30 votes d’éditeurs sur 10 paires, pas à l’ensemble des 134 comparaisons.
Un même corpus, deux conditions de génération
King et Worthington ont étudié 124 articles scientifiques et 134 comptes rendus humains, recueillis sur rapidPeer entre 2019 et 2026. Dix manuscrits avaient reçu deux avis humains. Développé par l’Institute for Quantitative Social Science (IQSS) de Harvard, rapidPeer propose une relecture avant la soumission d’un article à une revue scientifique.
Les auteurs ont utilisé Claude Opus 4.8 avec le réglage de raisonnement maximal pour produire un compte rendu par manuscrit dans chacune de deux conditions. La première reprenait les consignes de rapidPeer sans outils externes. La seconde utilisait une consigne spécialement conçue et la recherche sur le Web. Le manuscrit de King et Worthington détaille ce protocole.
Deux évaluations, deux dénominateurs
GPT-5.5, un modèle d’une autre famille, a évalué les comptes rendus selon la grille de rapidPeer. Dans la condition ajustée, son évaluation des avis seuls a favorisé l’IA dans 132 paires sur 134 : aucune paire n’a favorisé l’avis humain et deux résultats étaient indécis. Les notes moyennes des avis IA étaient aussi supérieures dans les sept catégories évaluées, des sources et des méthodes aux figures et tableaux.
Trois anciens rédacteurs en chef de revues scientifiques ont, de leur côté, comparé à l’aveugle 10 paires choisies au hasard. Ils n’ont pas lu les manuscrits. Leurs 30 votes cumulés ont favorisé l’avis IA 26 fois, soit 87 %. Ce pourcentage décrit les votes de ce petit groupe sur ces 10 paires, et non un résultat sur les 134 comparaisons de l’étude.
L’audit a aussi signalé des affirmations incorrectes
Un audit réalisé par un modèle d’IA a classé comme incorrectes 57 des 1 039 affirmations évaluées dans les avis IA (5,5 %) et 152 des 956 affirmations évaluées dans les avis humains (15,9 %). Une affirmation était considérée comme incorrecte lorsqu’elle contredisait le manuscrit. Malgré le taux inférieur relevé pour les avis IA, 46 des 124 comptes rendus générés par l’IA comportaient au moins une affirmation signalée. Selon les auteurs, une vérification humaine de 90 affirmations a concordé avec l’audit dans 87 cas.
La comparaison ne portait pas sur les décisions de publication
Les auteurs ont évalué la qualité des conseils adressés aux auteurs. Ils n’ont pas mesuré si ces conseils amélioraient les manuscrits ni si l’IA aidait les revues à prendre de meilleures décisions de publication. King et Worthington déclarent avoir conçu et exploiter rapidPeer, qui a fourni les articles et les avis analysés. Dans son compte rendu publié le 5 novembre 2026, Inside Higher Ed indiquait que le manuscrit n’avait pas encore été évalué par les pairs à cette date (compte rendu).
