In een onderzoek van Gary King en Steven Worthington scoorden door Claude gemaakte beoordelingen hoger dan menselijke reviews, gemeten aan de maatstaven van rapidPeer. De uitkomst gaat over de kwaliteit van feedback op manuscripten, niet over de kwaliteit van publicatiebesluiten. De auteurs beschreven hun onderzoek in een manuscript dat op 28 oktober 2026 is gedateerd (het onderzoeksartikel).
Wat de onderzoekers vergeleken
Het onderzoek omvatte 124 inzendingen bij rapidPeer en 134 menselijke beoordelingen, verzameld tussen 2019 en 2026. Tien manuscripten hadden elk twee onafhankelijke menselijke reviews. De onderzoekers lieten Claude Opus 4.8, ingesteld op maximale redeneerkracht, voor elk manuscript beoordelingen schrijven in twee opzetten.
In de ene opzet kreeg het model het manuscript en de rapidPeer-richtlijnen, zonder externe hulpmiddelen. In de andere gebruikte het een speciaal geschreven prompt en kon het informatie op het web opzoeken. Een AI-beoordelaar uit een andere modelfamilie, GPT-5.5, vergeleek de reviews. De onderzoekers beoordeelden onder meer bronnen, zwakke punten, methoden, theorie en ideeën, inkadering, communicatie en figuren en tabellen.
Wat de percentages tellen
Voor de aangepaste AI-reviews rapporteerde de AI-beoordelaar 132 voorkeuren voor AI, geen voorkeuren voor menselijke reviews en twee onbesliste uitkomsten bij 134 paren. Een afzonderlijk panel van drie voormalige tijdschriftredacteuren beoordeelde tien willekeurig gekozen, geblindeerde paren. Zij lazen de manuscripten niet. In hun dertig individuele oordelen kozen zij 26 keer voor de AI-review: 87 procent van die stemmen, niet van alle 134 vergelijkingen.
De percentages beschrijven verschillende beoordelingen: 134 paren voor de AI-beoordelaar en 30 stemmen van redacteuren over tien paren.
De foutcontrole vond ook fouten in AI-reviews
Een geblindeerde, modelmatige controle markeerde 57 van de 1.039 beoordeelde beweringen in AI-reviews als onjuist (5,5%). Bij menselijke reviews ging het om 152 van de 956 beweringen (15,9%). Onjuist betekende hier dat een bewering werd tegengesproken door het bijbehorende manuscript. In 46 van de 124 AI-reviews stond minstens één bewering die de controle als onjuist markeerde.
De onderzoekers lieten mensen daarnaast 90 beweringen controleren; in 87 gevallen kwam hun oordeel overeen met dat van de AI-controle. De uitkomsten maken de AI-reviews dus niet foutloos: de controle markeerde in ruim een derde van die reviews minstens één onjuiste bewering.
Wat de studie niet beoordeelde
De auteurs maten niet of onderzoekers hun manuscripten verbeterden na AI-feedback. Ook onderzochten ze niet of AI tot betere beslissingen leidt over welke artikelen een tijdschrift publiceert. De vergelijking betrof bruikbaarheid en kwaliteit van feedback volgens de beoordelingsmaatstaven van rapidPeer.
King en Worthington verklaren in hun artikel dat zij rapidPeer hebben bedacht en beheren; de dienst leverde de manuscripten en menselijke reviews voor het onderzoek. Inside Higher Ed meldde op 5 november 2026 dat het manuscript toen nog niet door vakgenoten was beoordeeld (het bericht van Inside Higher Ed).
