In einer Studie von Gary King und Steven Worthington wurden KI-generierte Gutachten zu wissenschaftlichen Arbeiten besser bewertet als menschliche Reviews. Der Befund betrifft die Qualität des Feedbacks in einem bestimmten rapidPeer-Versuch, nicht die Entscheidung darüber, welche Arbeiten veröffentlicht werden sollten. Grundlage waren 124 Manuskripte und 134 menschliche Gutachten.
Die 26 KI-Stimmen unter den früheren Herausgebern stammen aus 30 Einzelurteilen zu zehn Gutachtenpaaren.
Was King und Worthington verglichen
Die Autoren untersuchten Einreichungen beim von Harvard’s Institute for Quantitative Social Science entwickelten Dienst rapidPeer. Das Korpus umfasste Arbeiten aus den Jahren 2019 bis 2026. Zehn Manuskripte hatten jeweils zwei menschliche Gutachten, daher gab es 134 Reviews zu 124 Arbeiten. Fachleute wählten die menschlichen Gutachter aus; sie wurden für ihre Arbeit bezahlt und sollten konstruktives, umfassendes Feedback geben.
Für jede Arbeit erzeugten King und Worthington KI-Gutachten mit Claude Opus 4.8 und der höchsten verfügbaren Reasoning-Einstellung. In einer Variante erhielt das Modell das anonymisierte Manuskript und die rapidPeer-Richtlinien, aber keine externen Werkzeuge. Die zweite Variante nutzte einen eigens entwickelten Prompt und eine Websuche. Das Manuskript der Studie beschreibt beide Verfahren und die anschließende Bewertung.
Was die Bewertungen aussagen
GPT-5.5, ein Modell aus einer anderen Modellfamilie, verglich die Gutachten anhand der rapidPeer-Kriterien. Bei den Reviews aus der abgestimmten Variante meldet die Studie 132 KI-Siege, keinen Sieg für menschliche Gutachten und zwei unentschiedene Ergebnisse unter 134 Paarvergleichen. Die mittleren KI-Werte lagen außerdem in allen sieben bewerteten Bereichen höher: Quellen, Schwächen, Methoden, Theorie und Idee, Einordnung, Verständlichkeit sowie Abbildungen und Tabellen.
Drei ehemalige Herausgeber wissenschaftlicher Zeitschriften bewerteten zusätzlich zehn zufällig ausgewählte, anonymisierte Paare. Sie lasen die Manuskripte nicht. In ihren insgesamt 30 Einzelurteilen bevorzugten sie 26-mal das KI-Gutachten. Die häufig genannte Quote von 87 Prozent bezieht sich auf diese 30 Stimmen, nicht auf alle 134 Vergleiche.
Der Faktencheck fand auch Fehler in KI-Gutachten
Ein verblindeter KI-Audit stufte 57 von 1.039 geprüften Aussagen in den KI-Gutachten als falsch ein, also 5,5 Prozent. Bei den menschlichen Gutachten waren es 152 von 956 Aussagen oder 15,9 Prozent. Als falsch galt eine Aussage, wenn sie dem jeweiligen Manuskript widersprach. Trotzdem enthielten 46 der 124 KI-Gutachten mindestens eine beanstandete Aussage. Bei einer menschlichen Nachprüfung von 90 Aussagen stimmten die Prüfer in 87 Fällen mit dem Audit überein.
King und Worthington geben an, dass sie rapidPeer gegründet haben und betreiben. Die Untersuchung verglich die Qualität von Gutachten nach den Kriterien dieses Dienstes; sie prüfte weder, ob Autoren ihre Arbeiten aufgrund des KI-Feedbacks verbesserten, noch ob KI die redaktionelle Entscheidung über eine Veröffentlichung verbessern würde. Inside Higher Ed berichtete am 5. November 2026, dass das Manuskript zu diesem Zeitpunkt noch nicht fachbegutachtet worden war.
