Un estudio sobre 124 manuscritos de rapidPeer encontró que las revisiones generadas con Claude Opus 4.8 recibieron mejores valoraciones que las humanas en la condición ajustada. King y Worthington publicaron esos resultados en un artículo de investigación fechado el 28 de octubre de 2026. La comparación evaluó la calidad de los comentarios, no qué artículos debían publicarse.

Cómo se generaron y compararon las revisiones

El estudio analizó 124 manuscritos y 134 revisiones humanas de rapidPeer, recopilados entre 2019 y 2026. Diez manuscritos tenían dos revisiones humanas independientes. Para cada manuscrito, los autores generaron revisiones con Claude Opus 4.8, configurado con razonamiento máximo, en dos condiciones.

En la condición emparejada, el modelo recibió el manuscrito anonimizado y las pautas de rapidPeer, sin herramientas externas. En la condición ajustada, usó una instrucción diseñada para el estudio y búsqueda web. GPT-5.5, un modelo de otra familia, evaluó las revisiones según los criterios de rapidPeer: fuentes, puntos débiles, métodos, teoría e ideas, enfoque, comunicación, y figuras y tablas. En la condición ajustada, las puntuaciones medias de la IA fueron superiores en las siete áreas.

En la comparación de revisiones ajustadas sin acceso a los manuscritos, el juez de IA dio la victoria a la revisión de IA en 132 de los 134 pares; no favoreció ninguna revisión humana y dejó dos pares sin decisión. Con acceso a los manuscritos, el resultado informado fue el mismo.

Qué cuentan los votos de los exeditores

Tres exeditores de revistas académicas evaluaron a ciegas diez pares seleccionados al azar. No leyeron los manuscritos. En sus 30 votos individuales, 26 favorecieron la revisión de IA, es decir, el 87 %. Esa cifra describe los votos de los tres editores sobre diez pares, no el resultado de las 134 comparaciones.

La ventaja observada se refiere a la calidad de los comentarios; la decisión de publicar quedó fuera de la prueba.

La auditoría también señaló errores en revisiones de IA

Una auditoría a ciegas basada en un juez de IA marcó como incorrectas, por contradecir los manuscritos, 57 de 1.039 afirmaciones evaluadas en revisiones de IA (el 5,5 %) y 152 de 956 afirmaciones en revisiones humanas (el 15,9 %). Una comprobación humana de 90 afirmaciones coincidió con la auditoría en 87 casos. Además, 46 de las 124 revisiones de IA contenían al menos una afirmación marcada como incorrecta.

El alcance del resultado

King y Worthington no midieron si los autores mejoraron sus manuscritos después de recibir comentarios de IA ni si la IA mejoró las decisiones editoriales. Los resultados describen revisiones producidas para rapidPeer con un modelo, unas instrucciones y una rúbrica concretos. Los autores señalan que hacen falta más datos para saber hasta qué punto se aplican a otras disciplinas y contextos editoriales. También declaran que concibieron y operan rapidPeer, el servicio del que proceden los manuscritos y las revisiones analizados.

Inside Higher Ed informó el 5 de noviembre de 2026 que el manuscrito aún no había sido revisado por pares.