O estudo de Gary King e Steven Worthington sobre o rapidPeer relata que avaliações feitas com Claude Opus 4.8 tiveram resultados melhores que as avaliações humanas segundo os critérios do serviço. A comparação analisou a qualidade dos pareceres, não se os artigos melhoraram nem se decisões de publicação ficaram melhores. O artigo dos pesquisadores detalha o método e os resultados.

O resultado favorece a IA dentro dos critérios do rapidPeer; o que foi avaliado foi a qualidade dos pareceres.

Como a comparação foi montada

O estudo reuniu 124 submissões e 134 avaliações humanas do rapidPeer, serviço de revisão de manuscritos antes da submissão desenvolvido pelo Institute for Quantitative Social Science (IQSS), de Harvard. O conjunto inclui submissões recebidas entre 2019 e 2026. Dez artigos tiveram duas avaliações humanas independentes.

King e Worthington usaram Claude Opus 4.8, configurado para raciocínio máximo, para gerar avaliações dos mesmos artigos. Na condição “matched”, o modelo recebeu o manuscrito e as diretrizes do rapidPeer, sem ferramentas externas. Na condição “tuned”, usou um comando elaborado para o estudo e pesquisa na web. Um modelo de outra família, GPT-5.5, julgou as avaliações.

O que os dois julgamentos encontraram

Na condição “tuned”, o juiz de IA comparou os pareceres sem consultar os manuscritos e declarou 132 vitórias para a avaliação de IA, nenhuma para a humana e dois resultados indefinidos entre 134 pares. Com acesso aos manuscritos, o resultado informado foi o mesmo. As avaliações de IA também tiveram notas médias maiores nas sete áreas da rubrica, que incluíam métodos, fontes, comunicação e figuras e tabelas.

Três ex-editores de periódicos acadêmicos avaliaram às cegas dez pares de pareceres, sem ler os manuscritos. Eles preferiram o parecer de IA em 26 dos 30 votos. Esse total reúne as avaliações dos três editores sobre os dez pares; não é uma proporção calculada sobre os 134 pares do estudo.

A auditoria também sinalizou erros

Uma auditoria cega, feita com um avaliador de IA, marcou como incorretas em relação aos manuscritos 57 de 1.039 afirmações avaliadas nos pareceres de IA (5,5%) e 152 de 956 afirmações nos pareceres humanos (15,9%). O número se refere a afirmações, não à porcentagem de pareceres. Além disso, 46 dos 124 pareceres de IA continham pelo menos uma afirmação sinalizada. Uma checagem humana de 90 afirmações concordou com a auditoria em 87 casos.

O alcance do resultado

Os autores não mediram se os pesquisadores melhoraram seus artigos após receber os pareceres nem se a IA ajudou a decidir quais trabalhos deveriam ser publicados. O resultado se limita à avaliação da qualidade dos comentários aos autores, no corpus, nas condições e segundo a rubrica do rapidPeer.

King e Worthington declaram que conceberam e operam o rapidPeer, serviço que forneceu os manuscritos e pareceres analisados. Eles afirmam que são necessários mais dados para saber até que ponto os resultados se aplicam a outros modelos, disciplinas e contextos de publicação.