W badaniu Gary’ego Kinga i Stevena Worthingtona recenzje wygenerowane przez Claude Opus 4.8 częściej zyskiwały lepsze oceny niż recenzje ludzi, ale wynik dotyczy jakości opinii w usłudze rapidPeer. W szczegółowym porównaniu oceniającym AI przyznało recenzjom AI 132 zwycięstwa, ludzkim zero, a dwa przypadki uznało za nierozstrzygnięte. Osobny wynik 87% pochodzi z zaledwie 30 głosów byłych redaktorów, oddanych przy ocenie 10 par recenzji. Artykuł badawczy Kinga i Worthingtona opisuje konkretny zestaw manuskryptów i kryteriów, a nie cały system recenzowania naukowego.

Wynik mówi o tym, które recenzje lepiej oceniono według kryteriów rapidPeer. Nie rozstrzyga, czy autorzy poprawili swoje artykuły ani kto powinien decydować o publikacji.

Co porównano w badaniu

King i Worthington przeanalizowali 124 zgłoszenia artykułów naukowych i 134 recenzje napisane przez ludzi w rapidPeer w latach 2019–2026. Dziesięć zgłoszeń otrzymało po dwie niezależne recenzje. Badacze wygenerowali recenzje AI dla tych samych tekstów, używając Claude Opus 4.8 z maksymalnym poziomem rozumowania.

Sprawdzili dwa warianty. W warunku „matched” model otrzymał manuskrypt i wytyczne rapidPeer, ale nie korzystał z narzędzi zewnętrznych. W wariancie „tuned” badacze zastosowali specjalnie przygotowaną instrukcję oraz wyszukiwanie w sieci. Każdą recenzję generowano w osobnym wywołaniu modelu.

Skąd wzięły się wyniki 132 i 87 procent

Recenzje porównywał GPT-5.5, model z innej rodziny niż Claude Opus 4.8. W wariancie „tuned”, gdy sędzia AI oceniał same recenzje, bez dostępu do manuskryptów, wynik wyniósł 132 zwycięstwa recenzji AI, zero zwycięstw recenzji ludzkich i dwa nierozstrzygnięte porównania na 134 pary. Przy dostępie do manuskryptów porównanie dało taki sam podział. Średnie oceny recenzji AI były też wyższe we wszystkich siedmiu obszarach przyjętej skali: źródłach, słabych punktach, metodach, teorii i pomyśle, ujęciu tematu, komunikacji oraz figurach i tabelach.

Trzech byłych redaktorów czasopism naukowych oceniło w ciemno 10 losowo wybranych par. Nie czytali manuskryptów. W 26 z 30 indywidualnych głosów wskazali recenzję AI. To właśnie te 30 głosów daje 87%; liczba nie opisuje wyniku dla wszystkich 134 par.

Co pokazał audyt twierdzeń

W osobnym audycie, przeprowadzonym przez zaślepiony model AI, 57 z 1039 ocenianych twierdzeń w recenzjach AI oznaczono jako niezgodne z manuskryptem, czyli 5,5%. W recenzjach ludzkich oznaczono w ten sposób 152 z 956 twierdzeń, czyli 15,9%. Mimo niższego odsetka w recenzjach AI, co najmniej jedno oznaczone twierdzenie znalazło się w 46 ze 124 takich recenzji. Autorzy podali też, że człowiek sprawdzający próbę 90 twierdzeń zgodził się z oceną modelu w 87 przypadkach.

Audyt dotyczył twierdzeń sprzecznych z treścią manuskryptów. Nie oznaczał, że recenzje AI były bezbłędne ani że każdy błąd recenzji ludzkiej miał taką samą wagę.

Czego badanie nie rozstrzyga

Autorzy nie sprawdzali, czy autorzy poprawili artykuły po otrzymaniu recenzji. Nie badali też, czy AI podejmuje lepsze decyzje o przyjęciu tekstu do czasopisma. Ich porównanie dotyczyło jakości informacji zwrotnej dla autorów według kryteriów rapidPeer.

King i Worthington ujawnili, że stworzyli i prowadzą rapidPeer, a badane zgłoszenia i recenzje pochodziły z tej usługi. W relacji opublikowanej 5 listopada 2026 r. „Inside Higher Ed” informował, że artykuł nie był wtedy jeszcze recenzowany naukowo.