Nie ma jednego wyniku, który określałby dokładność OpenEvidence we wszystkich zastosowaniach. W badaniu opublikowanym w „Nature Medicine” 12 czerwca 2026 r. system uzyskał 89,6% poprawnych odpowiedzi w teście MedQA. Pozostałe etapy tego badania oraz osobny pilotaż mierzyły inne zadania i stosowały inne skale. OpenEvidence to narzędzie AI do wyszukiwania informacji medycznych i udzielania odpowiedzi, używane przez lekarzy.
Co mierzyło badanie „Nature Medicine”
Badacze ocenili trzy rodzaje wyników. W teście wiedzy MedQA sprawdzili 500 pytań w stylu egzaminu USMLE. W HealthBench ocenili 500 odpowiedzi według rubryki, czyli zestawu kryteriów punktowanych w skali od 0 do 100. Trzeci etap obejmował 100 zanonimizowanych zapytań lekarskich. Dwunastu zaślepionych lekarzy z USA oceniało odpowiedzi pod kątem poprawności klinicznej, kompletności, bezpieczeństwa i jasności.
W MedQA OpenEvidence osiągnęło 89,6% poprawnych odpowiedzi. Wynik dotyczy tych 500 pytań; nie jest ogólną miarą dokładności systemu w każdej specjalizacji i sytuacji klinicznej.
Wyniki w 500 pytaniach MedQA
| System | Poprawne odpowiedzi | 95-procentowy przedział ufności |
| OpenEvidence | 89,6% | 86,6–92,0% |
| Gemini 3.1 Pro | 97,4% | 95,6–98,5% |
| GPT-5.2 | 94,2% | 91,8–95,9% |
| Claude Opus 4.6 | 90,2% | 87,3–92,5% |
W tym teście Gemini 3.1 Pro i GPT-5.2 uzyskały wyniki istotnie wyższe niż OpenEvidence. Tabela porównuje wyłącznie rezultaty w tym samym zestawie MedQA.
Pozostałe liczby z badania nie są kolejnymi wynikami dokładności. W HealthBench OpenEvidence zdobyło 62,6 punktu na 100 za odpowiedzi oceniane według rubryki. W teście rzeczywistych zapytań lekarze przyznali mu średnią ocenę 3,24 na 4. Ocenili 99 odpowiedzi, które nie były odmową. W tej części badania nie wykazano istotnych różnic między OpenEvidence, UpToDate Expert AI i Google AI Overview.
Quick Search i Deep Consult w pilotażu
Osobny pilotaż opublikowany jako preprint w serwisie medRxiv objął 100 złożonych scenariuszy rozumowania medycznego z zestawu MedXpertQA. Preprint nie przeszedł recenzji naukowej. W jego wynikach średnia dokładność wyniosła 31% dla Quick Search i 39,5% dla Deep Consult. Różnica nie była istotna statystycznie (p=0,09), więc ten pilotaż nie wykazał, że jeden z trybów wypada lepiej.
Dwaj autorzy ręcznie wprowadzali pytania, bez dostrajania promptów. W tym samym pilotażu Quick Search odpowiadał średnio w 13 sekund i podawał 5,2 referencji, a Deep Consult potrzebował średnio 259 sekund i podawał 34,7 referencji. Liczba referencji nie wykazywała istotnej korelacji z dokładnością (r=0,068; p=0,177). Więcej cytowanych pozycji samo w sobie nie oznaczało więc częściej poprawnej odpowiedzi w tej próbie.
Co można wywnioskować z tych wyników
Wartości 89,6%, 62,6 punktu i 3,24 na 4 opisują różne testy i sposoby oceniania. Pilotaż MedXpertQA z kolei sprawdzał złożone pytania wielokrotnego wyboru w ograniczonej próbie. Nie da się z tych wyników obliczyć jednej wspólnej oceny dokładności ani wskazać uniwersalnie najdokładniejszego narzędzia medycznego.
Badania nie oceniały prospektywnie, czy korzystanie z OpenEvidence poprawia wyniki leczenia pacjentów.
