OpenEvidence behaalde 89,6% nauwkeurigheid op 500 MedQA-vragen in een studie die Nature Medicine op 12 juni 2026 publiceerde. Andere onderdelen van dat onderzoek gebruikten een puntenscore en beoordelingen door artsen. Een aparte pilot met complexe medische vragen kwam uit op andere cijfers. De uitkomsten meten verschillende taken en vormen samen geen algemene nauwkeurigheidsscore voor OpenEvidence.
Drie metingen in het Nature Medicine-onderzoek
De peer-reviewed studie vergeleek medische AI-systemen in drie soorten evaluaties. Daardoor zeggen de scores iets over specifieke taken, niet over één universele maat voor medische AI.
Voor MedQA beantwoordden de systemen 500 vragen in de stijl van het Amerikaanse medische licentie-examen. HealthBench beoordeelde 500 antwoorden met een klinische rubric: een beoordelingsschaal met criteria voor de kwaliteit van een antwoord. In het derde onderdeel beoordeelden 12 geblindeerde Amerikaanse artsen antwoorden op 100 geanonimiseerde vragen uit de klinische praktijk. De onderzoekers berekenden voor OpenEvidence een gemiddelde totaalscore over 99 antwoorden waarop het systeem antwoord gaf, op een schaal van 1 tot 4.
Die drie uitkomsten zijn niet onderling uitwisselbaar. De 89,6% is een nauwkeurigheidsscore op MedQA; de HealthBench-score is een aantal rubricpunten en de klinische uitkomst is een beoordeling op een vierpuntsschaal.
De MedQA-scores op dezelfde 500 vragen
| Systeem | Nauwkeurigheid | 95%-betrouwbaarheidsinterval |
| OpenEvidence | 89,6% | 86,6–92,0% |
| Gemini 3.1 Pro | 97,4% | 95,6–98,5% |
| GPT-5.2 | 94,2% | 91,8–95,9% |
| Claude Opus 4.6 | 90,2% | 87,3–92,5% |
In deze test scoorden Gemini 3.1 Pro en GPT-5.2 statistisch significant hoger dan OpenEvidence. De cijfers gelden voor de onderzochte modellen en deze set van 500 vragen.
HealthBench leverde een andere vergelijking op: OpenEvidence behaalde 62,6 van de 100 rubricpunten. GPT-5.2 kwam uit op 88,0, Gemini op 79,3 en Claude op 77,0. Dit zijn scores op een beoordelingsrubric, geen nauwkeurigheidspercentages.
Bij de klinische vragen kreeg OpenEvidence gemiddeld 3,24 op 4 (95%-betrouwbaarheidsinterval: 3,17–3,32). De beoordeling omvatte klinische juistheid, volledigheid, veiligheid en helderheid. De onderzoekers vonden binnen de groep van klinische hulpmiddelen en Google AI Overview geen statistisch significant prestatieverschil. De drie algemene AI-modellen vormden in die evaluatie een hoger scorende groep.
Quick Search en Deep Consult in een pilot
Een afzonderlijke, niet-peer-reviewed pilot onderzocht OpenEvidence met 100 complexe MedXpertQA-scenario’s. De onderzoekers rapporteerden een gemiddelde nauwkeurigheid van 31% voor Quick Search en 39,5% voor Deep Consult. Het verschil was niet statistisch significant (p = 0,09).
De scenario’s kwamen uit een verzameling redeneervragen en hadden elk tien antwoordopties. Twee onderzoekers voerden de vragen handmatig in, zonder prompt engineering. De pilot beoordeelde diagnoses, behandelingen en basale medische wetenschap. De auteurs hebben de antwoordsleutel van de gebruikte benchmark niet onafhankelijk opnieuw gevalideerd.
Deep Consult leverde in deze pilot gemiddeld 34,7 verwijzingen op, tegenover 5,2 bij Quick Search. De gemiddelde responstijden waren respectievelijk 259 en 13 seconden. Meer verwijzingen hingen in deze steekproef niet aantoonbaar samen met een hogere nauwkeurigheid: de onderzoekers vonden geen significante correlatie (r = 0,068; p = 0,177). Deze cijfers beschrijven de onderzochte pilotopstelling.
Wat de resultaten zeggen over nauwkeurigheid
Een benchmarkscore beantwoordt de vraag hoe een systeem presteerde op een bepaalde taak, met een bepaalde steekproef en beoordelingsmethode. De MedQA-test meet antwoorden op examenvragen; HealthBench kent rubricpunten toe en de klinische evaluatie beoordeelt antwoorden op vragen uit de praktijk. De MedXpertQA-pilot richtte zich op complexe meerkeuzevragen. Die uitkomsten kun je daarom niet samenvoegen tot één nauwkeurigheidspercentage of gebruiken als algemene ranglijst van medische AI.
De cijfers geven evenmin een algemene maat voor prestaties in alle specialismen of klinische situaties. De Nature Medicine-studie vergeleek de genoemde taken en geteste modelversies; de pilot was klein en niet peer-reviewed.
