OpenEvidence ist ein KI-Dienst für medizinische Suche und Antworten. Eine am 12. Juni 2026 in Nature Medicine veröffentlichte Studie maß bei 500 MedQA-Fragen eine Genauigkeit von 89,6 Prozent. Andere Prüfungen derselben Studie bewerteten Antworten auf eigenen Skalen. Ein separates, nicht peer-reviewtes Pilotprojekt fand keinen statistisch signifikanten Unterschied zwischen Quick Search und Deep Consult.
Was die Studie in Nature Medicine maß
Die Untersuchung verglich medizinische KI-Systeme in drei Aufgabenarten: Fachfragen mit bekannten Antworten, Antworten nach einer klinischen Bewertungsrubrik und Einschätzungen zu realen, anonymisierten Arztanfragen. Die Ergebnisse lassen sich deshalb nicht zu einer gemeinsamen Genauigkeitsquote verrechnen.
Bei MedQA beantworteten die Systeme 500 Fragen nach dem Vorbild US-amerikanischer Medizinprüfungen. OpenEvidence erreichte 89,6 Prozent. Gemini 3.1 Pro und GPT-5.2 lagen in diesem Test signifikant höher; die Studie berichtet für Claude Opus 4.6 einen Wert von 90,2 Prozent.
| System | Genauigkeit bei 500 MedQA-Fragen | 95-Prozent-Konfidenzintervall |
| OpenEvidence | 89,6 % | 86,6–92,0 % |
| Gemini 3.1 Pro | 97,4 % | 95,6–98,5 % |
| GPT-5.2 | 94,2 % | 91,8–95,9 % |
| Claude Opus 4.6 | 90,2 % | 87,3–92,5 % |
Ein Konfidenzintervall gibt den Unsicherheitsbereich einer Schätzung an. Die Werte gelten für diese 500 Fragen und die jeweils untersuchten Systeme. Sie beschreiben nicht automatisch die Trefferquote bei anderen medizinischen Aufgaben.
Zwei weitere Messwerte, zwei andere Skalen
Bei 500 HealthBench-Aufgaben erhielt OpenEvidence 62,6 Punkte auf einer Bewertungsrubrik von 0 bis 100. Diese Punkte bewerten Antworten anhand festgelegter Kriterien und sind keine Genauigkeitsquote. Zum Vergleich: GPT-5.2 erzielte 88,0 Punkte, Gemini 3.1 Pro 79,3 und Claude Opus 4.6 77,0.
Für eine weitere Prüfung bewerteten zwölf verblindete US-Ärztinnen und -Ärzte Antworten auf 100 anonymisierte klinische Anfragen. Sie beurteilten unter anderem fachliche Richtigkeit, Vollständigkeit, Sicherheit und Verständlichkeit auf einer Skala von 1 bis 4. OpenEvidence kam bei 99 Antworten ohne Verweigerung auf einen Mittelwert von 3,24. Die drei allgemeinen Sprachmodelle lagen zusammengefasst bei 3,52 bis 3,62; UpToDate Expert AI erreichte 3,17 und Google AI Overview 3,27. Innerhalb der Gruppe aus klinischen Werkzeugen und Google AI Overview stellte die Studie keinen signifikanten Leistungsunterschied fest.
Was der Pilot zu Quick Search und Deep Consult ergab
Ein separates medRxiv-Pilotprojekt untersuchte 100 komplexe MedXpertQA-Szenarien mit je zehn Antwortmöglichkeiten. Die mittlere Genauigkeit lag bei 31 Prozent für Quick Search und 39,5 Prozent für Deep Consult. Der Unterschied war statistisch nicht signifikant (p = 0,09). Die Arbeit ist ein Preprint und wurde nicht peer-reviewt.
Zwei Autorinnen oder Autoren gaben die Fragen manuell ein; jede der beiden Funktionen wurde von beiden Personen geprüft. Im Mittel dauerte Quick Search 13 Sekunden, Deep Consult 259 Sekunden. Die längere Prüfung lieferte im Mittel 34,7 Referenzen statt 5,2. In diesem Pilotprojekt hing eine größere Referenzzahl jedoch nicht signifikant mit höherer Genauigkeit zusammen (r = 0,068; p = 0,177).
Warum es keine Gesamtwertung gibt
Die Studien prüfen unterschiedliche Aufgaben mit unterschiedlichen Stichproben und Messgrößen: MedQA zählt richtige Antworten, HealthBench vergibt Rubrikpunkte, und Ärztinnen und Ärzte bewerten Antworten auf klinische Anfragen. Der MedXpertQA-Pilot verwendet wiederum komplexe Multiple-Choice-Szenarien. Eine Rangliste oder Gesamtquote, die all diese Werte gleichsetzt, würde ihre jeweiligen Messgrößen vermischen.
Damit beantwortet der MedQA-Wert von 89,6 Prozent eine eng umrissene Frage zu 500 Prüfungsfragen. Die übrigen Ergebnisse beschreiben andere Tests und lassen sich nicht als dieselbe Art von Genauigkeit lesen.
