La precisión de OpenEvidence depende de la tarea evaluada: el estudio de Nature Medicine publicado el 12 de junio de 2026 registró un 89,6 % en 500 preguntas MedQA, pero sus otras pruebas usaron escalas distintas. Un piloto separado sobre casos complejos tampoco encontró una diferencia estadísticamente significativa entre Quick Search y Deep Consult.
Tres pruebas, tres medidas
El estudio de Nature Medicine evaluó OpenEvidence en tres tareas. En MedQA, una prueba de conocimientos médicos, la medida fue el porcentaje de respuestas correctas. En HealthBench, una rúbrica asignó puntos según criterios de calidad. Y en consultas clínicas reales, médicos puntuaron las respuestas en una escala de 1 a 4.
En 500 elementos de HealthBench, OpenEvidence obtuvo 62,6 puntos sobre 100 (IC del 95 %: 59,3–65,9). La puntuación refleja una evaluación con rúbrica, no un porcentaje de aciertos.
Para las consultas clínicas, 12 médicos de Estados Unidos evaluaron a ciegas 100 preguntas anonimizadas. La puntuación media agregada de OpenEvidence fue de 3,24 sobre 4 (IC del 95 %: 3,17–3,32), calculada sobre 99 respuestas que no fueron rechazadas. La valoración combinó corrección clínica, exhaustividad, seguridad y claridad. En esta prueba, el estudio no encontró diferencias significativas entre OpenEvidence, UpToDate Expert AI y Google AI Overview; los modelos generalistas de frontera obtuvieron medias de entre 3,52 y 3,62.
El resultado en las 500 preguntas MedQA
En la prueba MedQA, todos los sistemas respondieron a las mismas 500 preguntas. Estos fueron sus resultados:
| Sistema | Versión evaluada | Respuestas correctas | IC del 95 % |
| OpenEvidence | OpenEvidence | 89,6 % | 86,6–92,0 % |
| Gemini 3.1 Pro | 97,4 % | 95,6–98,5 % | |
| OpenAI | GPT-5.2 | 94,2 % | 91,8–95,9 % |
| Anthropic | Claude Opus 4.6 | 90,2 % | 87,3–92,5 % |
En las comparaciones estadísticas informadas por el estudio, Gemini 3.1 Pro y GPT-5.2 superaron significativamente a OpenEvidence. El 89,6 % describe el resultado de esa versión en ese conjunto de preguntas; no es una tasa general para cualquier consulta médica.
Quick Search y Deep Consult en un piloto
Una prepublicación en medRxiv, que no había pasado revisión por pares, evaluó 100 escenarios complejos de razonamiento médico de MedXpertQA. La precisión media fue del 31 % con Quick Search y del 39,5 % con Deep Consult. La diferencia no fue estadísticamente significativa (p = 0,09).
Dos autores introdujeron manualmente las preguntas, sin ajustar los prompts. Los autores tampoco validaron de forma independiente la clave de respuestas del conjunto. Por eso, el resultado describe este piloto de 100 escenarios y no permite concluir que Deep Consult rinda mejor en general.
El piloto también comparó el número de referencias: Deep Consult ofreció una media de 34,7 y Quick Search, de 5,2. No se observó una correlación significativa entre la cantidad de referencias y la precisión (r = 0,068; p = 0,177). En esa muestra, ver más referencias no permitió anticipar si una respuesta era correcta.
Qué permiten concluir las cifras
Los porcentajes de MedQA, los puntos de HealthBench y las valoraciones clínicas responden a preguntas distintas. El piloto de MedXpertQA empleó, además, otra muestra y otro método. No se pueden combinar esas cifras en una única puntuación ni usarlas para establecer qué sistema es el más preciso en todas las especialidades. Las evaluaciones miden respuestas en tareas concretas; no miden por sí mismas los resultados de pacientes en la atención clínica.
