Os estudos disponíveis não dão uma única medida da precisão do OpenEvidence. Em uma avaliação publicada pela Nature Medicine em 12 de junho de 2026, o sistema acertou 89,6% de 500 questões MedQA; outras etapas do mesmo estudo mediram respostas com escalas diferentes. Um piloto separado sobre casos complexos também encontrou médias distintas para Busca rápida e Deep Consult, sem diferença estatisticamente significativa entre elas.
O que a Nature Medicine mediu
O estudo avaliou sistemas de IA em três etapas. Na MedQA, uma prova de conhecimento médico com questões no estilo do USMLE, a equipe mediu a proporção de respostas corretas. Na HealthBench, pontuou respostas segundo uma rubrica de avaliação clínica. Na etapa de consultas clínicas reais, médicos avaliaram respostas em quatro dimensões: correção, completude, segurança e clareza.
Essas escalas respondem a perguntas diferentes. A pontuação da HealthBench e a avaliação clínica não são taxas de acerto.
Resultado na MedQA
Nas mesmas 500 questões MedQA, os resultados de acurácia foram:
| Sistema | Versão avaliada | Acurácia |
| OpenEvidence | OpenEvidence | 89,6% |
| Gemini 3.1 Pro | 97,4% | |
| OpenAI | GPT-5.2 | 94,2% |
| Anthropic | Claude Opus 4.6 | 90,2% |
Na comparação estatística relatada para esse teste, Gemini 3.1 Pro e GPT-5.2 superaram o OpenEvidence. Os números se referem às versões avaliadas e àquele conjunto de questões.
As outras medidas do estudo
Na HealthBench, que também reuniu 500 itens, o OpenEvidence marcou 62,6 pontos em uma escala de 0 a 100. A equipe calculou essa nota com uma rubrica, não pela porcentagem de respostas certas.
Na avaliação de consultas clínicas reais, 12 médicos dos Estados Unidos analisaram às cegas 100 perguntas sem identificação dos pacientes. O OpenEvidence recebeu média agregada de 3,24 em uma escala de 1 a 4, considerando 99 respostas que não foram recusas. Nesse teste, os pesquisadores não encontraram diferença significativa entre as ferramentas clínicas avaliadas e o Google AI Overview. Os modelos de fronteira tiveram médias de 3,52 a 3,62.
Busca rápida e Deep Consult em um piloto
Um preprint publicado no medRxiv avaliou 100 cenários complexos de raciocínio médico do MedXpertQA. A média de acurácia foi de 31% na Busca rápida e 39,5% no Deep Consult. A diferença não foi estatisticamente significativa (p=0,09), portanto o piloto não demonstrou uma vantagem confiável de um modo sobre o outro.
Dois autores inseriram manualmente as perguntas, sem engenharia de prompts. O estudo não foi revisado por pares, e os autores não validaram de forma independente o gabarito do conjunto de questões.
No piloto, a Busca rápida levou em média 13 segundos e apresentou 5,2 referências; o Deep Consult levou 259 segundos e apresentou 34,7. A análise não encontrou correlação significativa entre o número de referências e a acurácia (r=0,068; p=0,177).
