Les études ne donnent pas un score de précision unique pour OpenEvidence. L’étude publiée dans Nature Medicine le 12 juin 2026 a mesuré 89,6 % de bonnes réponses sur 500 questions MedQA ; ses deux autres évaluations utilisent des échelles différentes. Un pilote distinct sur des scénarios médicaux complexes n’a pas trouvé de différence statistiquement significative entre Quick Search et Deep Consult.
OpenEvidence est un outil de recherche et de réponse fondé sur l’IA, utilisé par des professionnels de santé. Pour comprendre ses résultats, il faut regarder la tâche évaluée et la manière dont les réponses ont été notées.
Trois évaluations, trois mesures
L’étude de Nature Medicine a évalué OpenEvidence sur trois types de tâches. MedQA portait sur 500 questions de connaissances médicales de type USMLE. HealthBench comprenait 500 cas notés à l’aide d’une grille de critères, sur 100 points. Enfin, 12 médecins américains, sans connaître l’outil évalué, ont noté les réponses à 100 requêtes cliniques anonymisées selon leur exactitude, leur exhaustivité, leur sécurité et leur clarté.
Sur ces requêtes cliniques, la note moyenne d’OpenEvidence était de 3,24 sur 4, calculée sur 99 réponses auxquelles le service n’avait pas refusé de répondre. Cette note est une évaluation globale par des médecins, pas un taux de réponses exactes. Dans ce même volet, les modèles généralistes de pointe ont obtenu des notes de 3,52 à 3,62. UpToDate Expert AI a obtenu 3,17 et Google AI Overview 3,27 ; l’étude n’a pas relevé de différence statistiquement significative entre les outils cliniques et Google AI Overview.
Résultats sur les 500 questions MedQA
Pour cette épreuve, l’étude a comparé OpenEvidence à trois modèles généralistes sur les mêmes questions. Les intervalles ci-dessous sont les intervalles de confiance à 95 % rapportés pour chaque résultat.
| Système évalué | Précision sur MedQA | Intervalle de confiance à 95 % |
| OpenEvidence | 89,6 % | 86,6 à 92,0 % |
| Gemini 3.1 Pro | 97,4 % | 95,6 à 98,5 % |
| GPT-5.2 | 94,2 % | 91,8 à 95,9 % |
| Claude Opus 4.6 | 90,2 % | 87,3 à 92,5 % |
Gemini 3.1 Pro et GPT-5.2 ont obtenu des résultats significativement supérieurs à celui d’OpenEvidence dans les comparaisons statistiques rapportées. Claude Opus 4.6 a affiché un résultat numérique légèrement supérieur, sans que l’étude établisse ici une différence statistiquement significative entre les deux.
Les deux autres résultats de l’étude ne se comparent pas directement à ces pourcentages. OpenEvidence a obtenu 62,6 points sur 100 à HealthBench, une note fondée sur une grille d’évaluation, et non un taux de précision. Sur les requêtes cliniques, sa moyenne était de 3,24 sur 4, une note attribuée par les médecins sur plusieurs critères.
Quick Search et Deep Consult dans un pilote
Une prépublication sur medRxiv, qui n’a pas été évaluée par les pairs, a testé Quick Search et Deep Consult sur 100 scénarios complexes de raisonnement médical tirés de MedXpertQA. Les auteurs rapportent une précision moyenne de 31 % avec Quick Search et de 39,5 % avec Deep Consult. La différence n’était pas statistiquement significative (p = 0,09), ce qui ne permet pas de conclure que Deep Consult était plus précis dans ce pilote.
Deux évaluateurs ont saisi manuellement les questions, sans ajuster les consignes, et les auteurs n’ont pas validé indépendamment les réponses attendues du jeu de données. Dans leurs essais, Quick Search répondait en moyenne en 13 secondes avec 5,2 références ; Deep Consult prenait 259 secondes et en fournissait 34,7. Le nombre de références n’était pas significativement corrélé à la précision (r = 0,068 ; p = 0,177).
Les tests portent ainsi sur des tâches, des échantillons et des critères différents. Aucun de ces résultats ne mesure à lui seul la précision d’OpenEvidence dans toutes les spécialités ni son effet sur les résultats des patients en pratique clinique prospective.
