Gli studi su OpenEvidence non restituiscono un’unica percentuale valida per ogni uso: il confronto pubblicato da Nature Medicine il 12 giugno 2026 ha misurato l’89,6% di accuratezza su 500 domande MedQA, mentre le altre prove hanno usato rubriche di valutazione e giudizi clinici con scale diverse. Un pilota separato su 100 scenari complessi non ha rilevato una differenza statisticamente significativa tra Quick Search e Deep Consult.
Il risultato dell’89,6% riguarda MedQA
Nel test MedQA, composto da 500 domande mediche in stile USMLE, OpenEvidence ha risposto correttamente all’89,6% dei quesiti. Nello stesso test, Gemini 3.1 Pro ha raggiunto il 97,4%, GPT-5.2 il 94,2% e Claude Opus 4.6 il 90,2%. I risultati si riferiscono ai sistemi e alle versioni valutati in quello specifico campione.
| Sistema | Accuratezza su 500 domande MedQA | Intervallo di confidenza al 95% |
| OpenEvidence | 89,6% | 86,6–92,0% |
| Gemini 3.1 Pro | 97,4% | 95,6–98,5% |
| GPT-5.2 | 94,2% | 91,8–95,9% |
| Claude Opus 4.6 | 90,2% | 87,3–92,5% |
Gli altri punteggi misurano aspetti diversi
Su 500 quesiti HealthBench, OpenEvidence ha ottenuto 62,6 punti su 100 secondo una rubrica clinica. È un punteggio basato sui criteri della valutazione, non una percentuale di risposte corrette.
La terza prova ha riguardato 100 domande cliniche anonimizzate. Dodici medici statunitensi, all’oscuro del sistema che aveva prodotto ciascuna risposta, hanno valutato correttezza, completezza, sicurezza e chiarezza su una scala da 1 a 4. OpenEvidence ha ricevuto una media aggregata di 3,24 su 4, calcolata su 99 risposte che non erano rifiuti. Nella stessa prova, UpToDate Expert AI ha ottenuto 3,17 e Google AI Overview 3,27; lo studio non ha rilevato differenze significative tra questi strumenti e i servizi clinici confrontati. I modelli generalisti hanno formato una fascia con valutazioni medie da 3,52 a 3,62.
Deep Consult e Quick Search nel pilota MedXpertQA
Un preprint non sottoposto a revisione tra pari ha valutato le due modalità su 100 scenari complessi di ragionamento medico. L’accuratezza media è stata del 31% per Quick Search e del 39,5% per Deep Consult. La differenza non è risultata statisticamente significativa (p=0,09), quindi il pilota non dimostra un vantaggio affidabile di una modalità sull’altra.
Gli autori hanno inserito manualmente le domande senza ottimizzare i prompt e non hanno verificato in modo indipendente le risposte corrette del benchmark. Nelle condizioni dello studio, Quick Search ha impiegato in media 13 secondi e fornito 5,2 riferimenti; Deep Consult ha impiegato 259 secondi e fornito 34,7 riferimenti. Il numero di riferimenti non ha mostrato una correlazione significativa con l’accuratezza (r=0,068; p=0,177): più citazioni, in quel campione, non corrispondevano a risposte più corrette.
Perché non c’è un’unica misura di accuratezza
MedQA valuta risposte a domande d’esame; HealthBench assegna punti secondo una rubrica; la prova su query cliniche raccoglie valutazioni di medici; il pilota MedXpertQA esamina scenari specialistici selezionati. Campioni, compiti e scale non sono intercambiabili, quindi i relativi punteggi non si possono fondere in una percentuale generale né usare per stabilire un vincitore valido in ogni ambito medico.
Queste valutazioni misurano prestazioni nei test descritti, non dimostrano che OpenEvidence migliori gli esiti dei pazienti nella pratica clinica.
