Nel lavoro pubblicato su Science il 22 ottobre 2026, il sistema di Microsoft MAI-DxO ha raggiunto un’accuratezza dell’83,2% sui casi del New England Journal of Medicine e dell’80,3% sui dati MIMIC-IV-ED. Sono risultati ottenuti con GPT-5 in benchmark retrospettivi e testuali: misurano le risposte a casi simulati, non gli esiti di diagnosi o cure su pazienti.
I risultati nei due benchmark
SDBench ha trasformato 304 casi delle conferenze clinico-patologiche del New England Journal of Medicine e 325 ricoveri provenienti dal pronto soccorso, registrati in MIMIC-IV-ED, in prove interattive. Nella stessa valutazione, medici generalisti partecipanti hanno raggiunto in media il 36,1% sui casi del New England Journal of Medicine con strumenti di consultazione e il 22,3% senza; sui casi MIMIC-IV-ED, i medici partecipanti hanno ottenuto il 46,8%.
| Coorte | Casi storici | MAI-DxO con GPT-5 | Medici partecipanti |
| New England Journal of Medicine | 304 | 83,2% | 36,1% con strumenti di consultazione; 22,3% senza |
| MIMIC-IV-ED | 325 | 80,3% | 46,8% in media |
Il confronto riguarda singoli medici e casi storici selezionati, non specialisti o équipe multidisciplinari. Inoltre, i casi erano patologici: lo studio non ha valutato la frequenza di falsi positivi su persone sane o con disturbi benigni.
Le percentuali principali dello studio riguardano l’esecuzione con GPT-5. Gli autori hanno ripetuto separatamente la valutazione con GPT-5.5, mantenendo invariati i prompt e il sistema di orchestrazione; in questa prova DxO ha conservato il vantaggio rispetto al modello di base con prompt semplice.
Come SDBench guida e valuta la diagnosi
MAI-DxO è un sistema di orchestrazione che coordina un modello linguistico durante una diagnosi per fasi. Parte da una breve descrizione del caso, può chiedere informazioni su anamnesi ed esame clinico, richiedere test, aggiornare la diagnosi differenziale e infine formulare una diagnosi. Il sistema simulava cinque ruoli: formulazione delle ipotesi, scelta dei test, verifica critica, appropriatezza degli esami e lista di controllo.
In SDBench, un agente chiamato Gatekeeper forniva le informazioni pertinenti del caso storico in risposta alle richieste. Quando la cartella non conteneva un dato richiesto, poteva generare un risultato sintetico e neutro rispetto alla diagnosi. Un secondo agente, il Judge, valutava la risposta finale con una griglia clinica a cinque livelli: i punteggi 4 e 5 erano considerati corretti.
Che cosa misurano i costi stimati
Per i casi del New England Journal of Medicine, la configurazione senza vincoli di budget ha registrato un’accuratezza dell’83,2% e un costo medio stimato di 5.431 dollari statunitensi per caso. Due configurazioni con budget hanno ottenuto rispettivamente l’80,9% a 2.241 dollari e il 79,6% a 1.303 dollari; una configurazione ensemble ha raggiunto l’84,5% a 8.945 dollari. Tra la configurazione senza vincoli e quella da 1.303 dollari, l’accuratezza è scesa di 3,6 punti percentuali.
Per MIMIC-IV-ED, il risultato di MAI-DxO dell’80,3% corrispondeva a una stima di 4.979 dollari per caso. Le configurazioni con budget hanno ottenuto il 73,2% a 2.634 dollari e il 69,5% a 2.037 dollari.
Il calcolo associava i test richiesti ai codici CPT e ai prezzi di un tariffario del 2023 di Kaiser Permanente Washington; le richieste di anamnesi ed esame clinico ricevevano un costo fisso di 300 dollari per visita. Sono stime modellate su un sistema statunitense, non fatture effettive: non incorporano, tra gli altri fattori, le differenze tra assicuratori e strutture, i tempi di attesa, la disponibilità dei test e il disagio per il paziente.
Il confine tra benchmark e pratica clinica
La simulazione usava solo testo e casi retrospettivi. Non comprendeva immagini diagnostiche, tracciati, vetrini patologici, interazione al letto del paziente, decisioni terapeutiche o risultati clinici nel tempo. Di conseguenza, i punteggi non dimostrano che MAI-DxO migliori la salute dei pazienti o che sia più efficace nella pratica clinica.
Tutti gli autori dello studio erano dipendenti Microsoft e detenevano azioni della società. SDBench rende disponibile il proprio codice con licenza MIT; i casi derivati dal New England Journal of Medicine richiedono una licenza per uso non commerciale, mentre l’accesso ai dati MIMIC prevede credenziali e un accordo d’uso.
Il 22 ottobre Microsoft ha descritto un piano per una valutazione prospettica con il Beth Israel Deaconess Medical Center. Il progetto prevede interazioni con pazienti in ambito ospedaliero e un confronto con le valutazioni indipendenti dei medici.
