Microsoft publiceerde op 22 oktober 2026 in Science resultaten van MAI-DxO op twee diagnostische benchmarks: DxO met GPT-5 behaalde 83,2% op 304 cases van het New England Journal of Medicine (NEJM) en 80,3% op 325 MIMIC-IV-ED-encounters. De cijfers meten hoe goed het systeem diagnoses stelde in een gecontroleerde, tekstgebaseerde test. Ze tonen niet aan hoe het presteert in de klinische praktijk.
Zo werkt SDBench
De Sequential Diagnosis Benchmark (SDBench) maakt van medische cases een interactieve teksttest. Een systeem krijgt eerst beperkte informatie, kan vervolgens vragen stellen of diagnostische tests aanvragen en dient daarna een diagnose in.
Een zogenoemde Gatekeeper geeft de informatieverzoeken door aan de gegevens van de case. Als die geen antwoord bevatten, kan de Gatekeeper een synthetische bevinding genereren die diagnostisch neutraal is. Een beoordelingssysteem met een door artsen opgestelde schaal van vijf niveaus vergelijkt de diagnose met de referentiediagnose. Scores van 4 of 5 gelden als correct.
Een Microsoft-demonstratie uit 2025 laat een eerdere versie van deze werkwijze zien. De arts-wetenschapper Xiaoxuan Liu loopt daarin met MAI-DxO door een case: het systeem vraagt om informatie, verzoekt om tests, houdt de geraamde kosten bij en past zijn mogelijke diagnoses aan.
De scores en de artsenvergelijking
| Dataset | DxO met GPT-5 | Gemiddelde voor artsen |
| NEJM CPC, 304 cases | 83,2% | 36,1% bij artsen met naslagwerken |
| MIMIC-IV-ED, 325 encounters | 80,3% | 46,8% |
De artsenvergelijking bij de NEJM-cases gebruikte een afzonderlijke testset van 56 cases; de resultaten van DxO zijn berekend over alle 304 cases. De artsen werkten in een gecontroleerde tekstomgeving. De percentages geven dus geen vergelijking van even grote groepen cases onder identieke omstandigheden weer.
De MIMIC-IV-ED-cases zijn afkomstig uit spoedeisende hulp en lopen door tot opname. De studie beschrijft die gegevens als representatiever voor routinematige werkprocessen dan de geselecteerde NEJM-cases. Ook die test bleef echter een benchmark, geen onderzoek naar patiëntenzorg.
Wat de kostenramingen omvatten
De kosten verschillen per configuratie. Op de NEJM-cases haalde DxO 83,2% bij een geraamde 5.431 dollar per case. Twee configuraties met een budgetlimiet kwamen uit op 80,9% bij 2.241 dollar en 79,6% bij 1.303 dollar. Een op nauwkeurigheid gerichte ensembleconfiguratie behaalde 84,5% bij 8.945 dollar.
Op MIMIC-IV-ED behaalde de configuratie zonder budgetlimiet 80,3% bij een geraamde 4.979 dollar per encounter. Budgetbegrensde configuraties kwamen uit op 73,2% bij 2.634 dollar en 69,5% bij 2.037 dollar. Dit zijn afzonderlijke combinaties van nauwkeurigheid en geraamde kosten, geen algemene besparingspercentages.
Voor de raming koppelden de onderzoekers aangevraagde tests aan CPT-codes en gebruikten zij de chargemaster van Kaiser Permanente Washington uit 2023, plus een vaste aanname van 300 dollar voor een artsenbezoek. De bedragen zijn gestandaardiseerde Amerikaanse benchmarkramingen, geen patiëntrekeningen. De methode omvat ook niet alle verschillen in onder meer locatie, beschikbaarheid, wachttijd, invasiviteit en ongemak.
Wat deze benchmark wel en niet meet
SDBench beoordeelt of een systeem binnen de testcases tot een passende diagnose komt. Het meet niet of een behandeling veilig of geschikt is, hoe zorg over langere tijd verloopt of wat de uitkomsten voor patiënten zijn. De test bevat geen beeldvorming, golfvormen of pathologieslides en sluit gezonde en goedaardige cases uit. De NEJM-cases zijn bovendien geselecteerd vanwege hun klinische en educatieve belang.
De artsenvergelijking betreft individuele generalistische artsen, niet specialistenteams of multidisciplinaire teams. De auteurs stellen dat hun resultaten geen superioriteit in de klinische praktijk aantonen. Ook melden zij dat alle auteurs Microsoft-medewerkers zijn en aandelen in het bedrijf bezitten.
Waarom eerdere cijfers anders zijn
Een eerdere, op 2025 gerichte versie van het onderzoek beschreef een evaluatie met o3 en rapporteerde 85,5% voor een configuratie gericht op maximale nauwkeurigheid en gemiddeld 20% voor artsen. De publicatie uit 2026 rapporteert andere modellen, configuraties en vergelijkingsvoorwaarden: 83,2% voor DxO met GPT-5 zonder budgetlimiet en 84,5% voor de afzonderlijke ensembleconfiguratie. De cijfers horen bij verschillende versies van het onderzoek.
Een toekomstige evaluatie met patiënten
Microsoft kondigde een prospectieve evaluatie aan met Beth Israel Deaconess Medical Center. Die evaluatie is bedoeld om patiëntinteractie en onafhankelijke beoordelingen door artsen te omvatten.
