Microsofts MAI-DxO behaalde in een gecontroleerde tekstbenchmark een nauwkeurigheid van 83,2% op NEJM-casussen en 80,3% op MIMIC-IV-ED-casussen. De resultaten meten hoe goed het systeem binnen zulke simulaties tot een diagnose kwam; ze tonen niet aan hoe het presteert in de klinische praktijk.
Dat verschil is belangrijk: een benchmarkscore zegt iets over de afgebakende test, niet vanzelf over patiëntenzorg, veiligheid of behandeluitkomsten.
Wat SDBench precies meet
De Sequential Diagnosis Benchmark (SDBench) is een interactieve teksttest waarin een AI stap voor stap informatie kan opvragen, onderzoeken kan aanvragen en daarna een diagnose indient. De benchmark bevatte 304 casussen uit de klinisch-pathologische besprekingen van het New England Journal of Medicine (NEJM) en 325 opnames na een bezoek aan de spoedeisende hulp uit MIMIC-IV-ED.
MAI-DxO is een modelonafhankelijke aanpak die verschillende medische rollen nabootst. Het systeem begon met een korte beschrijving van de casus en kon vervolgens vragen stellen over de voorgeschiedenis of het onderzoek, tests aanvragen of een diagnose vastleggen. Een Gatekeeper, een tussenliggende agent die de casusgegevens beheerde, beantwoordde verzoeken op basis van het dossier. Ontbrak een gevraagd gegeven, dan kon de Gatekeeper een synthetische, diagnostisch neutrale bevinding teruggeven.
Een beoordelaar kende diagnoses een score toe op een schaal van vijf punten. Scores van 4 of 5 telden als correct. De belangrijkste gerapporteerde resultaten gebruikten GPT-5. MAI-DxO verdeelde het werk daarbij over vijf rollen: hypothesen formuleren, tests kiezen, de redenering tegenspreken, zorgvuldig met onderzoek omgaan en nagaan of alle stappen waren doorlopen.
De Microsoft-video demonstreert één casus: de AI vraagt gegevens op, laat onderzoeken uitvoeren en werkt de mogelijke diagnoses bij.
De nauwkeurigheid verschilde per dataset
| Benchmarkdataset | MAI-DxO | Deelnemende artsen |
| NEJM-casussen | 83,2% | 36,1% |
| MIMIC-IV-ED-casussen | 80,3% | 46,8% |
De NEJM-percentages komen niet uit even grote evaluaties: het gerapporteerde AI-resultaat omvatte alle 304 casussen, terwijl de artsenevaluatie 56 achtergehouden casussen gebruikte. Artsen konden bij de openboekbeoordeling naslagmateriaal raadplegen, maar geen generatieve AI. Hun gemiddelde was 36,1%; zonder naslagmateriaal was dat 22,3%.
De cijfers beschrijven dus de uitkomst van verschillende benchmarkopzetten. De onderzoekers stellen dat de vergelijking geen superioriteit ten opzichte van specialisten, multidisciplinaire teams of de klinische praktijk aantoont. De artsenvergelijking betrof individuele generalisten, geen specialistenteams.
De kostenraming hangt af van de configuratie
De geschatte kosten voor MAI-DxO liepen uiteen met de gekozen configuratie. Op de NEJM-casussen bedroeg de raming bij 83,2% nauwkeurigheid US$ 5.431 per geval. Een openboekgemiddelde voor artsen was US$ 4.725 per geval. Een configuratie met een lagere AI-score van 80,9% kwam uit op US$ 2.241; de nauwkeurigheidsgerichte ensembleconfiguratie behaalde 84,5% bij US$ 8.945.
| Evaluatiegroep of configuratie op NEJM-casussen | Diagnostische nauwkeurigheid | Geschatte kosten per geval (US$) |
| MAI-DxO, zonder budgetlimiet | 83,2% | 5.431 |
| MAI-DxO, budgetconfiguratie | 80,9% | 2.241 |
| MAI-DxO, budgetconfiguratie | 79,6% | 1.303 |
| MAI-DxO, ensembleconfiguratie gericht op nauwkeurigheid | 84,5% | 8.945 |
| Deelnemende artsen, met naslagmateriaal | 36,1% | 4.725 |
De bedragen zijn modelramingen, geen patiëntrekeningen. De onderzoekers koppelden testaanvragen aan Amerikaanse CPT-codes en een prijslijst van Kaiser Permanente Washington uit 2023. Voor vragen over voorgeschiedenis en onderzoek rekenden ze met vaste consultkosten van US$ 300. De raming voor de configuratie met 83,2% nauwkeurigheid lag dus boven het gemiddelde voor artsen met naslagmateriaal; de kosten daalden bij sommige andere configuraties, maar de nauwkeurigheid veranderde mee.
Waar de benchmark ophoudt
SDBench bevatte geen gezonde of goedaardige casussen en testte geen gewone gesprekken met patiënten, lichamelijk onderzoek onder klinische omstandigheden, beeldmateriaal of andere multimodale gegevens. Ook behandelveiligheid en uitkomsten op langere termijn vielen buiten de beoordeling. De score ging over de diagnose, niet over de volledige kwaliteit van zorg.
De auteurs hielden de 56 meest recente NEJM-casussen, gepubliceerd in 2024 en 2025, buiten de ontwikkeling van de orchestration. Volgens de auteurs verschenen de meeste na de trainingsgrens van de geëvalueerde modellen. Ze erkennen ook dat sommige openbaar beschikbare NEJM-casussen in de trainingsdata terecht kunnen zijn gekomen.
De auteurs van het onderzoek werkten bij Microsoft en hadden aandelen in het bedrijf. Het onderzoek ontving geen financiering van buiten Microsoft.
Microsoft kondigde een prospectieve evaluatie aan
Op 22 oktober 2026 kondigde Microsoft een geplande prospectieve evaluatie met Beth Israel Deaconess Medical Center aan. In die studie zouden patiënten met het systeem communiceren en zouden de prestaties worden vergeleken met onafhankelijke beoordelingen door artsen. De aankondiging beschreef een onderzoeksplan.
