DxO Microsoftu osiągnął 83,2% trafności w SDBench

Badanie opublikowane w Science 22 października 2026 r. wykazało, że system Diagnostic Orchestrator (DxO), określany przez Microsoft jako MAI-DxO, uzyskał 83,2% trafności wśród 304 przypadków kliniczno-patologicznych z New England Journal of Medicine (NEJM). Lekarze osiągnęli średnio 36,1%, gdy mogli korzystać z materiałów referencyjnych, i 22,3% bez nich. To wyniki kontrolowanego, tekstowego benchmarku SDBench. Publikacja badania w Science

Wyniki na dwóch zbiorach przypadków

SDBench obejmował także 325 przypadków z MIMIC-IV-ED, dotyczących pobytów na oddziale ratunkowym zakończonych przyjęciem do szpitala. W tym zbiorze DxO uzyskał 80,3% trafności, a średnia lekarzy wyniosła 46,8%.

Te odsetki opisują dwa odrębne zbiory i porównania. Wartość 83,2% dotyczy przypadków CPC, a nie całej diagnostyki medycznej; wynik z MIMIC-IV-ED pochodzi z innego zestawu danych.

Jak SDBench prowadzi proces diagnozy

SDBench sprawdza, czy system potrafi zbierać informacje etapami, zamiast odpowiadać wyłącznie na podstawie krótkiego opisu. DxO może prosić o wywiad i wyniki badania, zlecać testy, aktualizować rozpoznanie różnicowe, a następnie podać diagnozę końcową. Gatekeeper przekazuje systemowi informacje z przypadku, a Judge ocenia końcową odpowiedź.

Jak benchmark uznaje diagnozę za prawidłową? Judge porównuje ją z diagnozą referencyjną według pięciostopniowej skali opracowanej przez lekarzy. Wyniki 4 i 5 są zaliczane jako prawidłowe, jeśli dane rozpoznanie nie zmieniłoby postępowania medycznego.

Anglojęzyczna demonstracja Microsoftu opublikowana w 2025 r. pokazuje jeden wybrany przypadek: Xiao Liu prezentuje pytania o historię pacjenta, zlecanie badań, śledzenie ich szacunkowych kosztów i aktualizowanie diagnozy różnicowej. Przykład kończy się rozpoznaniem mięsaka prążkowanokomórkowego zarodkowego.

Co oznaczają szacowane koszty

W przypadkach CPC wynik DxO zależał od konfiguracji i jej szacowanego kosztu diagnostyki na przypadek. Wariant bez ograniczenia budżetu, oparty na GPT-5, uzyskał 83,2% przy koszcie 5 431 USD. Ustawienia nastawione na ograniczenie wydatków osiągnęły 80,9% przy 2 241 USD oraz 79,6% przy 1 303 USD. Konfiguracja ukierunkowana na jakość diagnostyczną uzyskała 84,5% przy 8 945 USD.

Badanie szacowało koszty badań na podstawie cen CPT z cennika Kaiser Permanente Washington, odczytanego w kwietniu 2026 r. Pytania o wywiad i badanie fizykalne uwzględniano w ramach stałego kosztu wizyty lekarskiej. Są to szacunki dla benchmarku oparte na amerykańskim cenniku, a nie rachunki pacjentów; nie uwzględniają też między innymi różnic cenowych, czasu oczekiwania na wynik ani dostępności badań.

Gdzie kończy się zakres benchmarku

Zbiory przypadków CPC i MIMIC-IV-ED pomijają część zwykłych, zdrowych lub łagodnych przypadków. Materiał CPC dobrano ze względu na jego wartość dydaktyczną, więc może nadreprezentować trudne diagnostycznie sytuacje. Interakcje w SDBench są tekstowe i nie odtwarzają pełnej rozmowy z pacjentem, niepewności w przekazywanym wywiadzie ani pracy z obrazami, zapisami i preparatami patologicznymi.

Badanie oceniało trafność rozpoznania, a nie bezpieczeństwo leczenia, jego skuteczność czy dalszy przebieg opieki. Porównanie z lekarzami dotyczyło pojedynczych osób, nie zespołów specjalistycznych. Autorzy podali również, że wszyscy są pracownikami Microsoft i posiadają udziały tej firmy; badania nie otrzymały finansowania spoza Microsoft. Wśród opisanych błędów DxO często pojawiały się rozpoznania bliskie właściwemu, lecz podane na niewłaściwym poziomie szczegółowości.

Microsoft poinformował 22 października 2026 r. o planowanej prospektywnej ocenie z Beth Israel Deaconess Medical Center. Według ogłoszenia pacjenci mają otrzymywać standardową opiekę i równolegle wchodzić w interakcję z DxO, a rekomendacje systemu mają być porównywane z niezależnymi ocenami lekarzy. Komunikat Microsoftu o planowanej ocenie