Opublikowane 22 października 2026 r. w Science badanie podało, że DxO z GPT-5 osiągnął 83,2% trafności w 304 przypadkach konferencji kliniczno-patologicznych NEJM. W 325 przypadkach z bazy MIMIC-IV-ED wynik wyniósł 80,3%. To rezultaty tekstowego benchmarku diagnozowania sekwencyjnego, a nie pomiar skuteczności w opiece nad pacjentami.
Jak SDBench sprawdza diagnozowanie
Sequential Diagnosis Benchmark (SDBench) zamienia opisy przypadków w interaktywny test. System zaczyna od ograniczonych informacji, a następnie może zadawać pytania, zlecać badania albo przedstawić diagnozę. Gatekeeper przekazuje informacje z rekordu przypadku; gdy brakuje w nim żądanych danych, może wygenerować neutralne diagnostycznie wyniki. Judge ocenia końcową diagnozę według pięciostopniowej skali opracowanej przez lekarzy. Wyniki 4 lub 5 uznaje za poprawne.
W demonstracji Microsoftu z 2025 r. lekarz i badaczka Xiaoxuan Liu pokazuje kolejne pytania, zlecanie badań oraz aktualizowanie hipotez diagnostycznych i szacowanych kosztów.
Wyniki na dwóch zbiorach przypadków
| Zbiór danych | DxO z GPT-5 | Wynik lekarzy w badaniu | Warunki porównania lekarzy |
| 304 przypadki CPC NEJM | 83,2% | 36,1% | Lekarze z dostępem do źródeł; próba testowa obejmowała 56 przypadków |
| 325 przypadków MIMIC-IV-ED | 80,3% | 46,8% | Średnia lekarzy ogólnych podana w artykule |
W przypadku NEJM wynik lekarzy pochodzi z próby 56 przypadków, a rezultat DxO obliczono dla całego zbioru 304 przypadków. Lekarze pracowali w kontrolowanym środowisku tekstowym. Zestawienie nie porównuje więc identycznych prób. Autorzy badania zaznaczyli, że wyniki nie ustalają przewagi nad specjalistami ani zespołami medycznymi i nie opisują skuteczności w codziennej praktyce.
Co oznaczają szacunki kosztów
W konfiguracji bez limitu budżetu DxO osiągnął na przypadkach NEJM 83,2% trafności przy szacowanym koszcie 5 431 USD na przypadek. W konfiguracjach z ograniczonym budżetem wyniki wyniosły 80,9% przy 2 241 USD oraz 79,6% przy 1 303 USD. Osobna konfiguracja zespołowa nastawiona na maksymalizację trafności uzyskała 84,5% przy 8 945 USD.
Dla MIMIC-IV-ED konfiguracja bez limitu budżetu osiągnęła 80,3% przy szacowanym koszcie 4 979 USD na przypadek. Warianty budżetowe uzyskały 73,2% przy 2 634 USD oraz 69,5% przy 2 037 USD.
Badacze przypisali zlecane testy do kodów CPT i wycenili je na podstawie cennika Kaiser Permanente Washington z 2023 r., dodając stałe założenie 300 USD za wizytę lekarską. Są to ustandaryzowane szacunki dla benchmarku, a nie rachunki pacjentów. Nie uwzględniają całego zróżnicowania kosztów ani takich czynników jak dostępność i czas oczekiwania na wynik.
Granice tekstowego benchmarku
SDBench ocenia rozumowanie diagnostyczne w symulacji tekstowej. Badanie nie obejmowało zdrowych ani łagodnych przypadków, obrazów medycznych, fal biologicznych ani preparatów patologicznych. Nie mierzyło bezpieczeństwa leczenia, długofalowego prowadzenia pacjenta ani jego wyników zdrowotnych.
Autorzy porównywali system z pojedynczymi lekarzami ogólnymi, nie ze specjalistycznymi zespołami. W artykule ujawnili, że są pracownikami Microsoftu i posiadają akcje tej firmy.
Skąd pochodzą wcześniejsze wyniki 85,5% i 20%
Wersja badania opublikowana w 2025 r. na arXiv opisywała wcześniejszą ocenę skupioną na modelu o3. Podawała 85,5% dla konfiguracji nastawionej na maksymalną trafność oraz 20% jako średni wynik lekarzy. Publikacja w Science z 2026 r. przedstawia wyniki dla GPT-5, inne konfiguracje i późniejsze warunki porównania. Tych wartości nie należy łączyć jako wyników tego samego układu testowego.
Zapowiedziana ocena z udziałem pacjentów
Microsoft zapowiedział przyszłą ocenę prospektywną z Beth Israel Deaconess Medical Center, obejmującą kontakt z pacjentami i niezależną ocenę lekarzy.
