Yeni araştırmalar bunu test ediyor.
Yapay Zeka ve Sağlıkta Devrim
Yapay zeka (YZ), sağlık ve sağlık hizmetlerinde devrim yaratma potansiyeline sahip ve bu alandaki ilerleme hızla artıyor. Ancak, YZ sistemlerinin klinik akıl yürütme yeteneklerini anlamlı bir etkiye dönüştürmek için dikkatlice inşa edilmesi ve titizlikle değerlendirilmesi gerekiyor.
Bugünkü çalışma, önceki çalışmalardan yola çıkarak iki yeni temel sunuyor: Sequential Diagnosis Benchmark (SDBench), adım adım tanı koyma mantığını test eden bir sistem ve Microsoft AI Diagnostic Orchestrator (MAI-DxO), bu benchmark üzerindeki lider YZ sistemi.
Geleneksel Tıbbi Lisans Sınavlarının Sınırlamaları
Amerika Birleşik Devletleri Tıbbi Lisans Sınavları (USMLE) gibi tıbbi lisans sınavları, hekimlerin bilgilerini değerlendirmek için tasarlanmıştır; ancak klinik tanı koyma gerçeklerini yansıtmaz. Bu sınavlarda tüm bilgiler baştan sunulmakta ve tek bir cevap seçilmektedir. Oysa klinik uygulamalarda hekimler, bilgileri aşama aşama bir araya getirir, hangi soruları soracaklarına ve hangi testleri isteyeceklerine karar verirler.
Bu nedenle, SDBench’i geliştirdik; bu sistem, 304 karmaşık vakayı içeren The New England Journal of Medicine (NEJM) vakalarından ve daha tipik acil servis sunumları içeren MIMIC-IV-ED veri setinden oluşan iki tamamlayıcı vaka seti üzerinden performansı değerlendiriyor.
MAI-DxO’nun Çalışma Prensibi
MAI-DxO, SDBench içinde test edildi. Bu sistem, tek bir model yerine sanal hekimler paneli gibi çalışarak her biri tanı öneriyor, yararlı sorular veya testler seçiyor ve ortaya çıkan görüşü sorguluyor. MAI-DxO, bu değişimi birkaç tur tartışma ile koordine ediyor, yeni kanıtlar geldikçe değerlendirmesini güncelliyor ve her testin muhtemel değerini maliyeti ile tartıyor.
Başarı Sonuçları
Karmaşık NEJM vakalarında, MAI-DxO %83 tanı doğruluğu sağlarken, hekimler dış kaynaklar olmadan %22, bu kaynaklarla ise %36 doğruluk elde etti. Bu da MAI-DxO’nun sırasıyla 3.7 ve 2.3 kat daha doğru olduğu anlamına geliyor.
Daha tipik acil servis vakalarında ise MAI-DxO %80 doğruluk oranı ile %47 doğruluk oranına sahip hekimlerden 1.7 kat daha yüksek bir başarı gösterdi. Maliyet odaklı optimize edildiğinde bile MAI-DxO’nun performansı güçlü kalmaya devam etti.
Gelecek Çalışmalar ve Açık Kaynak Geliştirme
MAI-DxO, NEJM vakalarında %81 doğruluk oranına ulaşırken, bu sistemin maliyeti karşılaştırmalı sistemlerin yarısından az oldu. Hem karmaşık hem de tipik vakalar için, başka bir insan ya da YZ yaklaşımı, MAI-DxO’dan daha doğru ve daha az maliyetli olmadı.
Bu kazanımlar, değerlendirmeyi daha yeni modellerle, GPT-5.5 gibi, tekrarladığımızda devam etti ve hatta iyileşti. SDBench’i, araştırmacıların değerlendirmeyi tekrarlayabilmesi, diğer modelleri test edebilmesi ve bulguları sorgulayıp genişletebilmesi için açık kaynak olarak sunmayı planlıyoruz.
