Yapay zekânın sağlık alanındaki kullanımına ilişkin dikkat çekici bir araştırma yayımlandı. Microsoft AI tarafından geliştirilen Microsoft AI Diagnostic Orchestrator (MAI-DxO), hastalıkların adım adım teşhis edilmesini temel alan yeni bir değerlendirme sisteminde hekimlerden daha yüksek doğruluk oranlarına ulaştı.
Çalışmada yapay zekânın yalnızca kendisine verilen bilgilerden bir hastalık adı tahmin etmesi değil, gerçek bir tanı sürecine daha yakın biçimde hangi soruları soracağına ve hangi testleri isteyeceğine karar vermesi değerlendirildi.
Araştırmanın sonuçları Science’da yayımlandı.
Yapay zekâ için yeni tanı testi: SDBench
Araştırmacılar, yapay zekâ sistemlerinin tıbbi tanı yeteneklerini değerlendirmek amacıyla Sequential Diagnosis Benchmark (SDBench) adı verilen yeni bir sistem geliştirdi.
USMLE gibi tıbbi sınavlarda vakaya ilişkin bilgiler genellikle baştan veriliyor ve katılımcıdan doğru yanıtı seçmesi bekleniyor. Gerçek klinik uygulamada ise doktorlar sınırlı bilgilerle başlayarak hastaya hangi soruların sorulacağına, hangi tetkiklerin isteneceğine ve yeni bulgular doğrultusunda hangi olasılıkların değerlendirilmesi gerektiğine karar veriyor.
SDBench bu süreci taklit etmeyi amaçlıyor.
Değerlendirme iki farklı vaka grubunu kapsıyor. Bunlardan ilki The New England Journal of Medicine’de yayımlanan 304 karmaşık tıbbi vaka, ikincisi ise MIMIC-IV-ED veri setinden alınan daha tipik acil servis vakalarından oluşuyor.
Sistem tanının doğruluğunun yanı sıra hangi kanıtların ve testlerin talep edildiğini ve bunların tahmini maliyetlerini de değerlendiriyor.
Yüzde 83 tanı doğruluğuna ulaştı
Sonuçlar özellikle karmaşık vakalarda dikkat çekti.
MAI-DxO, NEJM’den alınan karmaşık vakalarda yüzde 83 tanı doğruluğu elde etti.
Hekimlerin doğruluk oranı dış kaynaklara erişimleri olmadığında yüzde 22, kitap ve internet gibi kaynaklardan yararlanabildiklerinde ise yüzde 36 olarak ölçüldü.
Buna göre MAI-DxO, bu test ortamında kaynak kullanmayan hekimlerden yaklaşık 3,7 kat, dış kaynaklardan yararlanan hekimlerden ise yaklaşık 2,3 kat daha yüksek doğruluk oranına ulaştı.
Acil servis vakalarında da yapay zekâ önde
Araştırmacılar sistemi yalnızca sıra dışı ve karmaşık vakalarla sınırlı tutmadı.
MIMIC-IV-ED veri setindeki daha tipik acil servis vakalarında da MAI-DxO test edildi.
Bu değerlendirmede yapay zekâ sisteminin tanı doğruluğu yüzde 80 olurken hekimlerde bu oran yüzde 47 seviyesinde kaldı.
Böylece yapay zekâ sistemi daha sık karşılaşılan klinik vakalarda da yaklaşık 1,7 kat daha yüksek doğruluk oranı elde etti.
Tek bir yapay zekâ gibi çalışmıyor
MAI-DxO’nun çalışma biçimi de araştırmanın dikkat çekici noktalarından biri.
Sistem, tek bir yapay zekâ modelinden doğrudan yanıt almak yerine adeta sanal bir doktor kurulu gibi çalışıyor.
Farklı yapay zekâ bileşenleri olası tanıları değerlendiriyor, hangi soruların sorulması veya hangi testlerin yapılması gerektiğini tartışıyor ve ortaya çıkan görüşlere itiraz edebiliyor.
MAI-DxO bu süreci birkaç tur boyunca yöneterek yeni kanıtlar geldikçe değerlendirmesini güncelliyor. Sistem ayrıca talep edilecek bir testin sağlayabileceği bilgiyi tahmini maliyetiyle birlikte değerlendiriyor.
Daha az maliyetle yüksek doğruluk
Çalışmada yalnızca doğru tanıya ulaşılması değil, bu sonuca ulaşırken ortaya çıkan test maliyetleri de incelendi.
MAI-DxO maliyet açısından daha sıkı biçimde optimize edildiğinde bile performansını büyük ölçüde korudu.
NEJM vakalarında sistemin bir yapılandırması yüzde 81 doğruluğa, karşılaştırılan sistemlerin maliyetinin yarısından daha düşük tahmini test maliyetiyle ulaştı.
Microsoft araştırmacıları, her iki veri setinde de MAI-DxO’dan aynı anda hem daha doğru hem de daha düşük maliyetli başka bir insan veya yapay zekâ yaklaşımına rastlanmadığını belirtiyor.
GPT-5.5 ile sonuçlar daha da gelişti
Araştırmanın bir başka dikkat çekici sonucu sistemin tek bir yapay zekâ modeline bağlı olmaması.
Microsoft, değerlendirmeyi daha yeni yapay zekâ modelleriyle tekrarladığında performans kazanımlarının devam ettiğini ve daha da geliştiğini açıkladı.
Bu modeller arasında GPT-5.5 de bulunuyor.
Araştırmacılara göre sonuçlar, MAI-DxO’nun başarısının yalnızca belirli bir model neslinden kaynaklanmadığına işaret ediyor.
Sonuçlar gerçek hastalarda aynı başarı anlamına gelmiyor
Araştırmanın sonuçları dikkat çekici olsa da önemli bir sınırlaması bulunuyor.
Çalışma, yapay zekânın gerçek hastaları doğrudan muayene ettiği bir klinik deney değil. Performans, daha önce kaydedilmiş tıbbi vakaların etkileşimli bir tanı testine dönüştürülmesiyle ölçüldü.
Dolayısıyla yüzde 83’lük başarı oranı, MAI-DxO’nun hastanelerde görev yapan doktorlardan genel olarak daha başarılı olduğu anlamına gelmiyor.
Microsoft da gerçek klinik ortamların asıl sınav olacağını vurguluyor.
Şirket, Boston’daki Beth Israel Deaconess Medical Center ile yürütülecek ileriye dönük bir çalışmada hastaların sistemle doğrudan etkileşime girmesini ve yapay zekânın performansının doktorların bağımsız değerlendirmeleriyle karşılaştırılmasını planlıyor.
Sağlıkta yapay zekâ için yeni dönem
Microsoft, SDBench’in belirli NEJM vakalarına ilişkin bölümlerini araştırmacıların kullanımına açmayı da planlıyor. Böylece farklı yapay zekâ modellerinin aynı sistem üzerinde karşılaştırılması ve sonuçların bağımsız araştırmacılar tarafından yeniden test edilmesi mümkün olacak.
Araştırma, yapay zekânın gelecekte doktorların yerine geçmesinden çok, klinik karar süreçlerinde doktorlara destek veren güçlü bir araç haline gelebileceğine işaret ediyor.
Tanı doğruluğunun yanı sıra gereksiz testlerin azaltılması, maliyetlerin düşürülmesi ve karmaşık vakalarda farklı olasılıkların sistematik biçimde değerlendirilmesi, sağlıkta yapay zekânın en önemli kullanım alanları arasında gösteriliyor.
Kaynak: Microsoft AI, Science
