ChatGPT, Gemini, Grok, Meta AI ve DeepSeek gibi popüler yapay zeka platformlarının tıbbi sorulara verdiği yanıtların yaklaşık yarısının sorunlu içerik barındırdığı bilimsel bir araştırmayla ortaya konuldu. BMJ Open dergisinde yayımlanan çalışma, sohbet botlarının sağlık konusundaki ciddi hata payını gözler önüne seriyor.
Araştırmacılar, beş farklı yapay zeka platformuna kanser, aşılar, kök hücre tedavisi, beslenme ve atletik performans gibi konularda 50 tıbbi soru yöneltti. Uzman değerlendirmeleri sonucunda yanıtların yüzde 20’si “yüksek derecede sorunlu”, yüzde 50’si “sorunlu”, yüzde 30’u ise “kısmen sorunlu” olarak nitelendirildi. Platformlar arasında en yüksek hata oranı yüzde 58 ile Grok’a aitti; onu yüzde 52 ile ChatGPT ve yüzde 50 ile Meta AI izledi.
Yanıtlar bilimsel dayanaktan yoksun
Çalışmanın dikkat çeken bulgularından biri, botların hiçbirinin tamamen doğru bir referans listesi sunamamasıydı. Yapay zekaların sağladığı kaynakçalarda yanlış yazar isimleri, çalışmayan bağlantılar ve tamamen uydurulmuş makalelerin yer aldığı tespit edildi. Özellikle beslenme ve atletik performans gibi çelişkili bilgilerin yoğun olduğu alanlarda hata oranının daha da yükseldiği kaydedildi.
Açık uçlu sorular riski artırıyor
Araştırma, yapay zekanın “doğru mu yanlış mı” formatındaki kapalı uçlu sorularda daha başarılı olduğunu, ancak kullanıcıların günlük hayatta sıkça başvurduğu açık uçlu sorularda hata payının belirgin biçimde arttığını ortaya koydu. Açık uçlu sorulara verilen yanıtların yüzde 32’si yüksek derecede sorunlu bulundu. Uzmanlar bu durumun temel nedeninin, dil modellerinin gerçek bilgiye sahip olmaması ve yalnızca eğitim verilerindeki istatistiksel olasılıklara göre kelime tahmini yapması olduğunu vurguladı. Söz konusu eğitim verilerinin hakemli dergilerin yanı sıra forum siteleri ve sosyal medya içeriklerini de kapsaması, hatalı sonuçların başlıca kaynağı olarak gösterildi.
Nature Medicine dergisinde yayımlanan ayrı bir çalışma ise ilginç bir tablo ortaya koydu. Yapay zeka modelleri tıbbi sorulara tek başlarına yüzde 95 oranında doğru yanıt verebilirken, gerçek kullanıcılar bu araçları kullandığında doğru bilgiye ulaşma oranı yüzde 35’e kadar geriledi. Bilim insanları, yapay zekanın karmaşık konuları özetlemek veya doktora sorulacak soruları hazırlamak için yararlı olabileceğini ancak tek başına tıbbi bir otorite olarak değerlendirilmemesi gerektiğini vurguladı.
