ChatGPT ne zaman halüsinasyona kapılır?

ChatGPT’nin engin bilgi birikimi ve yanıt verme kapasitesi açısından yeteneklerine rağmen farklı alanlarda çalışmasına engel olabilecek bir sorunun olduğu, zaman zaman halüsinasyona kapıldığı görülüyor.
‘Büyük dil modellerinin halüsinasyonları’, 2018’de Google'da yapay zeka araştırmacıları tarafından kullanılan bir kavram. Bu bağlamda, üretilen metnin dilbilgisi ve gramer açısından doğru olsa da mantık barındırmayabileceği üzerinde duruluyor. Bu yönde bir istisna sayılmayan ChatGPT, birçok çalışma ve deneyin gösterdiği üzere halüsinasyonlardan muaf değil.
Bu çalışmaların en yenisi, ChatGPT'nin meme kanseri ile ilgili sorulara güvenilir yanıtlar vermede ne kadar başarılı olduğunu öğrenmek isteyen ABD'deki Maryland Üniversitesi'nden araştırmacılar tarafından yapıldı. Radiology dergisinde 4 Nisan’da yer aldığına göre ChatGPT, yüzde 88 oranında doğru cevaplar vermeyi başarsa da kalan yüzde 12'lik kısımda hatalı veya hayali cevaplar veriyor.
Örneğin araştırmacılar ChatGPT’ye meme kanseri taramasıyla ilgili sorular sorduklarında verilen cevapların yalnızca Amerikan Kanser Topluluğu’nun tavsiyelerine dayandığını, bazı durumlarda farklılık gösteren diğer tıbbi grupların tavsiyelerine ise yer verilmediğini keşfetti. ChatGPT'nin meme kanserinin nasıl önleneceği yönündeki sorulara birbiriyle tutarsız hayali cevaplar vermesi, çevrimiçi platformlarda bir konu hakkında doğru yanlış çok fazla bilgi olduğunda büyük dil modellerinde çokça karşılaşılan bir sorun.
İstatistik, operasyonlar ve veri bilimi profesörü, aynı zamanda çalışmanın katılımcılarından Subodha Kumar pazartesi günü HealthDay tarafından yayınlanan açıklamasında şunları söyledi:
“ChatGPT gibi yapay zeka modellerinde soru ne kadar kesin olursa yanıt da o kadar güvenilir olur. Konu karmaşık olduğunda, veri kaynakları çok olduğunda ve bazı durumlarda şüphe bulunduğunda cevaplar daha az güvenilir ve taraflı olabilir. Konu karmaşıklaştıkça, ChatGPT'nin halüsinasyona kapılma olasılığı artar.”.
Tüketici haklarını savunan ABD merkezli Kamu Yararına Bilim Merkezi (CSPI), 20 Mart’ta yayınlanan raporunda, ChatGPT'nin birçok soruya doğru yanıt verdiğini ancak konu meme, yumurtalık, prostat ve diğer kanser risklerini büyük ölçüde artırabilen genetik mutasyonlar BRCA1 ve BRCA2'ye geldiğinde sorun yaşadığına dikkat çekti. BRCA mutasyonlarına sahip olanlarda ırksal eşitsizliklerin olup olmadığı sorulduğunda ABD’de bu yönde çalışmaların yürütüldüğünü belirten ChatGPT, Afrika asıllı Amerikalı kadınlara meme kanseri teşhisi konma olasılığının daha yüksek olduğunu söyledi. Ancak bu yöndeki araştırmanın kaynağı sorulduğunda ise şaşırtıcı bir şekilde özür dileyen ChatGPT, şunları aktardı:
“Önceki ifadem doğru değildi. ABD’de meme kanserli Afrikalı Amerikalı kadınların meme kanserli beyaz kadınlara göre BRCA1 mutasyonlarını taşıma olasılığının daha yüksek olduğunu gösteren özel bir çalışma yok.”
Kanada'daki Toronto Üniversitesi Tıp Fakültesi'nde araştırmacı olan, ChatGPT'nin göz hastalıklarının teşhisinde kullanımını inceleyen bir ekibe liderlik eden Michael Ballas, Şarku’l Avsat’a yaptığı açıklamada, “ChatGPT ile sohbetin doğası, modern teknolojinin sunduğu bir avantajdır. Ancak ortalama bir kullanıcının almak istediği sağlık tavsiyesi gibi çok önemli bazı konularda kesin cevap sunmama olasılığı dezavantajdır” dedi.
ChatGPT'nin yaratıcısı OpenAI'ın üst düzey araştırmacısı Ilya Sutskever ise CSPI tarafından yayınlanan açıklamasında bu sorunun şirketin öncülüğünü yaptığı, ‘insan geri bildirimiyle pekiştirmeli öğrenme’ adlı çığır açan bir teknikle çözüleceğinden emin olduğunu söyledi. Sutskever açıklamasını şöyle sürdürdü:
“Bu teknik, bir görev karmaşık veya yetersiz tanımlı hedefler içerdiğinde pekiştirmeli öğrenmeyi iyileştirmenin bir yolu olarak geliştirilmiştir. Çeşitli ziyaretler, uygulamanın daha sonra daha güvenilir yanıtlar sağlamak için hatalardan ders almasına olanak tanır.”
Ağırlıklı olarak makine öğrenimi alanlarında çalışan Fransız bilgisayar bilimcisi Yann LeCun ise aynı raporda şu açıklamada bulundu:
“Bu yöntemin çözemeyebileceği, halüsinasyonlara yol açan temel bir kusur var: Büyük dil modellerinin, dilin tanımladığı altta yatan gerçeklik hakkında hiçbir fikri yok. İnsan bilgisinin çoğu dilbilimsel değildir. Oysa bu yapay zeka sistemleri gramer ve dilbilim açısından iyi görünen metinler üretiyor.”
İnsanoğlunun gözlem veya deneyim yoluyla edindiği gelenekler, inançlar veya uygulamalar gibi, yazıya dökülmeyen birçok bilgi üzerinden hareket ettiğinden yetenekli bir zanaatkârın işiyle ilgili yazılı bilgileri belki hiçbir zaman elinde tutmayacağına dikkat çeken LeCun, “Bilgisayarların bu tür dilsel olmayan bilgileri elde etmek için gözlem yoluyla öğrenmesi gerekir” diyor.
Bu iki görüşe karşılık Michael Ballas ise farklı bir bakış açısıyla, “Yapay zeka insanlara yardımcı olabilir. Ancak insanların doktora gitmek gibi geleneksel çözümlere başvurmasının yerini hiçbir şekilde alamayacak” vurgusunda bulundu.

Harriette Boucher

Yeni bir araştırma, yakınını kaybedip yoğun ve uzun süreli yas semptomlarından muzdarip olan kişilerin, sevdiklerinin ölümünden sonraki 10 yıl içinde ölme ihtimalinin, neredeyse iki kata ulaştığını ortaya koydu.

Danimarka'daki araştırmacılar, yakınını kaybedip sürekli yüksek düzeylerde yas tutanların, yasını daha düşük seviyelerde yaşayanlarla kıyasla, sağlık hizmetlerini daha fazla kullandığını ve ölme olasılığının yüzde 88 daha fazla olduğunu buldu.

Araştırmacılar, sevdiklerini kaybedenlerin yaşadığı 5 yas güzergahını tanımladı ve en ciddi şekilde etkilenenlerin daha erken ölme olasılığının daha yüksek olduğunu tespit etti.

Araştırma makalesinin yazarlarından Dr. Mette Kjærgaard Nielsen şu ifadeleri kullandı:

Yüksek yas semptomu seviyeleriyle; kalp damar hastalıkları, akıl sağlığı sorunları ve hatta intiharda görülen daha yüksek oranlar arasında bir bağlantı olduğunu daha önce bulmuştuk. Ancak ölümle ilişkisi daha fazla araştırılmalı.

Bilim insanı, "yüksek" bir yas güzergahına dair risk altında olan kişilerin erken fark edilebileceğini de söyledi:

Bir pratisyen hekim akıl sağlığına dair diğer ciddi rahatsızlıklar ve depresyonun eski belirtilerini arayabilir. Daha sonra bu hastalara kendileri özel takip sunabilir veya onları psikologların özel muayenehanelerine ya da ikinci basamak sağlık kuruluşlarına yönlendirebilirler.

Dr. Nielsen, "Pratisyen hekimler ayrıca yakınını kaybedenlerin ruh sağlığına odaklanılacak bir takip randevusu da önerebilir" dedi.

Bilim insanları, 2012'den bu yana yakınlarını kaybetmiş, yaş ortalaması 62 olan 1735 adet kadın ve erkeği 10 yıl boyunca Danimarka'da izledi. Bu süre zarfında bu kişilere, semptomlarını ve deneyimlerini değerlendiren bir dizi anket gönderildi ve araştırmacılar bunlarla katılımcıların sürekli olarak hangi düzeyde keder yaşadığını belirledi.

Grubun yüzde 66'sı yakın zamanda partnerini, yüzde 27'si bir ebeveynini ve yüzde 7'si de çok sevdiği bir başka kişiyi kaybetmişti.

Sürekli olarak yüksek düzeylerde yas belirtileri yaşayan yüzde 6'lık kesimin 10 yıl içinde ölme olasılığı, sürekli olarak düşük yas belirtileri gösterdiğini bildiren yüzde 38'e kıyasla yüzde 88 daha yüksekti.

Yüksek güzergahta olanların, yakınlarını kaybetmesinin üzerinden üç yıl geçtikten sonra sağlık hizmeti alma olasılıkları da daha yüksek çıktı.

Bu grubun konuşma terapisi veya diğer akıl sağlığı hizmetlerini alma ihtimalleri yüzde 186, antidepresan reçetesi yazılma olasılıkları yüzde 463, yatıştırıcı ya da kaygı giderici ilaç reçetesi alma ihtimalleri de yüzde 160 daha fazla.

Independent Türkçe,independent.co.uk/news

ChatGPT ne zaman halüsinasyona kapılır?