Yeni bir araç, yapay zekaların ne zaman "halüsinasyon" gördüğünü, yani gerçekleri uydurduğunu bulmasını sağlayabilir. Bu halihazırda büyük dil modellerine (LLM'lere) güvenirken karşı karşıya kalınan büyük bir tehlike.
ChatGPT ve benzeri araçların temelini oluşturan LLM'ler, gerçeklerden ziyade dil üretmek üzere inşa edilmiştir. Bu da sık sık "halüsinasyonlar" üretebilecekleri anlamına gelir; yani kendinden emin bir şekilde ifade edilen ve makul görünen ancak aslında gerçekle hiçbir ilişkisi olmayan iddialarda bulunurlar.
Bu sorunu çözmenin zor olduğu anlaşılmıştı, çünkü kısmen yeni sistemler böylesine makul görünen metinler üretiyor. Ancak bu aynı zamanda teknolojiyi geniş bir uygulama yelpazesinde kullanma umudunun da merkezinde yer alıyor, çünkü insanların sistemlerin ürettiği her metnin doğru ve güvenilir olduğuna güvenebilmeleri gerek.
Yeni yöntem, bilim insanlarının LLM'ler yanlış ve keyfi metin ürettiğinde "masa uydurma" diye adlandırdıkları şeyi bulmasını sağlıyor. LLM'ler bunu genellikle bir soruyu yanıtlayacak bilgiye sahip olmadığında yapıyor.
Bu, asıl LLM'nin çalışmasını kontrol etmek için başka bir LLM ve ardından bu çalışmayı değerlendiren başka bir LLM kullanılarak yapılıyor. Çalışmaya dahil olmayan bir araştırmacı bunu "ateşe ateşle karşılık vermek" diye tanımladı ve LLM'lerin kendilerini kontrol etmenin önemli bir parçası olabileceğini öne sürdü.
Çalışma kelimelerin kendilerine değil anlamlarına odaklanıyor. Araştırmacılar sistemin kontrol edilmesi gereken çıktılarını, ifadelerinin diğer anlamı ima edip etmediğine karar veren ve esasen yorumlamayı arayan başka bir sisteme gönderiyordu.
Bu yorumlamalar daha sonra asıl sistemin çıktısının güvenilir olma olasılığını anlamak için kullanılabiliyordu. Araştırma, bu çalışmayı değerlendiren üçüncü bir LLM'nin, bir kişinin yaptığıyla aşağı yukarı aynı sonuçlara ulaştığını gösterdi.
Sistem, LLM'leri daha güvenilir hale getirmek ve dolayısıyla daha geniş bir görev yelpazesinde ve daha önemli ortamlarda kullanılabilmek açısından değerli olabilir. Ancak bilim insanları bunun başka tehlikeleri de beraberinde getirebileceği uyarısını yaptı.
Melbourne Üniversitesi'nden Karin Verspoor çalışmaya ek bir makalede, LLM'leri bu amaçla kullanmaya devam ettikçe, "araştırmacıların bu yaklaşımın LLM'lerin çıktısını gerçekten kontrol edip etmediği ya da halüsinasyonlara ve öngörülemeyen hatalara eğilimli birden fazla sistemi katmanlaştırarak yangını istemeden körükleyip körüklemediği meselesiyle uğraşması gerekecek" diye yazdı.
Çalışma, Nature akademik dergisinde yayımlanan "Detecting hallucinations in large language models using semantic entropy" (Büyük dil modellerindeki halüsinasyonları semantik entropiyle saptamak) başlıklı yeni bir makalede anlatılıyor.
Independent Türkçe
Android kafa ağzını açma ve esneme davranışı sergiliyor (Aline Sardin-Damasso/Mona)