Yapay zekanın sınav başarısı eğitimcileri yeni arayışlara yöneltti

"Durum giderek daha da zorlaşacak. Eğitim sistemini tepeden tırnağa yeniden düşünme zamanı"

Bu görsel, yazılı komutlardan görseller üreten yapay zeka algoritması Midjourney'de oluşturuldu (Independent Türkçe / Midjoruney)
Bu görsel, yazılı komutlardan görseller üreten yapay zeka algoritması Midjourney'de oluşturuldu (Independent Türkçe / Midjoruney)
TT

Yapay zekanın sınav başarısı eğitimcileri yeni arayışlara yöneltti

Bu görsel, yazılı komutlardan görseller üreten yapay zeka algoritması Midjourney'de oluşturuldu (Independent Türkçe / Midjoruney)
Bu görsel, yazılı komutlardan görseller üreten yapay zeka algoritması Midjourney'de oluşturuldu (Independent Türkçe / Midjoruney)

Çevirmenleri, yazarları ve tasarımcıları "işsiz bırakacağından" korkulan ChatGPT, her geçen gün el artırıyor ve tartışmanın içine farklı meslek gruplarını çekiyor.
ABD merkezli OpenAI firmasının geliştirdiği sohbet botu, yakın zamanda yapılan denemelerde prestijli hukuk, işletme ve hatta tıp sınavlarının birçok bölümünü geçmeyi başardı.
Son yılların en ses getiren yapay zeka araçlarından biri olan ChatGPT'nin yazdıkları halihazırda insanların yazdıklarından ayırt edilemez durumdaydı.
Öte yandan, sohbet botunun dünyanın dört bir yanında kabul gören zorlu sınavlarda başarı göstermesi, bazı uzmanlara göre, eğitim sisteminin gözden geçirilmesi gerekliliğini de doğurdu.

Geleceğin "iş insanları" makineler mi olacak?
ABD'nin en eski ve prestijli kurumlarından biri olan Pensilvanya Üniversitesi Wharton İşletme Okulu'ndan Prof. Dr. Christian Terwiesch, geçen hafta, ChatGPT'yle büyük yankı uyandıran bir deney yaptı.
Wharton'ın bitirme sınavına sokulan sohbet botunun en önemli bölümleri başarıyla tamamladığı görüldü.
Terwiesch, yaptığı deneyin sonuçlarını "Chat GPT3 Wharton MBA Derecesi Alır mı?" başlıklı makalesinde özetledi.
Açılımı "Master of Business Administration" (İşletme Yönetimi Yüksek Lisansı) olan MBA programları, iş insanlarına yönelik lisansüstü eğitim veren kurumları ifade ediyor.
Wharton da 142 yıllık tarihi boyunca birçok ünlü ismi ve iş insanını mezun etti. Bu kişiler arasında Donald Trump, Elon Musk ve yatırımcı Warren Buffet da yer alıyor.
Terwiesch'in yayımladığı makaleye göre, ChatGPT, özellikle operasyon yönetimi dersinde birçok öğrenciden daha iyi performans gösterdi. Operasyon yönetiminin, MBA programlarının en temel ve gerekli derslerinden olduğu biliniyor.

"Eğitim sisteminin gözden geçirilmesi gerekiyor"
Terwiesch, "ChatGPT, testlerden B ve B- arasında notlar aldı. Bunun işletme eğitimi için önemli etkileri olacak" ifadelerini kullandı.
Harf sisteminde en yüksek notun A olduğu düşünülürse sohbet botunun bu testlerde en yüksek ikinci notu aldığı anlaşılıyor.
Independent Türkçe'nin özel haberine göre, Michigan Üniversitesi Ross İşletme Okulu'ndan Prof. Dr. Jerry Davis, pazartesi günü meslektaşının bu deneyini tartışmak üzere fakültede bir toplantı düzenledi.
"Ben alarm zillerini çalanlardan biriyim" diyen Davis, Financial Times'a verdiği röportajda şu ifadeleri kullandı:
"Durum giderek daha da zorlaşacak. Eğitim sistemini tepeden tırnağa yeniden düşünme zamanı."

Geliştirilen araçlar işe yaramadı: Yazdığı makaleler ayırt edilemiyor
ChatGPT'nin arkasında, OpenAI'ın 2020'den beri üzerinde çalıştığı yapay zeka dil modeli GPT-3 var.
GPT-3, verileri işlemesini sağlayan 175 milyar parametreye sahip. Bu da onu şimdiye dek piyasaya sürülen en büyük dil modeli haline getiriyor. İkinci sırada ise Microsoft'un GPT-3'ten hemen önce tanıttığı Turing NLG adlı model geliyor. Bu da 17 milyar parametreye sahip.
GPT-3, 2021'den beri ABD'deki kullanıcılara açıktı. Bu yüzden öğrencilerin ödevlerini ve sınavlarını yapay zeka sayesinde geçtiğine dair haberler ChatGPT'nin yayımlanmasından önce gelmeye başlamıştı.
Ancak geçen yıl sonunda ChatGPT'nin de tüm dünyadan kullanıcılara açılması, bu haberleri de çoğalttı ve hızlandırdı. Böylece akademi camiası, yapay zekaya yazdırılan makalelerin nasıl tespit edilebileceğini tartışmaya başladı.
Son aftalarda ChatGPT'de yazılan yazıları tespit etmek, hilelerin ve intihallerin önüne geçmek üzere yeni araçlar da geliştiriliyor.
Örneğin, Princeton Üniversitesi bilgisayar bilimleri öğrencisi Edward Tian, bu amaçla GPTZero adlı bir başka yapay zeka algoritması geliştirmişti. Ancak yapılan denemeler, bu aracın da yeterince güvenilir sonuç vermediğini ortaya çıkarmıştı.

Öğrencilerden daha iyi olduğu için tespit etmek mümkün olabilir
Öte yandan, bu süreçte bazı akademisyenler, kendi öngörü yeteneklerine dayanarak birçok hileyi tespit etmeyi başardı. Örneğin Kuzey Michigan Üniversitesi'nden felsefe profesörü Antony Aumann, burka yasaklarıyla ilgili şüphe uyandıracak kadar tutarlı ve iyi yazılmış bir ödevin ChatGPT tarafından üretildiğini fark edebildi.
Aumann şüphelendiği makaleyi öğrenciye yeniden yazdırdı. Bunun ardından öğrenci, makaleyi yapay zekaya yazdırdığını itiraf etti.
Bazı akademisyenlere göre, en azından şimdilik ChatGPT'yi tespit etmenin tek yolu, akademisyenlerin hisleri. Zira yapay zeka çıktısı "makaleler fazla iyi yazılabiliyor".
Kadir Has Üniversitesi'nde Akademik İngilizce alanında dersler veren öğretim görevlisi Turgay Bayındır, ChatGPT'ye yazdırdığımız bir 5 paragraflık bir İngilizce makaleyi yorumlarken şöyle söylemişti:
"Bu aslında eksiği olmayan bir essay. İngilizcesi de çok iyi. Ama benim aklıma en azından ana dili İngilizce olmayan birinin bunu yazamayacağı geliyor."

Üniversitede yasaklar dönemi: Sözlü sınavlara dönüş başlayabilir
Londra'daki Imperial College İşletme Okulu'nun dekanı Francisco Veloso, "ChatGPT'den kurtulmak için" ciddi çalışmalar yaptıklarını söylüyor. Financial Times'a konuşan Francisco, yakında bununla ilgili politikalar geliştireceklerini belirtti:
El yazısı çalışmalara geri dönebiliriz. Bunun yanı sıra daha fazla sözlü sınava ve sınıf içi çalışmaya başvurabiliriz.
Bu arada sohbet botu ABD'nin New York kentindeki okullarda yasaklandı. Okullardaki internet bağlantılarında ve cihazlarda ChatGPT'ye erişim önceki haftalarda engellendi.
Yetkililer botun yanlış bilgi verebileceğini ve kopya için kullanılabileceğini, bu sebeple öğrencilerin eğitimine zarar vermesinden endişelendiklerini savunuyor.

Dil modellerinin "matematiği çok kötü"
Wharton'da yapılan deneyde aslında ChatGPT gibi araçların önemli bir açığı ortaya çıkarıldı.
Prof. Dr. Terwiesch,ChatGPT'nin operasyon yönetimi ve süreç analiziyle ilgili sorulara doğru ve analitik cevaplar verdiğini kanıtlamış olsa da, sohbet botunun sayısal becerilerinin çok sınırlı olduğu sonucuna vardı. Bu yüzden botun muhasebe sınavlarını geçmesi mümkün olmayabilir.
"Kelimelerin güzelliği karşısında şaşkına döndüm; özlü kelime seçimi, yapı… Bunlar kesinlikle harikaydı" diyen akademisyen, şöyle ekledi:
"Ama matematik çok korkunçtu. Dil ve sezgi doğru, fakat görece basit bir ortaokul matematiğini bile yapamamıştı."
Yapay zeka dil modellerinin matematikle imtihanını gündeme taşıyan bir diğer gelişme de gazetecilik alanında yaşanmıştı.
Önceki haftalarda, teknoloji sitesi CNET'in bir süredir gizlice yapay zeka yazımı haberler yayımladığı ortaya çıkmıştı. Dahası bu haberlerin yanlış bilgiler içerdiği tespit edilmişti.
Özellikle ekonomi haberlerindeki faiz hesapları fazla abartılıydı ve okuru yanlış yatırıma yönlendirme potansiyeline sahipti.
Bu durum, yapay zeka araçlarının matematikle ilgili bir sorunu olduğu fikrini doğururken, CNET de haberlere "Yapay zeka tarafından yazılmıştır" uyarısı eklemeye ve yanlışlıkları düzeltmeye başladı.

ABD'deki Tıbbi Lisans Sınavı'nda da iyi performans gösterdi
ChatGPT'nin matematiği kötü ama biyoloji bilgisi için aynı şey söylenemiyor. Zira sohbet botu ABD'deki Tıbbi Lisans Sınavı'nda da birçok bölümü geçmeyi başardı.
Ülkedeki tüm tıp fakültesi mezunları, lisans sahibi olmak ve çalışmaya başlamak için üç bölümden oluşan bu sınavı vermek zorunda.
ChatGPT'yi bu sınava tabi tutan bir grup araştırmacı, botun bazı testlerde sınavı geçme eşiğine ulaştığını, bazı testlerde de bu eşiğe çok yaklaştığını duyurdu.
Öte yandan bu durum, tıp dünyasını alarma geçirmiş gibi görünmüyor. Hatta bazı uzmanlar bu gelişmelerden memnuniyet duyuyor. Buna göre, ChatGPT gibi büyük dil modelleri, doktorlara karar verme sürecinde yardımcı olma potansiyeline sahip.
Örneğin, Ansible Health adlı bir klinikteki doktorlar, hastaların durumlarını daha iyi anlamak için karmaşık tıbbi raporları basitleştirmek gibi görevlerde ChatGPT'yi denemeye şimdiden başladı.

Google'ın yapay zekasının tıp bilgisi doktorlarla aynı seviyede
Bu arada OpenAI'ın en büyük rakiplerinden Google'ın geliştirdiği yapay zeka araçları da özellikle tıp alanında adından sıkça söz ettiriyor.
Şirketin sıkça sorulan tıbbi soruları yanıtlaması için geliştirdiği Med-PaLM adlı sohbet aracının cevaplarıyla doktorların yanıtları hemen hemen aynı oranda doğru çıktı.
Sohbet botuna sorular yönelten bir grup araştırmacı, gelen yanıtların yüzde 92,6’sının doğru olduğunu kaydetti. Aynı sorular bir de doktorlara yöneltilince onlardan gelen yanıtların da yüzde 92,9 oranında tatmin edici olduğu görüldü.

Bilimsel makalelerde yazar olmaya başladı
Bilim dünyasının önemli bir bölümü ChatGPT gibi dil algoritmalarını kabullenmeye şimdiden hazır. Bilimsel dergi editörleri, araştırmacılar ve yayıncılar artık bu tür araçları yazar olarak kabul etmenin ve onlardan alıntı yapmanın uygun olup olmadığını tartışıyor.
İsveçli araştırmacı Almira Osmanoviç Thunstrom, Temmuz 2022'de  GPT-3'le ilgili bir akademik makale hazırlamıştı. Hakem onayına sunulan makalede GPT-3'ün kendisi de yazar olarak yer almıştı. Öte yandan, "GPT-3, asgari düzeyde insan girdisiyle kendi başına akademik bir makale yazabilir mi?" başlıklı makale halen hakem onayından geçmedi.
Nurse Education in Practice adı bilimsel dergide bu ay yayımlanan bir başyazıda da ChatGPT'nin, Birleşik Krallık Manchester Üniversitesi'nden Siobhan O'Connor'la birlikte ortak yazar olduğu görüldü. Ancak derginin baş editörü Roger Watson, bu durumun gözden kaçtığını ve yakında düzeltileceğini açıkladı.
Bunun yanı sıra Hong Kong merkezli ilaç keşif şirketi Insilico Medicine'in CEO'su Alex Zhavoronkov da ChatGPT'yi geçen ay Oncoscience adlı bilimsel dergide yayınlanan bir makalenin ortak yazarı olarak gösterdi. Zhavoronkov, ChatGPT'nin önceki nesil yapay zeka araçlarından çok daha iyi yazdığını belirtiyor.
Bu konuda yayıncılar ve bilim insanları arasında çetin bir tartışma yürüyor. Zira birçok yayıncı, yapay zeka araçlarının yazar olarak görülemeyeceği ve hatta intihal sayılabileceği görüşünde.
Prestijli akademik dergi Science'ın genel yayın yönetmeni Holden Thorp, "Yapay zekanın yayınladığımız bir makalede yazar olarak yer almasına izin vermeyiz" diyor:
"Yapay zeka tarafından üretilen metnin uygun alıntı yapılmadan kullanılması intihal olarak kabul edilir."

Yapay zekalı avukatlara hazır olun
Yapay zeka tartışmasının önemli bir ayağını da hukukçular yürütüyor. Çünkü davaların açılması ve işleme konması gibi işlemlerde yapay zeka teknolojisi bir süredir kullanılıyor. Hatta Çin'in başkenti Pekin'de internet mahkemeleri ve bahsi geçen süreçlerle ilgilenen bir sanal hakim bile var.
Bu arada yapay zeka, ABD'de şubat ayında görülecek bir trafik cezası davasında tarihte ilk kez sanık avukatı olmaya hazırlanıyor. Sanığa duruşma sırasında kulaklık aracılığıyla danışmanlık yapması beklenen araç, mahkemedeki argümanları dinleyecek ve sanığın verebileceği en iyi cevapları analiz edecek. Akıllı telefon üzerinde çalışan teknoloji, sanığın kimliğini gizli tutan DoNotPay adlı bir teknoloji girişimi tarafından tasarlandı.
Teknoloji meraklıları heyecanla bu davanın sonucunu beklerken, uzmanlık yelpazesini genişleten ChatGPT de ABD'deki Baro Sınavı'nın çoktan seçmeli kısmını geçmeyi başardı.
Baro Sınavı, hukuk fakültesi mezunlarının mesleklerini resmen icra edebilmeleri için geçmeleri gereken, üç bölümlü bir sınav. ChatGPT bu sınavın MBE adı verilen ilk bölümünde yüzde 50 başarı elde etti.

ChatGPT'nin rakibi de hukuk ve ekonomi sınavlarından geçer not aldı
Hukuk ve ekonomi sınavlarında önemli dereceler elde eden tek yapay zeka aracı ChatGPT de değil.
Araştırma firması Anthropic'in geliştirdiği Claude AI, sınavı cevaplayanın ismine bakılmadan not verilen bir hukuk ve ekonomi sınavında "ucu ucuna geçer not" alırken, sınavı değerlendirenler bunun "birçok insan adaydan daha iyi" olduğunu söylüyor.
Dikkat çeken deneme, George Mason Üniversitesi'nde yapıldı. Ancak öğretim üyesi Alex Tabarrok, Claude AI'ın en iyi insan öğrencilere kıyasla kayda değer kusurları olduğunu belirtiyor.

GPT-4 karşısında ne yapacağız?
Kısa süre önce Microsoft'la 10 milyar dolarlık anlaşmaya imza atan OpenAI, halihazırda GPT-4 adını verdiği yeni sürüm üzerinde çalışıyor.
ChatGPT'yle ilgili eleştirileri ve geri bildirimleri toplayan firma, GPT-4'ü geliştirirken bunları da göz önüne aldıklarını belirtiyor.
Bu arada GPT-3 karşısında bile dehşete düşmüş olan akademi camiasının, GPT-4 karşısında ne yapacağı da merak konusu.
OpenAI CEO'su Sam Altman ise, GPT-4'ten korkmanın yersiz olduğunu ima ediyor:
"İnsanlar hayal kırıklığına uğramak için yalvarıyor ve uğrayacaklar da. Yapay Genel Zeka seviyesine ulaşmadık ama bizden bekledikleri bu."
Yapay genel zeka (YGZ), bir insanın yapabileceği herhangi bir zihinsel görevi başarıyla gerçekleştirebilecek varsayımsal makineler için kullanılan bir niteleme.
Önde gelen yapay zeka araştırmacıları, YGZ'nin ortaya çıkmasının insanlık için varoluşsal bir felaketle sonuçlanabileceğini düşünüyor.
 
Yararlanılan kaynaklar: Financial Times, Livemint, Futurism, VICE News, The Verge, Nature, StrictlyVC



Google tarih vererek uyardı: Tüm şifreler tehlikeye girecek

Kuantum bilgisayarlar, klasik bilgisayarların aksine 0 ve 1 (bit) yerine, aynı anda her ikisi olabilen kübit (kuantum bit) birimlerini kullanıyor (Reuters)
Kuantum bilgisayarlar, klasik bilgisayarların aksine 0 ve 1 (bit) yerine, aynı anda her ikisi olabilen kübit (kuantum bit) birimlerini kullanıyor (Reuters)
TT

Google tarih vererek uyardı: Tüm şifreler tehlikeye girecek

Kuantum bilgisayarlar, klasik bilgisayarların aksine 0 ve 1 (bit) yerine, aynı anda her ikisi olabilen kübit (kuantum bit) birimlerini kullanıyor (Reuters)
Kuantum bilgisayarlar, klasik bilgisayarların aksine 0 ve 1 (bit) yerine, aynı anda her ikisi olabilen kübit (kuantum bit) birimlerini kullanıyor (Reuters)

Google, kuantum bilgisayarların 2029'a kadar şifreli sistemleri ele geçirebileceği uyarısında bulundu.

Alphabet'in sahibi olduğu şirketin internet sitesindeki blog paylaşımında, kuantum bilgisayarların 2020'lerin sonuna kadar "mevcut şifreleme standartları için ciddi bir tehdit oluşturacağı" belirtildi.

Teknoloji devinin çarşamba günkü paylaşımında şu ifadelere yer verildi:

Bilgilerin gizli ve güvenli tutulması için kullanılan mevcut şifreleme sistemleri, önümüzdeki yıllarda büyük ölçekli bir kuantum bilgisayar tarafından kolayca kırılabilir. Kuantum bilgisayarlar mevcut şifreleme standartları, özellikle de dijital imzalar için ciddi bir tehdit oluşturacak.

Banka, devlet ve teknoloji hizmeti sağlayıcılarının kuantum bilgisayar korsanlarına karşı hazırlıklı olması gerektiği de vurgulandı.

Google, kendi şifreleme ve güvenlik sistemlerinin de bu tehditlere karşı güncellediğini bildirdi.

Cambridge merkezli kuantum teknolojisi şirketi Riverlane'in eski ürün geliştirme direktörü Leonie Mueck, depolanan gizli bilgilerin kuantum bilgisayar saldırılarına karşı korunabilmesi için uzun süredir çalışıldığını belirtiyor:

İstihbarat camiasında muhtemelen 10 yıldan fazladır bu tehdide karşı çalışmalar yapıldığını görüyoruz. Bugün gizli olarak sınıflandırılan belgelerin, 10 yıl sonra bir kuantum bilgisayarın şifresini çözemeyeceği şekilde depolanması gerekir.

Birleşik Krallık'ın (BK) siber güvenlik kurumu Ulusal Siber Güvenlik Merkezi'nden geçen yıl yapılan açıklamada, kuruluşların 2035'e kadar sistemlerini kuantum bilgisayar korsanlarına karşı daha güvenli hale getirmesi istenmişti.

BK ve ABD'deki üniversiteler, kuantum bilgisayarları son derece karmaşık matematiksel hesaplamalar yapmak için kullanıyor.

Ancak uzmanlara göre, kuantum mekaniğinin ilkeleriyle çalışan bu sistemlerin gelişmesiyle bilinen şifreleme modelleri de tehlikeye girebilir.

Teknoloji camiasında "Q Günü" diye de adlandırılan bu senaryoda, kuantum bilgisayarların mevcut tüm şifreleme sistemlerini aşarak kapsamlı siber saldırılarla küresel çapta felakete yol açabileceği öngörülüyor.

Independent Türkçe, Guardian, Gizmodo


Yapay zeka güvenliğinde çığır açan gelişme: Nöron dondurma

Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
TT

Yapay zeka güvenliğinde çığır açan gelişme: Nöron dondurma

Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)

Yapay zeka araştırmacıları, ChatGPT ve diğer popüler sohbet botlarını daha güvenli hale getirmek için yenilikçi bir teknik geliştirdi.

"Nöron dondurma" adı verilen bu yöntem, kullanıcıların yapay zeka araçlarının temelindeki büyük dil modellerine (BDM) yerleştirilen güvenlik filtrelerini atlatmasını engelliyor.

Bu BDM'ler halihazırda güvenliği, bir yanıt oluşturmaya başlarken ikili bir kontrol noktası olarak ele alıyor; bir sorgu güvenli görünüyorsa yapay zeka devam ediyor ancak tehlikeli görünüyorsa yanıt vermeyi reddediyor.

Kullanıcılar, zararlı komutları farklı bağlamlarda sunarak bu kontrolleri atlatmanın yollarını bulmayı başarıyor. Örneğin geçen yıl yapılan bir araştırma, kötü niyetli bir komutun şiir biçiminde yeniden yazılmasıyla yapay zeka güvenlik önlemlerinin atlatılabileceğini saptamıştı.

Bu atlatma yöntemlerinin düzeltilmesi için aracın yeniden eğitilmesi veya tek tek yamalar yapılması gerekiyor ancak yeni araştırma, kötüye kullanımı önlemek için etik sınırları BDM'lere kalıcı olarak kodlamanın yolunu sunuyor.

North Carolina Eyalet Üniversitesi'nden bir ekibin geliştirdiği çığır açıcı yöntem, sinir ağı içindeki güvenlik açısından kritik öneme sahip belirli "nöronları" tespit edip kullanıcı görevi nasıl tanımlarsa tanımlasın, modelin güvenlik özelliklerini koruyacak şekilde bu nöronları sabitlemeyi içeriyor.

North Carolina Eyalet Üniversitesi'nden araştırmayı yöneten doktora öğrencisi Jianwei Li, "Bu çalışmadaki amacımız, mevcut güvenlik uyumu sorunlarını daha iyi anlayarak BDM'ler için yüzeysel olmayan bir güvenlik uyumunun nasıl uygulanacağına dair yeni bir rota çizmekti" diyor.

İnce ayar sürecinde belirli nöronları 'dondurmanın', modelin spesifik bir alandaki yeni görevlere adapte olurken orijinal modelin güvenlik özelliklerini korumasına olanak tanıdığını tespit ettik.

North Carolina Eyalet Üniversitesi'nde bilgisayar bilimi alanında yardımcı doçent olan Jung-Eun Kim şöyle ekliyor: 

Buradaki genel tablo şu: BDM'lerde güvenlik uyumuyla ilgili zorlukları anlamada kavramsal bir çerçeve görevi gören bir hipotez geliştirdik, bu çerçeveyi kullanarak bu zorluklardan birini çözmemizi sağlayacak bir teknik belirledik ve ardından bu tekniğin işe yaradığını gösterdik.

Araştırmacılar, bu çalışmanın yapay zeka modellerinin yanıt üretirken akıl yürütmelerinin güvenli olup olmadığını sürekli değerlendirebilmesini sağlayacak yeni tekniklerin geliştirilmesine temel oluşturmasını umuyor.

Bu çığır açıcı gelişme, gelecek ay Brezilya'da düzenlenecek 14. Uluslararası Öğrenme Temsilleri Konferansı'nda (ICLR2026) sunulacak "Superficial safety alignment hypothesis" (Yüzeysel güvenlik uyumu hipotezi) başlıklı makalede detaylandırılıyor.

Independent Türkçe


Yapay zeka güvenliğinde çığır açan gelişme: "Nöron dondurma"

Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
TT

Yapay zeka güvenliğinde çığır açan gelişme: "Nöron dondurma"

Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)

Yapay zeka araştırmacıları, ChatGPT ve diğer popüler sohbet botlarını daha güvenli hale getirmek için yenilikçi bir teknik geliştirdi.

"Nöron dondurma" adı verilen bu yöntem, kullanıcıların yapay zeka araçlarının temelindeki büyük dil modellerine (BDM) yerleştirilen güvenlik filtrelerini atlatmasını engelliyor.

Bu BDM'ler halihazırda güvenliği, bir yanıt oluşturmaya başlarken ikili bir kontrol noktası olarak ele alıyor; bir sorgu güvenli görünüyorsa yapay zeka devam ediyor ancak tehlikeli görünüyorsa yanıt vermeyi reddediyor.

Kullanıcılar, zararlı komutları farklı bağlamlarda sunarak bu kontrolleri atlatmanın yollarını bulmayı başarıyor. Örneğin geçen yıl yapılan bir araştırma, kötü niyetli bir komutun şiir biçiminde yeniden yazılmasıyla yapay zeka güvenlik önlemlerinin atlatılabileceğini saptamıştı.

Bu atlatma yöntemlerinin düzeltilmesi için aracın yeniden eğitilmesi veya tek tek yamalar yapılması gerekiyor ancak yeni araştırma, kötüye kullanımı önlemek için etik sınırları BDM'lere kalıcı olarak kodlamanın yolunu sunuyor.

North Carolina Eyalet Üniversitesi'nden bir ekibin geliştirdiği çığır açıcı yöntem, sinir ağı içindeki güvenlik açısından kritik öneme sahip belirli "nöronları" tespit edip kullanıcı görevi nasıl tanımlarsa tanımlasın, modelin güvenlik özelliklerini koruyacak şekilde bu nöronları sabitlemeyi içeriyor.

North Carolina Eyalet Üniversitesi'nden araştırmayı yöneten doktora öğrencisi Jianwei Li, "Bu çalışmadaki amacımız, mevcut güvenlik uyumu sorunlarını daha iyi anlayarak BDM'ler için yüzeysel olmayan bir güvenlik uyumunun nasıl uygulanacağına dair yeni bir rota çizmekti" diyor.

İnce ayar sürecinde belirli nöronları 'dondurmanın', modelin spesifik bir alandaki yeni görevlere adapte olurken orijinal modelin güvenlik özelliklerini korumasına olanak tanıdığını tespit ettik.

North Carolina Eyalet Üniversitesi'nde bilgisayar bilimi alanında yardımcı doçent olan Jung-Eun Kim şöyle ekliyor: 

Buradaki genel tablo şu: BDM'lerde güvenlik uyumuyla ilgili zorlukları anlamada kavramsal bir çerçeve görevi gören bir hipotez geliştirdik, bu çerçeveyi kullanarak bu zorluklardan birini çözmemizi sağlayacak bir teknik belirledik ve ardından bu tekniğin işe yaradığını gösterdik.

Araştırmacılar, bu çalışmanın yapay zeka modellerinin yanıt üretirken akıl yürütmelerinin güvenli olup olmadığını sürekli değerlendirebilmesini sağlayacak yeni tekniklerin geliştirilmesine temel oluşturmasını umuyor.

Bu çığır açıcı gelişme, gelecek ay Brezilya'da düzenlenecek 14. Uluslararası Öğrenme Temsilleri Konferansı'nda (ICLR2026) sunulacak "Superficial safety alignment hypothesis" (Yüzeysel güvenlik uyumu hipotezi) başlıklı makalede detaylandırılıyor.

Independent Türkçe