OpenAI'ın "gizli projesi" Q* ne kadar tehlikeli?

"Yapay zekada büyük bir atılım"

Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
TT

OpenAI'ın "gizli projesi" Q* ne kadar tehlikeli?

Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)

Dünyanın önde gelen yapay zeka şirketlerinden OpenAI'ın kurucu ortağı Sam Altman'ın yönetim kurulu tarafından kovulmasıyla başlayan ve 5 gün sonra görevine dönmesiyle sona eren kaos şüphe, spekülasyon ve endişe dalgasına neden oldu.

Bunların başında da yapay zeka firmasının "tehlikeli bir icat" yaptığı iddiası geliyor.

Reuters'ın 23 Kasım'da yayımladığı ve isimsiz bir kaynağa dayandırdığı haberinde şirkette Q* adlı üstün bir yapay zekanın geliştirildiği öne sürülmüştü.

Adı verilmeyen kaynak, "Yeni model belirli matematik problemlerini çözmeyi başardı" demişti. Öte yandan bu matematik problemlerinin yalnızca ilkokul öğrencileri düzeyinde olduğu belirtilmişti. 

Reuters ayrıca bazı araştırmacıların, Altman'ı ihraç eden yönetim kurulu üyelerine Q*'nun potansiyel tehlikelerini dile getiren bir mektup gönderdiğini yazmıştı.

The Information'ın da isimsiz bir kaynağa dayandırdığı bir diğer habere göre, Q* "çok daha güçlü yapay zeka modellerine" olanak tanıyacak bir atılım olarak görülüyor.

Ancak aynı zamanda yeni yapay zeka araçlarının geliştirilme hızının güvenliğe odaklanan bazı araştırmacıları alarma geçirdiği söyleniyor.

Altman ise 30 Kasım'da The Verge'e verdiği röportajda iddiaları yalanlamamıştı.

Q* ne olabilir?

Analistler, bahsi geçen yeni aracın OpenAI'ın mayısta duyurduğu ve "süreç denetimi" (process supervision) adı verilen teknik sayesinde daha iyi sonuçlar elde edildiğini iddia eden bir projeyle ilgili olabileceğini düşünüyor.

Projede OpenAI'ın baş bilim adamı ve kurucu ortağı Ilya Sutskever'ın da aktif rol aldığı söyleniyor. Sutskever, başlangıçta Altman'ın görevden alınması yönünde oy kullanan yönetim kurulu üyelerinden biriydi. Ancak daha sonra bu konuda geri adım atmış ve pişman olduğunu söylemişti.

Şimdiye kadar edinilen bilgiler, araştırmacının Q* üzerinde çalışmaya öncülük ettiğini gösteriyor.

Mayısta duyurulan proje, ChatGPT'nin de aralarında yer aldığı büyük dil modellerinin (LLM'ler) yaptığı mantıksal hataların azaltılmasına odaklanıyor.

Hem Google hem de Baidu'da yapay zeka laboratuvarlarını yöneten ve Coursera'daki dersleri aracılığıyla birçok insanı makine öğrenimiyle tanıştıran Stanford Üniversitesi profesörü Andrew Ng'e göre bu, büyük dil modellerini geliştirmenin ve daha kullanışlı hale getirmenin bir sonraki adımı.

Ng, "LLM'ler matematikte o kadar iyi değil ama insanlar da iyi sayılmaz" diyor:

Ancak bana bir kalem ve kağıt verirseniz, o zaman çarpma işlemini çok daha iyi yaparım.

Q-öğrenmeye gönderme mi yapılıyor?

Diğer yandan Q*'nun ne olabileceğine dair başka ipuçları da var. Nitekim bu ismin pekiştirmeli bir öğrenme algoritması olan Q-öğrenmeye (Q-learning) gönderme olabileceği düşünülüyor.

Oyun oynayan botlar oluşturmak ve ChatGPT'yi daha yararlı olacak şekilde ayarlamak için de kullanılan sistem, olumlu veya olumsuz geri bildirimler yoluyla bir sorunu çözmeyi öğrenen algoritmayı içeriyor.

Bazı uzmanlarsa ismin aynı zamanda bir programın hedefe giden en uygun yolu bulmasını sağlamak için yaygın kullanılan A* arama algoritmasıyla da ilişkili olabileceğini öne sürüyor.

The Information'ın haberinde de konuyla ilgili bir başka ipucu yer alıyor:

Sutskever'ın atılımı, OpenAI'ın yeni modelleri eğitmek için yüksek kaliteli veri elde etmenin önündeki engellerin üstesinden gelmesine olanak sağladı. Araştırma, yeni modelleri eğitmek için internetten alınan metin veya görsel gibi gerçek dünya verileri yerine bilgisayar tarafından oluşturulan verilerin kullanılmasını içeriyordu.

Yapay zekanın bilgisayar tarafından üretilen verilerle eğitilmesi sıklıkla gündeme gelen bir konu. Bunlara "sentetik eğitim verileri" deniyor ve daha güçlü yapay zeka modellerinin geliştirilmesini sağlayacağı düşünülüyor.

Bu yöntemler ChatGPT'yi matematik bilmecelerinde daha iyi hale getirse de yapay zeka sistemlerinin insan kontrolünden çok yakında çıkabileceği anlamına gelmiyor.

Öte yandan OpenAI, Q*'yla ilgili yorum yapmayı halen reddediyor. 

Independent Türkçe



Yapay zeka güvenliğinde çığır açan gelişme: "Nöron dondurma"

Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
TT

Yapay zeka güvenliğinde çığır açan gelişme: "Nöron dondurma"

Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)
Araştırmacılar, OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi uygulamalara güç veren büyük dil modelleri için yeni bir güvenlik önlemi yöntemi keşfetti (Unsplash)

Yapay zeka araştırmacıları, ChatGPT ve diğer popüler sohbet botlarını daha güvenli hale getirmek için yenilikçi bir teknik geliştirdi.

"Nöron dondurma" adı verilen bu yöntem, kullanıcıların yapay zeka araçlarının temelindeki büyük dil modellerine (BDM) yerleştirilen güvenlik filtrelerini atlatmasını engelliyor.

Bu BDM'ler halihazırda güvenliği, bir yanıt oluşturmaya başlarken ikili bir kontrol noktası olarak ele alıyor; bir sorgu güvenli görünüyorsa yapay zeka devam ediyor ancak tehlikeli görünüyorsa yanıt vermeyi reddediyor.

Kullanıcılar, zararlı komutları farklı bağlamlarda sunarak bu kontrolleri atlatmanın yollarını bulmayı başarıyor. Örneğin geçen yıl yapılan bir araştırma, kötü niyetli bir komutun şiir biçiminde yeniden yazılmasıyla yapay zeka güvenlik önlemlerinin atlatılabileceğini saptamıştı.

Bu atlatma yöntemlerinin düzeltilmesi için aracın yeniden eğitilmesi veya tek tek yamalar yapılması gerekiyor ancak yeni araştırma, kötüye kullanımı önlemek için etik sınırları BDM'lere kalıcı olarak kodlamanın yolunu sunuyor.

North Carolina Eyalet Üniversitesi'nden bir ekibin geliştirdiği çığır açıcı yöntem, sinir ağı içindeki güvenlik açısından kritik öneme sahip belirli "nöronları" tespit edip kullanıcı görevi nasıl tanımlarsa tanımlasın, modelin güvenlik özelliklerini koruyacak şekilde bu nöronları sabitlemeyi içeriyor.

North Carolina Eyalet Üniversitesi'nden araştırmayı yöneten doktora öğrencisi Jianwei Li, "Bu çalışmadaki amacımız, mevcut güvenlik uyumu sorunlarını daha iyi anlayarak BDM'ler için yüzeysel olmayan bir güvenlik uyumunun nasıl uygulanacağına dair yeni bir rota çizmekti" diyor.

İnce ayar sürecinde belirli nöronları 'dondurmanın', modelin spesifik bir alandaki yeni görevlere adapte olurken orijinal modelin güvenlik özelliklerini korumasına olanak tanıdığını tespit ettik.

North Carolina Eyalet Üniversitesi'nde bilgisayar bilimi alanında yardımcı doçent olan Jung-Eun Kim şöyle ekliyor: 

Buradaki genel tablo şu: BDM'lerde güvenlik uyumuyla ilgili zorlukları anlamada kavramsal bir çerçeve görevi gören bir hipotez geliştirdik, bu çerçeveyi kullanarak bu zorluklardan birini çözmemizi sağlayacak bir teknik belirledik ve ardından bu tekniğin işe yaradığını gösterdik.

Araştırmacılar, bu çalışmanın yapay zeka modellerinin yanıt üretirken akıl yürütmelerinin güvenli olup olmadığını sürekli değerlendirebilmesini sağlayacak yeni tekniklerin geliştirilmesine temel oluşturmasını umuyor.

Bu çığır açıcı gelişme, gelecek ay Brezilya'da düzenlenecek 14. Uluslararası Öğrenme Temsilleri Konferansı'nda (ICLR2026) sunulacak "Superficial safety alignment hypothesis" (Yüzeysel güvenlik uyumu hipotezi) başlıklı makalede detaylandırılıyor.

Independent Türkçe


NASA, Mars'ta akan suyun en eski kanıtlarından birini buldu

Perseverance, Mars'ta geçirdiği 5 yılda yaklaşık 40 kilometre yol kat etti (NASA)
Perseverance, Mars'ta geçirdiği 5 yılda yaklaşık 40 kilometre yol kat etti (NASA)
TT

NASA, Mars'ta akan suyun en eski kanıtlarından birini buldu

Perseverance, Mars'ta geçirdiği 5 yılda yaklaşık 40 kilometre yol kat etti (NASA)
Perseverance, Mars'ta geçirdiği 5 yılda yaklaşık 40 kilometre yol kat etti (NASA)

NASA'nın keşif aracı Perseverance, Mars'ta bir zamanlar akan su kütleleri olduğuna dair bugüne kadarki en eski kanıtlardan birini buldu.

Su, yaşam için elzem olduğundan bilim insanları Mars'ın geçmişinde bu bileşiği özellikle arıyor. 

Son yıllarda giderek artan bulgular Kızıl Gezegen'in, yaklaşık 4,5 milyar yıllık ömrünün ilk dönemlerinde su ve belki de mikrobiyal yaşama ev sahipliği yaptığına işaret ediyor.

2021'den beri gezegenin Jezero Krateri'nde keşif çalışmaları yürüten Perseverance, yerin altında eski bir deltanın kalıntılarını tespit ederek bu kanıtlara bir yenisini ekledi. 

NASA'nın keşif aracındaki RIMFAX radarı, aşağıya gönderdiği dalgalarla yeraltındaki yapıların haritasını çıkarabiliyor.

Kaliforniya Üniversitesi Los Angeles kampüsünden araştırmacılar, cihazın Eylül 2023 ila Şubat 2024'teki verilerini inceleyerek 35 metre derinlikteki nehir deltasını ortaya çıkardı. RIMFAX daha önce bu kadar derinden veri sunmamıştı.

Bulgular, bir nehrin göl gibi daha büyük bir su kütlesine girdiği yerde oluşan, yelpaze şeklinde geniş bir tortu birikimine işaret ediyor.

rtgrt
RIMFAX, Mars yüzeyinin altındaki nehir sistemini ortaya çıkardı (NASA)

Bilim insanları deltanın yaklaşık 3,7 ila 4,2 milyar yıllık olduğunu tespit etti. Bu yapının yakınlarında, yüzeyde saptanan Batı Deltası isimli oluşum ise 3,5 ila 3,7 milyar yıl önceye tarihlenmişti.

Yeni keşfedilen delta, Mars'ın geçmişinde akan su olduğuna dair en eski kanıtlardan biri.

Bulguları hakemli dergi Science Advances'ta dün (18 Mart) yayımlanan çalışmanın başyazarı Emily Cardarelli şöyle diyor:

RIMFAX'in haritaladığı özelliklerden yola çıkarak Jezero Krateri'nin, Jezero'nun Batı Deltası'nın oluşumundan önce var olan ve biyoimzaların korunmasına elverişli, su açısından zengin eski bir ortama ev sahipliği yaptığına inanıyoruz.

Biyoimza, yaşamın varlığına işaret eden kimyasal veya fiziksel kanıtları ifade ediyor. Çalışma aynı zamanda gezegende yaşamın var olabileceği tarihi de geriye atıyor.

Cardarelli "RIMFAX, bugünkü deltadan daha eski bir yeraltı delta ortamını ortaya çıkardı ve bu, Jezero'daki potansiyel yaşanabilirlik dönemini daha da geriye götürüyor" ifadelerini kullanıyor.

Daha önce NASA'nın hem Perseverance hem de Curiosity araçları, Mars'ta antik yaşamın varlığına güçlü bir şekilde işaret eden bulgular tespit etmişti.

Çin'in Zhurong aracıysa Mars'ta yaklaşık 3,6 milyar yıl önce bir okyanusun yanı sıra "tatil yeri tarzı" plajlar olabileceğini bulmuştu. 

Cardarelli "Zaman içinde çeşitli araçların iniş alanlarında, geçtiğimiz bölgelerde ve yörünge görüntülerinde Mars yüzeyinde sıvı su olduğuna dair giderek daha fazla kanıt gördük. Suyun akmış olabileceği kanalları, bir zamanlar suyun biriktiği krater göllerini ve kaya çıkıntıları olarak biriken ve artık yerin altına gömülü kalıntılar olan delta tortularını bu araştırmayla gördük" diyerek ekliyor:

Mars çeşitliliğe sahip bir gezegen ve her keşif görevi, kayalık komşumuzun gizemli geçmişi ve erken gelişiminin bir başka parçasını ortaya çıkarıyor.

Independent Türkçe, Reuters, IFLScience, Science Advances


Samanyolu'nun komşu galaksisi, uzaya dair anlayışımızı değiştiriyor

Fotoğraf: NASA
Fotoğraf: NASA
TT

Samanyolu'nun komşu galaksisi, uzaya dair anlayışımızı değiştiriyor

Fotoğraf: NASA
Fotoğraf: NASA

Araştırmacılar, bizimkine komşu bir galaksinin beklenmedik şekillerde dönüşüm geçirdiğini ve bunun uzaya bakış açımızı değiştirebileceğini söylüyor.

Samanyolu Galaksisi'nin en yakın komşularından Küçük Macellan Bulutu (KMB), Dünya'dan çıplak gözle görülebiliyor. Adından da anlaşılacağı gibi, yüksek miktarda gazdan meydana gelen bu küçük galaksi, yoldaşı olan Büyük Macellan Bulutu'yla (BMB) birlikte, kütleçekim kuvvetiyle bizim galaksimize bağlı.

Bizimki de dahil bu üç galaksi yüz milyonlarca yıldır birbirleriyle etkileşim halinde. Bu yakın ilişki, KMB'nin en çok incelenen galaksilerden biri olmasına yol açarken gökbilimciler, bu gökadanın yıldızları ve gazına dair ayrıntılı kataloglar oluşturarak nasıl hareket ettiğini anlamaya çalışıyor.

Ancak bu araştırmalar, galaksinin sıradışı yapısı hakkındaki basit bir soruyu yanıtlayamıyordu. Yıldızları, normaldeki gibi merkezinin etrafında dönmüyor ve gökbilimciler bunun nedenini anlamakta zorlanıyor.

Araştırmacılar, bu sıradışı hareketi artık anlamış olabileceklerini düşünüyor. Yeni çalışmayı yürüten gökbilimciler, bunun KMB'yle BMB arasındaki bir çarpışma sonucu gerçekleştiğini öne sürüyor.

Bulgular, bu gizemi açıklamaya yardım etse de uzayın geri kalanını anlamamız üzerinde de sonuçlar doğurabilir çünkü KMB, diğer galaksileri anlamada sıklıkla bir referans noktası olarak kullanılıyor.

Arizona Üniversitesi'nde lisansüstü öğrencisi ve makalenin başyazarı Himansh Rathore, "Bir galaksinin dönüşümünü canlı canlı izliyoruz" diyor. 

KMB, galaksilerin nasıl evrimleştiği açısından kritik önem taşıyan son derece dönüştürücü bir süreci ön sıradan izleme fırsatı sunuyor.

Araştırmacılar KMB'nin, yaklaşık birkaç yüz milyon yıl önce BMB'nin diskine tam ortadan çarptığını düşünüyor. Daha büyük komşunun kütleçekimi, KMB'nin yapısını değiştirerek yıldızlarını rastgele bir harekete soktu ve gazı da KMB'nin gazına baskı uygulayarak rotasyonunu bozdu.

Rathore, "Elinize su damlacıkları serpiştirip havada hareket ettirdiğinizi hayal edin; hava hızla geçerken, uyguladığı basınç nedeniyle damlacıklar savrulur. KMB, BMB'yi delip geçerken gazına buna benzer bir şey oldu" ifadelerini kullanıyor.

Araştırma, KMB'yi diğer galaksiler için bir tür ölçüt olarak kullanmanın yanlış olabileceğini öne sürüyor. Yeni makalenin bir diğer araştırmacısı Gurtina Besla "KMB sisteme büyük miktarda enerji yükleyen feci bir çarpışma yaşadı. Bu, kesinlikle 'normal' bir galaksi değil" diyor.

Çalışma, The Astrophysical Journal'da yayımlanan "A Galactic Transformation - Understanding the SMC’s Structural and Kinematic Disequilibrium" (Galaktik Bir Dönüşüm: KMB'nin Yapısal ve Kinematik Dengesizliğini Anlamak) başlıklı yeni makalede anlatılıyor.

Independent Türkçe