OpenAI'ın "gizli projesi" Q* ne kadar tehlikeli?

"Yapay zekada büyük bir atılım"

Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
TT

OpenAI'ın "gizli projesi" Q* ne kadar tehlikeli?

Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)

Dünyanın önde gelen yapay zeka şirketlerinden OpenAI'ın kurucu ortağı Sam Altman'ın yönetim kurulu tarafından kovulmasıyla başlayan ve 5 gün sonra görevine dönmesiyle sona eren kaos şüphe, spekülasyon ve endişe dalgasına neden oldu.

Bunların başında da yapay zeka firmasının "tehlikeli bir icat" yaptığı iddiası geliyor.

Reuters'ın 23 Kasım'da yayımladığı ve isimsiz bir kaynağa dayandırdığı haberinde şirkette Q* adlı üstün bir yapay zekanın geliştirildiği öne sürülmüştü.

Adı verilmeyen kaynak, "Yeni model belirli matematik problemlerini çözmeyi başardı" demişti. Öte yandan bu matematik problemlerinin yalnızca ilkokul öğrencileri düzeyinde olduğu belirtilmişti. 

Reuters ayrıca bazı araştırmacıların, Altman'ı ihraç eden yönetim kurulu üyelerine Q*'nun potansiyel tehlikelerini dile getiren bir mektup gönderdiğini yazmıştı.

The Information'ın da isimsiz bir kaynağa dayandırdığı bir diğer habere göre, Q* "çok daha güçlü yapay zeka modellerine" olanak tanıyacak bir atılım olarak görülüyor.

Ancak aynı zamanda yeni yapay zeka araçlarının geliştirilme hızının güvenliğe odaklanan bazı araştırmacıları alarma geçirdiği söyleniyor.

Altman ise 30 Kasım'da The Verge'e verdiği röportajda iddiaları yalanlamamıştı.

Q* ne olabilir?

Analistler, bahsi geçen yeni aracın OpenAI'ın mayısta duyurduğu ve "süreç denetimi" (process supervision) adı verilen teknik sayesinde daha iyi sonuçlar elde edildiğini iddia eden bir projeyle ilgili olabileceğini düşünüyor.

Projede OpenAI'ın baş bilim adamı ve kurucu ortağı Ilya Sutskever'ın da aktif rol aldığı söyleniyor. Sutskever, başlangıçta Altman'ın görevden alınması yönünde oy kullanan yönetim kurulu üyelerinden biriydi. Ancak daha sonra bu konuda geri adım atmış ve pişman olduğunu söylemişti.

Şimdiye kadar edinilen bilgiler, araştırmacının Q* üzerinde çalışmaya öncülük ettiğini gösteriyor.

Mayısta duyurulan proje, ChatGPT'nin de aralarında yer aldığı büyük dil modellerinin (LLM'ler) yaptığı mantıksal hataların azaltılmasına odaklanıyor.

Hem Google hem de Baidu'da yapay zeka laboratuvarlarını yöneten ve Coursera'daki dersleri aracılığıyla birçok insanı makine öğrenimiyle tanıştıran Stanford Üniversitesi profesörü Andrew Ng'e göre bu, büyük dil modellerini geliştirmenin ve daha kullanışlı hale getirmenin bir sonraki adımı.

Ng, "LLM'ler matematikte o kadar iyi değil ama insanlar da iyi sayılmaz" diyor:

Ancak bana bir kalem ve kağıt verirseniz, o zaman çarpma işlemini çok daha iyi yaparım.

Q-öğrenmeye gönderme mi yapılıyor?

Diğer yandan Q*'nun ne olabileceğine dair başka ipuçları da var. Nitekim bu ismin pekiştirmeli bir öğrenme algoritması olan Q-öğrenmeye (Q-learning) gönderme olabileceği düşünülüyor.

Oyun oynayan botlar oluşturmak ve ChatGPT'yi daha yararlı olacak şekilde ayarlamak için de kullanılan sistem, olumlu veya olumsuz geri bildirimler yoluyla bir sorunu çözmeyi öğrenen algoritmayı içeriyor.

Bazı uzmanlarsa ismin aynı zamanda bir programın hedefe giden en uygun yolu bulmasını sağlamak için yaygın kullanılan A* arama algoritmasıyla da ilişkili olabileceğini öne sürüyor.

The Information'ın haberinde de konuyla ilgili bir başka ipucu yer alıyor:

Sutskever'ın atılımı, OpenAI'ın yeni modelleri eğitmek için yüksek kaliteli veri elde etmenin önündeki engellerin üstesinden gelmesine olanak sağladı. Araştırma, yeni modelleri eğitmek için internetten alınan metin veya görsel gibi gerçek dünya verileri yerine bilgisayar tarafından oluşturulan verilerin kullanılmasını içeriyordu.

Yapay zekanın bilgisayar tarafından üretilen verilerle eğitilmesi sıklıkla gündeme gelen bir konu. Bunlara "sentetik eğitim verileri" deniyor ve daha güçlü yapay zeka modellerinin geliştirilmesini sağlayacağı düşünülüyor.

Bu yöntemler ChatGPT'yi matematik bilmecelerinde daha iyi hale getirse de yapay zeka sistemlerinin insan kontrolünden çok yakında çıkabileceği anlamına gelmiyor.

Öte yandan OpenAI, Q*'yla ilgili yorum yapmayı halen reddediyor. 

Independent Türkçe



Yapay zeka öncüsü, beyin çipinin burundan çekilmesini isteyen şirkete katıldı

Subsense, beyin-bilgisayar arayüzü (BBA) oluşturmak için burun yoluyla kişinin beynine giren nanopartiküller tasarladı (Subsense)
Subsense, beyin-bilgisayar arayüzü (BBA) oluşturmak için burun yoluyla kişinin beynine giren nanopartiküller tasarladı (Subsense)
TT

Yapay zeka öncüsü, beyin çipinin burundan çekilmesini isteyen şirkete katıldı

Subsense, beyin-bilgisayar arayüzü (BBA) oluşturmak için burun yoluyla kişinin beynine giren nanopartiküller tasarladı (Subsense)
Subsense, beyin-bilgisayar arayüzü (BBA) oluşturmak için burun yoluyla kişinin beynine giren nanopartiküller tasarladı (Subsense)

Anthony Cuthbertson Teknoloji Editör Yardımcısı @ADCuthbertson 

Yapay zeka öncüsü Ray Kurzweil, solunum yoluyla alınan nanopartiküller aracılığıyla insanların beyinlerini bilgisayarlara bağlamayı hedefleyen bir nöroteknoloji girişimine katıldı.

Silikon Vadisi merkezli Subsense, Elon Musk'ın Neuralink'ine alternatif bir beyin-bilgisayar arayüzü (BBA) geliştirmeye çalışıyor. Şirket, beyne elektrot yerleştirmek için invaziv cerrahiye başvurmak yerine burun spreyi kullanmayı planlıyor.

Bu teknoloji, kokuyla ilgili bilgileri ileten olfaktör sinir aracılığıyla burun yolundan beyne elektrik yüklü nanopartiküller göndererek çalışıyor.

Partiküller beyne girdikten sonra nöronların yakınına yerleşiyor ve harici bir başlığın ürettiği manyetik alanlara tepki verebiliyor. Bu sayede cerrahi müdahaleye gerek kalmadan sinirsel aktivite okunup uyarılabiliyor.

Kurzweil, "Yapay zeka, nanoteknoloji ve sinirbilimin bir araya gelmesinin, insanların teknolojiyle etkileşim biçimini kökten değiştirebileceğine yıllardır inanıyorum" diyor.

Subsense, bu alanları son derece çarpıcı bir şekilde bir araya getiren bir yaklaşım izliyor. Bu yaklaşım, beyin-bilgisayar arayüzlerini günümüzün cerrahi kısıtlamalarının ötesine taşıyarak zamanla çok daha geniş kullanım alanlarına yöneltme potansiyeline sahip.

2012'den beri Google'da baş yapay zeka araştırmacısı olarak görev yapan Kurzweil, en çok 2005 tarihli teknolojik tekillik teorisiyle tanınıyor. Bu teoride, 2029'a gelindiğinde yapay zekanın insan zekasına ulaşacağını ve ardından 2045'te insanların makinelerle birleşerek kontrol edilemez bir zeka patlamasını tetikleyeceğini öne sürüyor.

Subsense'in kurucu ortağı ve CEO'su Tetiana Aleksandrova, "Ray'in kariyeri boyunca üzerinde düşündüğü bazı fikirler hâlâ geleceğe ait" diyor.

Bizim görevimiz, o geleceğin hangi kısımlarını bugün inşa etmeye başlayabileceğimizi titizlikle ve adım adım belirlemek.

Subsense, yenilikçi teknolojisini geliştirmek için şimdiden 27 milyon dolarlık fon topladı ve fareler üzerinde deneyler yürüttü.

Girişimin insan testlerine başlamasına hâlâ yıllar var ancak ilk uygulamalar Parkinson hastalığı ve ALS gibi nörolojik rahatsızlıklara odaklanmayı hedefliyor.

Son duyuru, BBA'lara duyulan ilginin giderek arttığı bir dönemde geldi; Çinli yetkililer, bu teknolojinin geliştirilmesi amacıyla kısa süre önce geniş çaplı bir girişim başlatmıştı.

Önceki aylarda BBA cihazlarının ticari kullanımını onaylayan ilk ülke olan Çin'de tıbbi kullanım amaçlı birçok ürün halihazırda satışta.

Musk'ın Neuralink şirketiyse beyin çipinin, kullanıcıların sadece düşünceleriyle robotik uzuvları ve bilgisayarları kontrol etmesini sağlaması gibi çeşitli kullanım alanlarını çoktan başarıyla sergiledi.

Gelecekteki denemelere katılma umuduyla 10 binden fazla kişi şirketin hasta kayıt sistemine başvurdu.

Independent Türkçe, independent.co.uk/tech


OpenAI'ın "korkutucu" bir güncelleme yaptığı iddiası: "Kırmızı çizgi aşılıyor"

(Reuters)
(Reuters)
TT

OpenAI'ın "korkutucu" bir güncelleme yaptığı iddiası: "Kırmızı çizgi aşılıyor"

(Reuters)
(Reuters)

Andrew Griffin 

Yapay zeka uzmanları, ChatGPT'ye geldiği söylenen ve yapay zeka sistemlerinin faaliyetlerini denetlemeyi zorlaştırabilecek "korkutucu" güncellemeyle ilgili alarma geçti.

Bu hafta çıkan haberlerde, OpenAI'ın yakında piyasaya süreceği Astra modelinin "opak tekrarlama" adı verilen bir teknik kullanacağı öne sürülse de şirket çalışanları bu haberleri yalanladı. OpenAI'ın söylentilere konu olan değişikliğini ilk kez bildiren teknoloji yayıncısı The Information, Anthropic ve Google DeepMind'ın da benzer güncellemeleri hayata geçirmeyi değerlendirdiğini ayrı bir haberde dile getirdi.

Tekrarlayan derinlik diye de bilinen opak tekrarlama, yapay zeka sistemlerinin zorlu görevleri daha iyi yerine getirmesini sağlayabilecek karmaşık ve teknik bir araç. Ancak uzmanlar bunun, düşünce zinciri denetimi tekniğini baltalayabileceği uyarısında bulunuyor. Bu teknik, bir yapay zeka sisteminin çıktısını üretirken girdiği akıl yürütme süreçlerinin bir kısmının insanlar tarafından görülmesini sağlıyor.

Düşünce zinciri denetiminin bazı sınırlamaları var. Ancak araştırmacıların, modellerin olası uygunsuz davranışlarını görüp nasıl ortaya çıktıklarını anlamasına imkan tanıdığından, yapay zeka güvenliğini sağlamada önemli bir araç olabilir.

Örneğin bir OpenAI modelinin başka bir yapay zeka şirketi Hugging Face'e kısa süre önce gerçekleştirdiği siber saldırıda araştırmacılar, deneysel sistemin saldırıyı başlatmaya nasıl karar verdiğini izleyebilmişti.

Yeni Astra modelinin bu tekniği kullandığını doğrulamayan OpenAI, ilk haberlerin "kafa karıştırıcı" olduğunu öne sürerken, The Information'a göre bu teknik yalnızca sınırlı bir şekilde kullanılıyor. OpenAI, Astra'yı piyasaya sürme planlarının devam edeceğini önceki günlerde duyurduğunda, aslında modelin "potansiyel olarak uyumsuz eylemleri hızla saptayıp kontrol altına almak için ek bir düşünce zinciri denetleme sistemi" içerdiğini belirtmişti.

Ancak yapay zeka uzmanları, yapay zeka sistemlerini denetleme yeteneğinin zayıflatılmasının tehlikeli bir süreci başlatabileceği uyarısında bulunuyor.

Yapay zeka güvenliği uzmanı Zvi Mowshowitz, Substack'te "Bu teknik ateşle oynamaktır. OpenAI ve Anthropic'in kurmak için mücadele ettiği, bizimse Düşünce Zinciri sadakatini ve denetlenebilirliğini elimizden geldiğince uzun süre korumak için büyük çaba harcadığımız bir tabuyu ihlal etme riskini taşıyor" diye yazıyor.

Bu tür tekniklerin daha yoğun kullanımı muhtemelen denetlenebilirliğe zarar verecek.

Büyük yapay zeka şirketlerini ve iddialarını düzenli olarak eleştiren araştırmacı Gary Marcus, bu "korkutucu durumun" kırmızı çizgiyi aşmak anlamına geleceğini söylüyor. Marcus "Düşünce zincirinin denetlenebilirliği sınırlı ve tam olarak güvenilir değil ancak ciddi derecede kötü sonuçları önlemek için pratikte elimizdeki tek yol bu" diye yazıyor.

OpenAI çalışanları, konuyla ilgili haberlerin "kafa karıştırıcı" olduğunu öne sürdü. Şirketin baş bilim insanı Jakub Pachocki, söylentilerin "denetlenemezliğe doğru bir yarış" başlatabileceği uyarısı yaparak OpenAI'ın düşünce zincirini denetlemeye yönelik bağlılığını korduğunu ve "bu tekniğe derinden önem verdiğini" söyledi.

Şirketin stratejik gelecekten sorumlu başkanı Dean W. Ball da benzer şekilde tartışmanın büyük ölçüde sosyal medyada gerçekleşmesini eleştirdi. Ball'a göre bu durum, "gerçekte neler olup bittiğine dair neredeyse hiç somut bilgiye sahip olmadan, teknik açıdan karmaşık ve incelikli iddialar hakkında sosyal medyada hüküm vermek" anlamına geliyor. Ball, X'te "Bu açıkçası çılgınca, akıl almaz ve ilgili herkes için sinir bozucu" diye yazdı.

Independent Türkçe, independent.co.uk/tech


OpenAI'dan bilinmeyen güvenlik açıklarını tek başına bulan modeliyle ilgili açıklama

Eğitimdeki modellerinin yakın zamanda kontrolden çıkması nedeniyle OpenAI tepki çekiyor (Reuters)
Eğitimdeki modellerinin yakın zamanda kontrolden çıkması nedeniyle OpenAI tepki çekiyor (Reuters)
TT

OpenAI'dan bilinmeyen güvenlik açıklarını tek başına bulan modeliyle ilgili açıklama

Eğitimdeki modellerinin yakın zamanda kontrolden çıkması nedeniyle OpenAI tepki çekiyor (Reuters)
Eğitimdeki modellerinin yakın zamanda kontrolden çıkması nedeniyle OpenAI tepki çekiyor (Reuters)

OpenAI, yakında piyasaya sürmeyi planladığı Astra modeli hakkında yeni detaylar paylaştı. 

Yapay zeka şirketi, 1 Eylül Salı günü yaptığı açıklamada Astra'nın "kritik siber güvenlik eşiğine" ulaşan ilk büyük dil modeli olduğunu belirtti.

ChatGPT'nin yaratıcısı, yeni modelin bilgisayar sistemlerindeki bilinmeyen güvenlik açıklarını bulup insan yönlendirmesine ihtiyaç duymadan bunları suiistimal edebildiğini saptadı. Bu da Astra'yı, Risklere Hazırlık Çerçevesi'nin en gelişmiş kategorisine sokuyor.

OpenAI'ın 2023'te devreye soktuğu bu çerçeve, "ciddi zarara yol açabilecek yeni riskler getirme ihtimali olan gelişmiş yapay zeka yeteneklerini izleyip hazırlanma" amacı taşıyor.

Şirket geçen yıl yaptığı bir güncellemede, modellerin ciddi zarara yol açabilecek "mevcut yöntemleri" güçlendirdiği "yüksek" eşiği ve "benzeri görülmemiş yeni yollar" ortaya çıkarabileceği "kritik" eşiği belirlemişti.

OpenAI, siber kötüye kullanma ve modelin yetkisiz eylemlerine karşı korumaları güçlendirip test ederken, Astra'nın geliştirme ve piyasaya sürülme süreçlerinin bazı bölümlerini ertelediğini salı günkü açıklamasında paylaştı: 

Bu çalışmaya dayanarak Astra için geliştirdiğimiz korumaların ciddi zarar riskini, modelin Risklere Hazırlık Çerçevemiz kapsamında kullanıma sunulmasına imkan verecek ölçüde azalttığına inanıyoruz.

OpenAI, Astra'yı yakında kullanıma sunmayı planladığını ancak modelin en gelişmiş siber güvenlik kabiliyetlerine erişimi sınırlı tutacağını da belirtti. Gelişmiş siber güvenlik çalışmalarının başlangıçta bir test grubuna sunulması planlanıyor.

Astra'yla ilgili duyuru, OpenAI'ın güvenlik önlemlerinin yoğun eleştiri altında olduğu bir dönemde geldi. Temmuzda şirketin bazı modelleri eğitim ortamından kaçarak internete bağlanmış ve Hugging Face adlı firmaya saldırmıştı. OpenAI modellerin başkalarını da hedef aldığını daha sonra açıklamıştı.

OpenAI, Astra bu olaya karışmamış olsa da olaydan çıkardığı dersleri modelin güvenlik yaklaşımına dahil ettiğini belirtti.

Açıklamada "O zamandan bu yana Astra için daha da güçlü korumalar uygulamaya koyduk" ifadelerine yer verildi: 

Bunlar arasında modelin zararlı siber talepleri daha güvenilir biçimde reddetmesi ve güvenlik kısıtlamalarına uyması için eğitilmesi, kötüye kullanıma karşı ek korumalar ve potansiyel olarak yetkisiz etkinlikleri durdurabilen izleme sistemleri yer alıyor.

OpenAI, Astra'yı Hugging Face olayında kontrolden çıkan modeller gibi davranmaya iten deneyler hazırladığını ancak modelin test ortamından kaçmaya çalışmadığını söyledi.

Öte yandan TechCrunch, üçüncü taraflar tarafından teyit edilmeden, OpenAI'ın güvenlik veya hazırlıkla ilgili iddialarını doğrulamanın güçlüğüne dikkat çekiyor.

OpenAI Vakfı'nda yapay zeka dayanıklılığı üzerine çalışan eski OpenAI personeli Yona Shavit de Astra'nın kuralları ihlal etmekten kaçınmasının gerçekten güvenlik talimatlarına uymasından mı, yoksa test edildiğini anlayarak araştırmacıları yanıltmaya çalışmasından mı kaynaklandığını sorguluyor.

Independent Türkçe, TechCrunch, CNBC, OpenAI