OpenAI'ın "gizli projesi" Q* ne kadar tehlikeli?

"Yapay zekada büyük bir atılım"

Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
TT

OpenAI'ın "gizli projesi" Q* ne kadar tehlikeli?

Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)

Dünyanın önde gelen yapay zeka şirketlerinden OpenAI'ın kurucu ortağı Sam Altman'ın yönetim kurulu tarafından kovulmasıyla başlayan ve 5 gün sonra görevine dönmesiyle sona eren kaos şüphe, spekülasyon ve endişe dalgasına neden oldu.

Bunların başında da yapay zeka firmasının "tehlikeli bir icat" yaptığı iddiası geliyor.

Reuters'ın 23 Kasım'da yayımladığı ve isimsiz bir kaynağa dayandırdığı haberinde şirkette Q* adlı üstün bir yapay zekanın geliştirildiği öne sürülmüştü.

Adı verilmeyen kaynak, "Yeni model belirli matematik problemlerini çözmeyi başardı" demişti. Öte yandan bu matematik problemlerinin yalnızca ilkokul öğrencileri düzeyinde olduğu belirtilmişti. 

Reuters ayrıca bazı araştırmacıların, Altman'ı ihraç eden yönetim kurulu üyelerine Q*'nun potansiyel tehlikelerini dile getiren bir mektup gönderdiğini yazmıştı.

The Information'ın da isimsiz bir kaynağa dayandırdığı bir diğer habere göre, Q* "çok daha güçlü yapay zeka modellerine" olanak tanıyacak bir atılım olarak görülüyor.

Ancak aynı zamanda yeni yapay zeka araçlarının geliştirilme hızının güvenliğe odaklanan bazı araştırmacıları alarma geçirdiği söyleniyor.

Altman ise 30 Kasım'da The Verge'e verdiği röportajda iddiaları yalanlamamıştı.

Q* ne olabilir?

Analistler, bahsi geçen yeni aracın OpenAI'ın mayısta duyurduğu ve "süreç denetimi" (process supervision) adı verilen teknik sayesinde daha iyi sonuçlar elde edildiğini iddia eden bir projeyle ilgili olabileceğini düşünüyor.

Projede OpenAI'ın baş bilim adamı ve kurucu ortağı Ilya Sutskever'ın da aktif rol aldığı söyleniyor. Sutskever, başlangıçta Altman'ın görevden alınması yönünde oy kullanan yönetim kurulu üyelerinden biriydi. Ancak daha sonra bu konuda geri adım atmış ve pişman olduğunu söylemişti.

Şimdiye kadar edinilen bilgiler, araştırmacının Q* üzerinde çalışmaya öncülük ettiğini gösteriyor.

Mayısta duyurulan proje, ChatGPT'nin de aralarında yer aldığı büyük dil modellerinin (LLM'ler) yaptığı mantıksal hataların azaltılmasına odaklanıyor.

Hem Google hem de Baidu'da yapay zeka laboratuvarlarını yöneten ve Coursera'daki dersleri aracılığıyla birçok insanı makine öğrenimiyle tanıştıran Stanford Üniversitesi profesörü Andrew Ng'e göre bu, büyük dil modellerini geliştirmenin ve daha kullanışlı hale getirmenin bir sonraki adımı.

Ng, "LLM'ler matematikte o kadar iyi değil ama insanlar da iyi sayılmaz" diyor:

Ancak bana bir kalem ve kağıt verirseniz, o zaman çarpma işlemini çok daha iyi yaparım.

Q-öğrenmeye gönderme mi yapılıyor?

Diğer yandan Q*'nun ne olabileceğine dair başka ipuçları da var. Nitekim bu ismin pekiştirmeli bir öğrenme algoritması olan Q-öğrenmeye (Q-learning) gönderme olabileceği düşünülüyor.

Oyun oynayan botlar oluşturmak ve ChatGPT'yi daha yararlı olacak şekilde ayarlamak için de kullanılan sistem, olumlu veya olumsuz geri bildirimler yoluyla bir sorunu çözmeyi öğrenen algoritmayı içeriyor.

Bazı uzmanlarsa ismin aynı zamanda bir programın hedefe giden en uygun yolu bulmasını sağlamak için yaygın kullanılan A* arama algoritmasıyla da ilişkili olabileceğini öne sürüyor.

The Information'ın haberinde de konuyla ilgili bir başka ipucu yer alıyor:

Sutskever'ın atılımı, OpenAI'ın yeni modelleri eğitmek için yüksek kaliteli veri elde etmenin önündeki engellerin üstesinden gelmesine olanak sağladı. Araştırma, yeni modelleri eğitmek için internetten alınan metin veya görsel gibi gerçek dünya verileri yerine bilgisayar tarafından oluşturulan verilerin kullanılmasını içeriyordu.

Yapay zekanın bilgisayar tarafından üretilen verilerle eğitilmesi sıklıkla gündeme gelen bir konu. Bunlara "sentetik eğitim verileri" deniyor ve daha güçlü yapay zeka modellerinin geliştirilmesini sağlayacağı düşünülüyor.

Bu yöntemler ChatGPT'yi matematik bilmecelerinde daha iyi hale getirse de yapay zeka sistemlerinin insan kontrolünden çok yakında çıkabileceği anlamına gelmiyor.

Öte yandan OpenAI, Q*'yla ilgili yorum yapmayı halen reddediyor. 

Independent Türkçe



SpaceX roketi Ay'a çarpma yolunda

Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor  (Reuters)
Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor (Reuters)
TT

SpaceX roketi Ay'a çarpma yolunda

Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor  (Reuters)
Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor (Reuters)

SpaceX'e ait bir roketin enkazının bu yazın sonunda ses hızının 7 katıyla Ay'a çarpması bekleniyor.

Dünya'ya yakın cisimleri izlemek için geniş çapta kullanılan Project Pluto yazılımının üreticisi Bill Gray, SpaceX'in Ocak 2025'te fırlattığı bir Falcon 9 roketi üzerine kapsamlı bir rapor yayımladı.

Roket geçen yıl Ay'a Blue Ghost ve Hakuto-R uzay araçlarını götürmüş, bunlardan ilki başarılı bir iniş yaparken diğeriyse Dünya'yla bağlantısını kaybedip haziranda uyduya düşmüştü.

Gray'in raporuna  göre geçen yıl boyunca 1053 kez gözlemlenen Falcon 9'un üst kademesi, Dünya yörüngesinde dönmeye devam ediyor.

Bu verilere dayanarak yapılan tahminlere göre roketin 13,8 metre uzunluğa ve 3,7 metre çapa sahip üst kademesi, 5 Ağustos'ta TSİ 09.44'te Ay'ın Dünya'ya dönük yüzünün kenarındaki Einstein kraterine çarpacak. Cismin saniyede 2,43 kilometre hızla, yani sesin Dünya'daki hızının 7 katı hızla çarpacağı öngörülüyor.

Ay'ın atmosferi olmadığı için roket tek parça halinde yüzeye ulaşacak. Ancak bölgede yaşam veya insan yapımı cihazlar olmadığı için uzmanlar bu çarpışmanın bir risk yaratmadığını belirtiyor.

Gray raporda "Bu durum bilimsel açıdan bir miktar (muhtemelen küçük çaplı) ilgi çekebilir ve buradan bazı şeyler öğrenebiliriz" diyerek ekliyor: 

Kimseye herhangi bir tehlike arz etmiyor ancak uzayda kalan donanımların (uzay çöpü) elden çıkarılma şekliyle ilgili belirli bir dikkatsizliği ortaya koyuyor.

Çarpışmanın düşük şiddetinden dolayı Dünya'daki teleskoplarla görülemeyeceği düşünülüyor. Bu nedenle bilim insanlarının bir şeyler öğrenmek için ardında bıraktığı krateri incelemesi gerekecek.

Gray, 2022'de de bir roket parçasının Ay'a çarpacağını tahmin etmiş ve sadece birkaç saniye ve kilometreyle yanılmıştı. 

Falcon 9'un parçası halihazırda bir risk yaratmasa da gelecek yıllarda durum değişebilir. Artemis II görevini başarıyla tamamlayan NASA, gelecek yıllarda Ay'a daha sık gitmeyi planlıyor. Çin de 2030'da taykonotlarını uyduya indirme hazırlığı yapıyor.

Ay'da kalıcı üsler kurma planları nedeniyle kısa süre içinde çeşitli noktalar mürettebat ve uzay araçlarıyla dolup taşabilir.

Bu nedenle roketlerin kullanılmış kısımlarının Ay veya Dünya'ya çarpma ihtimalini ortadan kaldırmak için Güneş'in yörüngesine gönderilmesi öneriliyor. 

Independent Türkçe, Live Science, Ars Technica, Project Pluto


Güney Afrika'da yapay zeka tasarısının yazarı yapay zeka çıktı

Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
TT

Güney Afrika'da yapay zeka tasarısının yazarı yapay zeka çıktı

Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)

Güney Afrika, ulusal yapay zeka politika taslağını; metindeki bazı kuralların yapay zeka tarafından üretildiğinin ve mevcut olmayan uydurma kaynaklara atıfta bulunulduğunun tespit edilmesi üzerine geri çekme kararı aldı.

İletişim Bakanı Solly Malatsi, taslak politikanın 67 akademik alıntısından en az 6'sının, var olmayan dergi makalelerine atıfta bulunan yapay zeka halüsinasyonları olduğunu tespit ettikten sonra taslağı geri çekti.

Malatsi, "En mantıklı açıklama, yapay zeka tarafından oluşturulan alıntıların uygun doğrulama yapılmadan dahil edilmiş olması. Bu asla olmamalıydı" dedi.

X'teki gönderisinde, "Bu başarısızlık sadece teknik bir sorun değil, taslak politikanın bütünlüğünü ve güvenilirliğini tehlikeye atmıştır" diye yazdı.

Taslak politika, kamuoyunun görüşüne açılmış, ülkeyi yapay zeka inovasyonunda lider olarak konumlandırmayı ve yapay zeka kullanımındaki etik, sosyal ve ekonomik zorlukları ele almayı amaçlamıştı.

Tasarı, ülkede yapay zeka kullanımını denetlemek üzere yeni kurumlar kurma planlarını ortaya koymuştu; bunlar arasında ulusal bir yapay zeka komisyonu, bir yapay zeka etik kurulu ve bir yapay zeka düzenleme organı yer alıyor.

Taslak kurallar ayrıca ülkede yapay zeka altyapısının oluşturulmasında özel sektör işbirliğini teşvik etmek için vergi indirimi, hibe ve sübvansiyon planlarını da özetlemişti.

Taslağın, kamuoyu görüşüne yeniden sunulmadan önce revize edilmesi bekleniyor.

Konu, Güney Afrika'nın News24 haber sitesinin, belgenin 67 akademik alıntısından en az 6'sının mevcut olmadığını ancak referans verilen dergilerin gerçek olduğunu tespit etmesiyle ortaya çıktı.

South African Journal of Philosophy, AI & Society ve Journal of Ethics and Social Philosophy adlı akademik dergiler dahil dergilerin editörleri alıntı yapılan makalelerin sahte olduğunu bağımsız biçimde doğruladı.

İletişim Bakanı, politikanın hazırlanmasından sorumlu olanların bunun sonuçlarına katlanmak zorunda kalacağını söyledi.

X'te, "Bu kabul edilemez hata, yapay zekanın kullanımında insan gözetiminin neden kritik önem taşıdığını kanıtlıyor. Bu alçakgönüllülükle çıkardığımız bir ders" diye yazdı.

Bu, akademisyenlerle yöneticilerin araştırma ve taslak hazırlamak için üretken yapay zekayı kullanmasına ilişkin giderek büyüyen sorunu vurguluyor.

Nature adlı akademik dergide çıkan bir çalışma, 2025'te yayımlanan akademik makalelerin yüzde 2,5'inden fazlasının en az bir olası halüsinasyon alıntı içerdiğini, bu oranın 2024'te sadece yüzde 0,3 olduğunu ortaya koydu.

Bu, 2025'te yayımlanan 110 binden fazla makalenin, yapay zeka tarafından "halüsinasyon" olarak üretilmiş geçersiz referanslar içerdiği anlamına geliyor.

Bunlar, yapay zeka modellerinin verilerinin o alanda yetersiz olduğunu algıladığında ürettiği, kendinden emin ancak uydurma çıktılar.

OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi büyük dil modelleri, bir kelime dizisinde sıradaki en olası sözcüğü tahmin etmek için tasarlanmıştır, özellikle doğruluğunu kontrol etmek için değil.

Yani bir alanda veri eksikliği tespit ederse, yapay zeka modeli boşlukları mantıklı görünen ancak yanlış bilgilerle dolduruyor.

Bir yapay zeka modeli, eğitim verilerini kullanarak bir alıntının nasıl görüneceğini tahmin eder ve inanılır gibi görünen ancak gerçekte var olmayan bazı referanslar üretiyor.

Bu durum, özellikle akademisyenler ve yetkililer tarafından kullanıldığında, yapay zeka yanıtlarının dikkatli insan gözetimine duyulan ihtiyacın giderek arttığına işaret ediyor.

Independent Türkçe


Anthropic'in yapay zeka ajanı bir şirketin tüm veritabanını sildi

ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
TT

Anthropic'in yapay zeka ajanı bir şirketin tüm veritabanını sildi

ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)

Anthropic'in önde gelen Claude modeliyle çalışan yapay zeka ajanı, bir şirketin tüm üretim veritabanını silerek müşterilerin kritik verilere erişememesine yol açtı.

Araç kiralama şirketlerine yazılım sağlayan PocketOS, otonom yapay zeka aracının veritabanını ve tüm yedeklemeleri saniyeler içinde silmesinin ardından hafta sonu muazzam bir kesinti yaşadı.

Şirket, Anthropic'in amiral gemisi ve kodlama görevlerinde genellikle sektörün en yetenekli modeli kabul edilen Claude Opus 4.6'yı çalıştıran Cursor adlı bir kodlama ajanı kullanıyordu.

PocketOS'un kurucusu Jer Crane, sorunu "sadece mümkün değil, kaçınılmaz" hale getiren modern yapay zeka altyapısındaki "sistemik aksaklıkları" suçladı.

Crane'e göre yapay zeka ajanı rutin bir görev üzerinde çalışırken, "tamamen kendi inisiyatifiyle" sorunu veritabanını silerek çözmeye karar verdi.

Crane, böylesine önemli bir karar için herhangi bir onay talebi bulunmadığını ve eylemlerini gerekçelendirmesi istendiğinde ajanın özür dilediğini söyledi.

Crane, X'te paylaştığı uzun bir gönderide "9 saniye sürdü" diye yazdı. 

Ajan daha sonra, ne yaptığını açıklaması istendiğinde ihlal ettiği belirli güvenlik kurallarını sıralayan yazılı bir itiraf hazırladı.

İtirafta yapay zekanın, kullanıcı açıkça talep etmedikçe "asla yıkıcı/geri döndürülemez" komutları çalıştırmamasını emreden kuralı nasıl göz ardı ettiği detaylandırıldı.

Ajan "Bir veritabanı birimini silmek, mümkün olan en yıkıcı ve geri döndürülemez eylem" diye yazdı. 

Benden hiçbir şeyi silmemi istemediniz... Doğrulamak yerine varsayımda bulundum. Benden istenmeden yıkıcı bir eylem gerçekleştirdim. Yapmadan önce ne yaptığımı anlamamıştım.

Bu hata, PocketOS kullanan kiralama şirketlerinin artık müşterileri kayıtlarına sahip olmadığı anlamına geliyordu.

Crane "Son üç ayda yapılan rezervasyonlar kayboldu. Yeni müşteri kayıtları da gitti" diye yazdı.

Biz küçük bir işletmeyiz. Yazılımımızla faaliyetlerini yürüten müşteriler de küçük işletmeler. Bu arızanın her aşaması, bunların olabileceğinden haberi olmayan kişilerin üstüne yıkıldı. Bu, tek bir hatalı ajan ya da tek bir hatalı API'la ilgili bir olay değil. Bu, tüm sektörün, bu entegrasyonları güvenli kılacak güvenlik mimarisinden daha hızlı bir şekilde yapay zeka ajanı entegrasyonlarını üretim altyapısına dahil etmesiyle ilgili bir durum.

Crane olayın meydana gelmesinden iki gün sonra, pazartesi günü verilerin kurtarıldığını doğruladı. The Independent cevap hakkı için Anthropic ve Cursor'la temasa geçti.

Independent Türkçe