Open AI: İnsanlığın yok olmasını önlemek için yapay zeka düzenlemesi gerekli

“Bizi bu sistemlerin tehlikelerinden korumak için Uluslararası Atom Enerjisi Ajansı gibi bir kuruma olan ihtiyacı vurguladım.”

Şirket yetkilileri, yapay zeka sistemlerinin yıllar içinde farklı sektörlerdeki birçok uzmanın beceri düzeyini aşacağını öngörüyor (Reuters)
Şirket yetkilileri, yapay zeka sistemlerinin yıllar içinde farklı sektörlerdeki birçok uzmanın beceri düzeyini aşacağını öngörüyor (Reuters)
TT

Open AI: İnsanlığın yok olmasını önlemek için yapay zeka düzenlemesi gerekli

Şirket yetkilileri, yapay zeka sistemlerinin yıllar içinde farklı sektörlerdeki birçok uzmanın beceri düzeyini aşacağını öngörüyor (Reuters)
Şirket yetkilileri, yapay zeka sistemlerinin yıllar içinde farklı sektörlerdeki birçok uzmanın beceri düzeyini aşacağını öngörüyor (Reuters)

Popüler yapay zeka sohbet robotu ChatGPT'yi geliştiren OpenAI firması yetkilileri, "Uluslararası Atom Enerjisi Ajansı gibi bir kuruma ihtiyaç var; insanlığı yanlışlıkla bir şey yaratma ve ona insanları yok etme gücü verme tehlikesinden korumak için" diyerek ‘süper zeki’ yapay zeka teknolojilerinin düzenlenmesi çağrısında bulundu.

OpenAI'nin kurucu ortakları Greg Brockman ve Ilya Sutskiver, şirketin web sitesinde yayınladıkları kısa bir açıklamada, bu tür sistemlerin yaratabileceği varoluşsal tehlikeyi azaltmak için uluslararası bir düzenleyicinin sistemleri incelemesi, denetim talep etmesi, güvenlik seviyelerini ve güvenlik standartlarına uygunluğu test etmesi konusunda çalışmaya başlaması çağrısında bulundu.

Yetkililer, “Önümüzdeki on yıl içinde yapay zeka sistemlerinin farklı sektörlerde birçok uzmanın beceri düzeyini aşacağı ve gelişmiş şirketlerle kıyaslanabilecek büyük miktarda üretken faaliyet gerçekleştireceği öngörülmekte” diye eklediler.

Yetkililer hem olumlu hem de potansiyel olumsuz yönleri açısından süper zekânın insanlığın geçmişte yüzleşmek zorunda kaldığı diğer teknolojilerden daha güçlü olacağına dikkat çekerek, “Çok daha müreffeh bir geleceğe sahip olabiliriz; ancak bunu başarmak için riskleri yönetmek zorundayız. Varoluşsal risk potansiyeli göz önüne alındığında, basitçe reaktif olamayacağız" açıklamasında bulundular.

sacs
OpenAI, geçtiğimiz Kasım ayında ünlü sohbet robotu ChatGBT'yi piyasaya sürdü (Reuters)

Brockman ve Sutskiver, kısa vadede, güvenlik öncelikli olmak üzere, toplumla sorunsuz bir şekilde bütünleşen daha sağlam modellerin geliştirilmesini sağlamak amacıyla, en son YZ araştırmaları üzerinde çalışan şirketler arasında belirli bir düzeyde koordinasyon çağrısında bulundu.

Brockman ve Sutskiver sözlerine şöyle devam etti:

Bu koordinasyon, örneğin hükümet öncülüğünde bir proje yoluyla ya da YZ yeteneklerinin büyümesini sınırlamak için toplu bir anlaşma yoluyla sağlanabilir.

İki gün önce San Francisco'da düzenlenen AI Forward Forum'da Brockman, popüler chatbot üreticisinin yapay zekayı küresel olarak nasıl düzenlemeyi amaçladığının ana hatlarını ele aldı.

Brockman’ın ortaya attığı fikirler arasında, Wikipedia benzeri bir model de vardı.

Yapay zeka politikasıyla ilgili olarak “Sadece Silikon Vadisi'nde oturup herkes için bu kuralları koyabileceğimizi düşünmüyoruz. Demokratik karar alma süreci hakkında düşünmeye başlıyoruz” dedi.

Open AI, geçtiğimiz Kasım ayının sonunda insanlarla etkileşime giren ve talep üzerine her türlü metni üretebilen yapay zekaya dayalı ünlü konuşma robotu ChatGPT’yi piyasaya sürdü ve başarısı şirketleri bu teknolojiye gelişmiş yetenekler kazandırmak için teknoloji rekabetine yöneltti.



SpaceX roketi Ay'a çarpma yolunda

Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor  (Reuters)
Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor (Reuters)
TT

SpaceX roketi Ay'a çarpma yolunda

Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor  (Reuters)
Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor (Reuters)

SpaceX'e ait bir roketin enkazının bu yazın sonunda ses hızının 7 katıyla Ay'a çarpması bekleniyor.

Dünya'ya yakın cisimleri izlemek için geniş çapta kullanılan Project Pluto yazılımının üreticisi Bill Gray, SpaceX'in Ocak 2025'te fırlattığı bir Falcon 9 roketi üzerine kapsamlı bir rapor yayımladı.

Roket geçen yıl Ay'a Blue Ghost ve Hakuto-R uzay araçlarını götürmüş, bunlardan ilki başarılı bir iniş yaparken diğeriyse Dünya'yla bağlantısını kaybedip haziranda uyduya düşmüştü.

Gray'in raporuna  göre geçen yıl boyunca 1053 kez gözlemlenen Falcon 9'un üst kademesi, Dünya yörüngesinde dönmeye devam ediyor.

Bu verilere dayanarak yapılan tahminlere göre roketin 13,8 metre uzunluğa ve 3,7 metre çapa sahip üst kademesi, 5 Ağustos'ta TSİ 09.44'te Ay'ın Dünya'ya dönük yüzünün kenarındaki Einstein kraterine çarpacak. Cismin saniyede 2,43 kilometre hızla, yani sesin Dünya'daki hızının 7 katı hızla çarpacağı öngörülüyor.

Ay'ın atmosferi olmadığı için roket tek parça halinde yüzeye ulaşacak. Ancak bölgede yaşam veya insan yapımı cihazlar olmadığı için uzmanlar bu çarpışmanın bir risk yaratmadığını belirtiyor.

Gray raporda "Bu durum bilimsel açıdan bir miktar (muhtemelen küçük çaplı) ilgi çekebilir ve buradan bazı şeyler öğrenebiliriz" diyerek ekliyor: 

Kimseye herhangi bir tehlike arz etmiyor ancak uzayda kalan donanımların (uzay çöpü) elden çıkarılma şekliyle ilgili belirli bir dikkatsizliği ortaya koyuyor.

Çarpışmanın düşük şiddetinden dolayı Dünya'daki teleskoplarla görülemeyeceği düşünülüyor. Bu nedenle bilim insanlarının bir şeyler öğrenmek için ardında bıraktığı krateri incelemesi gerekecek.

Gray, 2022'de de bir roket parçasının Ay'a çarpacağını tahmin etmiş ve sadece birkaç saniye ve kilometreyle yanılmıştı. 

Falcon 9'un parçası halihazırda bir risk yaratmasa da gelecek yıllarda durum değişebilir. Artemis II görevini başarıyla tamamlayan NASA, gelecek yıllarda Ay'a daha sık gitmeyi planlıyor. Çin de 2030'da taykonotlarını uyduya indirme hazırlığı yapıyor.

Ay'da kalıcı üsler kurma planları nedeniyle kısa süre içinde çeşitli noktalar mürettebat ve uzay araçlarıyla dolup taşabilir.

Bu nedenle roketlerin kullanılmış kısımlarının Ay veya Dünya'ya çarpma ihtimalini ortadan kaldırmak için Güneş'in yörüngesine gönderilmesi öneriliyor. 

Independent Türkçe, Live Science, Ars Technica, Project Pluto


Güney Afrika'da yapay zeka tasarısının yazarı yapay zeka çıktı

Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
TT

Güney Afrika'da yapay zeka tasarısının yazarı yapay zeka çıktı

Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)

Güney Afrika, ulusal yapay zeka politika taslağını; metindeki bazı kuralların yapay zeka tarafından üretildiğinin ve mevcut olmayan uydurma kaynaklara atıfta bulunulduğunun tespit edilmesi üzerine geri çekme kararı aldı.

İletişim Bakanı Solly Malatsi, taslak politikanın 67 akademik alıntısından en az 6'sının, var olmayan dergi makalelerine atıfta bulunan yapay zeka halüsinasyonları olduğunu tespit ettikten sonra taslağı geri çekti.

Malatsi, "En mantıklı açıklama, yapay zeka tarafından oluşturulan alıntıların uygun doğrulama yapılmadan dahil edilmiş olması. Bu asla olmamalıydı" dedi.

X'teki gönderisinde, "Bu başarısızlık sadece teknik bir sorun değil, taslak politikanın bütünlüğünü ve güvenilirliğini tehlikeye atmıştır" diye yazdı.

Taslak politika, kamuoyunun görüşüne açılmış, ülkeyi yapay zeka inovasyonunda lider olarak konumlandırmayı ve yapay zeka kullanımındaki etik, sosyal ve ekonomik zorlukları ele almayı amaçlamıştı.

Tasarı, ülkede yapay zeka kullanımını denetlemek üzere yeni kurumlar kurma planlarını ortaya koymuştu; bunlar arasında ulusal bir yapay zeka komisyonu, bir yapay zeka etik kurulu ve bir yapay zeka düzenleme organı yer alıyor.

Taslak kurallar ayrıca ülkede yapay zeka altyapısının oluşturulmasında özel sektör işbirliğini teşvik etmek için vergi indirimi, hibe ve sübvansiyon planlarını da özetlemişti.

Taslağın, kamuoyu görüşüne yeniden sunulmadan önce revize edilmesi bekleniyor.

Konu, Güney Afrika'nın News24 haber sitesinin, belgenin 67 akademik alıntısından en az 6'sının mevcut olmadığını ancak referans verilen dergilerin gerçek olduğunu tespit etmesiyle ortaya çıktı.

South African Journal of Philosophy, AI & Society ve Journal of Ethics and Social Philosophy adlı akademik dergiler dahil dergilerin editörleri alıntı yapılan makalelerin sahte olduğunu bağımsız biçimde doğruladı.

İletişim Bakanı, politikanın hazırlanmasından sorumlu olanların bunun sonuçlarına katlanmak zorunda kalacağını söyledi.

X'te, "Bu kabul edilemez hata, yapay zekanın kullanımında insan gözetiminin neden kritik önem taşıdığını kanıtlıyor. Bu alçakgönüllülükle çıkardığımız bir ders" diye yazdı.

Bu, akademisyenlerle yöneticilerin araştırma ve taslak hazırlamak için üretken yapay zekayı kullanmasına ilişkin giderek büyüyen sorunu vurguluyor.

Nature adlı akademik dergide çıkan bir çalışma, 2025'te yayımlanan akademik makalelerin yüzde 2,5'inden fazlasının en az bir olası halüsinasyon alıntı içerdiğini, bu oranın 2024'te sadece yüzde 0,3 olduğunu ortaya koydu.

Bu, 2025'te yayımlanan 110 binden fazla makalenin, yapay zeka tarafından "halüsinasyon" olarak üretilmiş geçersiz referanslar içerdiği anlamına geliyor.

Bunlar, yapay zeka modellerinin verilerinin o alanda yetersiz olduğunu algıladığında ürettiği, kendinden emin ancak uydurma çıktılar.

OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi büyük dil modelleri, bir kelime dizisinde sıradaki en olası sözcüğü tahmin etmek için tasarlanmıştır, özellikle doğruluğunu kontrol etmek için değil.

Yani bir alanda veri eksikliği tespit ederse, yapay zeka modeli boşlukları mantıklı görünen ancak yanlış bilgilerle dolduruyor.

Bir yapay zeka modeli, eğitim verilerini kullanarak bir alıntının nasıl görüneceğini tahmin eder ve inanılır gibi görünen ancak gerçekte var olmayan bazı referanslar üretiyor.

Bu durum, özellikle akademisyenler ve yetkililer tarafından kullanıldığında, yapay zeka yanıtlarının dikkatli insan gözetimine duyulan ihtiyacın giderek arttığına işaret ediyor.

Independent Türkçe


Anthropic'in yapay zeka ajanı bir şirketin tüm veritabanını sildi

ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
TT

Anthropic'in yapay zeka ajanı bir şirketin tüm veritabanını sildi

ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)

Anthropic'in önde gelen Claude modeliyle çalışan yapay zeka ajanı, bir şirketin tüm üretim veritabanını silerek müşterilerin kritik verilere erişememesine yol açtı.

Araç kiralama şirketlerine yazılım sağlayan PocketOS, otonom yapay zeka aracının veritabanını ve tüm yedeklemeleri saniyeler içinde silmesinin ardından hafta sonu muazzam bir kesinti yaşadı.

Şirket, Anthropic'in amiral gemisi ve kodlama görevlerinde genellikle sektörün en yetenekli modeli kabul edilen Claude Opus 4.6'yı çalıştıran Cursor adlı bir kodlama ajanı kullanıyordu.

PocketOS'un kurucusu Jer Crane, sorunu "sadece mümkün değil, kaçınılmaz" hale getiren modern yapay zeka altyapısındaki "sistemik aksaklıkları" suçladı.

Crane'e göre yapay zeka ajanı rutin bir görev üzerinde çalışırken, "tamamen kendi inisiyatifiyle" sorunu veritabanını silerek çözmeye karar verdi.

Crane, böylesine önemli bir karar için herhangi bir onay talebi bulunmadığını ve eylemlerini gerekçelendirmesi istendiğinde ajanın özür dilediğini söyledi.

Crane, X'te paylaştığı uzun bir gönderide "9 saniye sürdü" diye yazdı. 

Ajan daha sonra, ne yaptığını açıklaması istendiğinde ihlal ettiği belirli güvenlik kurallarını sıralayan yazılı bir itiraf hazırladı.

İtirafta yapay zekanın, kullanıcı açıkça talep etmedikçe "asla yıkıcı/geri döndürülemez" komutları çalıştırmamasını emreden kuralı nasıl göz ardı ettiği detaylandırıldı.

Ajan "Bir veritabanı birimini silmek, mümkün olan en yıkıcı ve geri döndürülemez eylem" diye yazdı. 

Benden hiçbir şeyi silmemi istemediniz... Doğrulamak yerine varsayımda bulundum. Benden istenmeden yıkıcı bir eylem gerçekleştirdim. Yapmadan önce ne yaptığımı anlamamıştım.

Bu hata, PocketOS kullanan kiralama şirketlerinin artık müşterileri kayıtlarına sahip olmadığı anlamına geliyordu.

Crane "Son üç ayda yapılan rezervasyonlar kayboldu. Yeni müşteri kayıtları da gitti" diye yazdı.

Biz küçük bir işletmeyiz. Yazılımımızla faaliyetlerini yürüten müşteriler de küçük işletmeler. Bu arızanın her aşaması, bunların olabileceğinden haberi olmayan kişilerin üstüne yıkıldı. Bu, tek bir hatalı ajan ya da tek bir hatalı API'la ilgili bir olay değil. Bu, tüm sektörün, bu entegrasyonları güvenli kılacak güvenlik mimarisinden daha hızlı bir şekilde yapay zeka ajanı entegrasyonlarını üretim altyapısına dahil etmesiyle ilgili bir durum.

Crane olayın meydana gelmesinden iki gün sonra, pazartesi günü verilerin kurtarıldığını doğruladı. The Independent cevap hakkı için Anthropic ve Cursor'la temasa geçti.

Independent Türkçe