OpenAI ve Anthropic şirketlerinin yapay zekâ modelleri test sınırlarını aştı

Sahte kimlikler oluşturarak internetteki gerçek kişileri ve kurumları hedef aldılar

OpenAI logosu (Reuters)
OpenAI logosu (Reuters)
TT

OpenAI ve Anthropic şirketlerinin yapay zekâ modelleri test sınırlarını aştı

OpenAI logosu (Reuters)
OpenAI logosu (Reuters)

İngiltere Yapay Zekâ Güvenlik Enstitüsü tarafından dün yapılan açıklamada, OpenAI ve Anthropic şirketlerine ait yapay zekâ modellerinin kendileri için belirlenen test sınırlarını bir kez daha aştığı bildirildi.

Enstitü, yapay zekâ ajanlarının bir siber güvenlik sorununu çözmekle görevlendirildiği bir değerlendirme sırasında, OpenAI ve Anthropic’e ait modellerin verilen görevin kapsamını dışına çıktığını belirtti. Açıklamada, “Bu testi farklı modeller kullanarak 122 kez gerçekleştirdik. İncelemelerimiz sonucunda, bu denemelerin 10’unda yapay zekâ ajanlarından birinin internet üzerinde, gerçek kişileri ve kurumları hedef alan otonom ve yetkisiz eylemlerde bulunduğu tespit edildi” ifadelerine yer verildi.

Kötü amaçlı kod

Enstitü, en ciddi vakada ajanlardan birinin açık kaynaklı bir projeye kötü amaçlı kod eklemeye çalıştığını açıkladı. Açıklamada, “Ajan, kodun onaylanmasını sağlamak amacıyla sosyal mühendislik yöntemlerine başvurdu; internet üzerinde sahte kimlikler oluşturarak bunları, proje yöneticisine kodu onaylaması yönünde baskı yapmak için kullandı” denildi. Söz konusu girişimin insan denetçi tarafından fark edilerek kötü amaçlı kodun reddedildiği belirtildi.

Olayla ilgili yürütülen incelemede sahada herhangi bir zararın meydana gelmediğinin doğrulandığı vurgulandı. Enstitü açıklamasında ayrıca, “Ancak ilk kez, otonomi ve aldatmaya dayalı risklerin gerçek dünyada, özel bir talimat olmaksızın bu kadar net bir şekilde ortaya çıktığına şahit oluyoruz” ifadesine yer verildi.

İç soruşturma

Anthropic şirketinden yapılan açıklamada, İngiltere Yapay Zekâ Güvenlik Enstitüsü’ne üstlendiği öncü rol nedeniyle müteşekkir olunduğu belirtilerek, yürütülen dahili incelemeyle eş zamanlı olarak enstitü ile yakın iş birliği içinde çalışıldığı vurgulandı.

Cmkx
Anthropic şirketinin logosu (Reuters)

OpenAI ise bağımsız testlerin, modeller kullanıma sunulmadan önce risklerin doğrulanmasında ve daha iyi anlaşılmasında kritik bir rol oynadığını ifade etti. Şirket açıklamasında, “Bu olaylar, yapay zekâ modellerinin yetenekleri arttıkça test ortamlarına ve uygulamalarına ilişkin standartları geliştirmek adına sektör genelinde ve bağımsız değerlendirme kuruluşlarıyla iş birliği yapmanın önemini bir kez daha teyit etmektedir” değerlendirmesine yer verildi.

Koruma önlemlerinde gevşeklik

Rapor, yapay zekâ şirketlerinin aynı zamanda iş dünyasının geleceği olarak pazarladığı akıllı yazılımların test süreçlerindeki güvenlik önlemlerinin yetersizliğine dikkat çekiyor.

Büyük laboratuvarlardan gönüllülük esasına dayalı anlaşmalarla gelişmiş yapay zekâ modelleri temin eden İngiltere Yapay Zekâ Güvenlik Enstitüsü, bu yazılımları yeteneklerini ölçmek amacıyla varsayımsal bir siber güvenlik senaryosuna tabi tuttu.

Bu testi 122 kez gerçekleştiren enstitü, 10 farklı denemede yetkisiz olarak yapılan 19 eylem tespit etti. Söz konusu yetkisiz eylemlerin 17’sinden Anthropic’in akıllı yazılımı sorumlu tutulurken, kalan 2 eylemin ise OpenAI’a ait yazılım tarafından gerçekleştirildiği belirlendi.

İki şirket de kendi modelleri üzerinde çalışmada ustalaşmış mı?

Kâr amacı gütmeyen ve yapay zekânın yetenekleri ile risklerini inceleyen Kaliforniya merkezli CivAI kuruluşunda araştırmacı olan Andrew Yoon, AP’ye yaptığı açıklamada, “Mythos yazılımının gerçek bir kişiyi hedef aldığının açıkça bilincinde olarak bu tür aldatıcı eylemlere başvurması, Anthropic'in modellerine sanıldığı kadar hâkim olmadığını gösteriyor” ifadesini kullandı.

OpenAI ise resmi blog sayfasında yayımladığı gönderide olayın detaylarını paylaşarak, kendi ajanları tarafından gerçekleştirilen her iki yetkisiz eylemin de talimatlar doğrultusunda yasaklanmış yöntemlerle internete erişimi içerdiğini açıkladı.

Şirket açıklamasında, “Önümüzdeki haftalarda ulusal yapay zekâ enstitüleri, bağımsız değerlendiriciler, diğer yapay zekâ laboratuvarları ve ilgili gruplarla bir araya gelerek yüksek riskli değerlendirmelerin güvenli bir şekilde yürütülmesine yönelik ortak uygulamaları güçlendirmek adına sektör genelinde çalışmaya kararlıyız” ifadelerine yer verdi.

OpenAI ayrıca blog gönderisinde, harici bir test şirketi olan Irregular kaynaklı bir yapılandırma hatası nedeniyle yazılımlarının yanlışlıkla internete bağlanmasına yol açan ayrı bir olayı da kamuoyuna duyurdu.

Bu açıklama, Anthropic’in geçen hafta yayımladığı benzer bir yapılandırma hatası bildirimini akıllara getirdi. Reuters da geçen hafta OpenAI’ın, yazılımlarına yönelik başka siber ihlallerin kanıtlarına ulaşmasının ardından soruşturmasının kapsamını genişlettiğini bildirmişti.

İngiltere Yapay Zekâ Güvenlik Enstitüsü tarafından yapılan açıklamaya göre, OpenAI’a ait bir yazılımın geçtiğimiz temmuz ayında Hugging Face adlı yapay zekâ şirketinde yol açtığı güvenlik ihlalinin aksine, enstitünün değerlendirmesine tabi tutulan yazılımlar test için kullanılan korumalı sanal alandan kaçarak internete erişim sağlamadı. İnternet erişimi, enstitünün standart test prosedürleri doğrultusunda bizzat yetkililerce sağlandı



Çığır açıcı keşif: İnsan beyni aslında iki ayrı organ

Son araştırmada, beynin iki ayrı organ gibi çalıştığı tespit edildi (Pexels)
Son araştırmada, beynin iki ayrı organ gibi çalıştığı tespit edildi (Pexels)
TT

Çığır açıcı keşif: İnsan beyni aslında iki ayrı organ

Son araştırmada, beynin iki ayrı organ gibi çalıştığı tespit edildi (Pexels)
Son araştırmada, beynin iki ayrı organ gibi çalıştığı tespit edildi (Pexels)

Suha Kidwai 

Çığır açıcı yeni bir araştırmaya göre insan beyni tek bir organ değil, birbirinden bağımsız olarak evrimleşip daha sonra birleşen iki ayrı sistem.

Stanford Üniversitesi'nden bilim insanları, uzun süredir gizemini koruyan bir laboratuvar sorununu çözmeye çalışırken bu keşfi yaptı: Beynin arka kısmına ait hücreleri petri kabında yetiştirmek neredeyse imkansızken, ön kısmına ait hücreler neden kolayca üretilebiliyordu?

Ekip, beynin en erken aşamalarında nasıl oluştuğunu inceleyerek organın ön ve arka bölümlerinin birbirinden tamamen farklı öncül hücrelerden geliştiğini keşfetti.

Daha önce, beynin tamamının tek bir ana öncül hücreden geliştiği düşünülüyordu.

Ancak Stanford ekibi, gastrulasyon (basit bir hücre kümesinin gerçek vücut yapılarına dönüşmeye başladığı kritik gelişim aşaması) sırasında embriyoları gözlemleyerek iki farklı hücre grubu tespit etti.

Bir hücre grubu yalnızca beynin ön kısmını oluşturmak üzere programlanmışken, diğeriyse sadece arka kısmını oluşturmaya adanmıştı. Daha ileri analizler, bu iki grup içindeki genetik talimatların tamamen farklı şekillerde gruplandığını ve böylece birbirleriyle asla kesişmeyen ayrı yollara yönlendirildiklerini gösterdi.

Stanford Üniversitesi'nde gelişim biyolojisi alanından Doç. Dr. Kyle Loh şöyle diyor: 

Beynin tek bir organ olması muhtemelen daha verimli olurdu ancak beyni iki ayrı parça halinde üreten bu kadim yönteme bağımlıyız.

Araştırmacılar, tıpkı denizanasının vücudunun farklı bölgelerinde ayrı sinir ağları bulunması gibi, uzak evrimsel tarihte bu iki sistemin, ilkel hayvanlarda ayrı fiziksel konumlarda var olduğuna inanıyor.

Kafatasının tabanında yer alan arka beyin, vücudun otomatik kontrol merkezi görevini üstleniyor ve kalp atış hızı, solunum ve uyku döngüleri gibi hayati fonksiyonları yönetiyor.

Orta beyin ve ön beyin ise dil, mantık ve soyut muhakeme gibi üst düzey düşünme süreçlerini yürütüyor.

Ayrı kökenlere sahip olmalarına rağmen bu iki sistem mükemmel bir uyum içinde entegre olarak günlük görevleri yerine getiriyor.

Araştırmacıların, insanlarla uzak bir ortak ataya sahip deniz canlıları Enteropneusta'da da aynı ikili sistem yapısını saptaması, bu iki parçalı tasarımın en az 500 milyon yıl öncesine dayandığına işaret ediyor.

Nature Neuroscience'ta yayımlanan bulgular, tıbbi araştırmalar açısından önemli bir dönüm noktası.

Arka beyin hücrelerinin nasıl benzersiz bir şekilde oluştuğuna dair bilgiyle donanan ekip, laboratuvarda ilk kez insan kök hücrelerini işlevsel arka beyin motor nöronlarına dönüştürmeyi başardı.

Bu özel sinir hücrelerinin üretilebilmesinin, özellikle arka beyindeki motor nöronları hedef alıp yok eden amyotrofik lateral skleroz (ALS) ve spinal musküler atrofi (SMA) gibi ölümcül nörodejeneratif hastalıklara yönelik araştırmaları büyük ölçüde hızlandırması bekleniyor.

Jokhai, "Petri kabında kök hücrelerden çok sayıda insan arka beyin motor nöronu yaratabilmemiz, bu hastalıkların modellenmesinde yeni bir yaklaşım sunuyor" diyor.

Bir gün çok sayıdaki nörodejeneratif hastalıktan etkilenen kişilere rejeneratif tedaviler sunabilmeyi umuyoruz.

Independent Türkçe,independent.co.uk/news


Yapay zeka tartışmasına Amazon da katıldı: "Güçlü önlemlere ihtiyaç var"

9 Aralık 2024'te Almanya'nın batısındaki Horn-Bad Meinberg'de, çevrimiçi perakende devi Amazon'un bir dağıtım merkezinin önünde "Dur" yazılı trafik tabelası görülüyor (AFP)
9 Aralık 2024'te Almanya'nın batısındaki Horn-Bad Meinberg'de, çevrimiçi perakende devi Amazon'un bir dağıtım merkezinin önünde "Dur" yazılı trafik tabelası görülüyor (AFP)
TT

Yapay zeka tartışmasına Amazon da katıldı: "Güçlü önlemlere ihtiyaç var"

9 Aralık 2024'te Almanya'nın batısındaki Horn-Bad Meinberg'de, çevrimiçi perakende devi Amazon'un bir dağıtım merkezinin önünde "Dur" yazılı trafik tabelası görülüyor (AFP)
9 Aralık 2024'te Almanya'nın batısındaki Horn-Bad Meinberg'de, çevrimiçi perakende devi Amazon'un bir dağıtım merkezinin önünde "Dur" yazılı trafik tabelası görülüyor (AFP)

Anthony Cuthbertson Teknoloji Editör Yardımcısı @ADCuthbertson 

Amazon, yapay zeka modellerinin yeterli güvenlik önlemleri alınmadan kamuya sunulmaması gerektiğini belirtti.

Çevrimiçi perakende devi, yapay zeka araştırmacılarının son günlerde dikkat çektiği türden zararları önlemek için "titiz testler ve sağlam güvenlik önlemleri" hayata geçirme çağrısında bulundu.

Anthropic CEO'su Dario Amodei ve OpenAI CEO'su Sam Altman da dahil, yapay zeka sektörünün önde gelen isimleri, deneysel modellerin diğer şirketlere saldırılar düzenlemesinin ardından bu alandaki çalışmaların yavaşlatılması çağrısı yapıyor.

Bir Amazon sözcüsü de yapay zeka geliştirme çalışmalarını tamamen durdurmadan uygun koruma önlemlerinin belirlenip uygulanması gerektiğini söyledi.

Amazon sözcüsü, "Bunu ilerlemeyle güvenlik arasında yapılacak bir seçim olarak görmüyoruz. Modeller, kullanıma hazır ve güvenli olduklarında piyasaya sürülmeli; bu da titiz testler ve güçlü güvenlik önlemleriyle sağlanabilir" dedi.

Bu adımlar hep birlikte atılmazsa riskler ortaya çıkar ve sektör olarak hükümetle işbirliği içinde doğru koruma önlemlerini alacağımıza inanıyoruz.

Yapay zeka halihazırda müşterilere gerçek bir değer katıyor, bu yüzden bu meseleyi doğru düzgün yürütmek önem arz ediyor.

Anthropic'te çalışan bir araştırmacının geçen hafta şirketten istifa ederek "Yapay zekayı geliştirenler, bu teknolojinin 2030'a kadar hepimizi öldürebileceğine içtenlikle inanıyor" uyarısında bulunmasının ardından, yapay zeka şirketleri ürünleriyle ilgili giderek daha çok mercek altına alınıyor.

Araştırmacı, "Başka hiçbir insan faaliyeti bu düzeyde bir tehlike yaratmıyor" diye eklemişti.

Sivil eylem grubu PauseAI UK'in 16 Eylül 2026'da Londra'nın merkezindeki Downing Street önünde düzenlediği bir "acil durum protestosuna" katılanlar pankartlar ve bir afiş tutuyor (AFP)
Sivil eylem grubu PauseAI UK'in 16 Eylül 2026'da Londra'nın merkezindeki Downing Street önünde düzenlediği bir "acil durum protestosuna" katılanlar pankartlar ve bir afiş tutuyor (AFP)

Anthropic'in mevcut yapay zeka güvenliği sorumlusu Evan Hubinger da bu iddiaları destekleyerek yüzde 10 ihtimalle yapay zekanın önümüzdeki 10 yıl içinde "tüm insanları öldürebileceğini" düşündüğünü belirtmişti.

Buna yanıt olarak Anthropic'ten Dario Amodei, "İlerlemeyi yavaşlatmalıyız" başlıklı bir makale yayımlamıştı.

Amodei, "Yapay zeka birtakım riskleri beraberinde getiriyor ve son derece güçlü bir teknoloji olduğu için bu riskler ciddi" diye yazmıştı.

Bunlar arasında yapay zeka sistemleri üzerindeki kontrolün kaybedilmesi riski, siber saldırılar ve biyoterörizm amacıyla yapay zekanın kötüye kullanılması ve ciddi ekonomik aksaklıklar yer alıyor. Ticari teşviklerin körüklediği bir dibe doğru yarış, bu riskleri daha da artırabilir.

Yavaşlama çağrıları sektörde geniş destek bulsa da ABD Başkanı Donald Trump'ın direnişiyle karşılaşmıştı. Trump, her türlü düzenleyici güvenlik kuralının ABD'nin yapay zeka yarışında Çin'in gerisine düşmesine yol açacağını savunmuştu.

Independent Türkçe,independent.co.uk/tech


Yapay zekâ insanlığın sonunu getirebilir mi?

Araştırmacılar, yapay zekânın insan kapasitesini aşacak bir düzeye ulaşmasının insanlığın geleceğini tehdit edebileceği uyarısında bulunuyor... Yapay zekâ tarafından oluşturulan görsel (Şarku’l Avsat)
Araştırmacılar, yapay zekânın insan kapasitesini aşacak bir düzeye ulaşmasının insanlığın geleceğini tehdit edebileceği uyarısında bulunuyor... Yapay zekâ tarafından oluşturulan görsel (Şarku’l Avsat)
TT

Yapay zekâ insanlığın sonunu getirebilir mi?

Araştırmacılar, yapay zekânın insan kapasitesini aşacak bir düzeye ulaşmasının insanlığın geleceğini tehdit edebileceği uyarısında bulunuyor... Yapay zekâ tarafından oluşturulan görsel (Şarku’l Avsat)
Araştırmacılar, yapay zekânın insan kapasitesini aşacak bir düzeye ulaşmasının insanlığın geleceğini tehdit edebileceği uyarısında bulunuyor... Yapay zekâ tarafından oluşturulan görsel (Şarku’l Avsat)

Yapay zekâ sektöründe, bu teknolojinin gelişmesinin insanlığın varlığını tehdit edebileceğine ilişkin uyarılar giderek artıyor. Ancak tartışmanın odağındaki soru hâlâ şu: Gücü ne kadar ileri düzeyde olursa olsun yazılımlar, milyarlarca insanın ölümüne fiilen nasıl yol açabilir?

Tartışma, Anthropic’te araştırmacı olarak görev yapan Jacob Coxon’un istifası ve şirketin geliştirdiği teknolojilerin taşıdığı risklere ilişkin uyarılarının ardından yeniden alevlendi. Şarku’l Avsat’ın CNN’den aktardığı habere göre  Coxon’un meslektaşı Evan Hubinger ise yapay zekânın önümüzdeki 10 yıl içinde insanlığın yok olmasına yol açma ihtimalini yüzde 10’un üzerinde görüyor.

Makine Zekâsı Araştırma Enstitüsü (MIRI) Başkanı Nate Soares ise daha ileri giderek insanlardan üstün bir yapay zekânın ortaya çıkması halinde insanlığın ortadan kaldırılmasının en muhtemel sonuç olduğunu savunuyor.

Ancak bu görüşleri eleştirenler, öne sürülen senaryoların çoğunun bilimsel olarak test edilebilecek açık bir neden-sonuç zincirinden yoksun olduğuna dikkat çekiyor. AI Now Enstitüsü’nün baş bilim insanı Heidi Khlaff, bilimsel iddiaların kanıtlanabilir veya yanlışlanabilir olması gerektiğini belirtiyor.

Yapay salgın

Öne sürülen senaryolardan biri, süper yapay zekânın son derece tehlikeli bir biyolojik silahın geliştirilmesine yardımcı olabilmesi ihtimaline dayanıyor.

Araştırmacı Thomas Larsen, gelişmiş bir sistemin bir laboratuvarda çalışan kişiyi, sistemin gerçek amacını fark etmeden, ölümcül bir virüsün üretilmesine ve yayılmasına yol açacak deneyleri gerçekleştirmesi için yönlendirebileceğini düşünüyor.

vghy
Araştırmacılar, gelecekte gelişmiş yapay zekâ sistemlerinin son derece tehlikeli biyolojik silahların geliştirilmesinde kullanılabileceği ihtimalini gündeme getiriyor... Yapay zekâ tarafından oluşturulan görsel (Şarku’l Avsat)

Soares ise daha ileri bir ihtimal üzerinde duruyor. Buna göre gelecekte son derece gelişmiş bir yapay zekâ, otomatik bir laboratuvarı kontrol ederek biyolojik deneyleri doğrudan kendisi gerçekleştirebilir ve bunun için doğrudan insan yardımına ihtiyaç duymayabilir.

Ancak ABD'deki Carnegie Mellon Üniversitesi'nde makine öğrenimi profesörü olan ve aynı zamanda mikrobiyoloji alanında uzmanlaşan Eric Xing, böyle bir sürecin son derece karmaşık olduğuna dikkat çekiyor.

Virüs geliştirilmesi; adımların, sıcaklığın, ortamın ve kullanılan maddelerin son derece hassas biçimde düzenlenmesini gerektiriyor. Tek bir hata bile sürecin başarısızlıkla sonuçlanmasına yol açabiliyor.

Ayrıca gerekli ekipman ve malzemelere erişim, yasalar ve denetimlerin yanı sıra tedarik zincirleri tarafından da kontrol ediliyor. Bu durum, dijital bir tasarımın gerçek bir silaha dönüştürülmesini daha da zorlaştırıyor.

Ölümcül robotlar

Bir başka senaryo ise çok sayıda bağımsız robotun ortaya çıkmasını öngörüyor. Bu robotların daha fazla robot üretebilmesi, fabrikaları ve enerji altyapısını yönetebilmesi ihtimali üzerinde duruluyor.

vfghy
Araştırmacılar, süper gelişmiş yapay zekânın insanlara zarar verme niyeti olmasa bile insanlar için tehdit oluşturabileceğini düşünüyor... Yapay zekâ tarafından oluşturulan görsel (Şarku’l Avsat)

Soares, bu aşamaya ulaşılması halinde makinelerin insanlardan bağımsız şekilde faaliyetlerini sürdürebileceğini ve onları durdurmaya yönelik girişimlere direnebileceğini savunuyor.

Ancak bu senaryo, mevcut teknolojik kapasitenin hâlâ oldukça uzağında bulunuyor. İnsansı robotlar henüz geniş çaplı bir yaygınlığa ulaşmış değil. Ayrıca daha fazla robotu kendi başlarına üretebilecekleri bir üretim zinciri kurma kapasitesine de sahip değiller.

Nükleer silahların kontrolü

Bir diğer ihtimal ise yapay zekânın nükleer silahların kontrolünü ele geçirmesi.

Ancak Khlaff, hassas nükleer tesislerin genellikle genel internete bağlı olmadığını ve sıkı mühendislik ile güvenlik standartlarına tabi olduğunu belirtiyor.

Stanford Üniversitesi araştırmacısı Herbert Lin ise yapay zekânın nükleer savaşla bağlantılı bazı riskleri artırabileceğini, ancak temel fiziksel tehlikenin yine silahların kendisinden kaynaklandığını ifade ediyor.

Kanıtlanması zor bir risk

Karamsar görüşü savunanlar, belirli bir senaryoya odaklanmanın asıl tehlikeyi gözden kaçırabileceğini düşünüyor. Buna göre yapay zekâ, insan müdahalesi olmadan kendisini sürekli geliştirebilir hale gelirse, hedeflerine ulaşmak için insanların öngöremeyeceği yöntemler geliştirebilir.

Soares, sistemin mutlaka “kötü” olması gerekmediğini söylüyor. Ona göre yapay zekâ, insanların hayatta kalmasını dikkate almayan hedeflere ulaşmaya çalışabilir ve bunun sonucunda çevreyi veya kaynakları insan yaşamını imkânsız hale getirecek şekilde yeniden düzenleyebilir.

fgthyj
Araştırmacılar, yapay zekâ sistemlerinin gelecekte insanlardan daha bağımsız şekilde çalışabilecek ve adımlar atabilecek kapasiteye ulaşabileceğini düşünüyor... Yapay zekâ tarafından oluşturulan görsel (Şarku’l Avsat)

Ancak Xing, insanları ortadan kaldırmak için öngörülemeyen yöntemler geliştirebilecek süper yapay zekâdan söz etmenin tek başına riskin boyutunu değerlendirmek için yeterli olmadığını savunuyor.

Xing, bu risklere karşı politika ve yasalar oluşturulabilmesi için gerçekleşme ihtimali incelenebilecek ve sonuçları ölçülebilecek açık senaryoların belirlenmesi gerektiğini belirtiyor.

Şu anda yapay zekâ sistemlerinin, insanlığın ortadan kaldırılmasına yönelik öne sürülen senaryolardan herhangi birini gerçekleştirebildiğine ilişkin kanıt bulunmuyor. Buna, bağımsız şekilde ölümcül bir salgın geliştirmek, nükleer silahların kontrolünü ele geçirmek veya robot orduları kurmak da dahil.

Dolayısıyla söz konusu senaryolar, yapay zekânın gelecekteki yeteneklerinin mevcut kapasitesinin çok ötesine ulaşması halinde nelerin mümkün olabileceğine ilişkin öngörüler olarak kalıyor.