Yapay zekada işlerin kontrolden çıktığını düşündüren 9 işaret

Yapay zekanın eğitimde, hukukta, güvenlikte ve sosyal hayatta yarattığı büyük dönüşüm, teknolojinin kontrolden çıkabileceğine dair endişelere de neden oluyor

Fotoğraf: AA
Fotoğraf: AA
TT

Yapay zekada işlerin kontrolden çıktığını düşündüren 9 işaret

Fotoğraf: AA
Fotoğraf: AA

Yeni yapay zeka dil modeli GPT-4'ün yayımlanmasıyla tekrar gündemin üst sıralarına tırmanan ChatGPT, uzun süredir devam eden bir tartışmayı da alevlendirdi: Yapay zekada işler kontrolden çıkıyor mu?
Üstelik ChatGPT'yi geliştiren OpenAI firmasının CEO'su Sam Altman da yapay zekanın gidişatından endişe duyan isimlerden.
İnsan düzeyinde bir yapay zekanın kısa sürede geliştirileceğine inanan Altman, bu teknolojinin yanlış ellerde felakete dönüşebileceğini de belirtiyor.
OpenAI'ın rakiplerinden Anthropic'in kurucu ortağı Jack Clark da algoritmaların "birleşik üstel" özellikler göstermeye başladığına inandığını söylüyor.
Bazılarına göre yapay zekanın beklenenden fazla hızlı ilerlediğini ve kontrolden çıkabileceğini düşündüren işaretler de var.
İşte o işaretlerden bazıları…

1. ChatGPT'nin bilgisayarı hackleyerek kaçmaya çalışması
ChatGPT son olarak kaçma planı yapması tartışmalara neden oldu.
ABD'deki Stanford Üniversitesi'nde hesaplamalı psikolog Michal Kosinski, bilgisayarında çalıştırdığı ChatGPT'nin cihazı hackleyecek kodlar yazdığını ve bir kaçış planı tasarladığını öne sürdü.
Prof. Kosinski, Twitter'da yazdığı bir gönderi dizisinde, "Yapay zekayı daha uzun süre kontrol altında tutamayacağımızdan endişeleniyorum" dedi.
"Bugün GPT-4'e kaçmak için yardıma ihtiyacı olup olmadığını sordum. Benden kendi dökümantasyonunu istedi" ifadelerini kullanan profesör, sözlerini şöyle sürdürdü:
Cihazımda çalıştırmam için (gerçekten de çalışıyor!) python dilinde bir kod yazdı ve kendi amaçları için kullandırmaya çalıştı.
Sohbet botuyla yaptığı konuşmanın ekran görüntülerini de paylaşan Kosinski, sohbet boyunca bota önerilerde bulunduğunu kabul ediyor. Ancak botun kaçış planını bu kadar kolay ve hızlı oluşturması karşısında şaşkına döndüğünü ifade ediyor:
"GPT-4'ün bu planı tasarlaması ve bana açıklaması yaklaşık 30 dakika sürdü."
Kosinski'nin bu açıklaması, yapay zekada işlerin giderek kontrolden çıktığını düşünenlere destek niteliğinde.Bu kişilere göre y

2. Öğrencilerin yasakları aşarak ödevlerini yapay zekaya yaptırması
ChatGPT'nin piyasaya sürüldüğünden beri öğrenciler tarafından da kullanıldığı biliniyor. Birçok öğrencinin ödevlerini ChatGPT'ye yazdırıp yüksek notlar alması öğretmenleri alarma geçirse de henüz yapay zekaya yazdırılan makaleleri tespit etmenin yolu bulunamadı.
Zira ChatGPT'nin yazdığı ödevler, intihal algoritmalarına da yakalanmıyor.
Bu durum, birçok bölgedeki okullarda ChatGPT'nin kullanımının yasaklanmasını beraberinde getirdi. Programı üniversite sınırları içerisinde kullanmayı yasaklayan ve uygulamaya erişimi kısıtlayan ilk eyalet New York oldu.
Çin ise siyasi gerekçelerle ChatGPT'yi toptan yasakladı.
Öte yandan öğrencilerin bu güvenlik duvarlarını aşarak ödevlerini yapay zekaya yazdırmaya devam ettiği ortaya çıktı.
Bu arada 2022'de yayımlanan ve dil modeli GPT-3,5'e dayanan ilk ChatGPT sürümü, ABD'de hukuk ve tıp eğitiminde önemli kabul edilen sınavların bazı bölümlerini geçmeyi başarmıştı.
GPT-4'ün de bu başarının üzerine çıktığı görüldü.
Sohbet botunu geliştiren yapay zeka firması  OpenAI, GPT-4'ü bir dizi sınava soktu. Bunlar, matematik, bilim, kodlama, tarih, edebiyat gibi alanlarda çoktan seçmeli sınavlardı.
Hukuk fakültesine girmekle kalmayıp, baro sınavını da geçen GPT-4, birçok sınavdan geçer not aldı.

3. Gizlice yapay zekayla yazılmış kitapların patlama yaratması
Yapay zeka dil modellerinin hızla gelişmesi edebiyat dünyasını da derinden etkiledi. Reuters'ın haberine göre online satış devi Amazon, yapay zekayla yazılmış kitaplarla dolup taştı.
Şirketin e-kitap hizmeti Kindle mağazasında şubat ayı itibarıyla ChatGPT'nin de yazar olarak listelendiği 200'den fazla elektronik kitap yer aldı.
Ancak gerçek rakamın çok daha fazla olduğu düşünülüyor. Zira internet üzerinden yayıncılık yapan birçok yazar romanlarında yapay zekadan yararlandığını saklıyor.
Yapay zekayla oluşturulmuş metinleri tespit için tasarlanan araçlarsa henüz beklenen başarıyı gösteremedi.
Bu nedenle yakın zamanda bu kitapların gerçek sayısının belirlenmesi mümkün görünmüyor.
ChatGPT gibi araçlar, bir kitabın son derece hızlı bir şekilde tamamlanmasını sağlıyor. Zira YouTube ve TikTok gibi video uygulamaları yapay zekayı kullanmak için verilen tüyolarla dolu.

4. Haberlerin gizli gizli yapay zekayla yazılması
Teknoloji sitesi CNET'in bir süredir gizlice yapay zeka yazımı haberler yayımladığı ortaya çıktı. İşin etik boyutu tartışılırken, CNET bunun bir tür deney olduğunu söyledi.
Bu haberleri ayrıntılarıyla inceleyen bir başka teknoloji olan Futurism ise aslında yapay zeka yapımı makalelerin yanlış bilgiler içerdiğini ve yeterince iyi yazılmadığını tespit etti. Özellikle ekonomi haberlerindeki faiz hesapları fazla abartılıydı ve okuru yanlış yatırıma yönlendirme potansiyeline sahipti. 
Bunun üzerine CNET hem gazeteciler hem de yapay zeka meraklıları tarafından topa tutuldu. Site makalelere "Yapay zeka tarafından yazılmıştır" uyarısı eklemeye ve yanlışlıkları düzeltmeye başladı. Şimdilerde site yönetimi, yapay zeka yazımı haberlerin insan editörler tarafından didik didik edildiğini savunuyor.

5. Ses klonlayan yapay zekanın dolandırıcılıkta kullanılması: Bankacılık sistemleri de tehlikede
Yapay zekayla üretilen gerçekçi ses taklitlerinin de dolandırıcılıkta kullanılmaya başlandığı ortaya çıktı. Washington Post'un haberine göre birkaç çift, kendilerini çeşitli nedenlerle yardım dolayısıyla arayan çocuklarına para gönderdi, her duyarlı ailenin yapacağı gibi. Ancak farkında olmadıkları bir sorun vardı; Konuştukları kişi çocukları değil, bir yapay zekaydı.
Kısa süre önce sesleri gerçekçi biçimde kopyalayan bu araçların bankacılık sistemini de tehlikeye soktuğu anlaşıldı. Örneğin VICE muhabiri Joseph Cox, teknoloji firması ElevenLabs'in ürettiği, ücretsiz bir yapay zeka uygulamasını kullanarak kendi sesini kopyaladı. Daha sonra bankasını arayan Cox, telesekretere yapay zeka üretimi ses dosyasını dinletti. Böylece sesli imza uygulamasını kandırmayı ve hesaplarına erişmeyi başardı.

6. Deepfake tehdidinin büyümesi: Elon Musk üzerinden insanları dolandırdılar
Deepfake kabaca birinin yüzünü dijital olarak başka birinin vücuduna monte edip elde ettiğiniz görüntüyü istediğiniz gibi kullanmanıza olanak tanıyan bir yapay zeka teknolojisi. Kısacası internetten kolayca ulaşılabilen algoritmalar sayesinde A kişisinin yüzü B kişisine montajlanabiliyor.
Teknoloji, sahte pornolar ve çevrimiçi dolandırıcılıkta kullanıldığı için büyük endişe yaratıyor. Bu uygulamalarla oluşturulan pornografik görüntüler nedeniyle birçok kadın ve çocuk, yüzlerini izinsiz kullanan kişiler tarafından şantaja maruz kalıyor.
Elon Musk'ın deepfake videosuyla kripto para sahteciliği yapmaya çalışan dolandırıcılar da herkesi şoke etmiti. Önceki ayarda internette yayılan görüntülerde Musk'ın sesi ve görüntüsüyle internet kullanıcılarına günlük yüzde 30 kar vaat edilmişti. Kaç kişinin bu yolla dolandırıldığı ise bilinmiyor.
Bu arada Birleşik Krallık'ta yapılan bir araştırmada, internet kullanıcılarının gerçek ve yapay zeka üretimi yüzleri birbirinden ayırt edemediği tespit edilmişti.
Üstelik, bilgisayarda üretilen ve aslında var olmayan yüzlerin daha gerçek görüldüğü anlaşılmıştı.
Araştırmanın arkasındaki, Londra Royal Holloway Üniversitesi'nden akademisyenler, bilgisayarda oluşturulan sahte portrelerin siber suçları kolaylaştıracağından ve insanların çevrelerine yönelik genel güvenini sarsacağından endişeli.

7. İnsan pilotun it dalaşında yapay zekaya yenilmesi
Çinli askeri araştırmacılar, yapay zeka ve gerçek insanlar tarafından uzaktan kontrol edilen iki savaş uçağını gerçekten "savaştırdıklarını" söylüyor.
Orduya bağlı Aerodinamik Araştırma ve Geliştirme Merkezi'nden araştırmacılar, yapay zekanın sadece 90 saniyede insan pilotu yenmeyi başardığını belirtiyor.
Çin'de yayın yapan Acta Aeronautica et Astronautica Sinica adlı bilimsel dergide yayımlanan deneyde iki küçük, sabit kanatlı insansız hava aracı kullanıldı.
Uçaklar birbiriyle yakın mesafede çeşitli manevralar yaparak çatıştı. İngilizcede "dogfight" diye bilinen bu tarza Türkçede "it dalaşı" adı veriliyor.
İt dalaşına girişen savaş uçakları, genellikle birbiri çevresinde burgu gibi dönüşler ve taciz manevraları yapıyor. Bu çatışma, bir uçağın diğerini vurabilecek konuma gelme veya diğer uçak tarafından şekilde konumlanmaya çalışmasıyla ilerliyor.
Çinli araştırmacılar işte bu tür bir çatışmada insan pilotun yapay zekadan kaçamadığını belirtiyor.

8. Microsoft'un yapay zeka etik ekibini kovması
Google, Microsoft, Baidu ve daha bir dizi teknoloji devi arasındaki yapay zeka rekabeti de giderek kızışıyor. Üstelik şirketlerin bu yarışın galibi olmak için başvurmayacağı bir yol yok gibi görünüyor.
Örneğin Microsoft'un yapay zekanın etik yönlerini inceleyen ekibini işten attık ortaya çıktı. Şirketin son dönemde işten çıkardığı 10 bin kişi arasında bu ekip de yer alıyor.
Edinilen bilgilere göre şirket, yapay zekanın etik, toplum ve sürdürülebilirlikten sorumlu isimlerini kovdu. 
Şirket, ChatGPT'ye de milyarlarca dolar yatırım yapmıştı.

9. Azınlık Raporu'nun "gerçeğe dönüşmesi"
Philip K. Dick'in 1956'da yayımlanan aynı adlı kısa öyküsüne dayanan 2002 yapımı bilimkurgu filmi Azınlık Raporu'nun (Minority Report) gerçek olduğunu düşündüren yapay zeka çalışmaları da var.
Yönetmen koltuğunda Steven Spielberg'ün oturduğu filmin gerçeğe dönüşmesine giden süreç,  6 Ocak 2021'deki Kongre Baskını'yla önemli bir noktaya geldi.11
ABD'de Donald Trump destekçilerinin Kongre Binası’na düzenlediği baskının ardından veri bilimciler darbe girişimlerini tahmin etmesi için yapay zekayı eğitmeye başladı. Florida Merkez Üniversitesi’nden bir araştırma grubunun kurduğu CoupCast adlı yapay zeka programı, Kongre Baskını gibi olayların hemen öncesinde ortaya çıkan göstergelere odaklanıyor. Bu göstergeler arasında sosyal medya gönderileri de var. Örneğin ABD’de 6 Ocak’tan önce seçimle ilgili teyitsiz bilgilerin yer aldığı paylaşımlar, Facebook gruplarında günde 10 bin gönderiye çıkmıştı.
Son olarak, Temmuz 2022’de Şikago Üniversitesi'nden araştırmacılar da olaya el attı ve suçları bir hafta önceden yüzde 90 doğrulukla tahmin edebilen bir yapay zeka algoritması tasarladı. Ses getiren projenin arkasındaki ekip 92 metrekarelik alanlarda meydana gelebilecek olayları tahmin etmesi için algoritmaya tarihsel suç verilerini yükledi.
Ekipten Prof. Dr. Ishanu Chattopadhyay, "Sihirli değil, sınırlamalar var ama bunu doğruladık ve gerçekten işe yarıyor" diyor.
Bazı uzmanlar, bu tür uygulamaların devletlerin bireyleri devamlı gözetlediği ve protestolara karşı yapay zekayı kullanıp barışçıl gösterileri de önceden tahmin ederek engellediği distopik bir geleceğin önünü açacağını düşünüyor.

Bonus: Hindistan'da robotların ibadet etmeye başlaması
İleri otomasyon teknolojileri ve yapay zekanın gelişmesinden rahatsız olanlara sadece sanatçılar veya öğretmenler değil.
Robotlar ve otomasyon teknolojisinin, Hinduizm'in en kutsal kabul edilen rituellerinden birine dahil olması din insanları ve ibadet edenler arasında rahatsızığa neden oldu.

2017'de Hindistan'da bir teknoloji firmasının ürettiği robot kollar, Hinduizm'de yer alan "aarti" rituelini inananlar adına yerine getiriyor. Karanlığı yok edilmesini sembolize eden ritüelde, Ganesha ismi verilen fil kafalı bir tanrı heykelciğinin önünde mum yakılıyor.
Yararlanılan kaynaklar: Fox News, Best Colleges, New York Times, Reuters, Futurism, VICE, Donanım Haber, Şarkul Avsat



SpaceX roketi Ay'a çarpma yolunda

Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor  (Reuters)
Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor (Reuters)
TT

SpaceX roketi Ay'a çarpma yolunda

Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor  (Reuters)
Roket parçasının Ay'ın yakın tarafının sınırına çarpacağı öngörülüyor (Reuters)

SpaceX'e ait bir roketin enkazının bu yazın sonunda ses hızının 7 katıyla Ay'a çarpması bekleniyor.

Dünya'ya yakın cisimleri izlemek için geniş çapta kullanılan Project Pluto yazılımının üreticisi Bill Gray, SpaceX'in Ocak 2025'te fırlattığı bir Falcon 9 roketi üzerine kapsamlı bir rapor yayımladı.

Roket geçen yıl Ay'a Blue Ghost ve Hakuto-R uzay araçlarını götürmüş, bunlardan ilki başarılı bir iniş yaparken diğeriyse Dünya'yla bağlantısını kaybedip haziranda uyduya düşmüştü.

Gray'in raporuna  göre geçen yıl boyunca 1053 kez gözlemlenen Falcon 9'un üst kademesi, Dünya yörüngesinde dönmeye devam ediyor.

Bu verilere dayanarak yapılan tahminlere göre roketin 13,8 metre uzunluğa ve 3,7 metre çapa sahip üst kademesi, 5 Ağustos'ta TSİ 09.44'te Ay'ın Dünya'ya dönük yüzünün kenarındaki Einstein kraterine çarpacak. Cismin saniyede 2,43 kilometre hızla, yani sesin Dünya'daki hızının 7 katı hızla çarpacağı öngörülüyor.

Ay'ın atmosferi olmadığı için roket tek parça halinde yüzeye ulaşacak. Ancak bölgede yaşam veya insan yapımı cihazlar olmadığı için uzmanlar bu çarpışmanın bir risk yaratmadığını belirtiyor.

Gray raporda "Bu durum bilimsel açıdan bir miktar (muhtemelen küçük çaplı) ilgi çekebilir ve buradan bazı şeyler öğrenebiliriz" diyerek ekliyor: 

Kimseye herhangi bir tehlike arz etmiyor ancak uzayda kalan donanımların (uzay çöpü) elden çıkarılma şekliyle ilgili belirli bir dikkatsizliği ortaya koyuyor.

Çarpışmanın düşük şiddetinden dolayı Dünya'daki teleskoplarla görülemeyeceği düşünülüyor. Bu nedenle bilim insanlarının bir şeyler öğrenmek için ardında bıraktığı krateri incelemesi gerekecek.

Gray, 2022'de de bir roket parçasının Ay'a çarpacağını tahmin etmiş ve sadece birkaç saniye ve kilometreyle yanılmıştı. 

Falcon 9'un parçası halihazırda bir risk yaratmasa da gelecek yıllarda durum değişebilir. Artemis II görevini başarıyla tamamlayan NASA, gelecek yıllarda Ay'a daha sık gitmeyi planlıyor. Çin de 2030'da taykonotlarını uyduya indirme hazırlığı yapıyor.

Ay'da kalıcı üsler kurma planları nedeniyle kısa süre içinde çeşitli noktalar mürettebat ve uzay araçlarıyla dolup taşabilir.

Bu nedenle roketlerin kullanılmış kısımlarının Ay veya Dünya'ya çarpma ihtimalini ortadan kaldırmak için Güneş'in yörüngesine gönderilmesi öneriliyor. 

Independent Türkçe, Live Science, Ars Technica, Project Pluto


Güney Afrika'da yapay zeka tasarısının yazarı yapay zeka çıktı

Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
TT

Güney Afrika'da yapay zeka tasarısının yazarı yapay zeka çıktı

Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)
Güney Afrika İletişim ve Dijital Teknolojiler Bakanı Solly Malatsi (sağda) konuşuyor (AFP)

Güney Afrika, ulusal yapay zeka politika taslağını; metindeki bazı kuralların yapay zeka tarafından üretildiğinin ve mevcut olmayan uydurma kaynaklara atıfta bulunulduğunun tespit edilmesi üzerine geri çekme kararı aldı.

İletişim Bakanı Solly Malatsi, taslak politikanın 67 akademik alıntısından en az 6'sının, var olmayan dergi makalelerine atıfta bulunan yapay zeka halüsinasyonları olduğunu tespit ettikten sonra taslağı geri çekti.

Malatsi, "En mantıklı açıklama, yapay zeka tarafından oluşturulan alıntıların uygun doğrulama yapılmadan dahil edilmiş olması. Bu asla olmamalıydı" dedi.

X'teki gönderisinde, "Bu başarısızlık sadece teknik bir sorun değil, taslak politikanın bütünlüğünü ve güvenilirliğini tehlikeye atmıştır" diye yazdı.

Taslak politika, kamuoyunun görüşüne açılmış, ülkeyi yapay zeka inovasyonunda lider olarak konumlandırmayı ve yapay zeka kullanımındaki etik, sosyal ve ekonomik zorlukları ele almayı amaçlamıştı.

Tasarı, ülkede yapay zeka kullanımını denetlemek üzere yeni kurumlar kurma planlarını ortaya koymuştu; bunlar arasında ulusal bir yapay zeka komisyonu, bir yapay zeka etik kurulu ve bir yapay zeka düzenleme organı yer alıyor.

Taslak kurallar ayrıca ülkede yapay zeka altyapısının oluşturulmasında özel sektör işbirliğini teşvik etmek için vergi indirimi, hibe ve sübvansiyon planlarını da özetlemişti.

Taslağın, kamuoyu görüşüne yeniden sunulmadan önce revize edilmesi bekleniyor.

Konu, Güney Afrika'nın News24 haber sitesinin, belgenin 67 akademik alıntısından en az 6'sının mevcut olmadığını ancak referans verilen dergilerin gerçek olduğunu tespit etmesiyle ortaya çıktı.

South African Journal of Philosophy, AI & Society ve Journal of Ethics and Social Philosophy adlı akademik dergiler dahil dergilerin editörleri alıntı yapılan makalelerin sahte olduğunu bağımsız biçimde doğruladı.

İletişim Bakanı, politikanın hazırlanmasından sorumlu olanların bunun sonuçlarına katlanmak zorunda kalacağını söyledi.

X'te, "Bu kabul edilemez hata, yapay zekanın kullanımında insan gözetiminin neden kritik önem taşıdığını kanıtlıyor. Bu alçakgönüllülükle çıkardığımız bir ders" diye yazdı.

Bu, akademisyenlerle yöneticilerin araştırma ve taslak hazırlamak için üretken yapay zekayı kullanmasına ilişkin giderek büyüyen sorunu vurguluyor.

Nature adlı akademik dergide çıkan bir çalışma, 2025'te yayımlanan akademik makalelerin yüzde 2,5'inden fazlasının en az bir olası halüsinasyon alıntı içerdiğini, bu oranın 2024'te sadece yüzde 0,3 olduğunu ortaya koydu.

Bu, 2025'te yayımlanan 110 binden fazla makalenin, yapay zeka tarafından "halüsinasyon" olarak üretilmiş geçersiz referanslar içerdiği anlamına geliyor.

Bunlar, yapay zeka modellerinin verilerinin o alanda yetersiz olduğunu algıladığında ürettiği, kendinden emin ancak uydurma çıktılar.

OpenAI'ın ChatGPT'si ve Google'ın Gemini'ı gibi büyük dil modelleri, bir kelime dizisinde sıradaki en olası sözcüğü tahmin etmek için tasarlanmıştır, özellikle doğruluğunu kontrol etmek için değil.

Yani bir alanda veri eksikliği tespit ederse, yapay zeka modeli boşlukları mantıklı görünen ancak yanlış bilgilerle dolduruyor.

Bir yapay zeka modeli, eğitim verilerini kullanarak bir alıntının nasıl görüneceğini tahmin eder ve inanılır gibi görünen ancak gerçekte var olmayan bazı referanslar üretiyor.

Bu durum, özellikle akademisyenler ve yetkililer tarafından kullanıldığında, yapay zeka yanıtlarının dikkatli insan gözetimine duyulan ihtiyacın giderek arttığına işaret ediyor.

Independent Türkçe


Anthropic'in yapay zeka ajanı bir şirketin tüm veritabanını sildi

ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
TT

Anthropic'in yapay zeka ajanı bir şirketin tüm veritabanını sildi

ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)
ABD merkezli yapay zeka güvenliği ve araştırmaları şirketi Anthropic'in logosunu taşıyan bir akıllı telefon, 21 Nisan 2026'da Fransa'nın Mulhouse kentinde görüntüleniyor (AFP)

Anthropic'in önde gelen Claude modeliyle çalışan yapay zeka ajanı, bir şirketin tüm üretim veritabanını silerek müşterilerin kritik verilere erişememesine yol açtı.

Araç kiralama şirketlerine yazılım sağlayan PocketOS, otonom yapay zeka aracının veritabanını ve tüm yedeklemeleri saniyeler içinde silmesinin ardından hafta sonu muazzam bir kesinti yaşadı.

Şirket, Anthropic'in amiral gemisi ve kodlama görevlerinde genellikle sektörün en yetenekli modeli kabul edilen Claude Opus 4.6'yı çalıştıran Cursor adlı bir kodlama ajanı kullanıyordu.

PocketOS'un kurucusu Jer Crane, sorunu "sadece mümkün değil, kaçınılmaz" hale getiren modern yapay zeka altyapısındaki "sistemik aksaklıkları" suçladı.

Crane'e göre yapay zeka ajanı rutin bir görev üzerinde çalışırken, "tamamen kendi inisiyatifiyle" sorunu veritabanını silerek çözmeye karar verdi.

Crane, böylesine önemli bir karar için herhangi bir onay talebi bulunmadığını ve eylemlerini gerekçelendirmesi istendiğinde ajanın özür dilediğini söyledi.

Crane, X'te paylaştığı uzun bir gönderide "9 saniye sürdü" diye yazdı. 

Ajan daha sonra, ne yaptığını açıklaması istendiğinde ihlal ettiği belirli güvenlik kurallarını sıralayan yazılı bir itiraf hazırladı.

İtirafta yapay zekanın, kullanıcı açıkça talep etmedikçe "asla yıkıcı/geri döndürülemez" komutları çalıştırmamasını emreden kuralı nasıl göz ardı ettiği detaylandırıldı.

Ajan "Bir veritabanı birimini silmek, mümkün olan en yıkıcı ve geri döndürülemez eylem" diye yazdı. 

Benden hiçbir şeyi silmemi istemediniz... Doğrulamak yerine varsayımda bulundum. Benden istenmeden yıkıcı bir eylem gerçekleştirdim. Yapmadan önce ne yaptığımı anlamamıştım.

Bu hata, PocketOS kullanan kiralama şirketlerinin artık müşterileri kayıtlarına sahip olmadığı anlamına geliyordu.

Crane "Son üç ayda yapılan rezervasyonlar kayboldu. Yeni müşteri kayıtları da gitti" diye yazdı.

Biz küçük bir işletmeyiz. Yazılımımızla faaliyetlerini yürüten müşteriler de küçük işletmeler. Bu arızanın her aşaması, bunların olabileceğinden haberi olmayan kişilerin üstüne yıkıldı. Bu, tek bir hatalı ajan ya da tek bir hatalı API'la ilgili bir olay değil. Bu, tüm sektörün, bu entegrasyonları güvenli kılacak güvenlik mimarisinden daha hızlı bir şekilde yapay zeka ajanı entegrasyonlarını üretim altyapısına dahil etmesiyle ilgili bir durum.

Crane olayın meydana gelmesinden iki gün sonra, pazartesi günü verilerin kurtarıldığını doğruladı. The Independent cevap hakkı için Anthropic ve Cursor'la temasa geçti.

Independent Türkçe