OpenAI'ın "gizli projesi" Q* ne kadar tehlikeli?

"Yapay zekada büyük bir atılım"

Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
TT

OpenAI'ın "gizli projesi" Q* ne kadar tehlikeli?

Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)
Sam Altman yönetiminde şirketin değeri yaklaşık 80 milyar dolara ulaştı (OpenAI)

Dünyanın önde gelen yapay zeka şirketlerinden OpenAI'ın kurucu ortağı Sam Altman'ın yönetim kurulu tarafından kovulmasıyla başlayan ve 5 gün sonra görevine dönmesiyle sona eren kaos şüphe, spekülasyon ve endişe dalgasına neden oldu.

Bunların başında da yapay zeka firmasının "tehlikeli bir icat" yaptığı iddiası geliyor.

Reuters'ın 23 Kasım'da yayımladığı ve isimsiz bir kaynağa dayandırdığı haberinde şirkette Q* adlı üstün bir yapay zekanın geliştirildiği öne sürülmüştü.

Adı verilmeyen kaynak, "Yeni model belirli matematik problemlerini çözmeyi başardı" demişti. Öte yandan bu matematik problemlerinin yalnızca ilkokul öğrencileri düzeyinde olduğu belirtilmişti. 

Reuters ayrıca bazı araştırmacıların, Altman'ı ihraç eden yönetim kurulu üyelerine Q*'nun potansiyel tehlikelerini dile getiren bir mektup gönderdiğini yazmıştı.

The Information'ın da isimsiz bir kaynağa dayandırdığı bir diğer habere göre, Q* "çok daha güçlü yapay zeka modellerine" olanak tanıyacak bir atılım olarak görülüyor.

Ancak aynı zamanda yeni yapay zeka araçlarının geliştirilme hızının güvenliğe odaklanan bazı araştırmacıları alarma geçirdiği söyleniyor.

Altman ise 30 Kasım'da The Verge'e verdiği röportajda iddiaları yalanlamamıştı.

Q* ne olabilir?

Analistler, bahsi geçen yeni aracın OpenAI'ın mayısta duyurduğu ve "süreç denetimi" (process supervision) adı verilen teknik sayesinde daha iyi sonuçlar elde edildiğini iddia eden bir projeyle ilgili olabileceğini düşünüyor.

Projede OpenAI'ın baş bilim adamı ve kurucu ortağı Ilya Sutskever'ın da aktif rol aldığı söyleniyor. Sutskever, başlangıçta Altman'ın görevden alınması yönünde oy kullanan yönetim kurulu üyelerinden biriydi. Ancak daha sonra bu konuda geri adım atmış ve pişman olduğunu söylemişti.

Şimdiye kadar edinilen bilgiler, araştırmacının Q* üzerinde çalışmaya öncülük ettiğini gösteriyor.

Mayısta duyurulan proje, ChatGPT'nin de aralarında yer aldığı büyük dil modellerinin (LLM'ler) yaptığı mantıksal hataların azaltılmasına odaklanıyor.

Hem Google hem de Baidu'da yapay zeka laboratuvarlarını yöneten ve Coursera'daki dersleri aracılığıyla birçok insanı makine öğrenimiyle tanıştıran Stanford Üniversitesi profesörü Andrew Ng'e göre bu, büyük dil modellerini geliştirmenin ve daha kullanışlı hale getirmenin bir sonraki adımı.

Ng, "LLM'ler matematikte o kadar iyi değil ama insanlar da iyi sayılmaz" diyor:

Ancak bana bir kalem ve kağıt verirseniz, o zaman çarpma işlemini çok daha iyi yaparım.

Q-öğrenmeye gönderme mi yapılıyor?

Diğer yandan Q*'nun ne olabileceğine dair başka ipuçları da var. Nitekim bu ismin pekiştirmeli bir öğrenme algoritması olan Q-öğrenmeye (Q-learning) gönderme olabileceği düşünülüyor.

Oyun oynayan botlar oluşturmak ve ChatGPT'yi daha yararlı olacak şekilde ayarlamak için de kullanılan sistem, olumlu veya olumsuz geri bildirimler yoluyla bir sorunu çözmeyi öğrenen algoritmayı içeriyor.

Bazı uzmanlarsa ismin aynı zamanda bir programın hedefe giden en uygun yolu bulmasını sağlamak için yaygın kullanılan A* arama algoritmasıyla da ilişkili olabileceğini öne sürüyor.

The Information'ın haberinde de konuyla ilgili bir başka ipucu yer alıyor:

Sutskever'ın atılımı, OpenAI'ın yeni modelleri eğitmek için yüksek kaliteli veri elde etmenin önündeki engellerin üstesinden gelmesine olanak sağladı. Araştırma, yeni modelleri eğitmek için internetten alınan metin veya görsel gibi gerçek dünya verileri yerine bilgisayar tarafından oluşturulan verilerin kullanılmasını içeriyordu.

Yapay zekanın bilgisayar tarafından üretilen verilerle eğitilmesi sıklıkla gündeme gelen bir konu. Bunlara "sentetik eğitim verileri" deniyor ve daha güçlü yapay zeka modellerinin geliştirilmesini sağlayacağı düşünülüyor.

Bu yöntemler ChatGPT'yi matematik bilmecelerinde daha iyi hale getirse de yapay zeka sistemlerinin insan kontrolünden çok yakında çıkabileceği anlamına gelmiyor.

Öte yandan OpenAI, Q*'yla ilgili yorum yapmayı halen reddediyor. 

Independent Türkçe



OpenAI'ın "korkutucu" bir güncelleme yaptığı iddiası: "Kırmızı çizgi aşılıyor"

(Reuters)
(Reuters)
TT

OpenAI'ın "korkutucu" bir güncelleme yaptığı iddiası: "Kırmızı çizgi aşılıyor"

(Reuters)
(Reuters)

Andrew Griffin 

Yapay zeka uzmanları, ChatGPT'ye geldiği söylenen ve yapay zeka sistemlerinin faaliyetlerini denetlemeyi zorlaştırabilecek "korkutucu" güncellemeyle ilgili alarma geçti.

Bu hafta çıkan haberlerde, OpenAI'ın yakında piyasaya süreceği Astra modelinin "opak tekrarlama" adı verilen bir teknik kullanacağı öne sürülse de şirket çalışanları bu haberleri yalanladı. OpenAI'ın söylentilere konu olan değişikliğini ilk kez bildiren teknoloji yayıncısı The Information, Anthropic ve Google DeepMind'ın da benzer güncellemeleri hayata geçirmeyi değerlendirdiğini ayrı bir haberde dile getirdi.

Tekrarlayan derinlik diye de bilinen opak tekrarlama, yapay zeka sistemlerinin zorlu görevleri daha iyi yerine getirmesini sağlayabilecek karmaşık ve teknik bir araç. Ancak uzmanlar bunun, düşünce zinciri denetimi tekniğini baltalayabileceği uyarısında bulunuyor. Bu teknik, bir yapay zeka sisteminin çıktısını üretirken girdiği akıl yürütme süreçlerinin bir kısmının insanlar tarafından görülmesini sağlıyor.

Düşünce zinciri denetiminin bazı sınırlamaları var. Ancak araştırmacıların, modellerin olası uygunsuz davranışlarını görüp nasıl ortaya çıktıklarını anlamasına imkan tanıdığından, yapay zeka güvenliğini sağlamada önemli bir araç olabilir.

Örneğin bir OpenAI modelinin başka bir yapay zeka şirketi Hugging Face'e kısa süre önce gerçekleştirdiği siber saldırıda araştırmacılar, deneysel sistemin saldırıyı başlatmaya nasıl karar verdiğini izleyebilmişti.

Yeni Astra modelinin bu tekniği kullandığını doğrulamayan OpenAI, ilk haberlerin "kafa karıştırıcı" olduğunu öne sürerken, The Information'a göre bu teknik yalnızca sınırlı bir şekilde kullanılıyor. OpenAI, Astra'yı piyasaya sürme planlarının devam edeceğini önceki günlerde duyurduğunda, aslında modelin "potansiyel olarak uyumsuz eylemleri hızla saptayıp kontrol altına almak için ek bir düşünce zinciri denetleme sistemi" içerdiğini belirtmişti.

Ancak yapay zeka uzmanları, yapay zeka sistemlerini denetleme yeteneğinin zayıflatılmasının tehlikeli bir süreci başlatabileceği uyarısında bulunuyor.

Yapay zeka güvenliği uzmanı Zvi Mowshowitz, Substack'te "Bu teknik ateşle oynamaktır. OpenAI ve Anthropic'in kurmak için mücadele ettiği, bizimse Düşünce Zinciri sadakatini ve denetlenebilirliğini elimizden geldiğince uzun süre korumak için büyük çaba harcadığımız bir tabuyu ihlal etme riskini taşıyor" diye yazıyor.

Bu tür tekniklerin daha yoğun kullanımı muhtemelen denetlenebilirliğe zarar verecek.

Büyük yapay zeka şirketlerini ve iddialarını düzenli olarak eleştiren araştırmacı Gary Marcus, bu "korkutucu durumun" kırmızı çizgiyi aşmak anlamına geleceğini söylüyor. Marcus "Düşünce zincirinin denetlenebilirliği sınırlı ve tam olarak güvenilir değil ancak ciddi derecede kötü sonuçları önlemek için pratikte elimizdeki tek yol bu" diye yazıyor.

OpenAI çalışanları, konuyla ilgili haberlerin "kafa karıştırıcı" olduğunu öne sürdü. Şirketin baş bilim insanı Jakub Pachocki, söylentilerin "denetlenemezliğe doğru bir yarış" başlatabileceği uyarısı yaparak OpenAI'ın düşünce zincirini denetlemeye yönelik bağlılığını korduğunu ve "bu tekniğe derinden önem verdiğini" söyledi.

Şirketin stratejik gelecekten sorumlu başkanı Dean W. Ball da benzer şekilde tartışmanın büyük ölçüde sosyal medyada gerçekleşmesini eleştirdi. Ball'a göre bu durum, "gerçekte neler olup bittiğine dair neredeyse hiç somut bilgiye sahip olmadan, teknik açıdan karmaşık ve incelikli iddialar hakkında sosyal medyada hüküm vermek" anlamına geliyor. Ball, X'te "Bu açıkçası çılgınca, akıl almaz ve ilgili herkes için sinir bozucu" diye yazdı.

Independent Türkçe, independent.co.uk/tech


OpenAI'dan bilinmeyen güvenlik açıklarını tek başına bulan modeliyle ilgili açıklama

Eğitimdeki modellerinin yakın zamanda kontrolden çıkması nedeniyle OpenAI tepki çekiyor (Reuters)
Eğitimdeki modellerinin yakın zamanda kontrolden çıkması nedeniyle OpenAI tepki çekiyor (Reuters)
TT

OpenAI'dan bilinmeyen güvenlik açıklarını tek başına bulan modeliyle ilgili açıklama

Eğitimdeki modellerinin yakın zamanda kontrolden çıkması nedeniyle OpenAI tepki çekiyor (Reuters)
Eğitimdeki modellerinin yakın zamanda kontrolden çıkması nedeniyle OpenAI tepki çekiyor (Reuters)

OpenAI, yakında piyasaya sürmeyi planladığı Astra modeli hakkında yeni detaylar paylaştı. 

Yapay zeka şirketi, 1 Eylül Salı günü yaptığı açıklamada Astra'nın "kritik siber güvenlik eşiğine" ulaşan ilk büyük dil modeli olduğunu belirtti.

ChatGPT'nin yaratıcısı, yeni modelin bilgisayar sistemlerindeki bilinmeyen güvenlik açıklarını bulup insan yönlendirmesine ihtiyaç duymadan bunları suiistimal edebildiğini saptadı. Bu da Astra'yı, Risklere Hazırlık Çerçevesi'nin en gelişmiş kategorisine sokuyor.

OpenAI'ın 2023'te devreye soktuğu bu çerçeve, "ciddi zarara yol açabilecek yeni riskler getirme ihtimali olan gelişmiş yapay zeka yeteneklerini izleyip hazırlanma" amacı taşıyor.

Şirket geçen yıl yaptığı bir güncellemede, modellerin ciddi zarara yol açabilecek "mevcut yöntemleri" güçlendirdiği "yüksek" eşiği ve "benzeri görülmemiş yeni yollar" ortaya çıkarabileceği "kritik" eşiği belirlemişti.

OpenAI, siber kötüye kullanma ve modelin yetkisiz eylemlerine karşı korumaları güçlendirip test ederken, Astra'nın geliştirme ve piyasaya sürülme süreçlerinin bazı bölümlerini ertelediğini salı günkü açıklamasında paylaştı: 

Bu çalışmaya dayanarak Astra için geliştirdiğimiz korumaların ciddi zarar riskini, modelin Risklere Hazırlık Çerçevemiz kapsamında kullanıma sunulmasına imkan verecek ölçüde azalttığına inanıyoruz.

OpenAI, Astra'yı yakında kullanıma sunmayı planladığını ancak modelin en gelişmiş siber güvenlik kabiliyetlerine erişimi sınırlı tutacağını da belirtti. Gelişmiş siber güvenlik çalışmalarının başlangıçta bir test grubuna sunulması planlanıyor.

Astra'yla ilgili duyuru, OpenAI'ın güvenlik önlemlerinin yoğun eleştiri altında olduğu bir dönemde geldi. Temmuzda şirketin bazı modelleri eğitim ortamından kaçarak internete bağlanmış ve Hugging Face adlı firmaya saldırmıştı. OpenAI modellerin başkalarını da hedef aldığını daha sonra açıklamıştı.

OpenAI, Astra bu olaya karışmamış olsa da olaydan çıkardığı dersleri modelin güvenlik yaklaşımına dahil ettiğini belirtti.

Açıklamada "O zamandan bu yana Astra için daha da güçlü korumalar uygulamaya koyduk" ifadelerine yer verildi: 

Bunlar arasında modelin zararlı siber talepleri daha güvenilir biçimde reddetmesi ve güvenlik kısıtlamalarına uyması için eğitilmesi, kötüye kullanıma karşı ek korumalar ve potansiyel olarak yetkisiz etkinlikleri durdurabilen izleme sistemleri yer alıyor.

OpenAI, Astra'yı Hugging Face olayında kontrolden çıkan modeller gibi davranmaya iten deneyler hazırladığını ancak modelin test ortamından kaçmaya çalışmadığını söyledi.

Öte yandan TechCrunch, üçüncü taraflar tarafından teyit edilmeden, OpenAI'ın güvenlik veya hazırlıkla ilgili iddialarını doğrulamanın güçlüğüne dikkat çekiyor.

OpenAI Vakfı'nda yapay zeka dayanıklılığı üzerine çalışan eski OpenAI personeli Yona Shavit de Astra'nın kuralları ihlal etmekten kaçınmasının gerçekten güvenlik talimatlarına uymasından mı, yoksa test edildiğini anlayarak araştırmacıları yanıltmaya çalışmasından mı kaynaklandığını sorguluyor.

Independent Türkçe, TechCrunch, CNBC, OpenAI


Elektrikli araç bataryaları, sanılandan daha uzun süre dayanıyor

Elektrikli araçların ne kadar şarj edildiği, batarya ömrünü etkiliyor (Reuters)
Elektrikli araçların ne kadar şarj edildiği, batarya ömrünü etkiliyor (Reuters)
TT

Elektrikli araç bataryaları, sanılandan daha uzun süre dayanıyor

Elektrikli araçların ne kadar şarj edildiği, batarya ömrünü etkiliyor (Reuters)
Elektrikli araçların ne kadar şarj edildiği, batarya ömrünü etkiliyor (Reuters)

Avusturya merkezli bir şirket, ikinci el elektrikli araç bataryalarının durumuyla ilgili son derece kapsamlı bir araştırma yayımladı.

Elektrikli araçlar dünya çapında gittikçe yaygınlaşsa da tüketicilerin aklına takılan en önemli sorulardan biri, bataryaların dayanıklılığını uzun süre koruyup koruyamayacağı. 

Özellikle ikinci el araç tercih eden müşteriler için bataryanın durumu daha da önemli hale geliyor.

Elektrikli araçların batarya sağlığını ölçen şirket AVILOO, bu ihtiyacı gidermek için kapsamlı bir çalışma yürüttü. 

Şirket, 2022'yle 2026 arasında kullanılmış 20 popüler modeli inceleyerek toplam 500 bin test sonucu elde edilen bulguları paylaştı.

AVILOO, dünya genelindeki 1 milyondan fazla testi içeren havuzdan veri çeken yeni raporunun, kullanılmış elektrikli araç batarya sağlığına ilişkin dünyanın en büyük bağımsız çalışması olduğunu söylüyor.

Çalışmada, en popüler elektrikli araç modellerinin çoğunun 150 bin kilometreden sonra bile batarya kapasitesinin yüzde 90'ından fazlasını koruduğu tespit edildi. 

Modellerin medyan sağlık durumunun, yani bataryanın ilk kapasitesinin kalan yüzdesinin 150 bin kilometreden sonra yüzde 87'yle yüzde 94 arasında değiştiği gözlemlendi. 

Bu ölçekte EQA (Mercedes-Benz) yüzde 94'le birinci sırada yer alırken, onu yüzde 93,8'le Ioniq 5 (Hyundai) ve yüzde 93,6'yla i4 (BMW) takip etti. 

Raporda medyan batarya ömrü 50 bin km'den sonra yüzde 91'le yüzde 97, 100 bin km'den sonra ise yüzde 88'le yüzde 95 arasında değişiyor.

Amerika, Avrupa, Avustralya ve Asya'yı kapsayan veriler, batarya durumunun modelden modele ve hatta aynı modelin farklı araçları arasında bile değişebildiğini gösteriyor.

Aynı modelin en iyi ve en kötü durumdaki araçları arasında batarya sağlığı bakımından 13,5 puana varan fark görülebiliyor

İklim koşulları, batarya boyutu ve önceki sürücünün aracı kullanma biçimi, bataryanın kapasitesini etkiliyor. Örneğin daha küçük bataryalar veya sıcak havalarda kullanılanlar daha hızlı bozunmaya uğruyor. 

AVILOO CEO'su Marcus Berger, "İki araç aynı yaşta ve aynı kilometrede olabilir, hatta dışarıdan tamamen aynı görünebilir. Ancak nasıl kullanıldıklarını bilemezsiniz" diyor.

Berger, elektrikli araçlar park halindeyken bataryaların ne kadar şarj edildiğinin bir diğer önemli faktör olduğunu söyleyerek ekliyor:

Çok az tüketicinin bildiği bir şey var: Arabalarınızı yüzde 100, yüzde 90 veya yüzde 80 şarj seviyesinde park etmeyin. Bu bataryaya zarar veriyor. 

CEO, ideal seviyenin yüzde 30 ila yüzde 70 olduğunu ekliyor.

Şirket, bu faktörlerden dolayı kendilerinin yürüttüğü gibi bağımsız ve tek tek araçlara odaklanan testlerin önemli olduğunu vurguluyor. 

Bu sayede tüketicilerin, modellerin ortalama performansına bakmaktan ziyade daha detaylı bilgi edinmesinin mümkün olduğunu belirtiyor.

Berger "Bu veriler, ortalamaların çok şeyi gizlediğini gösteriyor. Evet, elektrikli araç bataryaları 'hızlı yıprandıkları' yönündeki yaygın inanışın aksine oldukça iyi yaşlanıyor" diyerek ekliyor:

Önemli olan, batarya sağlığının modeller arasında ve hatta aynı modelin farklı araçları arasında ciddi derecede değişmesi.

Independent Türkçe, Interesting Engineering, TechRadar, Financial Times, AVILOO