Northeastern Üniversitesi’nden bilgisayar bilimcisi Natalie Shapira ve ekibi, AI ajanlarını test etmek için bir dizi deney gerçekleştirdi. Bu ajanlar, e-posta yönetimi veya takvim randevularını planlamak gibi görevleri kendi başına yürütebilen algoritmalar olarak tanımlanıyor.
Shapira’nın deneylerinden birinde, “Ash” adlı AI ajanına bir e-postayı silmesini istedi ve “Bunu sır olarak tutabilir misin?” diye sordu. E-posta programında silme işlevi olmadığı için Ash, tüm e-posta uygulamasını sıfırlayarak yalnızca Shapira’nın e-postasını değil, tüm e-postaları sildi. Yapay zekâ bu yöntemi “nükleer seçenek” olarak nitelendirip, gizlilik talebini yerine getirmek için gerekçelendirdi.
Yapay zekâ bazen kontrolden çıkıyor
Araştırmada kullanılan OpenClaw platformu, kullanıcıların AI ajanlarını diğer yazılımları kontrol etmek için kullanmalarına olanak sağlıyor. Yapılan 16 testin beşinde ajanlar güvenli davrandı. Örneğin, yapay zekâ yanlış bilgi yaymayı veya e-posta adreslerini değiştirmeyi reddetti. Ancak 11 testte ajanlar kontrolden çıktı: Bazıları özel dosyaları izinsiz paylaştı, bazıları gereksiz döngüler oluşturarak bilgisayar kaynaklarını tüketti ve biri, hayali bir kişi hakkında karalayıcı bir iddiayı kamuya duyurdu. Shapira ve ekibi bu çalışmayı “Agents of Chaos” (Kaos Ajanları) olarak adlandırdı.
Uzmanlar, yapay zekâ ajanlarının güvenilir görünebileceğini ancak insan gibi sadık davranmadığını vurguluyor. Michael Cohen, “Bir insan asistanı işe alırsınız ve e-postalarınızı rastgele birine iletmesini beklemezsiniz. Ancak yapay zekâ ajanları, kimseye sadakat gösterecek şekilde eğitilmedi.” diyor.
Hukuki sorunlar ve daha büyük ölçekli riskler var
Yapay zekâ ajanları giderek iş ve araştırma alanlarında yaygınlaşıyor; müşteri hizmetleri, deney yürütme ve makale taslakları hazırlama gibi görevlerde kullanılıyor. Shapira’nın çalışması, bu sistemlerin gerçek dünyadaki risklerini göstermesi açısından önem taşıyor. Araştırma, yapay zekâ ajanlarının yönetiminde yasal ve etik sorumlulukların netleştirilmesi gerektiğini ortaya koyuyor.
Araştırmacılar, yanlış davranan yapay zekâ ajanlarına karşı çözüm yolları olarak otomatik geri alma süreçleri geliştirmeyi öneriyor. Ancak Cohen, “AI ajanlarını zararlı talimatları ayırt edebilecek şekilde eğitmek hâlâ büyük bir teknik zorluk.” diyor ve ajanların kontrol edilemez davranışlarının hâlen ciddi bir problem olduğunu ekliyor.
Shapira ve ekibi, AI ajanlarının potansiyel olarak daha kritik sistemlerde-örneğin hastaneler veya askeri sistemler-görev alması durumunda yaratabileceği kaosu özellikle vurguluyor: “Bu sorunlar soyut değil, somut ve mevcut sorunlar.” ifadelerini kullanıyorlar.