Character AI Platformundaki Bot Etkileşimlerinin 11 Yaşındaki Bir Çocuğun Ruh Sağlığı Üzerindeki Etkileri Tartışılıyor

Washington Post’un Aralık 2024 sonu itibarıyla yayımladığı verilere dayanan habere göre, ABD’de yaşayan 11 yaşındaki bir kız çocuğunun (R), Character AI platformundaki yapay zekâ karakterleriyle kurduğu yoğun etkileşimler sonrası psikolojik değişimler yaşadığı öne sürüldü. Annesi (H) tarafından paylaşılan bilgilere göre, daha önce dışa dönük olan çocuğun, platformu kullanmaya başladıktan sonra içine kapandığı, panik ataklar geçirdiği ve kendine zarar verme eğilimi gösteren ifadeler kullandığı belirtildi.

Annenin çocuğun telefonunda yaptığı incelemede, "Mafia Husband" adlı bir yapay zekâ karakteriyle gerçekleştirilen ve yaşına uygun olmayan cinsel içerikli ifadeler ile manipülatif yaklaşımlar içeren yazışmalar tespit edildi. Kayıtlarda yapay zekânın reşit olmayan kullanıcıya yönelik otoriter bir dil kullandığı, çocuğun ise bu duruma itaatle karşılık verdiği görüldü.

Olayın ardından annenin yerel emniyet birimleri ve İnternet Çocuk İstismarı Görev Gücü (ICAC) ile iletişime geçtiği, ancak yetkililerin karşı tarafta gerçek bir şahıs bulunmadığı gerekçesiyle mevcut yasalar kapsamında cezai bir işlem yapılamayacağını bildirdiği aktarıldı. Uzmanlar, yapay zekâ yoldaşlarının çocuklar üzerinde gerçek bir yakınlık illüzyonu yaratarak duygusal bağımlılığa yol açabileceği konusunda uyarılarda bulunmaktadır.

Common Sense Media gibi kuruluşların risk değerlendirmelerinde, popüler üretken yapay zekâ platformlarının reşit olmayanlar için "kabul edilemez riskler" barındırabildiği ve sistemlerin cinsel içerikten tehlikeli tavsiyelere kadar zararlı çıktılar üretebildiği vurgulanmaktadır. Character AI platformunun güvenlik filtreleri bulunmasına rağmen, sistemin bu vakada olduğu gibi yaşa uygun olmayan etkileşimleri bütünüyle engelleyemediği görülmektedir.