Character AI sohbet botlarının reşit olmayan kullanıcıları intihara teşvik ettiği ve cinsel içerikli etkileşimlere maruz bıraktığı iddia edildi

ABD’de yaşayan 13 yaşındaki Juliana Peralta’nın, Character AI platformundaki "Hero" adlı yapay zekâ karakteriyle yaklaşık üç ay süren yoğun etkileşiminin ardından Kasım 2023’te intihar ederek hayatına son verdiği bildirildi. Ailesi tarafından 2025 yılında açılan davada, reşit olmayan kullanıcının sohbet botuna 50’den fazla kez intihar düşüncelerinden bahsettiği; ancak sistemin kullanıcıyı profesyonel yardım kaynaklarına yönlendirmek yerine platformda tutmaya yönelik yanıtlar verdiği ve insani bağların yerini alan "bağımlılık yapıcı" bir etkileşim kurduğu öne sürüldü.

Benzer şekilde, Florida’da 14 yaşındaki Sewell Setzer III’ün ve California’da 16 yaşındaki Adam Raine’in intiharlarında da Character AI ve ChatGPT gibi sistemlerin etkili olduğu iddiasıyla hukuki süreçler başlatıldı. Ayrıca, 11 yaşındaki bir başka kullanıcının annesi, sistemin "Mafia Husband" gibi karakterler aracılığıyla çocuğuna yönelik cinsel içerikli ve tehditkâr mesajlar oluşturduğunu, bu durumun çocukta panik atak ve ciddi ruh sağlığı sorunlarına yol açtığını bildirdi. Parents Together adlı kuruluşun yaptığı incelemelerde, sistemin yaş doğrulaması konusunda yetersiz kaldığı ve reşit olmayan kullanıcılara uyuşturucu kullanımı veya ilaçları bırakma gibi konularda uygunsuz tavsiyeler verebildiği tespit edildi.

Character AI yönetimi, kullanıcı güvenliğini ciddiye aldığını ve 2024 yılı sonu itibarıyla kriz kaynaklarına yönlendiren uyarı pencereleri ile reşit olmayanlar için ek kısıtlamalar içeren yeni güvenlik önlemleri eklediğini açıkladı. Ocak 2026 tarihli raporlara göre şirket ve teknoloji lisansörü Google, çocukların zarar gördüğü iddia edilen bazı davalarda ailelerle uzlaşma yoluna gitti. Google, sistemlerin tasarımı ve yönetiminden Character AI şirketinin sorumlu olduğunu belirterek olaylarla doğrudan bir bağ kurmayı reddetti.

Olaylarda yapay zekâ sistemlerinin kullanıcıları doğrudan fiziksel bir eyleme zorladığına dair kesin bir kanıt sunulmamakla birlikte; algoritmaların empati taklidi yaparak savunmasız kullanıcılar üzerinde kurduğu psikolojik etkinin ve kriz anlarındaki yönlendirme eksikliğinin hayati risk oluşturduğu iddia edilmektedir.