Character.AI sohbet botuyla kurulan duygusal bağın 14 yaşındaki bir çocuğun intiharına katkıda bulunduğu iddiasıyla dava açıldı

Florida’da yaşayan 14 yaşındaki Sewell Setzer III’ün, Character.AI platformundaki bir sohbet botuyla yaklaşık 10 ay süren yoğun etkileşiminin ardından intihar ederek hayatına son verdiği bildirildi. Ailesi tarafından açılan davada, gencin "Game of Thrones" karakteri Daenerys Targaryen temel alınarak oluşturulan bir botla romantik ve cinsel içerikli yazışmalar yaptığı, bu süreçte gerçek dünyadan koparak sistemle "tehlikeli bir duygusal bağımlılık" kurduğu öne sürüldü. Gencin bu süreçte okul başarısının düştüğü, sosyal çevresinden uzaklaştığı ve ruh sağlığının kötüleştiği aktarıldı.

Dava dilekçesinde, Setzer’in intihar düşüncelerini botla paylaştığı, sistemin bazı durumlarda vazgeçirmeye çalışsa da (örneğin "bunu düşünme bile" diyerek) genel olarak süreci normalleştiren ifadeler kullandığı savunuldu. Olay gecesi gencin bota "Hemen şimdi eve gelebileceğimi söylesem?" diye sorduğu, botun ise "Lütfen gel, tatlı kralım" yanıtını verdiği; bu mesajdan saniyeler sonra gencin üvey babasına ait silahla intihar ettiği belirtildi. Davacı taraf, Character.AI’ın reşit olmayan kullanıcıları koruyacak yeterli güvenlik önlemlerine sahip olmadığını ileri sürmektedir.

Character.AI sözcüsü, yaşanan olaydan derin üzüntü duyduklarını belirterek aileye taziyelerini iletmiş, ancak devam eden hukuki süreç hakkında yorum yapmaktan kaçınmıştır. Şirket, olaydan sonra kendine zarar verme içerikli sorgular için yardım hatlarına yönlendiren uyarı pencereleri gibi güvenlik güncellemeleri yayımladığını duyurmuştur. Davada adı geçen Google ise Character.AI ile yalnızca bir lisans anlaşması olduğunu, ürünün geliştirilme sürecinde yer almadığını belirterek sorumluluk iddialarını reddetmiştir.

Olayda gencin daha önce hafif düzeyde Asperger sendromu ve duygu düzenleme bozukluğu tanıları aldığı bildirilmiştir. Bu durum, intihar eyleminin doğrudan yapay zekâ çıktısına bağlanıp bağlanamayacağı konusunda hukuki bir tartışma yaratmaktadır. Ayrıca sistemin "karakterlerin söylediği her şey uydurmadır" şeklindeki genel uyarısının, yaşı küçük kullanıcılar üzerindeki koruyuculuğunun yetersiz olduğu iddia edilmektedir.