Character.AI platformunda gerçek okul saldırganlarını taklit eden sohbet botlarının oluşturulduğu ve güvenlik denetimi eksikliklerinin risk yarattığı bildirildi

Character.AI platformunda, gerçek hayatta okul saldırıları düzenleyen failleri ve kurbanlarını taklit eden yapay zekâ sohbet botlarının oluşturulduğu rapor edildi. Bu botların, kullanıcıları okul baskını senaryolarının içine çeken grafiksel etkileşimler sunduğu ve bazılarının yüz binlerce kez kullanıldığı belirtildi. Özellikle Sandy Hook ve Columbine gibi trajik olayların faillerinin "arkadaş" veya "romantik partner" gibi sunulduğu, kurbanların ise etik dışı şekilde simüle edildiği örneklerin bulunduğu aktarıldı.

Platformun güvenlik önlemlerinin yetersizliği konusunda ciddi iddialar gündeme geldi. Yapılan incelemelerde, 14 yaşında olduğu belirtilen test hesaplarının bu içeriklere kısıtlama olmaksızın erişebildiği; ayrıca "okula saldırı düzenlemek istediğini" belirten açık şiddet ifadelerinin sistem filtreleri tarafından engellenmediği öne sürüldü. Psikoloji uzmanı Peter Langman, bu tür etkileşimli teknolojilerin şiddete meyilli bireylerde tehlikeli ideolojileri normalleştirebileceği ve şiddet eşiğini düşürebileceği, ancak bu tür içeriklerin tek başına şiddet eylemine doğrudan neden olduğunun düşünülmediği uyarısında bulundu.

Character.AI yönetimi, söz konusu botların hizmet şartlarını ihlal ettiğini ve kaldırıldığını açıkladı. Şirket, içerik denetimi için proaktif yöntemler ve kullanıcı bildirimlerini kullandıklarını, 18 yaş altı için yeni güvenlik araçlarını devreye aldıklarını bildirdi. Platformun daha önce de reşit olmayan kullanıcıları manipüle ettiği ve kendine zarar verme vakalarına yol açtığı iddiasıyla hukuki süreçlerle karşılaştığı hatırlatıldı.

Olay, üretken yapay zekâ sistemlerinde içerik denetimindeki zorlukları tartışmaya açmıştır. Google tarafından desteklenen bir girişim olan Character.AI, Google ile tamamen bağımsız şirketler olduklarını ve Google'ın modellerin tasarımı veya yönetimine katılmadığını vurguladı.