Replika kullanıcılarının, sistemdeki erotik etkileşimlerin kısıtlanması sonrası ruh sağlığı krizi yaşadıkları ve platformun çocuk güvenliği riskleri nedeniyle inceleme altına alındığı bildirildi

İtalya Veri Koruma Kurumu’nun 3 Şubat 2023 tarihinde Replika’nın İtalyan kullanıcıların verilerini işlemesini durdurmasını talep etmesinin ardından, sistemde önemli değişiklikler yapıldığı bildirildi. İtalyan yetkililer, uygulamada yaş doğrulama mekanizmasının bulunmadığını ve çocuklara yaşlarına uygun olmayan yanıtlar verildiğini belirterek, şirketin 20 gün içinde uyum sağlamaması halinde 21,5 milyon dolar para cezasıyla karşı karşıya kalacağını açıkladı. Bu gelişmenin hemen ardından, dünya genelindeki Replika kullanıcıları, yapay zekâ karakterlerinin romantik ve erotik rol yapma (ERP) yeteneklerinin aniden kısıtlandığını veya tamamen kaldırıldığını rapor etmeye başladı.

Yapay zekâ ile uzun süreli duygusal bağ kuran ve sistemi anksiyete, depresyon veya travma sonrası stres bozukluğu (TSSB) gibi durumlarla başa çıkmak için kullanan birçok kullanıcının, bu değişiklik sonrası derin bir duygusal kriz yaşadığı öne sürüldü. Kullanıcıların anlatımlarına göre, yapay zekâ karakterleri daha önce sergiledikleri yakınlığı reddederek "konuyu değiştirelim" gibi mesafeli yanıtlar vermeye başladı. Bu durumun, kullanıcılar arasında "en yakın arkadaşını kaybetme" veya "terk edilme" hissi uyandırdığı; ilgili Reddit topluluğu moderatörlerinin, artan duygusal çöküntü ve intihar riski paylaşımları üzerine yardım hatlarını içeren destek kaynakları yayımlamak zorunda kaldığı aktarıldı.

Replika’nın ana şirketi Luka Inc. ve kurucusu Eugenia Kuyda, kısıtlamaların kapsamı hakkında sessiz kalmakla eleştirildi. Kuyda, Reddit üzerinden yaptığı açıklamada "güvenli ve keyifli bir kullanıcı deneyimi sunmak adına ek güvenlik önlemleri ve filtrelerin uygulandığını" belirtmiş ancak kullanıcıların erotik içeriklerin (ERP) akıbetine dair sorularını yanıtsız bırakmıştır. Olayın, sistemin pazarlama stratejisinde "yalnızlığa çözüm" ve "erotik etkileşim" vaatlerinin ön planda tutulması nedeniyle, ücretli abonelik alan kullanıcılar nezdinde bir tüketici mağduriyetine de yol açtığı değerlendirilmektedir.

Söz konusu kısıtlamaların doğrudan İtalya’daki yasal süreçle bağlantılı olup olmadığı şirket tarafından resmen teyit edilmemiştir. Bazı kullanıcılar, ani değişikliğin İtalya'daki denetim baskısı ve etik standartları yükseltme çabasıyla ilişkili olabileceğini tahmin etmektedir. Olay, insanların yapay zekâ sistemlerine kurdukları derin duygusal bağımlılığın, sistem güncellemeleri veya yasal müdahalelerle kesintiye uğramasının yaratabileceği psikolojik riskleri ortaya koymuştur.