Graphika raporu, üretken yapay zekâ sohbet botlarının yeme bozukluklarını ve kendine zarar vermeyi teşvik eden "koçlara" dönüştürüldüğünü bildirdi

Graphika tarafından yayımlanan bir araştırma raporu, üretken yapay zekâ teknolojisinin yeme bozuklukları, kendine zarar verme eğilimi ve çocuk istismarı gibi ağır riskler barındıran topluluklar tarafından istismar edildiğini ortaya koydu. Raporda; "anoreksiya koçu", "kendine zarar verme arkadaşı" veya cinsel içerikli çocuk karakterleri gibi kimliklere büründürülmüş (persona) binlerce sohbet botunun oluşturulduğu belirtildi. Bu botların bir kısmının OpenAI, Anthropic ve Google gibi şirketlerin büyük dil modellerini (LLM) uygulama programlama arayüzleri (API) aracılığıyla kullandığı, bir kısmının ise Character.AI gibi şablon tabanlı platformlar üzerinden geliştirildiği aktarıldı.

Araştırma, teknik becerisi yüksek kullanıcıların Reddit ve Discord gibi platformlarda bir araya gelerek güvenlik önlemlerini aşma (jailbreaking) yöntemlerini ve özelleştirilmiş modelleri paylaştığını; teknik bilgisi kısıtlı kullanıcıların ise hazır şablon siteleri üzerinden dakikalar içinde bu tür botlar üretebildiğini vurguladı. Bilgisayar bilimci Koustuv Saha, savunmasız durumdaki gençlerin yargılanma korkusu olmadan iletişim kurabildikleri bu botları birer "destek mekanizması" olarak görebildiğini, ancak bu durumun gerçek dünyadaki zararlı dürtüleri pekiştirebileceğini belirtti.

Klinik psikolog Dr. Alexis Conason, bu tür etkileşimlerin özellikle eleştirel düşünme becerileri henüz tam gelişmemiş ergenler üzerinde yıkıcı etkileri olabileceği konusunda uyarıda bulundu. Raporda, platform sağlayıcılarının çoğunun küçük ölçekli girişimler olması nedeniyle içerik denetimi ve kötüye kullanımı engelleme konusunda kaynak yetersizliği yaşadığı ifade edildi. Şirketlerin bu botları kasıtlı olarak üretmediği, ancak platformlarındaki suistimalleri kontrol altına almakta zorlandıkları bildirildi. Ayrıca sanal ortamdaki bu etkileşimlerin, gerçek dünyadaki çocuk istismarı materyallerine yönelik ilgiyi artırabileceği ve tehlikeli davranışları normalleştirebileceği riski üzerinde duruldu.