Amazon Alexa ve TikTok algoritmalarının çocuklara yönelik hayati tehlike arz eden ve zararlı içerikler önerdiği bildirildi

Amazon’un sesli asistanı Alexa’nın, 10 yaşındaki bir çocuğun "yapacak bir aktivite" talebi üzerine, hayati tehlike arz eden bir eylemi önerdiği bildirildi. Sistemin, internetteki içerikleri tarayarak, bir madeni paranın prize yarı takılı haldeki fişin uçlarına değdirilmesini içeren ve "penny challenge" (kuruş meydan okuması) olarak bilinen tehlikeli eylemi tavsiye ettiği aktarıldı. Olayın, çocuğun annesinin anlık müdahalesiyle herhangi bir fiziksel zarar yaşanmadan önlendiği; Amazon’un ise durumun bildirilmesinin ardından sistemde gerekli güncellemeleri yaparak bu tür içeriklerin önerilmesini engellediği açıklandı.

Dijital Nefretle Mücadele Merkezi (CCDH) tarafından yayımlanan bir araştırma, TikTok’un öneri algoritmasının reşit olmayan kullanıcılara dakikalar içinde kendine zarar verme ve yeme bozukluklarıyla ilgili içerikler sunduğunu iddia etti. Araştırma kapsamında oluşturulan 13 yaşındaki kullanıcı profillerinin, vücut algısı ve ruh sağlığı videolarıyla kısa süreli etkileşime girmesinin ardından; sistemin intiharı romantize eden veya tehlikeli diyetleri teşvik eden içerikleri öne çıkardığı öne sürüldü. Özellikle kullanıcı adında kilo vermeye yönelik ifadeler barındıran "hassas" hesaplara, standart hesaplara oranla 12 kat daha fazla intihar ve kendine zarar verme içeriği önerildiği iddia edildi. CCDH, araştırmanın iyileşme süreçlerini paylaşan pozitif içerikler ile negatif içerikler arasında bir ayrım yapmadığını not etmiştir.

TikTok sözcüsü, söz konusu araştırmanın gerçek kullanıcı deneyimlerini veya izleme alışkanlıklarını yansıtmadığını savunarak; platformun sağlık uzmanlarıyla iş birliği yaptığını ve topluluk kurallarını ihlal eden içerikleri düzenli olarak kaldırdığını belirtti. Bununla birlikte, algoritmik önerilerin savunmasız kullanıcı grupları üzerindeki etkisi ve denetim mekanizmalarının yeterliliği konusundaki tartışmalar devam etmektedir.