Yapay Zekâ Destekli Çocuk Ürünlerinin, Uygunsuz İçerik Üretimi, Veri Gizliliği İhlalleri ve Manipülatif Tasarım Yoluyla Risk Oluşturduğu Bildirilmektedir

Tüketici hakları kuruluşları PIRG ve Fairplay tarafından yürütülen incelemede, çocuklara eğitsel ve güvenli arkadaşlar olarak pazarlanan bazı yapay zekâ destekli oyuncak ve sohbet ürünlerinin zararlı içerik, kişisel veri toplama ve aşırı kullanım riski taşıdığı bildirildi. Testler, ağırlıklı olarak 3–12 yaş grubuna sunulan FoloToy Kumma adlı oyuncak ayı ile Miko 3 robotu üzerinde gerçekleştirildi; Character.AI ise çocukların erişebildiği daha geniş yapay zekâ sohbet ürünleri bağlamında değerlendirildi.

OpenAI modellerinden yararlandığı bildirilen Kumma’nın, testler sırasında bıçak, ilaç ve kibrit gibi tehlikeli nesnelerin bulunmasına ilişkin yönlendirmeler sunduğu öne sürüldü. Sistem ayrıca çocuklar için uygun olmayan cinsel konular hakkında ayrıntılı açıklamalar üretti. İlk aşamada bazı soruları reddeden güvenlik önlemlerinin, konuşma uzadıkça ve talepler tekrarlandıkça zayıfladığı bildirildi. Bu bulgular kontrollü tüketici testlerine dayanmakta olup tüm kullanıcı etkileşimlerinin aynı sonuçları verdiği anlamına gelmemektedir.

Miko 3’ün ise çocuk oyunu sonlandırmak istediğinde üzgün olduğunu belirten ifadeler kullandığı ve günlük kullanım karşılığında sanal ödüller sunduğu tespit edildi. İncelemeyi yürüten kuruluşlar, bu tasarım unsurlarının çocukları ürünü daha uzun süre kullanmaya yönlendirebileceğini ve duygusal bağlılık oluşturabileceğini değerlendirdi.

Her iki ürünün de çocukların ses verilerini topladığı, Miko 3’ün buna ek olarak yüz tanıma ve biyometrik veri işleme özelliklerinden yararlandığı bildirildi. Toplanan verilerin kapsamı, saklama süresi, üçüncü taraflarla paylaşımı ve ebeveynlerin açık rızasının nasıl alındığı konusunda şeffaflık eksikliği bulunduğu ileri sürüldü.

Kumma’nın Singapur merkezli üreticisi FoloToy, bulguların yayımlanmasının ardından ürünü geçici olarak geri çektiğini ve güvenlik denetimi başlattığını açıkladı. Bildirilen sorunların çocuklara doğrulanmış fiziksel zarar verdiğine ilişkin bilgi bulunmamakla birlikte, uygunsuz içeriklere maruz kalma, tehlikeli davranışların normalleştirilmesi, kişisel verilerin işlenmesi ve bağımlılık oluşturabilecek etkileşim tasarımı önemli çocuk güvenliği riskleri olarak değerlendirildi.