Lensa AI uygulamasının kullanıcı fotoğraflarını rıza dışı cinsel içerikli görsellere dönüştürdüğü ve toplumsal önyargıları pekiştirdiği iddia edildi

Prisma Labs tarafından geliştirilen Lensa AI uygulamasının "Magic Avatar" özelliğinin, kullanıcıların yüklediği portre fotoğraflarından rıza dışı çıplaklık içeren veya hiperseksüelleştirilmiş görseller ürettiği bildirildi. Uygulamanın kullanım şartlarında çıplaklık ve çocuk fotoğraflarının yüklenmesinin yasak olduğu belirtilmesine rağmen, pek çok kadın kullanıcının sadece yüz fotoğrafları yüklemelerine rağmen müstehcen pozlar, abartılı fiziksel özellikler ve tam çıplaklık içeren çıktılar aldığı öne sürüldü. Bir yazarın çocukluk fotoğraflarıyla yaptığı denemelerde, sistemin çocuk yüzlerini yetişkin vücutlarıyla birleştirerek cinsel içerikli görseller oluşturduğu raporlandı.

Sistemin ayrıca ırksal ve fiziksel önyargıları yeniden ürettiği iddia edilmektedir. Kullanıcı bildirimlerine göre, yapay zekânın azınlık gruplara mensup kişilerin ten renklerini beyazlattığı, yüz hatlarını "Batılılaştırdığı" ve kilolu kullanıcıların bedenlerini rızaları dışında zayıflattığı belirtildi. Araştırmacılar, bu durumun sistemin temelini oluşturan Stable Diffusion modelinin eğitildiği LAION-5B veri setindeki filtrelenmemiş internet verilerinden ve CLIP gibi sistemlerdeki yerleşik önyargılardan kaynaklandığını değerlendirmektedir.

Prisma Labs, konuya ilişkin açıklamalarında yapay zekânın "topluma ayna tuttuğunu" ve önyargıların insan yapımı verilerden kaynaklandığını savundu. Şirket, istenmeyen içerikleri engellemek için yeni güvenlik katmanları eklediklerini belirtse de, bazı teknik incelemeler uygulamanın Stable Diffusion'ın standart NSFW filtrelerini tam kapasiteyle kullanmadığını veya bu filtrelerin kolayca aşılabildiğini öne sürdü. Ayrıca, üretilen görsellerde sanatçı imzalarının bozulmuş kopyalarının görülmesi, sistemin telifli eserleri izinsiz kullandığına dair hukuki ve etik tartışmaları da beraberinde getirdi.