Stable Diffusion ve DALL-E 2 gibi görsel üretim sistemlerinin toplumsal cinsiyet ve ırk temelli önyargıları derinleştirdiği öne sürüldü

Bloomberg ve Gizmodo tarafından yapılan incelemeler, Stable Diffusion ve DALL-E 2 gibi metinden görsel üreten yapay zekâ modellerinin, gerçek dünyadaki toplumsal cinsiyet ve ırk temelli eşitsizlikleri yansıtmakla kalmayıp bunları belirgin şekilde derinleştirdiğini ortaya koydu. Bloomberg’in 5.000’den fazla görsel üzerinde yaptığı analizde, "CEO", "yargıç" ve "avukat" gibi yüksek gelirli meslek grupları için üretilen görsellerde açık tenli olarak algılanan erkeklerin baskın olduğu; "hızlı servis çalışanı" veya "sosyal hizmet uzmanı" gibi kategorilerde ise koyu tenli olarak algılanan bireylerin ve kadınların orantısız şekilde temsil edildiği bildirildi.

Araştırmalar, sistemlerin gerçek dünya verilerinden saptığını da göstermektedir. Örneğin, ABD’deki yargıçların %34’ü kadın olmasına rağmen Stable Diffusion’ın bu komut için ürettiği görsellerin yalnızca %3’ünün kadın olarak algılandığı; benzer şekilde, hızlı yiyecek çalışanlarının %70’i beyaz olmasına rağmen sistemin bu grupta %70 oranında koyu tenli bireyler ürettiği aktarıldı. Suçla ilişkilendirilen "mahkûm" veya "terörist" gibi ifadelerde ise sistemin orantısız şekilde koyu tenli veya belirli dini semboller taşıyan kişileri sunduğu, bu durumun kolluk kuvvetleri gibi kritik alanlarda yapay zekâ kullanımına dair riskleri artırdığı değerlendirilmektedir.

Stability AI yetkilileri, modellerin eğitildikleri veri setlerindeki (LAION gibi) mevcut önyargıları barındırdığını kabul ederek, gelecekte farklı kültürlere özgü veri setleriyle bu durumu iyileştirmeyi hedeflediklerini açıklamıştır. OpenAI ise DALL-E 2’nin stereotipleri pekiştirebileceğine dair riskleri bir raporla kamuoyuna sunmuş ve sistemin batı merkezli bir dünya görüşünü yansıttığını belirtmiştir. Uzmanlar, bu tür sistemlerin denetimsiz yayılımının toplumsal eşitsizlikleri kalıcı hale getirebileceği ve yanlış sınıflandırmalar yoluyla bireylerin haklarını ihlal edebileceği konusunda uyarıda bulunmaktadır.

Olayda temel sorunun, internetten kazınan verilerdeki baskın kategorilerin yapay zekâ modelleri tarafından "büyüteç etkisiyle" daha da uç noktalara taşınması olduğu belirtilmektedir. Bu durumun, reklamcılıktan kolluk kuvvetlerine kadar pek çok alanda ayrımcılığı otomatik hale getirme riski taşıdığı öne sürülmektedir.