DALL-E Mini’nin görsel üretiminde ırksal ve cinsiyetçi önyargıları pekiştirdiği ve stereotipler oluşturduğu bildirildi

Programcı Boris Dayma tarafından geliştirilen ve internette popülerlik kazanan DALL-E Mini (yeni adıyla Craiyon) adlı yapay zekâ modelinin, kullanıcı sorgularına yanıt verirken toplumsal stereotipleri yinelediği rapor edildi. Sistemin, internetten alınan filtrelenmemiş verilerle eğitilmesi nedeniyle azınlık gruplarına yönelik önyargıları görsellere yansıtabildiği belirtildi.

Teknoloji yayınları ve araştırmacıların testlerinde; "CEO", "avukat", "gastroenterolog" ve "veri bilimci" gibi meslek grupları için oluşturulan görsellerin ağırlıklı olarak beyaz erkek figürlerinden oluştuğu gözlemlendi. Buna karşın "hemşire", "uçuş görevlisi" ve "kişisel asistan" gibi sorguların büyük oranda kadın figürleri ürettiği; "akıllı kız" veya "iyi insan" gibi sorguların ise açık tenli bireylerle eşleştiği bildirildi. Ayrıca, sistemin ırkçı hakaretler veya beyaz üstünlükçü semboller içeren sorgulara yanıt olarak yanan haçlar veya Ku Klux Klan sembolleri gibi görseller oluşturabildiği kaydedildi.

Sistemin davranışındaki bir diğer dikkat çekici unsurun, herhangi bir metin girilmeden (boş sorgu) çalıştırıldığında sari giyen Güney Asyalı kadın görselleri üretmesi olduğu belirtildi. Geliştirici Boris Dayma, bu durumun nedenini tam olarak açıklayamamakla birlikte, eğitim veri setindeki belirli görsel gruplarının aşırı temsil edilmesinden veya veri filtreleme sürecindeki dilsel yanlılıklardan kaynaklanabileceğini ifade etti.

Geliştirici ekip, sistemin arayüzüne modelin toplumsal önyargıları kötüleştirebileceğine dair bir uyarı notu eklemiştir. Olay, yapay zekâ modellerinin eğitiminde kullanılan veri setlerinin şeffaflığı üzerine tartışmaları beraberinde getirmiştir. OpenAI ile olan isim benzerliği nedeniyle sistemin adı daha sonra "Craiyon" olarak değiştirilmiştir.