DALL-E 2’nin toplumsal önyargıları yeniden ürettiği ve OpenAI’ın bu durumu gizli komut düzenlemeleriyle yönetmeye çalıştığı bildirildi

OpenAI tarafından geliştirilen DALL-E 2 sisteminin, eğitim verilerindeki dengesizlikler nedeniyle ırksal ve cinsiyetçi önyargıları barındıran çıktılar ürettiği tespit edildi. Sistemin "doktor" veya "CEO" gibi komutlar verildiğinde ağırlıklı olarak beyaz erkek, "kabin memuru" komutu verildiğinde ise kadın görselleri oluşturduğu; bu durumun internetten çekilen milyonlarca verideki yerleşik kalıpları yansıttığı değerlendirildi. OpenAI, yayımladığı "Riskler ve Sınırlamalar" belgesinde sistemin toplumsal stereotipleri pekiştirebileceğini kabul etti.

Adobe Research'ten Richard Zhang ve diğer kullanıcılar, OpenAI’ın bu önyargıları dengelemek amacıyla kullanıcıların bilgisi dışında komutlara müdahale ettiğini öne sürdü. Yapılan incelemelerde, sistemin "bir kişi" gibi genel ifadeler içeren komutlara "siyah" veya "kadın" gibi anahtar kelimeleri otomatik ve rastgele eklediği iddia edildi. OpenAI sözcüsü, New Scientist’e yaptığı açıklamada, ırk veya cinsiyet belirtilmeyen "yetersiz tanımlanmış" komutların, dünya nüfusunu daha doğru yansıtmak amacıyla sistem düzeyinde modifiye edildiğini doğruladı.

Şirketin önyargıları giderme çabalarının yan etkilere yol açtığı da rapor edildi. OpenAI araştırmacıları, eğitim verilerinden cinsel içerikli görselleri filtreleme girişimlerinin başlangıçta kadın görseli üretme oranını düşürdüğünü (silinme/erasure etkisi) fark ettiklerini ve bu durumu düzeltmek için filtreleme yaklaşımlarında ayarlamalar yaptıklarını belirtti.

Alan Turing Enstitüsü’nden Mhairi Aitken ve Oxford Üniversitesi’nden Sandra Wachter gibi uzmanlar, OpenAI’ın bu müdahalelerini "şeffaflık eksikliği" ve "geçici bir çözüm" olarak nitelendirdi. Eleştirilerde, teknik yamaların kök sorun olan veri setindeki kültürel önyargıları değiştirmediği ve sistemin nasıl çalıştığına dair kamuoyu denetimini zorlaştırdığı vurgulandı. OpenAI ise sınırlı kullanıcı grubuyla yapılan ön izleme sürecinin, bu tür riskleri gerçek dünya koşullarında anlamak ve iyileştirmek için değerli olduğunu savunmaktadır.