Genderify adlı yapay zekâ servisinin cinsiyet tahminlerinde sistematik önyargılar barındırdığı ve bu nedenle kapatıldığı bildirildi

İsim, e-posta adresi ve kullanıcı adlarını analiz ederek kişilerin cinsiyetini tahmin etmeyi vadeden Genderify adlı yapay zekâ servisinin, mesleki unvanlar ve belirli anahtar kelimeler üzerinden cinsiyetçi kalıpları pekiştiren sonuçlar ürettiği iddia edildi. Temmuz 2020’de kullanıma sunulan platformun, özellikle akademik ve profesyonel unvanları doğrudan erkek cinsiyetiyle ilişkilendirdiği gözlemlendi. Yapılan testlerde, "Meghan Smith" ismi %60,4 oranında kadın olarak tahmin edilirken, ismin başına "Dr." unvanı eklendiğinde sistemin bu tahmini %75,9 oranında erkek (%24,1 kadın) olarak değiştirdiği aktarıldı.

Araştırmacılar ve sosyal medya kullanıcıları tarafından paylaşılan diğer örneklerde; "bilim insanı" (scientist) kelimesinin %95,7, "profesör" unvanının ise %98,4 oranında erkek olarak sınıflandırıldığı bildirildi. Buna karşın "aptal" (stupid) gibi olumsuz ifadelerin %61,7 oranında kadın cinsiyetiyle eşleştirildiği öne sürüldü. Sistemin ayrıca cinsiyeti yalnızca ikili (kadın/erkek) bir yapıya hapsettiği, ikili cinsiyet dışı (non-binary) bireyleri yok saydığı ve bu durumun hedefli reklamcılık gibi alanlarda kullanılmasının ayrımcılığa yol açabileceği değerlendirildi.

Genderify yetkilileri, sistemin mevcut resmi veri tabanları üzerine eğitildiğini ve amacının aslında mevcut çözümlerdeki önyargıları minimize etmek olduğunu savundu. Şirket sözcüsü, modelin ideal sonuçlar vermediğini kabul etmekle birlikte, sistemin iyileştirilmesi için geri bildirimlere ihtiyaç duyduklarını belirtti. Ancak sistemin, bizzat kendi operasyon direktörünün (COO) ismini dahi %91 güven oranıyla "erkek" olarak tahmin etmesi ve kamuoyunda oluşan yoğun tepkiler üzerine platformun ve API erişiminin tamamen kapatıldığı açıklandı.

Olayda, yapay zekâ modelinin eğitim verilerindeki mevcut toplumsal önyargıları doğrudan devraldığı ve bunları otomatik bir süreçle yeniden ürettiği üzerinde durulmaktadır. Şirket, topluluğun ürüne yönelik olumsuz yaklaşımı nedeniyle faaliyetlerini sonlandırma kararı aldığını duyurmuştur.