Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
UT Austin’ın Doktora Başvurularını Değerlendirmek İçin Kullandığı GRADE Adlı Yapay Zekâ Sisteminin Önyargıları Pekiştirebileceği Tartışılıyor
UT Austin, doktora başvurularını filtrelemek için kullandığı ve tarihsel önyargıları barındırabileceği gerekçesiyle eleştirilen GRADE adlı sistemi, teknik bakım zorluklarını gerekçe göstererek kullanımdan kaldırdı.
Olay
Teksas Üniversitesi Austin (UT Austin) Bilgisayar Bilimleri Bölümü’nün, 2013 ile 2020 yılının başı arasında doktora başvurularını önceliklendirmek amacıyla GRADE adlı bir makine öğrenmesi sistemi kullandığı bildirildi. Sistemin, geçmiş kabul kararlarıyla eğitildiği; adayların not ortalaması, mezun oldukları okulların prestiji ve tavsiye mektuplarındaki anahtar kelimeler üzerinden 5 üzerinden bir puan ürettiği belirtildi. Geliştiriciler, sistemin inceleme süresini %74 oranında azalttığını savundu.
Ancak sisteme yönelik eleştiriler, GRADE’in tarihsel eşitsizlikleri ve insan önyargılarını algoritmik olarak kalıcı hale getirme riski üzerinde yoğunlaştı. Eleştirmenler, üniversitelerin "seçkin", "iyi" ve "diğer" şeklinde kategorize edilmesinin fırsat eşitsizliği yarattığını; mektuplardaki kelime tercihlerinin ise yazarların bilinçsiz önyargılarını sisteme aktarabileceğini öne sürdü.
Sistemin geliştiricileri, GRADE’in ırk ve cinsiyet verilerine "sıfır ağırlık" verdiğini ve tarafsız olduğunu savundu. Buna karşın, Maryland Üniversitesi’nden Prof. Steve Rolston gibi isimler, bu tür demografik bilgilerin okul seçimi gibi proxy (vekil) değişkenlerin içine gizlenmiş olabileceğini ve düşük puan alan bir adayın "otomasyon önyargısı" nedeniyle insan panelistlerce de daha olumsuz değerlendirilebileceğini belirtti.
UT Austin, 2020 yılında GRADE kullanımına son verdi. Üniversite sözcüsü, kararın sistemin yazılım ortamındaki değişiklikler nedeniyle "bakımının zorlaşması" sebebiyle alındığını açıkladı. Üniversite, sistemin önyargılı olduğu iddialarını doğrudan kabul etmese de, artık başvuruları daha bütünsel (holistik) yöntemlerle değerlendirmeye odaklandığını ifade etti.
Kaynaklar & Kanıtlar
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?