Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Proctorio adlı yapay zekâ destekli sınav denetleme yazılımının mahremiyet ihlali ve ırksal önyargı iddiaları nedeniyle çeşitli üniversitelerde tartışmalara yol açtığı ve kullanımının kısıtlandığı bild
Proctorio adlı yapay zekâlı sınav denetleme sisteminin mahremiyet ve önyargı sorunları nedeniyle üniversitelerce sorgulandığı, Illinois gibi kurumların kullanımı bıraktığı ve şirketin eleştirmenlere açtığı davaların ifade özgürlüğü tartışmalarını tetiklediği bildirildi.
Olay
COVID-19 pandemisi döneminde uzaktan eğitimin yaygınlaşmasıyla kullanımı artan Proctorio ve benzeri sınav denetleme yazılımlarının; öğrencilerin mahremiyetini ihlal ettiği, erişilebilirlik sorunlarına yol açtığı ve algoritmik önyargılar barındırdığı öne sürülmüştür. University of Illinois, sözleşmesini yenilemeyeceğini açıklarken; University of Texas at Austin'deki bir akademik komite, sistemin yarattığı psikolojik maliyetin akademik dürüstlük faydasından daha ağır bastığı gerekçesiyle yazılımın kullanılmamasını tavsiye etmiştir. Benzer şekilde Miami University ve University of Regina gibi kurumlarda da ProctorTrack gibi rakip sistemlere karşı öğrenci protestoları sonuç vermiş ve bu yazılımların kullanımı durdurulmuştur.
Sistemin, öğrencileri web kameraları üzerinden izleyerek "şüpheli" hareketleri tespit etmek amacıyla makine öğrenmesi ve yüz algılama teknolojilerini kullandığı belirtilmektedir. Ancak bağımsız araştırmacılar ve öğrenciler tarafından yapılan değerlendirmelerde, yazılımın koyu tenli öğrencilerin yüzlerini tanımakta zorlandığı ve bu durumun siyahi öğrencilerin haksız yere kopya şüphesiyle işaretlenmesine (flagging) neden olduğu iddia edilmiştir. Ayrıca, gözlük camı parlaması, başörtüsü kullanımı veya nöroçeşitlilik kaynaklı istemsiz hareketlerin sistem tarafından "şüpheli davranış" olarak hatalı sınıflandırılabildiği ve bu durumun öğrencilerde yüksek düzeyde kaygıya yol açtığı bildirilmiştir.
Hukuki boyutta ise Proctorio şirketinin, sistemi eleştiren ve yazılımın çalışma mekanizmasına dair bulgular paylaşan Ian Linkletter ve Erik Johnson gibi isimlere karşı telif hakkı ihlali gerekçesiyle davalar açtığı aktarılmıştır. Bu davalar, ifade özgürlüğünü kısıtlamaya yönelik "stratejik davalar" (SLAPP) olarak nitelendirilmiş; Erik Johnson ile olan dava, Proctorio'nun iddialarını geri çekmesi ve Johnson'ın eleştirel paylaşımlarının yayında kalması şartıyla uzlaşmayla sonuçlanmıştır.
Proctorio yönetimi, sistemin ırksal ayrımcılık yaptığı iddialarını reddederek, yüz algılama sorunlarının yetersiz ışıklandırma veya düşük kamera kalitesinden kaynaklandığını savunmaktadır. Şirket ayrıca, yazılımın yalnızca potansiyel durumları işaretlediğini, nihai kararın her zaman dersin öğretim görevlisi tarafından verildiğini ve verilerin şifreleme yöntemleriyle korunduğunu vurgulamaktadır.
Kaynaklar & Kanıtlar
- [1]
- [2]
- [3]
- [4]
- [5]
- [6]
- [7]
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?