Toronto Üniversitesi’nde kullanılan sınav gözetim yazılımlarının BIPOC öğrencilere yönelik ayrımcı sonuçlar doğurduğu iddia edildi

Toronto Üniversitesi ve diğer bazı akademik kurumlarda kullanılan ProctorU gibi çevrimiçi sınav gözetim yazılımlarının; siyahi, yerli ve renkli (BIPOC) öğrencilere yönelik teknik zorluklar çıkardığı ve fırsat eşitsizliğine yol açtığı öne sürüldü. Söz konusu sistemlerin kullandığı yüz tanıma algoritmalarının, koyu cilt tonuna sahip öğrencileri tanımada veya kimlik doğrulaması yapmada yetersiz kaldığı iddia edilmektedir.

Bildirilen vakalarda, Concordia Üniversitesi öğrencisi Chelsea Okankwu’nun yazılımın "yetersiz ışıklandırma" uyarısı nedeniyle kimliğini doğrulayamadığı ve bu durumun sınav öncesinde ciddi strese yol açtığı aktarıldı. Toronto Üniversitesi öğrencisi Maame Adjoa ise sistemin pasaportunu tanımaması nedeniyle insan gözetmenlere yönlendirildiğini, bu sürecin sınav için ayrılan süreden kayıplara neden olduğunu ve sınav atmosferindeki baskıyı artırdığını belirtti. ABD’li senatörler ve sivil haklar savunucuları, bu tür teknolojilerin kırılgan topluluklar üzerindeki ayrımcı önyargıları pekiştirdiğine dair endişelerini dile getirmiştir.

ProctorU yetkilileri, sistemlerinin tamamen "otomatik" olmadığını, son kararların eğitimli insan gözetmenler tarafından verildiğini ve teknolojinin yalnızca yardımcı bir araç olduğunu savunarak iddialara karşı çıkmıştır. Ancak şirketin kendi web sitesinde Chromebook kullanıcıları için "otomatik gözetim" seçeneğinin sunulduğuna dair bilgilerin yer alması, bu açıklamalarla çelişen bir unsur olarak kaydedilmiştir. Toronto Üniversitesi yönetimi ise sistemleri denetlediklerini ve teknolojinin kimlik tespiti konusunda nihai karar verici olmadığını belirtmekle birlikte, e-gözetim sistemlerinin yarattığı hakkaniyet sorunlarını izlemeye devam ettiklerini açıklamıştır. Üniversite, Examity ile sözleşmesi olsa da şu an hiçbir bölümün bu sistemi kullanmadığını, ProctorU'nun ise sadece az sayıda profesyonel programda kullanıldığını not etmiştir.

Olayda, yapay zekâ modellerinin eğitim setlerindeki temsil eksikliğinin algoritmik önyargılara neden olduğu değerlendirilmektedir. McGill Üniversitesi gibi bazı kurumların bu tür riskler nedeniyle gözetim yazılımlarını kullanmayı reddettiği bilinmektedir. Toronto Üniversitesi’nde ise bu sistemlerin kullanımı henüz üniversite genelinde yasaklanmamış, karar bireysel fakültelerin inisiyatifine bırakılmıştır.