Lockport okul bölgesinde kullanılan yüz tanıma sisteminin ırksal önyargı ve doğruluk oranları hakkında yanıltıcı bilgi verildiği iddia edildi

New York eyaletindeki Lockport Şehir Okul Bölgesi’nde kurulan AEGIS yüz ve silah tespit sisteminin, üretici firma SN Technologies tarafından doğruluk oranları ve ırksal önyargı verileri konusunda okul yönetimini yanılttığı öne sürüldü. Motherboard tarafından elde edilen belgeler ve yazışmalar, sistemin teknik kapasitesinin hatalı sunulduğunu ve özellikle siyahi öğrencileri yanlış teşhis etme riskinin firma tarafından aktarılandan daha yüksek olabileceğini göstermektedir.

Belgelerde, sistemin kullandığı algoritmanın Ulusal Standartlar ve Teknoloji Enstitüsü (NIST) test sonuçlarının firma CEO’su tarafından çarpıtıldığı iddia edilmektedir. Bağımsız bir denetim raporuna göre, sistemin siyahi erkekleri beyaz erkeklere oranla dört kat, siyahi kadınları ise 16 kat daha fazla yanlış teşhis ettiği; ancak firmanın bu oranları okul yönetimine (2 kat ve 10 kat şeklinde) daha düşük gösterdiği savunulmaktadır. Ayrıca sistemin uygulama sürecinde süpürge sapı gibi nesneleri silah olarak algılayarak hatalı alarmlar ürettiği, bu durumun kolluk kuvvetlerinin okula yönelik hatalı müdahale riskini artırdığı belirtilmektedir.

SN Technologies CEO’su KC Flynn, iddiaları reddederek okul bölgesiyle ilişkilerinin şeffaflık üzerine kurulu olduğunu ve sistemin %99,9 doğrulukla çalıştığını savunmuştur. Şirket, her uyarının bir insan operatör tarafından doğrulandığını (human-in-the-loop) açıklamıştır. Ancak NIST uzmanı Patrick Grother, firmanın sunduğu verilerin kurumun resmi test sonuçlarıyla örtüşmediğini ve sunulan argümanların anlamsız olduğunu belirtmiştir.

Olayın ardından veliler ve sivil haklar grupları, yüz tanıma teknolojisinin okullarda kullanımının yasaklanması talebiyle hukuki süreç başlatmıştır. Tartışmalar üzerine New York eyalet meclisi, bu tür teknolojilerin okullardaki etkileri üzerine kapsamlı bir çalışma tamamlanana kadar kullanımını yasaklayacak bir yasa tasarısını gündeme almıştır.