Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Rite Aid’in yüz tanıma sisteminin hatalı eşleşmelerle müşterileri haksız yere suçladığı iddia edildi ve sisteme beş yıl yasak getirildi
Rite Aid’in hırsızlığı önlemek amacıyla kullandığı yüz tanıma sisteminin, özellikle azınlık grupları hatalı şekilde suçlu olarak damgaladığı ve müşterilerin taciz edilmesine yol açtığı gerekçesiyle beş yıl süreyle yasaklandığı bildirildi.
Olay
Federal Ticaret Komisyonu (FTC), Rite Aid eczane zincirinin 2012-2020 yılları arasında yüzlerce mağazasında kullandığı yapay zekâ destekli yüz tanıma sisteminin, müşterileri haksız yere hırsızlık şüphelisi olarak damgaladığını ve ciddi mağduriyetlere yol açtığını ileri sürdü. Sistemin, özellikle siyahi, Latin, Asyalı ve kadın müşterileri "hırsızlık yapma olasılığı yüksek" kişiler olarak hatalı şekilde eşleştirdiği; bu durumun "on binlerce" hatalı bildirime ve sistematik bir ayrımcılığa neden olduğu iddia edildi.
FTC şikâyetinde, Rite Aid çalışanlarının sistemden gelen hatalı uyarılar üzerine müşterileri mağaza içinde takip ettiği, haksız aramalar yaptığı, aileleri ve diğer müşterilerin önünde suçlamalarda bulunduğu ve bazı durumlarda kolluk kuvvetlerini çağırdığı belirtildi. Sistemin veri tabanının; düşük kaliteli güvenlik kamerası görüntüleri, çalışanların cep telefonlarıyla çektiği fotoğraflar ve hatta haber görsellerinden oluşturulduğu öne sürüldü. Ayrıca şirketin, teknolojinin doğruluğunu test etmediği, personeline yeterli eğitim vermediği ve bir teknoloji sağlayıcısının sistemin doğruluğuna dair garanti vermemesine rağmen kullanımı sürdürdüğü aktarıldı.
Rite Aid yönetimi, FTC’nin iddialarına temelden katılmadığını, söz konusu teknolojinin sınırlı sayıda mağazada yürütülen bir pilot program olduğunu ve FTC soruşturması başlamadan üç yıl önce kullanımının durdurulduğunu açıkladı. Şirket, müşteri gizliliğini koruma misyonuna bağlı olduklarını ancak iddiaların hukuki dayanağı konusunda hemfikir olmadıklarını belirtti. Buna rağmen şirket, varılan uzlaşma kapsamında önümüzdeki beş yıl boyunca yüz tanıma teknolojisini kullanmamayı, toplanan biyometrik verileri silmeyi ve gelecekteki benzer uygulamalar için kapsamlı güvenlik protokolleri oluşturmayı kabul etti.
FTC Tüketici Koruma Bürosu Direktörü Samuel Levine, Rite Aid'in yüz tanıma sistemlerini "pervasızca" kullanmasının müşterileri aşağılanma ve diğer zararlarla karşı karşıya bıraktığını belirtti. Uzlaşma kararının yürürlüğe girmesi için iflas mahkemesinin onayı beklenmektedir.
Kaynaklar & Kanıtlar
- [1]
- [2]
- [3]
- [4]
- [5]
- [6]
- [7]
- [8]
- [9]
- [10]
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?