Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
ABD Adalet Bakanlığı’nın kullandığı risk değerlendirme algoritmasının ırksal önyargılar barındırdığı ve hatalı sınıflandırmalara yol açtığı bildirildi
ABD federal hapishanelerindeki mahkûmların erken tahliye haklarını belirleyen Pattern algoritmasının, ırksal önyargılar ve teknik hatalar nedeniyle binlerce kişiyi yanlış risk kategorilerine ayırdığı tespit edildi.
Olay
ABD Adalet Bakanlığı tarafından Aralık 2021’de yayımlanan bir rapor, federal mahkûmların erken tahliye programlarına katılım uygunluğunu belirlemek amacıyla kullanılan "Pattern" adlı algoritmanın sonuçlarında belirgin ırksal eşitsizlikler tespit edildiğini ortaya koymuştur. Algoritmanın; siyah, Hispanik ve Asyalı mahkûmların tahliye sonrası yeniden suç işleme veya kuralları ihlal etme riskini sistematik olarak olduğundan yüksek tahmin ettiği (overprediction) bildirilmiştir. Öte yandan, bazı azınlık gruplarına mensup mahkûmların şiddet içerikli suç işleme riskinin ise sistem tarafından olduğundan düşük tahmin edildiği (underprediction) saptanmıştır.
Söz konusu sistemde tespit edilen matematiksel ve insani hatalar nedeniyle yaklaşık 14.000 mahkûmun yanlış risk kategorilerine yerleştirildiği anlaşılmıştır. Amerikan Sivil Özgürlükler Birliği (ACLU) kıdemli politika danışmanı Aamra Ahmad, örneklem grubundaki siyahların yalnızca %7’sinin "en düşük risk" kategorisine alındığını, beyaz mahkûmlarda ise bu oranın %21 olduğunu belirterek sistemin mevcut haliyle adil bir değerlendirme yapmaktan uzak olduğunu savunmuştur. Federal Kamu Savunucusu Patricia Richman gibi politika yapıcılar; eğitim düzeyi ve tazminat ödeme geçmişi gibi kriterlerin, kolluk kuvvetlerinin belirli topluluklar üzerindeki yoğun denetim geçmişiyle birleştiğinde ırksal önyargıları yansıtabileceğine dikkat çekmektedir.
Adalet Bakanlığı, rapordaki bulguları kabul etmekle birlikte, bu eşitsizliklerin giderilmesinin tahmin doğruluğundan ödün verilmesi gibi "takaslar" (trade-offs) gerektirebileceğini ve ırkın bir faktör olarak modele doğrudan dahil edilmesinin farklı hukuki riskler doğurabileceğini belirtmiştir. Bakanlık, algoritmanın daha şeffaf hale getirilmesi ve ırksal yanlılığın azaltılması için revizyon çalışmalarının başlatıldığını; hatalı sınıflandırılan kişilerin durumunun yeniden değerlendirileceğini açıklamıştır. Algoritmik Adalet Ligi (Algorithmic Justice League) gibi sivil toplum kuruluşları ise özgürlüğü doğrudan etkileyen bu tür yüksek riskli sistemler üzerinde çok daha sıkı bir denetim mekanizması kurulması gerektiğini vurgulamaktadır.
Kaynaklar & Kanıtlar
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?