Allegheny Aile Tarama Aracı’nın (AFST) çocuk koruma süreçlerinde ırksal önyargı ve engelli bireylere yönelik ayrımcılığa yol açabileceği iddia edildi

ABD’nin Pennsylvania eyaletindeki Allegheny County’de kullanılan Allegheny Aile Tarama Aracı (AFST), çocuk ihmali ihbarlarını değerlendirmek ve bir çocuğun iki yıl içinde koruyucu aile yanına yerleştirilme olasılığını tahmin etmek amacıyla tasarlanmış bir algoritmadır. Sistem; adli sicil, ruh sağlığı ve kamu yardımı kayıtları gibi çeşitli hükümet veri tabanlarını kullanarak 0 ile 20 arasında bir "risk puanı" oluşturmaktadır. Ancak sistemin tasarımındaki bazı teknik tercihlerin ve veri kullanım yöntemlerinin, belirli toplumsal gruplar aleyhine sistematik ayrımcılığa yol açabileceği öne sürülmektedir.

Amerikan Sivil Özgürlükler Birliği (ACLU) tarafından yayımlanan bir modelleme analizinde, sistemin hanedeki en yüksek risk puanına sahip çocuğun verisini tüm aile için esas almasının ("ilişkilendirme yoluyla riskli sayılma"), siyah ailelerin %33'ünün "yüksek riskli" olarak etiketlenmesine yol açabileceği, bu oranın siyah olmayan ailelerde %20 seviyesinde kalabileceği öngörülmüştür. Ayrıca, sistemin kamu hizmetlerinden daha fazla yararlanan ve dolayısıyla devlet veri tabanlarında daha fazla kaydı bulunan düşük gelirli aileleri, veri yoğunluğu nedeniyle otomatik olarak daha "riskli" sınıflandırma eğiliminde olduğu iddia edilmektedir.

ABD Adalet Bakanlığı’nın, sistemin engelli bireylere karşı ayrımcılık yapıp yapmadığına dair bir soruşturma yürüttüğü bildirilmiştir. Bu kapsamda, gelişimsel engelleri bulunan Hackney ailesi, bebeklerinin sağlık sorunları nedeniyle hastaneye yatırılmasının ardından çocuklarının koruyucu aileye verilmesinde algoritmanın engellilik durumlarını hatalı bir risk göstergesi olarak kullanmış olabileceğinden şüphelenmektedir. Aile, sistemin puanını göremedikleri için sürecin şeffaf olmadığını savunmaktadır.

Sistemin geliştiricileri, aracın şeffaf olduğunu ve çocuk koruma çalışanlarının karar verme süreçlerine yardımcı bir araç olarak tasarlandığını savunmaktadır. Allegheny County yetkilileri ise devam eden hukuki süreçler ve gizlilik kuralları nedeniyle belirli vakalar hakkında açıklama yapmamıştır. Algoritmanın puanlama mantığı ve kullanılan değişkenlerin ağırlığı tam olarak kamuoyuna açıklanmadığı için, sistemin bireysel kararlar üzerindeki kesin etkisi bağımsız kaynaklarca bütünüyle doğrulanamamıştır.