Oregon Çocuk Esirgeme Kurumu’nun çocuk istismarı vakalarında kullanılan yapay zekâ destekli risk değerlendirme aracını kullanımdan kaldırdığı bildirildi

Oregon İnsani Hizmetler Departmanı (DHS), çocuk istismarı ve ihmali ihbarlarını değerlendirmek amacıyla 2018 yılından bu yana kullanılan "Safety at Screening Tool" adlı algoritmanın kullanımına son verileceğini duyurdu. Kararın, sistemin ırksal eşitsizliklere yol açabileceği yönündeki endişeler ve daha hakkaniyetli bir karar alma süreci oluşturma hedefi doğrultusunda alındığı belirtildi. Söz konusu araç, sosyal hizmet uzmanlarının hangi ailelerin eyalet müdahalesine veya soruşturmaya tabi tutulması gerektiğine karar vermesine yardımcı olmak için sayısal risk skorları üretmekteydi.

Algoritmanın devre dışı bırakılması kararının, Pennsylvania'da kullanılan ve Oregon’daki modele ilham veren benzer bir sistemin (Allegheny Family Screening Tool) siyahi çocukları orantısız şekilde "zorunlu soruşturma" kategorisine ayırdığının tespit edilmesinin ardından gelmesi dikkat çekti. Oregon yetkilileri, mevcut algoritmanın yeni uygulanacak "Yapılandırılmış Karar Verme" (Structured Decision Making) modeliyle birlikte kullanılamayacağını ve bu nedenle artık gerekli görülmediğini ifade etti. Ancak kurum sözcüsü, politika değişikliğine neden olan spesifik eşitsizlik verileri veya sistemin hatalı çalıştığına dair somut vakalar hakkında ayrıntılı bilgi vermekten kaçındı.

ABD Senatörü Ron Wyden, çocuk esirgeme sisteminde test edilmemiş algoritmaların kullanılmasının ailelerin hayatı üzerinde geri dönülemez etkiler yaratabileceğine dikkat çekerek, ırksal önyargı endişelerinin ciddiye alınmasından memnuniyet duyduğunu belirtti. Öte yandan, eyaletin koruyucu aile yanındaki çocukların biyolojik aileleriyle yeniden bir araya getirilme sürecini değerlendiren ikinci bir algoritma çalışmasının da veri yetersizliği nedeniyle askıya alındığı ve yakın zamanda tekrar devreye alınmasının beklenmediği aktarıldı.