İspanya’da VioGén algoritmasının "düşük riskli" olarak sınıflandırdığı bir kadının eşi tarafından öldürülmesinin sistemin güvenilirliği tartışmalarını artırdığı bildirildi

İspanya’da aile içi şiddet vakalarında risk seviyesini belirlemek amacıyla kullanılan VioGén adlı algoritmanın, 32 yaşındaki Lobna Hemid’in durumunu "düşük riskli" olarak sınıflandırmasının ardından yaşanan cinayet vakası, sistemin etkinliği ve kolluk kuvvetlerinin algoritmik çıktılara bağımlılığı konusundaki tartışmaları derinleştirdi. 11 Ocak 2022’de Madrid yakınlarında gerçekleşen olayda Hemid, eşi Bouthaer el Banaisati tarafından darp edilmiş; polisin 35 soruluk veri girişine dayanarak çalıştırdığı VioGén sistemi, mağdurun gelecekteki saldırıya uğrama ihtimalini "düşük" olarak belirlemiştir. Bu değerlendirme sonucunda ek koruma sağlanmayan Hemid, yedi hafta sonra eşi tarafından bıçaklanarak öldürülmüş; saldırgan daha sonra intihar etmiştir.

İspanya İçişleri Bakanlığı verilerine göre, 2007 yılından bu yana VioGén tarafından değerlendirilen en az 247 kadın, mevcut veya eski partnerleri tarafından öldürülmüştür. Yapılan bir adli incelemede, bu cinayetlerin incelenen 98'inden 55’inde kurbanların sistem tarafından "ihmal edilebilir" veya "düşük" risk grubunda sınıflandırıldığı tespit edilmiştir. Mevcut durumda 92.000 aktif vakanın %83’ü düşük riskli olarak kategorize edilmektedir. Ancak algoritmanın "ihmal edilebilir" bulduğu kadınların %8’inin, "düşük riskli" bulduğu kadınların ise %14’ünün yeniden şiddete maruz kaldığı bildirilmiştir.

Kolluk kuvvetlerinin, algoritma sonuçlarını %95 oranında doğrudan kabul ettiği ve sistemin önerilerini geçersiz kılma yetkisini nadiren kullandığı belirtilmektedir. Uzmanlar, sistemin polis üzerindeki sorumluluğu azaltarak vakaların derinlemesine incelenmesini engelleyebileceği ve "güvenlik boşlukları" oluşturabileceği yönündeki endişelerini dile getirmiştir. Ayrıca, hükümetin sistemin etkinliğine dair kapsamlı verileri paylaşmadığı ve algoritmanın dış denetime kapalı olduğu vurgulanmaktadır.

İspanya İçişleri Bakanlığı ise sistemi savunarak, VioGén’in aile içi şiddette tekrarlayan saldırı oranını %40’tan %15’e düşürdüğünü ve cinayet gibi nadir olayların tahmin edilmesinin istatistiksel olarak güç olduğunu açıklamıştır. Bakanlık, hatalar yaşandığında "öz eleştiri" yapıldığını ancak sistemin genel olarak kadınları korumada tartışmasız bir başarı sağladığını iddia etmektedir.