Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
İspanya’da kullanılan VioGén algoritmasının aile içi şiddet vakalarında risk seviyesini düşük belirleyerek koruma tedbirlerinin yetersiz kalmasına yol açtığı iddia ediliyor
İspanya’da aile içi şiddet riskini ölçen VioGén algoritmasının, bazı vakalarda risk seviyesini hatalı düşük belirleyerek koruma sağlanamamasına yol açtığı iddia edilmektedir.
Olay
İspanya’da 2007 yılından bu yana kullanılan ve aile içi şiddet mağdurlarının karşı karşıya olduğu riski analiz eden VioGén sisteminin, bazı vakalarda tehlike seviyesini hatalı şekilde "düşük" olarak sınıflandırdığı ve bu durumun ölümle sonuçlanan olaylara zemin hazırladığı öne sürülmektedir. 2018 yılında Castellón şehrinde yaşanan bir vakada, eşinden tehdit aldığı gerekçesiyle polise başvuran Itziar P. adlı kadının durumu sistem tarafından "düşük riskli" olarak değerlendirilmiştir. Mahkemenin bu değerlendirmeye dayanarak koruma talebini reddetmesinden yedi ay sonra, saldırganın iki çocuğunu öldürdüğü bildirilmiştir.
Eticas Vakfı ve Ana Bella Vakfı tarafından hazırlanan bir denetim raporunda, sistemin işleyişine dair ciddi yapısal sorunlar olabileceği savunulmuştur. Raporda, polis memurlarının vakaların %95’inde algoritmanın sonucuna müdahale etmediği, bunun da insan denetimini zayıflattığı belirtilmektedir. Ayrıca raporda, sistemin risk puanlamasını mevcut polis kaynaklarına göre kalibre ettiği ve çocuk sahibi olmayan kadınların sistematik olarak daha düşük risk grubuna dahil edildiği gibi bulgulara yer verilmiştir. Ancak raporun yazarları, örneklemlerinin tüm popülasyonu temsil etmediğini ve bulguların genellenemeyeceğini not düşmüştür.
İspanya İçişleri Bakanlığı ise eleştirilere yanıt olarak, sistemin 600.000’den fazla gerçek vaka üzerinden eğitildiğini ve sürekli güncellendiğini belirtmiştir. Bakanlık yetkilileri, Eticas Vakfı’nın raporunun yalnızca 31 görüşmeye dayanması nedeniyle akademik titizlikten yoksun olduğunu ve milyonlarca değerlendirme yapan sistemin genel başarısını yansıtmadığını savunmuştur.
VioGén’in kullandığı matematiksel formülün kamuoyuna açıklanmaması şeffaflık tartışmalarını beraberinde getirmektedir. Mağdur hakları savunucuları ve bazı sivil toplum temsilcileri, veri girişini yapan personelin eğitim eksikliğinin ve algoritmanın "yanlış negatif" sonuçlarının hayati tehlike oluşturmaya devam ettiğini vurgulamaktadır.
Kaynaklar & Kanıtlar
- [1]
- [2]
- [3]
- [4]
- [5]
- [6]
- [7]
- [8]
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?