Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Fransa’da sosyal yardım denetim sistemindeki algoritmik hataların hak sahiplerini haksız yere borçlandırdığı iddia edildi
Fransa'da bir sosyal yardım kullanıcısının, veri madenciliği temelli otomatik denetim sistemi tarafından gelirlerinin hatalı değerlendirilmesi sonucu haksız yere borçlandırıldığı ve sistemin şeffaflık eksikliği nedeniyle mağduriyet yaşadığı bildirildi.
Olay
Fransa'da bir sosyal yardım kullanıcısının, 2021 yılında durumundaki değişikliği kuruma bildirmesinin ardından otomatik bir denetim sistemi tarafından haksız yere borçlandırıldığı bildirildi. Hem ücretli çalışan hem de serbest çalışan (freelance) statüsünde olan kullanıcının, sistem tarafından yalnızca serbest çalışma gelirlerinin dikkate alındığı; bu durumun yardım miktarının hatalı hesaplanmasına ve 542 avroluk bir borç bildirimine yol açtığı öne sürüldü.
Kullanıcının itirazı üzerine iletişime geçtiği bir sosyal hizmet görevlisinin, dosyanın "yazılım" tarafından belirli parametreler doğrultusunda otomatik olarak analiz edildiğini ve durumun karmaşıklaşması nedeniyle sistemin hata yapmış olabileceğini teyit ettiği aktarıldı. İlgili borcun daha sonra bir insan müdahalesiyle iptal edildiği belirtildi. Mağdur kullanıcı, sistemin "önce borç çıkarıp sonra doğrulama yapma" yaklaşımının kendisi üzerinde finansal ve psikolojik baskı yarattığını ifade etti.
Sosyolog Vincent Dubois, bu tür veri madenciliği modellerinin "risk faktörleri" üzerinden belirli sosyal grupları (özellikle yalnız yaşayan kadınlar veya sık iş değiştirenler) hedefleyebileceğini, ancak bu konuda henüz kesin bir kanıt bulunmadığını belirtti. Ayrıca, Avrupa Genel Veri Koruma Yönetmeliği (GDPR) ve Fransız yasalarına göre, hukuki sonuç doğuran tam otomatik kararların bildirilmesi zorunluluğuna rağmen, kullanıcıya gönderilen ilk bildirimde sürecin algoritmik olduğuna dair bir ibarenin yer almadığı iddia edildi. Fransız veri koruma otoritesinin konuyla ilgili soruları yanıtsız bıraktığı bildirildi.
Kaynaklar & Kanıtlar
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?