Fransa’da sosyal yardım kurumu CNAF’ın kullandığı risk puanlama algoritmasının ayrımcılığa yol açtığı iddiasıyla dava açıldığı bildirildi

Aralarında Amnesty International ve La Quadrature du Net’in de bulunduğu 15 insan hakları örgütünden oluşan bir koalisyon, 15 Ekim 2024 tarihinde Fransa’nın en üst idari mahkemesi olan Danıştay’a başvurarak Ulusal Aile Yardımı Fonu (CNAF) tarafından kullanılan risk puanlama algoritmasının durdurulmasını talep etti. 2010’lu yıllardan beri kullanımda olan sistemin; engelliler, yalnız ebeveynler (özellikle kadınlar) ve düşük gelirli bireyler aleyhine ayrımcılık yaptığı, bu grupları haksız yere "şüpheli" olarak damgaladığı öne sürüldü.

Sistemin, sosyal yardım alan yaklaşık 30 milyon kişinin ve aile bireylerinin kişisel verilerini analiz ederek 0 ile 1 arasında bir risk puanı atadığı belirtildi. La Quadrature du Net tarafından erişilen eski kaynak kodları üzerinde yapılan incelemelere dayandırılan iddiaya göre; düşük gelirli olma, işsizlik, dezavantajlı mahallelerde ikamet etme ve engelli maaşı (AAH) alırken çalışma gibi kriterlerin risk puanını doğrudan artırdığı savunuldu. Yüksek puan alan kişilerin, ödemelerin askıya alınmasıyla sonuçlanabilen müdahaleci ve stresli denetim süreçlerine maruz kaldığı aktarıldı.

CNAF yetkililerinin, algoritmanın güncel versiyonunun kaynak kodlarını kamuoyuyla paylaşmadığı ve basın kuruluşlarının yorum taleplerine henüz yanıt vermediği not edildi. Davacı taraflar, sistemin hem Avrupa veri gizliliği kurallarını (GDPR) hem de Fransız ayrımcılık karşıtı yasalarını ihlal ettiğini ileri sürmektedir. Algorithm Watch kurucusu Matthias Spielkamp gibi isimler, bu tür sistemlerin Şubat 2025’te yürürlüğe girecek olan AB Yapay Zekâ Yasası (AI Act) kapsamında yasaklanan "sosyal puanlama" (social scoring) tanımına girip girmediğinin önemli bir hukuki tartışma konusu olacağını belirtmektedir.

Olayda, algoritmanın doğrudan bir karar vermediği, ancak denetçiler için "inceleme listeleri" oluşturarak idari süreçleri yönlendirdiği belirtilmektedir. Benzer sistemlerin geçmişte Hollanda’da binlerce ailenin haksız yere dolandırıcılıkla suçlanmasına yol açtığı hatırlatılarak, Fransa’daki uygulamanın da benzer riskler taşıdığı iddia edilmektedir.