Hollanda’da çocuk bakım desteği sistemindeki ayrımcı algoritmanın binlerce aileyi haksız yere dolandırıcılıkla suçladığı ve hükümetin istifasına yol açtığı bildirildi

Hollanda’da 2013 yılından itibaren kullanılmaya başlanan bir öz-öğrenim algoritmasının, çocuk bakım desteği alan yaklaşık 26.000 aileyi haksız yere "yüksek riskli" veya "dolandırıcı" olarak damgaladığı bildirildi. Hollanda Vergi Dairesi tarafından işletilen sistemin, özellikle düşük gelirli ve çifte vatandaşlığı bulunan bireyleri sistematik olarak hedef aldığı, bu durumun kurumsal bir ayrımcılığa dönüştüğü öne sürüldü. Olayın kamuoyuna yansıması ve yürütülen parlamento soruşturmaları neticesinde, Başbakan Mark Rutte ve kabinesinin Ocak 2021’de topluca istifa ettiği kaydedildi.

Algoritma tarafından hatalı şekilde işaretlenen ailelerin, geçmişe dönük on binlerce avroluk ödemeleri iade etmeye zorlandığı; bu durumun birçok aileyi finansal yıkıma, evsizliğe ve ciddi ruh sağlığı sorunlarına sürüklediği aktarıldı. Politico ve Trouw gibi kaynakların raporlarına göre, süreç içerisinde 1.100'den fazla çocuğun ailelerinden alınarak devlet korumasına yerleştirildiği ve bazı mağdurların intihar ettiği belirtildi. Sistemin "kara kutu" niteliğinde olması nedeniyle, etkilenen kişilerin neden suçlandıklarını anlayamadıkları ve hukuki itiraz mekanizmalarının işlevsiz kaldığı vurgulandı.

Hollanda Veri Koruma Kurumu (AP) tarafından yapılan incelemelerde, algoritmanın çifte vatandaşlık gibi değişkenleri doğrudan risk faktörü olarak kabul etmesinin hukuka aykırı ve ayrımcı olduğu tespit edildi. Bu kapsamda vergi dairesine 2021'de 2,75 milyon avro ve 2022'de 3,7 milyon avro idari para cezası kesildi. Ayrıca Wired ve Lighthouse Reports tarafından Rotterdam’da kullanılan benzer bir sistem üzerinde yapılan teknik incelemeler, algoritmanın 315 farklı değişkeni (giyim tarzı veya özgüven gibi öznel gözlemler dâhil) kullandığını, ancak tahmin başarısının rastgele seçimden sadece biraz daha iyi olduğunu ortaya koydu.

Yetkililer, sistemin başlangıçta dolandırıcılığı erken tespit etmek amacıyla tasarlandığını savunsa da, memurların algoritma çıktılarını yeterli inceleme yapmadan onayladığı (rubber-stamping) ve insani mülahazaların göz ardı edildiği kabul edildi. Hollanda hükümeti, benzer vakaların önlenmesi için bir algoritma sicili oluşturulacağını ve yapay zekâ denetimi için yeni bir düzenleyici birim kurulacağını açıkladı. Bununla birlikte, algoritmanın tam çalışma prensipleri ve hangi verinin hangi ağırlıkla kullanıldığına dair şeffaflık eksikliğinin sürdüğü, mağduriyetlerin tazmin sürecinin ise devam ettiği bildirilmektedir.