Birleşik Krallık Çalışma ve Emeklilik Bakanlığı’nın (DWP) kullandığı gizli algoritmanın engelli bireyleri orantısız şekilde hedef aldığı iddia ediliyor

Birleşik Krallık Çalışma ve Emeklilik Bakanlığı (DWP), sosyal yardım dolandırıcılığını tespit etmek amacıyla kullandığı ve ayrıntılarını gizli tuttuğu bir algoritma nedeniyle hukuki bir süreçle karşı karşıya kaldı. Greater Manchester Engelli İnsanlar Koalisyonu (GMCDP) ve Foxglove adlı hukuk grubu, sistemin engelli bireyleri orantısız bir şekilde hedef aldığı ve bu kişileri uzun ve yıpratıcı inceleme süreçlerine maruz bıraktığı iddiasıyla bakanlığa resmi ihtarname gönderdi.

Kampanyacılar, sistem tarafından bayraklandığı öne sürülen bireylerin, neden seçildiklerine dair açıklama yapılmaksızın bir yıla kadar sürebilen soruşturmalara dahil edildiğini bildirdi. Bu süreçlerde bazı vakalarda sosyal medya izlemesi ve veri eşleştirme yöntemlerinin kullanıldığı, bireylerin neden hedef seçildiklerini bilmedikleri için kendilerini savunamadıkları ve bu durumun ciddi psikolojik baskı yarattığı belirtildi. GMCDP temsilcileri, sistemin işleyişindeki şeffaflık eksikliğini "Kafkaesk" olarak nitelendirdi.

DWP yetkilileri, dolandırıcılıkla mücadelede "ileri teknoloji yapay zekâ" ve "veri eşleştirme" yöntemlerini kullandıklarını kabul etmekle birlikte, nihai kararların her zaman bir insan denetçi tarafından verildiğini savunmaktadır. Bakanlık, algoritmanın detaylarının açıklanmasının sistemin manipüle edilmesine yol açabileceği gerekçesiyle şeffaflık taleplerini reddetmiştir. Ancak eleştirmenler, insan denetçilerin algoritma tarafından seçilen adayları yeterli inceleme yapmadan onaylayıp onaylamadığı konusunda çekincelerini dile getirmektedir.

Birleşmiş Milletler’in 2019 tarihli bir raporu, bu tür "dijital refah devleti" uygulamalarının mevcut verilerdeki önyargıları tekrarlayabileceği ve savunmasız gruplara karşı ayrımcılığı derinleştirebileceği konusunda uyarıda bulunmuştur. Olayda algoritmanın doğrudan bir hata yapıp yapmadığı veya sistematik bir önyargı içerip içermediği, sistemin iç işleyişi kamuya açıklanmadığı için bağımsız mercilerce henüz kesin olarak kanıtlanmamıştır.