Birleşik Krallık Çalışma ve Emeklilik Bakanlığı (DWP) algoritmasının 200.000’den fazla kişiyi hatalı şekilde dolandırıcılık şüphelisi olarak işaretlediği bildirildi

Birleşik Krallık Çalışma ve Emeklilik Bakanlığı (DWP) tarafından konut yardımı başvurularındaki dolandırıcılık ve hataları tespit etmek amacıyla kullanılan otomatik bir algoritmanın, son üç yıl içinde yaklaşık 200.000 kişiyi hatalı şekilde "yüksek riskli" olarak işaretlediği öne sürüldü. Bilgi edinme hakkı kapsamında elde edilen verilere göre, sistem tarafından riskli olarak bayraklandırılan vakaların üçte ikisinin aslında yasal ve doğru beyanlar olduğu belirlendi. Bu durumun, binlerce hanenin gereksiz yere soruşturulmasına yol açtığı ve yaklaşık 4,4 milyon sterlinlik idari denetim maliyetinin herhangi bir tasarruf sağlamayan dosyalara harcandığı aktarıldı.

Söz konusu sistemin; hak sahiplerinin yaş, cinsiyet, çocuk sayısı ve kira sözleşmesi türü gibi kişisel verilerini analiz ederek risk puanı oluşturduğu belirtildi. Sivil haklar grubu Big Brother Watch, DWP’nin bu tür teknolojilere aşırı güvenmesinin, halihazırda dezavantajlı ve savunmasız durumda olan bireylerin haklarını ikinci plana attığını savundu. Ayrıca, Ulusal Denetim Ofisi (NAO) ve bazı sivil toplum kuruluşları, kullanılan algoritmaların belirli demografik gruplara karşı önyargılı olabileceği ve "cinsiyetçi, yaşçı veya ırkçı" sonuçlar doğurabileceği yönündeki endişelerini dile getirdi.

DWP yetkilileri, seçim süreci nedeniyle iddialara ilişkin resmi bir açıklama yapmaktan kaçınırken; sistemin genel toplamda harcanan her 1 sterlin karşılığında 2,71 sterlin tasarruf sağladığını savundu. Öte yandan, Bilgi Komiserliği Ofisi (ICO) tarafından yürütülen bir incelemede, yerel yönetimlerin kullandığı benzer sistemlerin hak sahiplerine doğrudan finansal bir zarar veya mağduriyet verdiğine dair herhangi bir kanıt bulunmadığı ifade edildi. Ancak Turn2us gibi yardım kuruluşları, otomasyonun kullanıcılar aleyhine çalışmaması için sistemlerin kullanıcılarla iş birliği içinde yeniden gözden geçirilmesi gerektiğini vurguladı.

Olayda bahsi geçen temel aracın makine öğrenmesi veya üretken yapay zekâ kullanmayan kural tabanlı bir otomasyon olduğu, ancak DWP'nin benzer süreçlerde yapay zekâ kullanımını genişlettiği bildirilmektedir. Sistemin hata payının, başlangıçtaki pilot çalışmalarda öngörülen performansın çok altında kaldığı değerlendirilmektedir.