Apple Card kredi değerlendirme algoritmasının cinsiyet temelli ayrımcılık yaptığı iddia edildi

Yazılım geliştiricisi David Heinemeier Hansson’un Kasım 2019’da paylaştığı iddialarla başlayan süreçte, Apple Card’ın kredi limitlerini belirleyen algoritmanın kadın kullanıcılara karşı sistematik bir önyargı barındırdığı öne sürülmüştür. Hansson, eşiyle ortak vergi beyannamesi vermelerine ve eşinin kredi puanının daha yüksek olmasına rağmen, sistemin kendisine eşinden 20 kat daha fazla kredi limiti tanımladığını bildirmiştir. Benzer bir durumun Apple kurucu ortağı Steve Wozniak tarafından da yaşandığı; Wozniak’a eşinden 10 kat daha fazla limit verildiği aktarılmıştır.

Olayın kamuoyunda geniş yankı bulması üzerine New York Eyaleti Finansal Hizmetler Departmanı (DFS), kartın ihraççısı olan Goldman Sachs hakkında inceleme başlatmıştır. Şikâyetçiler, müşteri hizmetleri temsilcilerinin limit farklılıklarını açıklayamadığını ve durumu doğrudan "algoritmanın kararı" olarak nitelendirdiğini belirtmiştir. Bu durum, karar alma süreçleri şeffaf olmayan algoritmaların finansal hizmetlere erişimde yarattığı riskleri gündeme getirmiştir.

Goldman Sachs tarafından yapılan açıklamalarda, kredi kararlarının cinsiyet, ırk veya yaş gibi yasal olarak yasaklanmış faktörlere dayanmadığı; değerlendirmelerin bireysel gelir ve kredi geçmişi üzerinden yapıldığı savunulmuştur. Şirket sözcüleri, sistemin bir "kara kutu" olmadığını, kararların hangi faktörlere dayandığını tespit edebildiklerini ve başvuru sırasında adayların cinsiyet bilgilerinin sistem tarafından bilinmediğini iddia etmiştir. Mart 2021'de yayımlanan resmi inceleme sonucunda DFS, Goldman Sachs’ın adil borç verme yasalarını ihlal ettiğine dair somut bir kanıt bulunmadığını açıklamıştır.

Buna karşın, algoritmik adalet uzmanları ve araştırmacılar, resmi incelemenin modern makine öğrenmesi modellerini denetlemek için yetersiz kaldığını öne sürmüştür. Kredi puanı gibi değişkenlerin dolaylı olarak (proxy) korunan gruplarla ilişkili olabileceği ve sistemin doğrudan cinsiyet verisi kullanmasa bile ayrımcı sonuçlar üretebileceği değerlendirilmektedir. Olay, finansal teknolojilerde algoritmik şeffaflık ve denetlenebilirlik standartlarının oluşturulması gerekliliğini tartışmaya açmıştır.