Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Coffee Meets Bagel algoritmasının "etnik köken tercihi yok" seçeneğine rağmen kullanıcıları ırksal olarak ayrıştırdığı iddia edildi
Coffee Meets Bagel algoritmasının, kullanıcılar etnik köken tercihi belirtmese dahi ampirik verilere dayanarak kişileri belirli ırksal gruplarla sınırlı şekilde eşleştirdiği ve bu durumun algoritmik ayrımcılık tartışmalarına yol açtığı bildirildi.
Olay
Popüler arkadaşlık uygulaması Coffee Meets Bagel (CMB) kullanıcılarının, uygulamadaki etnik köken tercihlerini "fark etmez" (no preference) olarak işaretlemelerine rağmen, algoritmanın kendilerini belirli ırksal gruplarla sınırlı şekilde eşleştirdiği bildirilmiştir. Kullanıcı deneyimlerine dayanan raporlarda, özellikle beyaz kadınların neredeyse yalnızca Asyalı erkeklerle; Latin kökenli erkeklerin ise sadece Latin kökenli kadınlarla eşleştirildiği öne sürülmüştür. Bu durumun, kullanıcıların potansiyel eşleşme havuzunu daralttığı ve "ırksal silolaşma" (racial siloing) olarak adlandırılan bir ayrışmaya yol açtığı iddia edilmektedir.
Şirketin kurucu ortaklarından Dawoon Kang, iddialara yanıt olarak algoritmanın çalışma prensibini savunmuştur. Kang, kullanıcıların beyan ettikleri tercihler ile gerçek davranışlarının (beğenme ve eşleşme oranları) sıklıkla farklılık gösterdiğini belirtmiştir. Şirket verilerine göre, "tercihim yok" diyen kullanıcıların dahi ampirik olarak kendi etnik kökenlerinden kişilere daha fazla ilgi gösterdiği savunulmaktadır. Algoritmanın, kullanıcı hakkında yeterli veri toplayana kadar "bağlantı kurma oranını maksimize etmek" amacıyla bu tarihsel ve toplu verileri kullandığı ifade edilmiştir.
Olayla ilgili yapılan yorumlarda, sorunun bir "Nash Dengesi" (Nash Equilibrium) dinamiğinden kaynaklanabileceği belirtilmektedir. Uygulamadaki kullanıcıların büyük bir kısmının (özellikle beyaz kadınların) yalnızca kendi ırklarından kişileri tercih etmesi durumunda, "tercihim yok" diyen azınlıktaki kullanıcıların, diğer gruplar için tek seçenek haline geldiği değerlendirilmektedir. Bu durumun, kullanıcıları istemedikleri halde ırksal filtreler kullanmaya zorladığı ve sistemin mevcut toplumsal önyargıları teknik bir döngüyle pekiştirdiği öne sürülmektedir.
Şirket, algoritmanın ırkçı bir saikle hareket etmediğini, yalnızca veri odaklı bir eşleştirme optimizasyonu yaptığını savunsa da, kullanıcılar sistemin kendilerine "gizli bir ırkçılık" atfettiği hissiyatını paylaştıklarını belirtmişlerdir. Algoritmanın şeffaflığı ve kullanıcı iradesi ile sistem çıktısı arasındaki uyumsuzluk, etik bir tartışma konusu olarak raporlanmıştır.
Kaynaklar & Kanıtlar
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?