Microsoft Outlook ve SpamAssassin’in e-posta filtreleme algoritmalarının belirli anahtar kelimeler üzerinden ayrımcılık yaptığı iddia edildi

AlgorithmWatch tarafından yürütülen bir araştırma, Microsoft Outlook ve yaygın olarak kullanılan açık kaynaklı filtreleme yazılımı SpamAssassin’in, makine öğrenmesi temelli algoritmalarındaki önyargılar nedeniyle belirli kelimeleri içeren iletileri haksız yere "spam" (gereksiz) olarak sınıflandırdığını ortaya koydu. Deney kapsamında Nijeryalı birinin staj başvurusu, bir cinsel eğitim programı tanıtımı ve Joe Biden'ın öğrenci borçlarına dair bir konuşma metni farklı e-posta servislerine gönderildi. Outlook’un; "Nigeria", "sex" veya "loan" gibi anahtar kelimeler içeren bu iletileri doğrudan spam klasörüne yönlendirdiği, ancak aynı iletilerin bu kelimeler çıkarıldığında gelen kutusuna ulaştığı bildirildi.

İncelemeler, bu durumun temelinde makine öğrenmesi algoritmalarının eğitim verilerindeki dengesizliklerin yatabileceğine işaret etmektedir. Örneğin, SpamAssassin tarafından paylaşılan ve 15 yıldan eski olmasına rağmen hala kullanılan bir veri setinde, Nijerya kaynaklı birçok e-posta spam klasöründe yer alırken, güvenli (ham) klasöründe bu ülkeden hiçbir örnek bulunmadığı belirlendi. Bu veri kirliliğinin, sistemin belirli coğrafi isimleri doğrudan "istenmeyen içerik" olarak kodlamasına yol açtığı değerlendirilmektedir. Ayrıca sistemin varsayılan kurallarında "Fildişi Sahili" ve "Nijerya hükümeti" gibi ifadelerin riskli olarak işaretlendiği tespit edildi.

Microsoft konuya ilişkin açıklama yapmayı reddederken, SpamAssassin Proje Yönetim Komitesi kuralların topluluk tarafından yönetildiğini belirtti. Bununla birlikte SpamAssassin yönetimi, yazılımlardaki ırkçılık ve "beyaz ayrıcalığı" konusundaki farkındalığını dile getirerek terminolojide değişikliğe gideceğini duyurdu. Raporda, bu tür filtreleme sistemlerinin genellikle denetlenmediği ve algoritmik kararların şeffaf olmamasının, belirli gruplara yönelik haksız ayrımcılığa neden olabileceği vurgulandı.