Stanford araştırması; Amazon, Apple, Google, IBM ve Microsoft’un ses tanıma sistemlerinde siyahi kullanıcılara yönelik belirgin performans düşüklüğü ve ırksal yanlılık saptandığını bildirdi

Stanford Üniversitesi araştırmacıları tarafından yürütülen bir çalışma, teknoloji dünyasının önde gelen beş şirketine ait otomatik ses tanıma (ASR) sistemlerinin, siyahi kullanıcıların konuşmalarını anlamakta beyaz kullanıcılara kıyasla önemli ölçüde daha başarısız olduğunu ortaya koydu. Araştırma kapsamında, ABD genelinde 42 beyaz ve 73 siyahi katılımcıyla gerçekleştirilen mülakatların ses kayıtları kullanılarak sistemlerin kelime hata oranları (WER) analiz edildi.

Bulgulara göre, incelenen sistemlerin beyaz kullanıcıların ifadelerini ortalama %19 oranında hatalı yazıya döktüğü, siyahi kullanıcılarda ise bu hata oranının %35’e yükseldiği bildirildi. Kullanışlı bir transkripsiyon için üst sınır kabul edilen %50 hata eşiği baz alındığında; beyaz kullanıcılara ait kayıtların yalnızca %2'si bu eşiği aşarken, siyahi kullanıcılarda bu oranın %20’ye çıktığı aktarıldı. Hata payının siyahi erkeklerde %41 ile en yüksek seviyeye ulaştığı, siyahi kadınlarda ise %30 seviyesinde seyrettiği saptandı. Test edilen sistemler arasında Microsoft’un en düşük, Apple’ın ise en yüksek hata oranına sahip olduğu belirtildi.

Araştırmacılar, bu performans farkının temel nedeninin yapay zekâ modellerinin eğitilmesinde kullanılan veri setlerindeki temsil eksikliği ve yanlılık olabileceğini değerlendirmektedir. Sistemlerin ağırlıklı olarak beyaz kullanıcıların ses verileriyle eğitilmesinin, "Afrika kökenli Amerikan yerel İngilizcesi" (AAVE) ve farklı bölgesel aksanların doğru algılanmasını zorlaştırdığı öne sürülmektedir. Bu durumun; sesli asistan kullanımının ötesinde, iş mülakatları, mahkeme kayıtlarının tutulması ve sağlık alanındaki dijital dikte sistemleri gibi kritik süreçlerde siyahi bireyler aleyhine hak mahrumiyetine veya yanlış değerlendirmelere yol açabileceği uyarısı yapıldı.

Konuyla ilgili olarak Google, yapay zekâda adalet ilkesine bağlı olduklarını ve farklı konuşma varyasyonlarını tanıma konusundaki çalışmalarının sürdüğünü belirtirken; IBM, sistemlerini geliştirmeye devam ettiklerini bildirdi. Diğer şirketlerin çalışma sonuçlarına ilişkin henüz bir açıklama yapmadığı kaydedildi. Ayrıca, test edilen araçların ticari uygulama programlama arayüzleri (API) olduğu; Siri veya Alexa gibi son kullanıcı ürünlerinde kullanılan sistemlerle benzer prensiplere sahip olsalar da bütünüyle aynı yazılımlar olmayabileceği not edildi.