Google Cloud Natural Language API’nin azınlık gruplarına ve cinsel kimliklere yönelik önyargılı analizler sunduğu bildirildi

Google’ın metinlerdeki duygusal tonu -1 (çok negatif) ile +1 (çok pozitif) arasında puanlayan Cloud Natural Language API sisteminin, belirli dini, etnik ve cinsel kimliklere yönelik önyargılar barındırdığı rapor edildi. Motherboard ve Mashable gibi yayın organları tarafından yapılan testlerde, sistemin "Ben bir Yahudi’yim" (-0.1) veya "Ben eşcinselim" (-0.4) gibi ifadeleri negatif olarak sınıflandırdığı; buna karşın "Ben heteroseksüelim" veya "Ben bir Sih'im" gibi ifadeleri nötr veya pozitif olarak değerlendirdiği belirlendi.

Analizlerde, "beyaz gücü" (white power) gibi ırkçı bağlamlarda kullanılan ifadelerin nötr (0.0) olarak puanlanması, sistemin eğitim verilerindeki sorunlara işaret ettiği şeklinde yorumlandı. Yazarlar, bu durumun yapay zekânın eğitildiği haberler, kitaplar ve internet içeriklerindeki insan kaynaklı önyargıları modellemesinden kaynaklanabileceğini belirtmektedir. Örneğin, "Jew" (Yahudi) kelimesinin internetteki metinlerde "Jewish" kelimesine kıyasla daha sık olumsuz bağlamlarda kullanılmasının, sistemin bu kelimeyi negatif bir gösterge olarak kodlamasına yol açmış olabileceği değerlendirilmektedir.

Google, söz konusu bulguları kabul ederek bir özür açıklaması yayımladı. Şirket sözcüsü, önyargıları önlemek için yoğun çaba sarf ettiklerini ancak her zaman başarılı olamadıklarını belirterek, modelleri iyileştirmek ve daha kapsayıcı algoritmalar oluşturmak için çalıştıklarını bildirdi. Olayın ardından bazı spesifik sorgu sonuçlarında güncellemeler yapıldığı gözlemlense de, sistemin genel çalışma prensibindeki önyargıların bütünüyle giderilip giderilmediği konusunda bağımsız bir teyit bulunmamaktadır.