YouTube içerik denetim algoritmasının satranç terimlerini nefret söylemi olarak yorumlayarak bir kanalı engellediği iddia edildi

28 Haziran 2020 tarihinde, "Agadmator" kullanıcı adıyla bilinen Hırvat satranç yayıncısı Antonio Radic’in YouTube kanalı, platform tarafından "zararlı ve tehlikeli içerik" gerekçesiyle engellenmiştir. Büyükusta Hikaru Nakamura ile gerçekleştirilen bir yayın sırasında gerçekleşen bu engelleme hakkında YouTube tarafından spesifik bir teknik açıklama yapılmamış; kanal yaklaşık 24 saat sonra, yapılan itirazın ardından yeniden erişime açılmıştır.

Carnegie Mellon Üniversitesi (CMU) Dil Teknolojileri Enstitüsü’nden Ashiqur KhudaBukhsh ve Rupak Sarkar, söz konusu engellemenin yapay zekâ tabanlı denetim sistemlerinin satranç terminolojisini yanlış yorumlamasından kaynaklanmış olabileceği şüphesiyle bir araştırma yürütmüştür. Araştırmacılar, nefret söylemi tespiti için eğitilmiş dil modellerini beş popüler satranç kanalından alınan 680.000’den fazla yorum üzerinde test etmiştir. Yapılan incelemede, sistemler tarafından nefret söylemi olarak etiketlenen örneklerin %82’sinin aslında herhangi bir hakaret içermediği; ancak "siyah", "beyaz", "saldırı" ve "tehdit" gibi satrançta yaygın kullanılan terimleri barındırdığı tespit edilmiştir.

Araştırmacılar, yapay zekâ modellerinin eğitim verilerinde satranç özelindeki bağlamın yeterince temsil edilmemesi nedeniyle, "siyahın beyaza karşı stratejisi" gibi ifadelerin ırkçı söylemlerle karıştırılabildiğini değerlendirmektedir. YouTube, Radic’in videosunun kaldırılmasının bir hata olduğunu kabul ederek içeriği geri yüklemiş, ancak algoritmanın hangi spesifik kelimeler veya tetikleyiciler nedeniyle bu kararı verdiğine dair ayrıntılı bilgi paylaşmamıştır.

Olay, özellikle pandemi döneminde insan moderatörlerin yerini büyük ölçüde otomatik sistemlerin almasının, bağlama duyarlı içeriklerde hatalı sınıflandırma riskini artırabileceğine dair tartışmaları tetiklemiştir. Uzmanlar, düşük profilli kullanıcıların benzer hatalı engellemeler karşısında seslerini duyurmakta zorlanabileceği konusunda uyarıda bulunmaktadır.