Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
YouTube’un otomatik denetim sistemlerinin hayvanlarla cinsel ilişkiyi andıran grafik küçük resimleri tespit edemediği ve bu içeriklerin milyonlarca kez görüntülendiği bildirildi
YouTube’un küçük resim denetleme teknolojisindeki yetersizlik nedeniyle hayvanlarla cinsel ilişkiyi andıran manipüle edilmiş görsellerin platformda aylarca barındığı ve öneri algoritmalarıyla milyonlarca kullanıcıya ulaştığı bildirildi.
Olay
Nisan 2018’de yayımlanan raporlara göre, YouTube’un içerik denetim sistemlerinin, videoların küçük resimlerinde (thumbnail) yer alan ve hayvanlarla cinsel ilişkiyi tasvir eden grafik görselleri tespit etmekte yetersiz kaldığı öne sürüldü. "Bir kız ve atı" gibi masum görünen arama sorgularında, sistemin cinsel içerikli görsellerle desteklenen videoları üst sıralarda sunduğu ve bu içeriklerin bazılarının milyonlarca izlenmeye ulaştığı aktarıldı.
YouTube yetkilileri tarafından yapılan açıklamalarda, platformun küçük resim izleme teknolojisinin o dönemde video izleme teknolojisi kadar kapsamlı olmadığı belirtildi. Grafik görsellerin, geleneksel pornografik içeriklerin ayırt edici özelliklerini (belirli ten görünümleri veya çıplaklık gibi) her zaman taşımaması nedeniyle otomatik sistemler tarafından fark edilemediği değerlendirildi. Ayrıca, bu görsellerin çoğunlukla Güney Asya (Kamboçya gibi) merkezli içerik çiftliklerinin yöntemlerine benzediği, izlenme sayılarını artırmak ve tıklama tuzağı (clickbait) oluşturmak amacıyla manipüle edildiği veya montajlandığı ifade edildi.
Olayın bir diğer boyutu olarak, YouTube’un öneri algoritmasının bu tür görsellere sahip bir video izlendiğinde benzer içerikleri kullanıcıya sunmaya devam ederek zararlı içeriğin yayılımını hızlandırdığı bildirildi. Şirket, ilgili içeriklerin bildirilmesinin ardından söz konusu videoları kaldırdığını ve hesapları kapattığını duyurdu. Bununla birlikte, YouTube’un 2017’nin son çeyreğinde kaldırılan videoların %80’inin yapay zekâ tarafından tespit edildiğini açıklamasına rağmen, bu tür karmaşık görsel manipülasyonların sistemin sınırlarını gösterdiği vurgulandı.
Kaynaklar & Kanıtlar
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?