Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Okullarda kullanılan ses tabanlı saldırganlık tespit sistemlerinin yüksek hata payına sahip olduğu ve güvenilirliğinin sorgulandığı bildirildi
Okullarda kullanılan ses analiz sistemlerinin; öksürük ve gülme gibi normal sesleri saldırganlık olarak hatalı sınıflandırdığı, buna karşın pürüzsüz tondaki bazı riskli sesleri tespit edemediği saptandı.
Olay
ProPublica tarafından yürütülen bir inceleme, ABD'deki okullarda, hastanelerde ve cezaevlerinde kullanılan ses tabanlı "saldırganlık tespit" sistemlerinin güvenilirliğine ilişkin ciddi soru işaretleri ortaya koydu. Sound Intelligence firması tarafından geliştirilen ve Louroe Electronics donanımlarına entegre edilen bu sistemlerin, makine öğrenmesi algoritmalarıyla seslerdeki "gerginlik" ve "saldırganlık" belirtilerini analiz ederek erken uyarı verdiği iddia edilmektedir.
Saha testleri, sistemin gerçek saldırganlığı ayırt etmede yetersiz kaldığını ve yüksek oranda "yanlış pozitif" ürettiğini göstermiştir. İncelemede; öksürük nöbetleri, gülme, tezahürat ve yüksek sesli akademik tartışmaların hatalı şekilde saldırganlık uyarısı tetiklediği bildirildi. Öte yandan, sistemin ses pürüzlülüğü içermeyen bazı çığlıkları veya düşük ses tonuyla ifade edilen öfkeyi tespit edemediği görülmüştür.
Sistemin bağlam yerine yalnızca sesin pürüzlülüğü ve perdesi gibi fiziksel özelliklerine odaklanmasının bu hatalara yol açtığı belirtilmektedir. Ayrıca, algoritmaların eğitiminde kullanılan verilerin Avrupa'daki barlar gibi farklı ortamlardan elde edilmiş olmasının okul ortamıyla uyumsuzluk yaratabileceği vurgulanmaktadır. Harvard Tıp Fakültesi'nden Dr. Nancy Rappaport ve Utah Üniversitesi'nden Prof. Suresh Venkatasubramanian, bu teknolojilerin etkinliğinin kanıtlanmadığını ve okul iklimine zarar verebileceğini ifade etmiştir.
Sound Intelligence CEO'su Derek van der Vorst, sistemin masum davranışları hatalı yorumlayabileceğini "%100 garanti" ettiğini kabul etmiş; ancak sistemin yine de değerli bir erken uyarı sunduğunu savunmuştur. Louroe Electronics ise cihazların gizliliği ihlal etmediğini, sadece agresif olarak tanımlanan ses kalıplarını yakaladığını ve düzenli güncellemeler aldığını bildirmiştir. Ancak mikrofonların bu ses kesitlerini süresiz olarak saklama kapasitesine sahip olduğu da not edilmiştir.
Kaynaklar & Kanıtlar
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?