Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Evolv’un yapay zekâ tabanlı silah tespit sisteminin okullarda güvenlik zafiyetine ve yanıltıcı beyanlara yol açtığı iddia edildi
Evolv’un yapay zekâlı silah tarama sisteminin, okullarda günlük eşyaları silahla karıştırarak operasyonel aksaklıklara yol açtığı, bazı silahları tespit edemediği ve yanıltıcı reklam iddiaları nedeniyle FTC ile bir uzlaşma sürecine girdiği bildirildi.
Olay
Evolv Technology tarafından geliştirilen ve yapay zekâ kullanarak silahları tespit ettiği öne sürülen "Evolv Express" sisteminin, ABD'deki çeşitli okul bölgelerinde operasyonel aksaklıklara ve güvenlik risklerine neden olduğu öne sürüldü. Charlotte-Mecklenburg Okul Bölgesi’ndeki (CMS) uygulamaya ilişkin kamuoyuna yansıyan kurum içi yazışmalar, sistemin kurulum sürecinin "kaos" olarak nitelendirildiğini ve cihazın varsayılan hassasiyet ayarlarında bazı ateşli silahları tespit edemediğini ortaya koydu.
Sistemin, dizüstü bilgisayarlar ve spiralli defterler gibi yaygın okul eşyalarını silah olarak algılayarak yüksek oranda "yanlış pozitif" (hatalı alarm) verdiği; bu durumun güvenlik görevlilerinin vaktini yoğun manuel aramalara harcamasına neden olduğu bildirildi. Bir okul müdürünün, hatalı alarmlar nedeniyle personelin koridor denetimi gibi diğer güvenlik görevlerini aksattığını ve bu durumun "en az güvenli günün" yaşanmasına yol açtığını belirttiği aktarıldı. Ayrıca, Ekim 2022'de bir okulda yedi inçlik bir bıçağın sistem tarafından tespit edilemediği ve bu bıçağın bir öğrencinin yaralanmasıyla sonuçlanan bir şiddet olayında kullanıldığı bildirildi.
ABD Federal Ticaret Komisyonu (FTC), şirketin sistemin doğruluğu, hızı ve maliyet tasarrufu konusundaki iddialarının "yanıltıcı" olduğunu iddia ederek bir uzlaşma teklifi sundu. Mahkeme onayına sunulan bu taslak çerçevesinde Evolv'un, yapay zekâ yetenekleri hakkında kanıtlanmamış iddialarda bulunmasının yasaklanması ve bazı okul bölgelerine sözleşmelerini iptal etme hakkı tanınması öngörülüyor.
Evolv yetkilileri, sistemin hassasiyet ayarları ve çalışma prensipleri hakkındaki ayrıntılı raporların yayımlanmasının öğrenci güvenliğini tehlikeye attığını savunarak eleştirilere karşı çıktı. Şirket, güvenliğin sadece teknolojiye değil, insan ve süreçleri de kapsayan "çok katmanlı bir yaklaşıma" dayandığını vurguladı. Okul bölgesi yetkilileri ise sistemin tek başına bir çözüm olmadığını, diğer güvenlik önlemleriyle birlikte değerlendirildiğinde olumlu geri dönüşler aldıklarını ifade etti.
Kaynaklar & Kanıtlar
- [1]
- [2]
- [3]
- [4]
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?