ABD’deki okullarda kullanılan yapay zekâ tabanlı gözetleme sistemlerinin bağlamı kavrayamaması nedeniyle öğrencilerin haksız yere gözaltına alındığı ve mağduriyet yaşadığı bildirildi

Amerika Birleşik Devletleri’ndeki binlerce okul bölgesinde, öğrencilerin okul hesapları ve cihazları üzerinden gerçekleştirdiği çevrimiçi faaliyetleri izlemek amacıyla kullanılan yapay zekâ tabanlı gözetleme sistemlerinin, ciddi yanlış alarmlara ve hak ihlallerine yol açtığı öne sürüldü. Tennessee eyaletinde 13 yaşındaki bir öğrencinin, arkadaşlarıyla yaptığı bir sohbette kullandığı ve ailesi tarafından 'aptalca bir şaka' olarak nitelendirilen ifadelerin Gaggle adlı yazılım tarafından 'kitlesel şiddet tehdidi' olarak işaretlenmesi sonucu gözaltına alındığı bildirildi. Öğrencinin ailesi tarafından açılan davada; çocuğun sorgulandığı, çıplak aramaya maruz kaldığı ve bir gece nezarette tutulduğu, sonrasında ise sekiz hafta ev hapsi cezası aldığı aktarıldı.

Söz konusu teknolojilerin, intihar eğilimi, şiddet veya uygunsuz içerik tespiti için kullandığı algoritmaların yüksek oranda hatalı sonuç ürettiği değerlendirilmektedir. Lawrence, Kansas’taki okul verileri üzerinde yapılan bir incelemede, sistem tarafından 10 aylık süreçte oluşturulan 1.200 uyarının yaklaşık üçte ikisinin okul yetkililerince 'sorunsuz' olarak sınıflandırıldığı belirlendi. Bu yanlış alarmlar arasında, sistemin ödev metinlerini veya fotoğrafçılık dersi için hazırlanan sanatsal çalışmaları 'uygunsuz içerik' olarak algıladığı örneklerin de bulunduğu kaydedildi.

Yazılım sağlayıcıları, sistemlerin temel amacının cezalandırma değil, erken müdahale ile hayat kurtarmak olduğunu savunmaktadır. Gaggle CEO’su Jeff Patterson, Tennessee’deki vakada okul yönetiminin sistemi amaçlandığı şekilde kullanmadığını, durumun bir kolluk kuvveti meselesi yerine 'eğitici bir an' olarak ele alınması gerektiğini ifade etti. Lightspeed Systems yetkilileri ise yazılımın personel yetersizliği çeken okullara zorbalık ve kendine zarar verme gibi konularda proaktif olma imkânı tanıdığını belirtti.

Buna karşın hukukçular ve öğrenci hakları savunucuları, bu teknolojilerin çocukların özel hayatını ihlal ettiğini ve ruh sağlığı krizlerini kriminalize ederek travmalara yol açtığını ileri sürmektedir. Florida’da benzer sistemlerin uyarıları sonucunda çok sayıda öğrencinin, eyaletin 'Baker Yasası' kapsamında rızaları dışında psikiyatrik değerlendirmeye tabi tutulduğu ve bu sürecin çocuklar üzerinde travmatik bir etki yarattığı iddia edildi. Kansas'taki bazı öğrenci gruplarının, anayasaya aykırı gözetleme yapıldığı gerekçesiyle okul yönetimine karşı hukuki süreç başlattığı bildirilmiştir.