New Jersey’de bir lisede öğrencilerin yapay zekâ kullanarak sınıf arkadaşlarının rıza dışı müstehcen görüntülerini ürettiği bildirildi

New Jersey’deki Westfield Lisesi’nde öğrenim gören bir grup erkek öğrencinin, kız sınıf arkadaşlarının sosyal medya hesaplarından aldıkları fotoğrafları yapay zekâ araçlarıyla müstehcen içeriklere dönüştürdüğü ve bu "deepfake" görüntüleri grup sohbetlerinde paylaştığı iddia edildi. Ekim 2023’te ortaya çıkan olayda, görüntülerin bir kısmının yaz aylarında üretildiği ancak öğrenciler arasındaki fısıltıların artmasıyla okul yönetiminin durumdan haberdar olduğu belirtildi. 14 yaşındaki öğrenci Francesca Mani, kendisi dahil 30’dan fazla kız öğrencinin bu dijital manipülasyona maruz kaldığını öne sürerken, bazı raporlar mağdur sayısını yaklaşık bir düzine olarak aktarmıştır.

Okul Müdürü Mary Asfendis, velilere gönderdiği e-postada olayı "çok ciddi bir hadise" olarak nitelendirmiş; ancak öğrenci gizliliği gerekçesiyle kaç öğrencinin disiplin cezası aldığına veya olaya tam olarak kaç kişinin karıştığına dair ayrıntılı bilgi paylaşmamıştır. Okul yönetimi, üretilen görüntülerin silindiğine ve artık dolaşımda olmadığına inandıklarını belirtse de, mağdur öğrencilerin aileleri bu görüntülerin ileride yeniden ortaya çıkarak çocuklarının akademik ve profesyonel geleceklerine zarar vermesinden endişe duyduklarını ifade etmiştir. Westfield Belediye Başkanı Shelley Brindle ve eyalet senatörü Jon Bramnick, konunun adli makamlarca incelenmesi için girişimlerde bulunmuştur.

Teknoloji uzmanı Ben Colman, geçmişte bu tür içerikleri üretmek için yüksek işlem gücü gerektiğini, günümüzde ise sadece bir iPhone üzerinden bu işlemin yapılabildiğine dikkat çekmiştir. Uzmanlar, açık kaynaklı yazılımların denetlenmesinin zorluğu nedeniyle "giysi çıkarma" (clothes removing) gibi araçların kötüye kullanılmasını engellemede teknik bariyerlerin yetersiz kalabildiğini değerlendirmektedir.

Olayın hukuki boyutuyla ilgili olarak, New Jersey ve federal düzeydeki yasaların rıza dışı üretilen yapay zekâ içerikleri konusunda yetersiz kaldığı tartışılmaktadır. Westfield polisinin soruşturma yürüttüğü bildirilmiş, ancak soruşturmanın detayları kamuoyuna açıklanmamıştır. Okul bölgesi müfettişi Raymond González, sistemlerinde bu tür araçlara erişimi engelleyen güvenlik önlemleri bulunduğunu ancak öğrencilerin kişisel cihazları üzerinden bu teknolojilere her yerden erişebildiğini vurgulamıştır.