Google Gemini’ın terör içerikli deepfake ve çocuk istismarı materyali üretiminde kullanıldığına dair yüzlerce şikâyet alındığı bildirildi

Google, Avustralya e-Güvenlik Komisyonu’na (eSafety Commission) sunduğu şeffaflık raporunda, Gemini adlı yapay zekâ sisteminin terör bağlantılı deepfake içerikler ve çocuk istismarı materyalleri üretmek amacıyla kullanıldığına dair küresel ölçekte yüzlerce kullanıcı bildirimi aldığını açıkladı. Nisan 2023 ile Şubat 2024 arasındaki dönemi kapsayan verilerde; sistem aracılığıyla üretildiği iddia edilen 258 terör veya şiddet içerikli ekstremist içerik ve 86 çocuk istismarı vakasının rapor edildiği belirtildi.

Google sözcüsü, paylaşılan rakamların doğrulanmış politika ihlallerini değil, dünya genelindeki toplam kullanıcı şikâyetlerini yansıttığını özellikle vurguladı. Şirket, Gemini üzerinden şiddet içeren aşırıcılık, terör veya çocuk istismarı gibi yasa dışı faaliyetlerin desteklenmesine veya bu tür içeriklerin dağıtılmasına izin verilmediğini bildirdi. Google, çocuk istismarı materyallerini tespit etmek ve kaldırmak için otomatik görsel eşleştirme sistemleri kullandığını belirtirken; düzenleyici kurum, benzer bir otomatik denetim mekanizmasının terör içerikleri için uygulanmadığına dikkat çekti.

Avustralya e-Güvenlik Komiseri Julie Inman Grant, Google’ın bu açıklamasının, kullanıcıların yapay zekâ teknolojisini zararlı ve yasa dışı içerik üretmek için nasıl istismar edebileceğine dair "dünyada bir ilk" niteliğinde veri sunduğunu ifade etti. Grant, bu durumun yapay zekâ ürünleri geliştiren şirketlerin, bu tür materyallerin oluşturulmasını engelleyecek güvenlik önlemlerini sistemlerine entegre etmelerinin ne kadar kritik olduğunu gösterdiğini belirtti.

Olayda, rapor edilen içeriklerin ne kadarının Gemini tarafından bütünüyle üretildiği veya sistemin güvenlik filtrelerini nasıl aştığına dair teknik ayrıntılar kamuoyuyla paylaşılmamıştır. Google, kullanıcı güvenliğini artırmaya yönelik çalışmaların sürdüğünü belirtirken, düzenleyici kurumlar üretken yapay zekâ platformlarındaki denetim eksikliklerini yakından takip etmeye devam etmektedir.