Google’ın çocuk istismarını tespit eden yapay zekâ sisteminin tıbbi amaçlı fotoğrafları hatalı işaretlemesi sonucu kullanıcı hesaplarının askıya alındığı bildirildi

2021 yılında ABD’nin San Francisco ve Teksas eyaletlerinde yaşanan iki ayrı olayda, babaların çocuklarının sağlık sorunlarını belgelemek amacıyla çektiği fotoğrafların, Google’ın otomatik güvenlik sistemleri tarafından "çocuk cinsel istismarı materyali" olarak hatalı sınıflandırıldığı bildirildi. San Francisco’da yaşayan ve "Mark" olarak tanımlanan bir kullanıcının, oğlunun enfeksiyon kapmış bölgesini doktorun incelemesi için fotoğrafladığı; bu görsellerin Google Fotoğraflar üzerinden bulut sistemine yedeklenmesiyle birlikte algoritmanın "ağır ihlal" uyarısı vererek hesabı askıya aldığı aktarıldı.

Söz konusu sistemin, daha önce görülmemiş istismar içeriklerini tanımak üzere eğitilmiş bir yapay zekâ modeline dayandığı belirtilmektedir. Olayın ardından kullanıcının Gmail, Google Takvim ve Google Fi dâhil tüm dijital erişiminin kesildiği; on yılı aşkın süredir biriktirdiği verilerine erişimini kaybettiği ifade edildi. Benzer bir durumun Teksas’ta yaşayan "Cassio" adlı bir başka babanın da başına geldiği; tıbbi içerikli fotoğrafların sistem tarafından yasa dışı içerik olarak işaretlendiği bildirildi.

Google’ın ilgili birimlerinin, federal yasalar gereği durumu kolluk kuvvetlerine bildirdiği ve San Francisco Polis Departmanı tarafından resmi bir soruşturma başlatıldığı aktarıldı. Emniyet yetkililerinin yaptığı inceleme sonucunda fotoğrafların tıbbi amaçlı olduğu ve herhangi bir suç unsuru taşımadığı tespit edilerek dosyanın kapatıldığı belirtildi. Ancak polisin aklama kararına rağmen Google’ın, kullanıcıların itirazlarını reddettiği ve insan denetçiler tarafından yapıldığı belirtilen incelemelerden sonra da hesapları geri açmadığı vurgulandı.

Google, çocuk istismarıyla mücadele konusundaki kararlılığını yineleyen genel bir açıklama yapmakla yetinmiş; bireysel vakalardaki hatalı sınıflandırma iddiaları hakkında detaylı bir bilgi paylaşmamıştır. Bu durum, teknoloji şirketlerinin otomatik denetim süreçlerinin masum kullanıcılar üzerinde yarattığı ciddi mağduriyetleri gündeme getirmiştir.