ElevenLabs ses klonlama teknolojisinin Emma Watson ve diğer ünlülerin seslerini nefret söylemi yaymak amacıyla taklit etmek için kullanıldığı bildirildi

Ocak 2023'te, yapay zekâ girişimi ElevenLabs'in beta aşamasındaki ses klonlama aracının kötü niyetli kişilerce suistimal edildiği öne sürüldü. 4chan gibi mesaj panolarında paylaşılan ses kayıtlarında; oyuncu Emma Watson’ın Adolf Hitler’in *Mein Kampf* (Kavgam) kitabından bölümler okuduğu, yayıncı David Attenborough ve ABD Başkanı Joe Biden gibi isimlerin ise ırkçı, cinsiyetçi veya transfobik ifadeler kullandığı iddia edilen sentetik içeriklerin yer aldığı bildirildi.

ElevenLabs tarafından geliştirilen sistemin, bir dakikadan kısa süreli ses örnekleriyle yüksek doğrulukta ses klonlayabildiği; bu durumun internet trolleri tarafından ünlülerin itibarını zedelemek ve nefret söylemi üretmek amacıyla kullanıldığı görülmektedir. Olayın ardından şirket, ses klonlama özelliğini (VoiceLab) anonim ve ücretsiz hesaplara kapatacağını, kimlik doğrulama ve ödeme bilgisi zorunluluğu gibi yeni güvenlik önlemleri getireceğini duyurdu.

Sesli deepfake teknolojisinin yalnızca dezenformasyon değil, aynı zamanda şantaj ve finansal dolandırıcılık risklerini de artırdığına dikkat çekilmektedir. Kaynaklarda, benzer teknolojilerin 2020 yılında bir banka yöneticisini yanıltarak 35 milyon dolarlık transfer yapılmasına neden olduğu vakaya (farklı kaynaklarda Hong Kong veya BAE olarak geçmektedir) atıf yapılmaktadır. ElevenLabs, üretilen her sesin izlenebilir olduğunu belirtse de, uzmanlar üretken yapay zekâ alanındaki rekabetin güvenlik denetimlerinde ihmallere yol açabileceği konusunda uyarılarda bulunmuştur.