OpenAI’ın Whisper sisteminin duraklamalı konuşmalarda şiddet içerikli ifadeler ve uydurma bilgiler ürettiği bildirildi

Cornell Üniversitesi araştırmacıları tarafından yürütülen bir çalışma, OpenAI’ın "Whisper" adlı yapay zekâ destekli konuşma tanıma sisteminin, orijinal ses kaydında bulunmayan ifadeler uydurduğunu (halüsinasyon) ortaya koydu. Sistemin özellikle afazi gibi konuşma bozukluğu olan veya konuşurken uzun duraklamalar veren bireylerin seslerini işlerken hatalı çıktılar üretmeye daha eğilimli olduğu saptandı. Araştırmacılar, sistemin sessizlik sürelerini veya duraklamaları birer kelimeymiş gibi algılayıp anlamlandırmaya çalıştığını değerlendirmektedir.

Analiz edilen 13.000’den fazla ses klibinde, Whisper’ın yaklaşık %1 oranında tamamen uydurma ifadeler ürettiği belirlendi. Bazı örneklerde sistemin, basit bir cümleyi doğru aktardıktan hemen sonra orijinal kayıtta yer almayan "terör", "bıçak" ve "öldürüldü" gibi şiddet içerikli kelimelerden oluşan ek cümleler kurguladığı aktarıldı. Ayrıca çıktıların içine rastgele isimler, adres parçaları ve siber saldırılarda kötüye kullanılabilecek gerçek veya sahte web sitesi adreslerinin de eklendiği gözlemlendi.

Araştırmanın başyazarı Allison Koenecke, bu tür halüsinasyonların yapay zekâ tabanlı işe alım süreçlerinde, mahkeme tutanaklarında veya tıbbi hasta notlarında kullanılması durumunda ciddi hak ihlallerine ve güvenlik risklerine yol açabileceği konusunda uyarıda bulundu. OpenAI, araştırmanın yürütüldüğü dönemden bu yana Whisper modelinde iyileştirmeler yapıldığını ve halüsinasyon oranının düşürüldüğünü bildirdi. Ancak araştırmacılar, sorunun temelinde veri miktarından ziyade modelleme tercihlerinin yattığını ve farklı konuşma biçimlerine sahip bireyler için riskin bütünüyle ortadan kalkmadığını öne sürmektedir.

Olayda sistemin ürettiği hatalı metinlerin doğrudan bir fiziksel zarara yol açtığına dair somut bir vaka bildirilmemiştir. Temel riskin, sistemin sunduğu çıktılara aşırı güvenilmesi ve bu metinlerin kritik karar alma süreçlerinde doğrulanmadan kullanılması olduğu vurgulanmaktadır.