OpenAI’ın Whisper adlı ses yazıya dökme aracının tıbbi ortamlarda ve diğer sektörlerde söylenmemiş ifadeler uydurduğu iddia edildi

OpenAI tarafından geliştirilen ve yüksek doğruluk oranıyla tanıtılan Whisper adlı yapay zekâ tabanlı ses yazıya dökme aracının, ses kayıtlarında yer almayan ifadeleri metne eklediği (halüsinasyon) öne sürüldü. Yazılım mühendisleri, akademisyenler ve araştırmacılar; sistemin bazen tüm cümleleri uydurduğunu, bu içeriklerin ırkçı yorumlar, şiddet söylemi ve hayali tıbbi tedaviler içerebildiğini bildirdi. Cornell ve Virginia Üniversitelerinden araştırmacıların Carnegie Mellon Üniversitesi'ndeki bir veri deposundan alınan kayıtlar üzerinde yaptığı incelemede, tespit edilen halüsinasyonların yaklaşık %40'ının, konuşmacıyı yanlış tanıtma veya hatalı bilgi verme potansiyeli nedeniyle "zararlı" veya "endişe verici" olduğu değerlendirildi.

Sistemin, OpenAI’ın "yüksek riskli alanlarda kullanılmaması" yönündeki resmi uyarılarına rağmen, dünya genelinde birçok sağlık merkezinde hasta-doktor görüşmelerini raporlaştırmak amacıyla kullanıldığı belirtildi. Nabla adlı şirket tarafından geliştirilen Whisper tabanlı bir aracın, 40'tan fazla sağlık sisteminde 30.000'den fazla klinisyen tarafından kullanıldığı ve bugüne kadar yaklaşık 7 milyon tıbbi görüşmeyi yazıya döktüğü aktarıldı. Uzmanlar, bu tür hataların yanlış teşhis veya hatalı tedavi planlarına yol açabileceği konusunda uyarıda bulundu.

Eski OpenAI çalışanları ve araştırmacılar, Nabla gibi bazı araçların veri güvenliği gerekçesiyle orijinal ses kaydını silmesinin, üretilen metindeki hataların denetlenmesini ve doğrulanmasını imkânsız kıldığına dikkat çekti. Sistemin özellikle duraksamalar, arka plan gürültüleri veya müzik içeren kayıtlarda uydurma metin üretme eğiliminde olduğu gözlemlendi. OpenAI sözcüsü, şirketin halüsinasyonları azaltmak için sürekli çalıştığını ve araştırmacıların bulgularını model güncellemelerinde değerlendirdiklerini açıkladı. Nabla yetkilileri ise halüsinasyon riskinin farkında olduklarını, ancak sistemin çıktılarını doktorların kontrol edip onaylaması gerektiğini vurguladı.

Olayda, yapay zekâ çıktısı nedeniyle doğrudan zarar görmüş spesifik bir hasta vakası henüz kamuoyuna yansımamıştır. Ancak sistemin yaygın kullanımı ve denetim mekanizmalarındaki eksiklikler, sağlık hizmetlerinde veri bütünlüğü ve hasta güvenliği açısından sistematik bir risk oluşturabileceği gerekçesiyle tartışılmaktadır.