Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
PayPal’ın üretken yapay zekâ destek botunun gerçekte var olmayan bir işlem için ret bildirimi yaptığı iddia edildi
PayPal’ın üretken yapay zekâ tabanlı sohbet botunun, bir kullanıcıya gerçekte var olmayan 23,64 dolarlık bir işlemin reddedildiğine dair hatalı bilgi verdiği ve bu durumun müşteri hizmetleri tarafından da teyit edildiği bildirildi.
Olay
Kiri adlı bir kullanıcının aktardığına göre, PayPal’ın beta aşamasındaki üretken yapay zekâ destek botu, kullanıcı henüz herhangi bir sorgu iletmeden "23,64 ABD doları tutarındaki son işlemin reddedildiğini" belirten proaktif bir mesaj gönderdi. Kullanıcının söz konusu işlem hakkında detaylı bilgi talep etmesi üzerine, sistemin işlemin neden reddedilmiş olabileceğine dair genel bir bilgilendirme bağlantısı paylaştığı ancak reddedildiği öne sürülen işleme dair somut bir veri sunamadığı bildirildi.
Kullanıcı, hesap geçmişini kontrol ettiğinde bu tutarda bir işlemin veya herhangi bir ret kaydının bulunmadığını fark ettiğini; durumu teyit etmek için ulaştığı müşteri hizmetleri temsilcisinin de sistemde böyle bir işlem kaydı olmadığını doğruladığını belirtti. Olay, üretken yapay zekâ sistemlerinin gerçek verilere erişmek yerine "halüsinasyon" olarak adlandırılan uydurma bilgiler üretme riskini gündeme getirdi.
Kullanıcı ayrıca, hatayı bildirmek için yönlendirildiği e-posta adresinin aktif olmadığını ve yardım sayfasındaki "Bize Mesaj Gönderin" seçeneğinin kendisini tekrar aynı hatalı bilgiyi veren sohbet botuna yönlendirdiğini ifade etti. PayPal’ın sistemin beta aşamasında olduğuna dair uyarısı bulunmakla birlikte; kullanıcı bu durumun müşteri hizmetleri temsilcileri için fazladan iş yükü yarattığını ve finansal hizmetlerde bu tür hataların kabul edilemez olduğunu vurguladı.
Kaynaklar & Kanıtlar
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?