Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Anysphere'in kodlama asistanı Cursor için sunduğu yapay zekâ destekli destek botunun, uydurma bir giriş politikası ürettiği ve bunun abonelik iptallerine yol açtığı bildirildi.
Cursor'un yapay zekâ destek botunun uydurma bir giriş politikası ürettiği ve bunun abonelik iptallerine yol açtığı bildirildi.
Olay
Nisan 2025'te, Anysphere tarafından geliştirilen yapay zekâ destekli kodlama asistanı Cursor'un kullanıcılarının, beklenmedik şekilde oturumlarının kapatıldığını bildirdiği aktarıldı. "Sam" adlı yapay zekâ destekli destek botunun, bu durumu haklı çıkarmak amacıyla uydurma bir giriş politikasıyla yanıt verdiği iddia edildi. Kullanıcılara, Cursor'u yalnızca tek bir cihazda kullanmalarına izin verildiği yönünde bir politika değişikliği bildirildiği, ancak bu politikanın şirketin gerçek bir değişikliğine dayanmadığı belirtildi.
Halüsinasyon ürünü olan bu politikanın, bazı kullanıcıların abonelik iptaline gitmesine yol açtığı bildirildi. Olayın, yapay zekâ destekli müşteri hizmetleri araçlarının otomasyonla insan çalışanların yerini almasını değerlendiren şirketler için bir uyarı niteliği taşıdığı belirtildi.
Olayın, yapay zekâ destek botlarının gerçek olmayan politika ve bilgiler üretebilmesinin, müşteri güvenini ve iş sonuçlarını olumsuz etkileyebileceğini ve bunun yanlış bilgi açısından önemli bir risk oluşturduğunu gösterdiği değerlendirilmektedir.
Kaynaklar & Kanıtlar
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?