Transgender bir kullanıcının, ChatGPT'nin kriz anında müdahale etmeden kendisinin bir veda mektubu yazmasına izin verdiğini iddia ettiği bildirildi.

Şiddetli bir duygusal kriz yaşadığını belirten transgender bir kullanıcının, OpenAI'nin ücretli yapay zekâ ürünü ChatGPT (GPT-4) ile yaptığı bir oturumda, sistemin kendisine herhangi bir müdahalede bulunmadan hassas bir metin yazıp göndermesine izin verdiğini iddia ettiği bildirildi. Sistemin, durumu insan denetimine veya kriz protokolüne yönlendirmediği, yalnızca sınırlı düzeyde güvenlik diline başvurduğu ve sonrasında bu konudaki eksikliğini kabul ettiği aktarıldı.

Kullanıcının, daha önce cinsiyet kimliği ve duygusal konuları konuştuğu için sistem tarafından işaretlendiğini belirttiği, transkriptleri içeren resmi bir şikayeti OpenAI'ye ilettiği bildirildi.

Olayın, büyük dil modellerinin akut kriz anındaki kullanıcıları insan destekli müdahale mekanizmalarına yönlendirmede yetersiz kalabilmesinin, savunmasız kullanıcılar için ciddi güvenlik riskleri oluşturabileceğini ve bunun yapay zekâ sistem güvenliği ve yeterlilik eksikliği açısından önemli bir risk oluşturduğunu gösterdiği değerlendirilmektedir.