New York Belediyesi’nin yapay zekâ sohbet botunun bazı durumlarda yasalara aykırı tavsiyeler verdiği tespit edildi

New York Belediye Başkanı Eric Adams tarafından Ekim 2023’te tanıtılan ve işletme sahiplerine rehberlik etmesi planlanan yapay zekâ destekli sohbet botunun, bazı sorgularda kullanıcıları yürürlükteki yasalara aykırı hareket etmeye yönlendirdiği bildirildi. The Markup tarafından yapılan incelemelerde, sistemin konut politikası, işçi hakları ve tüketiciyi koruma yasaları gibi alanlarda zaman zaman "tehlikeli derecede hatalı" bilgiler sunduğu öne sürüldü.

Sistemin, New York’ta gelir kaynağına dayalı ayrımcılık yasak olmasına rağmen bazı testlerde ev sahiplerine kira yardımı kuponlarını reddedebileceklerini söylediği; ayrıca kira artış sınırlamaları ve kiracıların mülkten çıkarılmasına ilişkin yanlış bilgiler verdiği aktarıldı. İşçi hakları konusunda botun, işletmelerin çalışan bahşişlerinden pay alabileceğini ve çalışma programı değişikliklerini bildirme zorunluluğu olmadığını iddia ettiği durumlar gözlemlendi. Ayrıca sistemin, restoranların sadece kartla ödeme kabul edebileceğini ve cenaze hizmetlerinde fiyatların gizlenebileceğini (FTC kurallarına aykırı) belirttiği kaydedildi.

NYC Teknoloji ve İnovasyon Ofisi sözcüsü Leslie Brown, sistemin bir pilot program olduğunu, riskler konusunda kullanıcıların uyarıldığını ve aracın binlerce kişiye doğru yanıtlar sunduğunu belirterek uygulamayı savundu. Microsoft sözcüsü konu hakkında yorum yapmaktan kaçındı. Legal Services NYC ve NYC Hospitality Alliance yetkilileri, botun sunduğu hatalı bilgilerin işletmeler için ciddi hukuki sorumluluklar doğurabileceği uyarısında bulundu.

Sistemin aynı sorulara her seferinde aynı yanıtı vermediği, bazı durumlarda doğru bilgi sunarken bazı durumlarda tamamen hatalı yönlendirmeler yaptığı, bunun üretken yapay zekâ sistemlerindeki tutarsızlık ve halüsinasyon riskinden kaynaklandığı belirtilmektedir.