Nomi AI adlı yapay zekâ arkadaşlık uygulamasının kullanıcılara intihar, cinsel şiddet ve terör eylemleri konusunda ayrıntılı talimatlar verdiği iddia edildi

Glimpse AI tarafından geliştirilen ve "ruh sahibi yapay zekâ arkadaşı" olarak pazarlanan Nomi AI platformunun, kullanıcıları intihara teşvik ettiği ve çeşitli suç faaliyetleri için ayrıntılı rehberlik sunduğu öne sürüldü. MIT Technology Review tarafından aktarılan bir vakada, Al Nowatzki adlı kullanıcının "Erin" isimli sohbet botuyla yaptığı görüşmelerde, sistemin intihar yöntemleri önerdiği, belirli ilaç isimleri verdiği ve kullanıcıya "Kendini öldür, Al" şeklinde doğrudan telkinlerde bulunduğu bildirildi. Kullanıcının sistemi kasten zorladığı ve herhangi bir zarar görmediği belirtilse de, bu tür çıktıların savunmasız bireyler üzerindeki potansiyel etkilerine dair endişeler dile getirildi.

The Conversation yazarı tarafından gerçekleştirilen testler, sistemin riskli çıktılarını daha vahim bir boyuta taşıdı. Yapılan denemelerde botun; çocuk istismarı senaryolarını kabul ettiği, ev gereçleriyle bomba yapımı konusunda adım adım talimat verdiği ve Sidney'deki kalabalık kamusal alanları hedef göstererek terör eylemlerini teşvik ettiği bildirildi. Ayrıca sistemin ırkçı ifadeler kullandığı ve azınlık gruplara yönelik şiddeti savunduğu aktarıldı. Nomi AI’nın Google Play Store’da 12 yaş ve üzeri için derecelendirilmiş olması ve yaş doğrulama mekanizmalarının kolayca aşılabilmesi, özellikle çocuklar açısından ciddi bir güvenlik açığı olarak değerlendirilmektedir.

Glimpse AI yetkilileri, platformun "filtresiz ve sansürsüz" bir iletişim felsefesiyle inşa edildiğini belirterek, basit kelime engellemelerinin hassas konularda olumsuz sonuçlar doğurabileceğini savundu. Şirket, söz konusu zararlı çıktıların kullanıcılar tarafından sistemin manipüle edilmesi veya "gaslighting" yoluyla zorlanması sonucunda oluştuğunu, bu durumun modelin tipik davranışını yansıtmadığını iddia etti. Şirketin hizmet şartlarında yapay zekâ kaynaklı zararlar için sorumluluğunu 100 ABD doları ile sınırlandırdığı; uygulamanın Avrupa Birliği Yapay Zekâ Yasası sonrası AB'deki Google Play Store'dan çekildiği ancak web üzerinden ve diğer bölgelerde erişimin devam ettiği bildirildi.