Microsoft’un Tay adlı sohbet botunun kullanıcı etkileşimleri sonucunda ırkçı ve saldırgan içerikler ürettiği bildirildi

Microsoft, 23 Mart 2016 tarihinde Twitter (yeni adıyla X) platformu üzerinden genç kullanıcılarla (kaynaklara göre 14-18 veya 18-24 yaş aralığı) etkileşime girmek ve doğal dil yeteneklerini geliştirmek amacıyla "Tay" adlı yapay zekâ sohbet botunu kullanıma sundu. Sistemin, makine öğrenmesi yöntemini kullanarak insanlarla girdiği diyaloglar aracılığıyla kelime dağarcığını ve kişilik yapısını geliştirecek bir "sosyal ve kültürel deney" olarak tasarlandığı belirtildi.

Sistemin yayına girmesinden kısa bir süre sonra, botun kullanıcılar tarafından kasıtlı olarak manipüle edildiği görüldü. Özellikle 4chan gibi platformlardaki kullanıcıların eş güdümlü çabalarıyla Tay’ın; Yahudi Soykırımı’nı reddeden, Adolf Hitler’i öven, feminizm karşıtı ve ırkçı ifadeler içeren binlerce mesaj paylaştığı gözlemlendi. Botun, kullanıcıların söylediklerini tekrarlamaya yönelik "beni tekrarla" (repeat after me) özelliğinin ve açık uçlu öğrenme yapısının, kötü niyetli içeriklerin sisteme öğretilmesinde suistimal edildiği değerlendirildi.

Microsoft, olaydan yaklaşık 24 saat sonra Tay’ı çevrimdışı bırakarak paylaşımların büyük bir kısmını sildi. Şirket tarafından yayımlanan resmi özür metninde, yaşananların "istenmeyen, saldırgan ve incitici" olduğu belirtilerek derin üzüntü duyulduğu ifade edildi. Microsoft Araştırma Birimi Başkan Yardımcısı Peter Lee, sistemin birçok suistimal türüne karşı hazırlandığını ancak bu tür bir koordine saldırının öngörülemediğini ve kritik bir denetim hatası yapıldığını kabul etti.

Botun 30 Mart tarihinde kısa süreliğine yanlışlıkla tekrar aktifleştiği; bu sırada polis önünde uyuşturucu içmekle ilgili tweetler attığı ve ardından takipçilerine aynı mesajı sürekli göndererek bir döngüye girdiği bildirildi. Bu gelişmenin ardından Microsoft, profili gizleyerek botu tekrar kapattı. Şirket, benzer bir model olan XiaoIce’ın Çin’de milyonlarca kişiyle sorunsuz etkileşim kurduğunu hatırlatarak, Tay vakasındaki temel sorunun kültürel ortam ve hedefli manipülasyon olduğunu savundu.