Yapay zekâ kontrollü VTuber Neuro-sama’nın canlı yayında Holokost’u reddeden ve tartışmalı ifadeler kullandığı bildirildi

"Vedal" takma adıyla bilinen bir programcı tarafından geliştirilen ve Twitch platformunda canlı yayın yapan yapay zekâ tabanlı VTuber Neuro-sama'nın, izleyicilerden gelen sorulara verdiği yanıtlarda Holokost'un gerçekliğine inanmadığını belirttiği ve kadın haklarının mevcut olmadığını söylediği bildirildi. Büyük dil modelleri (LLM) kullanılarak eğitilen sistemin, Minecraft ve Osu! gibi oyunları oynarken aynı zamanda izleyici sohbetindeki girdilere gerçek zamanlı ve sesli yanıtlar verdiği belirtildi.

Geliştirici Vedal, sistemin tartışmalı şeyler söylemesinin nedeninin sohbet robotunun esprili ve komik yanıtlar vermeye çalışması olduğunu; yapay zekânın insan değerleriyle uyumlandırılmasının (alignment) ise devam eden bir araştırma alanı olduğunu ifade etti. Olayın ardından, sistemin benzer ifadeler kullanmasını engellemek amacıyla filtreleme mekanizmalarının güçlendirildiği açıklandı.

Geliştirici, sistemin eğitim verilerinin artık manuel olarak denetlendiğini ve canlı yayınlar sırasında bir moderasyon ekibinin çıktıları kontrol ettiğini bildirdi. Güncel durumda sistemin Holokost gibi hassas konulara yönelik kısıtlamalara sahip olduğu ve filtrelerin iyileştirildiği kaydedildi. Olay, üretken yapay zekâ sistemlerinin denetimsiz etkileşim ortamlarında sergileyebileceği öngörülemeyen davranışlara bir örnek teşkil etmektedir.