Yapay Zekâ Tabanlı Vergi Danışmanlık Sohbet Botunun, Düşük Doğruluk Oranı ile Hatalı Yönlendirmeler Sunarak Geniş Ölçekte Risk Oluşturduğu Bildirilmektedir

Kanada Gelir İdaresi tarafından vergi ve sosyal yardım konularındaki genel soruları yanıtlamak amacıyla kullanılan Charlie adlı sanal sohbet botunun doğruluğu, Kanada Sayıştayının vergi idaresi iletişim hizmetlerine ilişkin denetiminde incelendi. Denetçiler, bireysel vergiler, sosyal yardımlar ve işletme vergileri alanlarında ikişer olmak üzere sisteme toplam altı soru yöneltti. Charlie, bu soruların yalnızca ikisine doğru yanıt verdi; karşılaştırılan diğer kamuya açık yapay zekâ tabanlı sohbet araçları ise altı sorunun beşini doğru yanıtladı. Altı sorudan ikisinin doğru yanıtlanması yaklaşık yüzde 33’e karşılık geldiğinden, ilk vaka metnindeki yüzde 44 doğruluk oranı resmî denetim bulgusuyla uyumlu değildir.

Sayıştay, Charlie’nin yanıtlarının genellikle kısa olduğunu, sınırlı bağlam sunduğunu ve ek açıklama içermediğini belirtti. Sistem yalnızca genel bilgi sağlamak üzere tasarlandığından kişiye özel hesap veya vergi dosyası sorularını yanıtlayamıyordu. Denetim, Charlie’nin belirli kullanıcıları yanlış beyana yönlendirdiğini veya hatalı yanıtlar nedeniyle vergi cezası uygulandığını ortaya koymadı. Bu nedenle vaka, doğrulanmış bireysel mali kayıplardan ziyade geniş ölçekte kullanılan bir kamu bilgi sisteminin yanlış yönlendirme riski oluşturması şeklinde değerlendirilmiştir.

Charlie, 27 Mart 2020’de kullanıma açıldı. Kanada Gelir İdaresi, sistemin ilk haftalarında yaklaşık 509 bin görüşmede 1,69 milyondan fazla soruyu yanıtladığını bildirmişti. Aralık 2025’te yayımlanan bilgilere göre toplam kullanım hacmi yedi milyondan fazla görüşmeye ve 18 milyondan fazla soruya ulaştı. Ancak kurum, bütün görüşme kayıtları tek tek incelenmeden doğru ve yanlış yanıtların kesin sayısının belirlenemeyeceğini açıkladı.

Parlamentoya sunulan maliyet bilgilerine dayanan haberlerde, proje üzerinde çalışan personelin ücretleri için 13,67 milyon Kanada doları, bilgi teknolojisi danışmanları için ise 3,21 milyon Kanada doları harcandığı bildirildi. Bu iki kalem toplam 16,88 milyon Kanada dolarına ulaşırken çalışanlara ilişkin yan haklar ve seyahat giderlerinin buna dâhil olmadığı belirtildi. Bu nedenle projenin maliyeti haberlerde 18 milyon Kanada dolarının üzerinde olarak aktarıldı.

Kanada Gelir İdaresi, Charlie’nin daha sonraki ölçümlerde yüzde 70 düzeyine ulaştığını ve henüz kullanıma sunulmayan üretken yapay zekâ tabanlı yeni sürümün yaklaşık yüzde 90 doğruluk gösterdiğini bildirdi. Bununla birlikte kurumun 100 günlük hizmet iyileştirme planındaki yüzde 70 göstergesi, doğr