Microsoft’un Bing yapay zekâ tanıtım sunumunda finansal verileri ve ürün bilgilerini hatalı sunduğu bildirildi

Microsoft’un Şubat 2023’te gerçekleştirdiği Bing yapay zekâ (yeni adıyla Copilot) tanıtımında, sistemin sunduğu çeşitli bilgilerin gerçeği yansıtmadığı ve kaynak gösterilen belgelerle çeliştiği öne sürüldü. Tanıtım sırasında gösterilen önceden kaydedilmiş demoda, arama motoruna entegre edilen büyük dil modelinin ürün incelemeleri, seyahat planlaması ve finansal analiz gibi farklı alanlarda "halüsinasyon" olarak nitelendirilen hatalı çıktılar ürettiği tespit edildi.

Ürün araştırması kategorisinde, sistemin bir evcil hayvan süpürgesi hakkında sunduğu avantaj ve dezavantaj listesinin, kaynak gösterilen HGTV makalesiyle uyumlu olmadığı bildirildi. Bing’in kablosuz bir model olan cihazı kabloluymuş gibi tanımladığı; gürültü seviyesi ve emiş gücü gibi konularda makalede yer almayan iddialarda bulunduğu aktarıldı. Benzer şekilde, Meksika seyahat rehberi sorgusunda sistemin, bazı mekanların popülerliği ve nitelikleri hakkında (örneğin bir barın web sitesi olduğu veya bir diğerinin 'gençler arasında popüler' olduğu gibi) yanlış veya doğrulanmamış bilgiler verdiği belirtildi.

En kritik hataların finansal rapor özetlerinde yaşandığı değerlendirilmektedir. Bing’in Gap Inc. ve Lululemon şirketlerine ait 2022 yılı üçüncü çeyrek finansal sonuçlarını analiz ederken; brüt marj, faaliyet marjı ve hisse başına kazanç gibi temel verileri yanlış aktardığı öne sürüldü. Örneğin, Gap’in net satış beklentisini belgedeki "orta tek haneli düşüş" öngörüsünün aksine "düşük çift haneli" bir büyüme rakamı olarak sunduğu; Lululemon için ise brüt marj ve hisse başına kazanç gibi kalemlerde belgedeki gerçek rakamlarla uyuşmayan veriler ürettiği bildirildi. Bununla birlikte, Lululemon'un nakit ve envanter gibi bazı verilerini doğru aktardığı ancak genel analizde önemli hatalar yaptığı saptandı.

Sistemin kaynak gösterdiği belgelerdeki verileri doğru şekilde ayıklamak yerine, ikna edici bir dille yanlış rakamlar kurguladığı saptandı. Microsoft’un tanıtım sırasında bu hataları fark etmediği; yanlış bilgilerin ancak sunumdan sonra yapılan bağımsız incelemelerle ortaya çıktığı belirtildi. Sistemin karmaşık belgelerden veri çıkarma konusundaki bu yetersizliğinin, özellikle finansal analiz gibi hassas alanlarda kullanıcılar için risk oluşturabileceği vurgulanmaktadır.