IBM Watson for Oncology sisteminin "güvensiz ve hatalı" kanser tedavisi önerilerinde bulunduğu iddia edildi

STAT News tarafından elde edilen IBM Watson Health iç yazışmaları ve sunum dosyaları, şirketin "Watson for Oncology" adlı yapay zekâ ürününün kanser hastaları için sıklıkla "güvensiz ve hatalı" tedavi önerileri sunduğunu ortaya koydu. 2017 yılına ait belgelerde, sistemin ulusal tedavi kılavuzlarıyla çelişen tavsiyelerde bulunduğu ve bu durumun şirket yöneticileri tarafından bilinmesine rağmen ürünün dünya çapındaki hastanelere pazarlanmaya devam ettiği öne sürüldü.

Belgelerde yer alan somut bir örnekte, şiddetli kanama belirtileri gösteren 65 yaşındaki bir akciğer kanseri hastasına, kanama durumunda kesinlikle kullanılmaması gerektiğine dair "kara kutu" uyarısı bulunan bevacizumab ilacının önerildiği belirtildi. Memorial Sloan Kettering (MSK) yetkilileri, bu spesifik örneğin gerçek bir hastaya sunulmadığını, sistem testi sırasında ortaya çıktığını vurguladı. Sistemin bu tür hatalı çıktılar üretmesinin temel nedeni olarak, gerçek hasta verileri yerine MSK'daki az sayıda doktor tarafından oluşturulan "sentetik" (varsayımsal) vakalarla eğitilmesi gösterildi. Bu durum, sistemin geniş çaplı bilimsel kanıtlardan ziyade sınırlı bir uzman grubunun kişisel görüşlerine dayanmasına yol açtığı gerekçesiyle eleştirildi.

IBM ve MSK yetkilileri, sistemin bir karar destek mekanizması olduğunu ve nihai kararın her zaman doktora ait olduğunu vurgulayarak güvenliği savundu. IBM, müşteri geri bildirimleri doğrultusunda sistemin sürekli güncellendiğini ve işlevselliğinin artırıldığını belirtti. Ancak iç belgelerde, Florida’daki Jupiter Hospital gibi bazı müşterilerin sistemin verimliliğinden ciddi şekilde şikâyetçi olduğu ve ürünü yalnızca "pazarlama amaçlı" kullandıkları yönündeki ifadeleri yer aldı.

Olayla ilgili belgelerde, sistemin hatalı önerileri nedeniyle doğrudan bir hastanın zarar gördüğüne dair somut bir kayıt bildirilmemiştir. Bununla birlikte, sistemin eğitim sürecindeki metodolojik eksikliklerin ve önerilerin tıbbi gerçeklerle uyumsuzluğunun, klinik karar alma süreçlerinde risk oluşturabileceği üzerinde durulmaktadır.