Texas Başsavcılığı’nın Pieces Technologies ile sağlık yapay zekâsının doğruluk oranlarına dair yanıltıcı iddialar nedeniyle uzlaşmaya vardığı bildirildi

Texas Başsavcılığı, 18 Eylül 2024 tarihinde Dallas merkezli sağlık teknolojileri firması Pieces Technologies ile bir uzlaşma anlaşmasına varıldığını duyurdu. Anlaşma, şirketin yatarak tedavi kurumları için geliştirdiği üretken yapay zekâ ürünlerinin doğruluğu ve güvenliği hakkında "yanıltıcı ve aldatıcı" iddialarda bulunduğu suçlamalarını kapsamaktadır. Şirketin, hasta dosyalarını ve klinik notları özetleyen sistemlerinin hata payı konusunda gerçeği yansıtmayan metrikler sunduğu öne sürülmüştür.

Başsavcılık tarafından yürütülen incelemede, Pieces Technologies’in pazarlama faaliyetlerinde sistemlerinin "yüksek doğrulukta" olduğunu savunduğu; "ciddi halüsinasyon oranını" ise 100.000'de 1'den az (<%0,001) olarak beyan ettiği tespit edilmiştir. Bu iddiaların Texas’taki dört büyük hastaneyi, sistemin klinik özetlerine ve tedavi planlarına güvenmeye teşvik ettiği; ancak söz konusu metriklerin doğruluğunun bağımsız kaynaklarca kanıtlanamadığı belirtilmiştir. Başsavcılık, bu durumun sağlık personelini yanıltarak hasta güvenliğini ve kamu menfaatini riske atmış olabileceğini değerlendirmiştir.

Uzlaşma şartları uyarınca Pieces Technologies, herhangi bir maddi tazminat ödemeksizin, önümüzdeki beş yıl boyunca pazarlama faaliyetlerinde kullandığı tüm metriklerin hesaplama yöntemlerini şeffaf bir şekilde açıklama yükümlülüğünü kabul etmiştir. Şirketin ayrıca, sistemin eğitiminde kullanılan veri türlerini, bilinen kısıtlamaları ve hatalı çıktıların neden olabileceği olası fiziksel veya finansal zarar risklerini kullanıcılara bildirmesi kararlaştırılmıştır.

Olay, bir eyalet başsavcılığının üretken yapay zekâ alanında bir sağlık teknolojisi şirketine yönelik gerçekleştirdiği ilk önemli yaptırım eylemlerinden biri olarak kaydedilmiştir. 30 Eylül 2025 tarihinde SmarterDx'in Pieces Technologies’i satın aldığı ve ilgili teknolojiyi "SmarterNotes" markası altında entegre ettiği bildirilmiştir.