ABD’de yaygın kullanılan bir sağlık risk değerlendirme algoritmasında siyahi hastalar aleyhine sistematik önyargı bulunduğu saptandı

Science dergisinde yayımlanan ve aralarında UC Berkeley’den Dr. Ziad Obermeyer’in de bulunduğu araştırmacılar tarafından yürütülen bir çalışma, ABD’deki hastanelerde on milyonlarca hastanın bakım süreçlerini yönetmek için kullanılan bir algoritmanın siyahi hastalar aleyhine sistematik önyargı içerdiğini ortaya koymuştur. Söz konusu algoritmanın, kronik ve karmaşık sağlık sorunları olan hastaları tespit ederek ek bakım programlarına yönlendirmek amacıyla tasarlandığı; ancak aynı hastalık yüküne sahip siyahi hastaları, beyaz hastalara kıyasla daha düşük risk skorlarıyla değerlendirdiği saptanmıştır.

İncelemede, algoritmanın "sağlık ihtiyacını" tahmin etmek için "gelecekteki sağlık harcamalarını" bir ölçüt (proxy) olarak kullandığı belirlenmiştir. ABD’deki sosyoekonomik eşitsizlikler ve sağlık sistemine erişimdeki engeller nedeniyle siyahi hastaların geçmişte sağlık sistemine daha az harcama yapmış olmasının, sistem tarafından bu kişilerin "daha sağlıklı" olduğu şeklinde hatalı yorumlandığı değerlendirilmektedir. Araştırmacılar, önyargının düzeltilmesi durumunda ek yardım alması gereken siyahi hasta oranının %17,7’den %46,5’e çıkacağını hesaplamıştır. Algoritmayı geliştiren Optum şirketi, araştırmacıların vardığı sonucun bazı yönlerini "yanıltıcı" olarak nitelendirmiş; sistemin yalnızca bir veri noktası sunduğunu ve nihai kararın doktorun uzmanlığına dayanması gerektiğini savunmuştur. Bununla birlikte şirket, önyargıyı azaltmak amacıyla araştırmacılarla birlikte değişkenleri güncelleme yoluna gitmiştir.

Buna ek olarak, radyoloji alanındaki yapay zekâ sistemleri üzerinde yapılan bir başka çalışma (Gichoya ve ark.), algoritmaların tıbbi görüntülerden (röntgen, BT taraması vb.) hastanın ırkını %90’ın üzerinde bir doğrulukla tespit edebildiğini göstermiştir. İnsan uzmanların bu görüntülerden ırk tespiti yapamadığı belirtilirken, yapay zekânın bu bilgiyi hangi görsel ipuçlarını kullanarak elde ettiği araştırmacılar tarafından tam olarak açıklanamamıştır. Bu durumun, algoritmaların tıbbi tanılar koyarken ırksal kestirmeler yapmasına ve belirli gruplara yönelik hatalı teşhis veya tedavi önerilerinde bulunmasına yol açabileceği endişesi dile getirilmektedir.

Ayrıca, Arkansas’ta engelli bireylere yönelik evde bakım saatlerini belirleyen bir algoritmanın hatalı veri değerlendirmesi sonucu hizmetlerde ciddi kesintilere yol açtığı ve bazı hastaların mağduriyet yaşamasına neden olduğu bildirilmiştir. Benzer şekilde, 170’ten fazla hastanede kullanılan bir sepsis tespit