Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Stanford Tıp Merkezi’nin aşı dağıtım algoritmasının ön saflardaki sağlık çalışanlarını dışladığı ve adaletsiz sonuçlara yol açtığı bildirildi
Stanford Tıp Merkezi’nde aşı dağıtımı için kullanılan algoritmanın, ön saflarda çalışan asistan hekimleri dışlayarak idari personele öncelik vermesi üzerine protestolar yaşanmış; kurum yönetimi sistemdeki hataları kabul ederek özür dilemiştir.
Olay
Aralık 2020’de Stanford Tıp Merkezi, ilk 5.000 doz COVID-19 aşısının hangi personele öncelikli olarak uygulanacağını belirlemek amacıyla kural tabanlı bir puanlama algoritması kullanmıştır. Ancak sistemin, doğrudan hastalarla temas halinde olan ve yüksek risk altında çalışan 1.349 asistan hekimden yalnızca 7’sine aşı önceliği verdiği; buna karşın evden çalışan veya hastalarla doğrudan temas kurmayan idari personel ve kıdemli hekimleri önceliklendirdiği bildirilmiştir. Bu durum, hastane çalışanları arasında geniş çaplı protestolara ve sistemin adaletine yönelik ciddi eleştirilere yol açmıştır.
İncelemeler sonucunda algoritmanın; yaş (65 üstü ve 25 altına ek puan verme), çalışma birimi ve iş kolundaki COVID-19 yaygınlığı gibi değişkenleri temel aldığı belirlenmiştir. Asistan hekimlerin genellikle bu iki uç yaş grubunun arasında (orta yaş grubunda) yer almaları ve hastane içinde farklı birimlerde rotasyon yapmaları nedeniyle sabit bir "çalışma yeri" verisine sahip olmamalarının, sistemde düşük puan almalarına neden olduğu değerlendirilmektedir. Algoritmanın, personelin hastalarla fiili temas süresini veya maruziyet riskini doğrudan ölçmek yerine, bu durumu temsil edeceği varsayılan dolaylı verileri (proxy) kullandığı ve bu verilerin asistan hekimlerin gerçek risk profilini yansıtmadığı öne sürülmüştür.
Stanford yönetimi, yaşanan aksaklığı "karmaşık bir algoritmanın hatası" olarak nitelendirilmiş; dağıtım planının etik ve adil olması hedeflenirken sistemin beklenmedik sonuçlar doğurduğunu belirterek özür dilemiştir. Bununla birlikte, kurum içindeki bazı temsilciler, hastane yönetiminin algoritmadaki hatalardan liste yayımlanmadan günler önce haberdar olduğunu ancak sistemi revize etmeden uygulamaya koyduğunu iddia etmiştir. Olayın ardından kurum, aşı planını derhal revize edeceğini ve ön saflardaki çalışanların önceliklendirileceğini açıklamıştır.
Olay, otomatik karar verme sistemlerinin tasarım aşamasında tüm paydaşların görüşlerinin alınmamasının ve kullanılan değişkenlerin gerçek hayat riskleriyle örtüşmemesinin kurumsal güveni zedeleyebileceğini göstermiştir. Stanford yetkilileri, sistemin kötü niyetli bir tasarıma sahip olmadığını ancak uygulama aşamasında başarısız olduğunu kabul etmiştir.
Kaynaklar & Kanıtlar
- [1]
- [2]
- [3]
- [4]
- [5]
- [6]
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?