Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.
Avustralya’daki yaşlı bakımevlerinde denenen yapay zekâ destekli izleme sisteminin 12.000 hatalı bildirimle personel üzerinde aşırı yük oluşturduğu bildirildi
Güney Avustralya’daki yaşlı bakımevlerinde denenen yapay zekâlı izleme sisteminin 12.000 hatalı bildirim yaparak personelde uyarı yorgunluğuna yol açtığı ve bu durumun gerçek bir düşme vakasına müdahale edilmemesiyle sonuçlandığı bildirildi.
Olay
Güney Avustralya’daki iki yaşlı bakımevinde (Mt Pleasant ve Northgate House) yürütülen 12 aylık bir pilot uygulama kapsamında, düşme ve çığlık gibi acil durumları tespit etmek üzere tasarlanan yapay zekâ destekli kamera ve ses sisteminin 12.000’den fazla hatalı bildirim ürettiği açıklandı. PwC tarafından hazırlanan bağımsız denetim raporuna göre, sistemin personelin bakım sırasında eğilmesi veya diz çökmesi gibi rutin hareketlerini "düşme" olarak yanlış sınıflandırdığı ve ortam gürültüsüne karşı aşırı hassasiyet gösterdiği belirtildi.
Hatalı bildirimlerin yoğunluğu nedeniyle personelde "uyarı yorgunluğu" (alert fatigue) oluştuğu ve çalışanların tüm uyarılara yetişemez hale geldiği aktarıldı. Güney Avustralya Sağlık Bakanı Chris Picton, sistemin "yalancı çoban" durumuna düştüğünü ifade ederek, deneme süresinin son aylarında personelin en az bir gerçek düşme vakasına, hatalı bildirim olduğu varsayımıyla yanıt vermediğini bildirdi. Yaklaşık 785.000 Avustralya doları maliyetli projenin, personeli asıl bakım görevlerinden uzaklaştırdığı ve bakımevi yönetimi için kabul edilemez bir iş yükü yarattığı değerlendirildi.
Denetim raporunda, sistemin gerçek olayları yakalama oranının zamanla %2’den %22’ye yükseldiği ancak yine de güvenli bir operasyon için gereken seviyeye ulaşamadığı kaydedildi. Federal Sağlık ve Yaşlı Bakımı Departmanı sözcüsü, bu hatalı bildirimlerin sakinleri veya personeli doğrudan tehlikeye atmadığını savunurken, ailelerin gözetim sistemine genel olarak olumlu yaklaştığını ekledi. Bakan Picton, mevcut programın başarısız olduğunu ve sürecin en baştan ele alınacağını; ancak yaşlı güvenliğini artırmak için teknolojiden yararlanma yollarının aranmaya devam edileceğini açıkladı.
Kaynaklar & Kanıtlar
- [1]
- [2]
- [3]
- [4]
- [5]
- [6]
Akademik Atıf
Sınıflandırma
Detaylar
Zaman Çizelgesi
Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?