RISKYZ-2021-00065MITAIID4 görüntülenme

Risk sınıflandırması: MIT AI Risk Repository etiketinden birebir alınmıştır.

7.Yapay Zekâ Sistem Güvenliği, Hatalar ve Sınırlamalar

Avustralya’daki yaşlı bakımevlerinde denenen yapay zekâ destekli izleme sisteminin 12.000 hatalı bildirimle personel üzerinde aşırı yük oluşturduğu bildirildi

Yayınlandı: 29 Temmuz 2026Olay: Mart 2021

Güney Avustralya’daki yaşlı bakımevlerinde denenen yapay zekâlı izleme sisteminin 12.000 hatalı bildirim yaparak personelde uyarı yorgunluğuna yol açtığı ve bu durumun gerçek bir düşme vakasına müdahale edilmemesiyle sonuçlandığı bildirildi.

Olay

Güney Avustralya’daki iki yaşlı bakımevinde (Mt Pleasant ve Northgate House) yürütülen 12 aylık bir pilot uygulama kapsamında, düşme ve çığlık gibi acil durumları tespit etmek üzere tasarlanan yapay zekâ destekli kamera ve ses sisteminin 12.000’den fazla hatalı bildirim ürettiği açıklandı. PwC tarafından hazırlanan bağımsız denetim raporuna göre, sistemin personelin bakım sırasında eğilmesi veya diz çökmesi gibi rutin hareketlerini "düşme" olarak yanlış sınıflandırdığı ve ortam gürültüsüne karşı aşırı hassasiyet gösterdiği belirtildi.

Hatalı bildirimlerin yoğunluğu nedeniyle personelde "uyarı yorgunluğu" (alert fatigue) oluştuğu ve çalışanların tüm uyarılara yetişemez hale geldiği aktarıldı. Güney Avustralya Sağlık Bakanı Chris Picton, sistemin "yalancı çoban" durumuna düştüğünü ifade ederek, deneme süresinin son aylarında personelin en az bir gerçek düşme vakasına, hatalı bildirim olduğu varsayımıyla yanıt vermediğini bildirdi. Yaklaşık 785.000 Avustralya doları maliyetli projenin, personeli asıl bakım görevlerinden uzaklaştırdığı ve bakımevi yönetimi için kabul edilemez bir iş yükü yarattığı değerlendirildi.

Denetim raporunda, sistemin gerçek olayları yakalama oranının zamanla %2’den %22’ye yükseldiği ancak yine de güvenli bir operasyon için gereken seviyeye ulaşamadığı kaydedildi. Federal Sağlık ve Yaşlı Bakımı Departmanı sözcüsü, bu hatalı bildirimlerin sakinleri veya personeli doğrudan tehlikeye atmadığını savunurken, ailelerin gözetim sistemine genel olarak olumlu yaklaştığını ekledi. Bakan Picton, mevcut programın başarısız olduğunu ve sürecin en baştan ele alınacağını; ancak yaşlı güvenliğini artırmak için teknolojiden yararlanma yollarının aranmaya devam edileceğini açıkladı.

Akademik Atıf

RiskYZ. (2026). RISKYZ-2021-00065: Avustralya’daki yaşlı bakımevlerinde denenen yapay zekâ destekli izleme sisteminin 12.000 hatalı bildirimle personel üzerinde aşırı yük oluşturduğu bildirildi. RiskYZ Vaka Kütüphanesi. https://riskyz.org/cases/RISKYZ-2021-00065

Sınıflandırma

Risk Alanı
7.Yapay Zekâ Sistem Güvenliği, Hatalar ve Sınırlamalar
Alt Kategori
7.3Yetersiz kapasite veya dayanıklılık
Kaynak
Yapay Zekâ
Niyet
Kasıtsız
Zamanlama
Dağıtım Sonrası

Detaylar

Etkilenen Sistem
Yapay zekâ destekli CCTV ve sesli olay algılama sistemi
Sektör
Sağlık
Konum
Avustralya

Zaman Çizelgesi

Olay Tarihi
Mart 2021
Yayınlandı
29.07.2026
Güncellendi
11.08.2026

Olay tarihi zararın başladığı anı gösterir; haberin ya da davanın tarihi olmayabilir. Nasıl belirlenir?

Etiketler

#yapay zekâ hatası#sağlık#kullanıcı güvenliği#aşırı güvenme#doğrulama eksikliği#yanlış sınıflandırma#kamu hizmetleri#hesap verebilirlik