Toronto’da yapay zekâ tabanlı su kalitesi tahmin sisteminin hatalı sonuçlar vererek halk sağlığını riske attığı iddia edildi

Toronto Halk Sağlığı (TPH) birimi, 2022 yaz sezonunda kirlilik riski yüksek olan Sunnyside ve Marie Curtis plajlarındaki su kalitesini izlemek amacıyla Cann Forecast tarafından geliştirilen yapay zekâ tabanlı bir tahmin modelini (AIPM) pilot uygulama olarak devreye almıştır. Sistemin, geleneksel laboratuvar testlerinin sonuçlanması için gereken 24 saatlik bekleme süresini ortadan kaldırarak gerçek zamanlı E. coli tahmini yapması hedeflenmiştir. Ancak, "Swim Drink Fish" grubu ve "The Information" tarafından yapılan analizler, sistemin güvenilirliğine dair ciddi zafiyetler ortaya koymuştur.

İncelemeler, modelin suyun güvensiz olduğu günlerin çoğunda hatalı şekilde "güvenli" onayı verdiğini; hatta isabet oranının bir yazı tura atışından (%50) daha düşük kaldığını göstermiştir. Bazı örneklerde, E. coli miktarının kabul edilebilir sınırın 4,5 katına çıktığı günlerde dahi sistemin plajları açık tuttuğu bildirilmiştir. TPH yetkilileri, sistemin %100 doğruluk iddiası taşımadığını ve kararların her zaman bir insan denetiminden geçtiğini savunmuştur. Ancak uzmanlar, bu tür sistemlerin maliyet tasarrufu için denetimsiz bırakılmasının "otomasyon önyargısına" yol açtığı konusunda uyarmaktadır.