ABD Gazi İşleri Bakanlığı’nın intihar önleme algoritmasının erkekleri öncelediği ve kadınlara yönelik risk faktörlerini dışladığı iddia edildi

The Fuller Project tarafından yürütülen bir inceleme, ABD Gazi İşleri Bakanlığı (VA) tarafından kullanılan REACH VET adlı yapay zekâ algoritmasının, intihar riski yüksek gazileri belirlerken beyaz erkeklere öncelik verdiğini ve kadın gaziler için kritik olan risk faktörlerini göz ardı ettiğini ortaya koydu. 2017'den bu yana kullanımda olan sistemin, her ay yaklaşık 6.700 gaziyi ek yardım için işaretlediği; ancak modelde kullanılan 61 değişken arasında "boşanmış erkek" veya "dul erkek" gibi kategoriler yer alırken, kadın gazilere yönelik benzer bir önceliklendirme bulunmadığı bildirildi.

İncelemede, kadın gaziler arasında intihar riskini önemli ölçüde artıran askeri cinsel travma ve partner şiddeti gibi unsurların algoritma tarafından dikkate alınmadığı belirtildi. VA verilerine göre, 2020-2021 yılları arasında kadın gazilerdeki intihar oranının %24 arttığı, bu oranın erkek gazilerdeki artışın dört katı olduğu vurgulandı. Buna rağmen, VA yetkililerinin cinsel saldırı geçmişini "intihar riskini tahmin etmede yeterince güçlü bir değişken olmadığı" gerekçesiyle modelden çıkardığı aktarıldı.

New York Üniversitesi Kamu Yararına Teknoloji İttifakı Araştırma Direktörü Meredith Broussard, sistemin çoğunluk grubuna (beyaz erkekler) odaklanmasının matematiksel bir zorunluluktan ziyade verideki sistematik önyargıların bir yansıması olabileceğini belirtmiştir. VA yönetimi, sistemin intihar girişimlerini azalttığını savunarak algoritmayı "ezber bozan" bir teknoloji olarak nitelendirse de, modelin kadın gazileri dezavantajlı duruma düşürüp düşürmediğine dair bağımsız bir denetim raporu henüz kamuoyuyla paylaşılmamıştır. Bakanlık, yapay zekâ modellerinin ayrımcılığı körüklememesi yönündeki başkanlık kararnamelerine uyum çalışmalarının devam ettiğini açıklamıştır.