COMPAS risk değerlendirme algoritmasının ırksal yanlılık barındırdığı ve tahmin başarısının uzman olmayan kişilerden üstün olmadığı öne sürüldü

ABD genelinde mahkemelerce kefalet ve hapis cezası kararlarında yardımcı araç olarak kullanılan COMPAS algoritmasının, sanıkların yeniden suç işleme riskini tahmin etmede ırksal yanlılık barındırdığı iddia edilmektedir. ProPublica tarafından 2016'da yayımlanan araştırmada, Florida'daki 7.000'den fazla sanığa ait veriler incelenmiş; sistemin siyahi sanıkları, yeniden suç işlemedikleri halde "yüksek riskli" olarak sınıflandırma (yalancı pozitif) oranının beyazlara göre yaklaşık iki kat fazla olduğu öne sürülmüştür. Buna karşılık, yeniden suç işleyen beyazların "düşük riskli" sınıflandırılma eğiliminin siyahi sanıklara göre daha yüksek olduğu bildirilmiştir.

Dartmouth College araştırmacıları Julia Dressel ve Hany Farid'in 2018 tarihli çalışması, COMPAS’ın yetkinliğini tartışmaya açmıştır. 400 gönüllünün sınırlı bilgilerle yaptığı tahminlerin ortalama %63 doğruluk sağladığı; COMPAS’ın %65’lik oranının bireysel tahmincilerden sadece çok az farkla yüksek olduğu, gönüllülerin ortak kararlarından (%67) ise daha iyi olmadığı saptanmıştır. Ayrıca, algoritmanın kullandığı iddia edilen 137 değişken yerine (şirket sadece 6 değişkenin tahminci olduğunu savunmaktadır), yalnızca "yaş" ve "önceki mahkûmiyet sayısı" ile oluşturulan basit bir modelin benzer sonuçlar verdiği belirtilmiştir.

Sistemin geliştiricisi Equivant, ProPublica’nın analiz yöntemlerini reddetmiş; algoritmanın her iki grup için genel tahmin doğruluğunun benzer olduğunu ve ırkın bir girdi olmadığını savunmuştur. Akademik çevreler, farklı istatistiksel hakkaniyet kriterlerinin aynı anda karşılanmasının matematiksel imkânsızlığına dikkat çekmiştir.