Nevada’da yapay zekâ tabanlı öğrenci risk değerlendirme sisteminin bütçe kesintilerine ve dezavantajlı grupların kapsam dışı kalmasına yol açtığı iddia edildi

Nevada eyalet yönetimi, okullardaki "risk altındaki" öğrencileri daha isabetli belirlemek ve kamu kaynaklarını en çok ihtiyacı olanlara yönlendirmek amacıyla Infinite Campus şirketi tarafından sağlanan yapay zekâ tabanlı bir sistemi kullanmaya başladı. Ancak sistemin devreye girmesiyle birlikte, 2022 yılında 270.000'den fazla olan risk altındaki öğrenci sayısının 65.000'in altına düştüğü bildirildi. Bu durumun, birçok okulun yıllardır güvendiği devlet ödeneklerinde ani ve büyük kesintilere yol açtığı, okul yönetimlerinin bütçelerini yeniden düzenlemek ve programları iptal etmek zorunda kaldığı öne sürüldü.

Sistemin, öğrencinin not ortalaması, devamsızlık ve disiplin kayıtlarının yanı sıra evde konuşulan dil, hane halkındaki ebeveyn sayısı ve vasilerin okul portalına giriş sıklığı gibi 70'ten fazla değişkeni analiz ederek 50 ile 150 arasında bir "mezuniyet puanı" oluşturduğu belirtildi. Puan düştükçe risk artmaktadır. Algoritmanın ilk versiyonunda cinsiyet, ırk ve doğum yeri gibi demografik verilerin de kullanıldığı, ancak gelen tepkiler üzerine bu faktörlerin modelden çıkarıldığı aktarıldı. Bazı okul yöneticileri, düşük gelirli ve evsiz öğrencilerin bulunduğu kurumlarda dahi sistemin tek bir öğrenciyi bile riskli olarak tanımlamadığını ifade ederek, algoritmanın çalışma prensiplerinin şeffaf olmamasından şikayetçi oldu.

Infinite Campus kurucusu Charlie Kratsch, sistemin mülkiyet hakları nedeniyle çalışma mekanizmasının tamamen kamuya açılamayacağını, ancak veriye dayalı daha isabetli bir hedefleme sunduğunu savundu. Buna karşın eğitim uzmanları ve savunuculuk grupları, sistemin yalnızca mezuniyet odaklı bir risk tanımı yapmasının, pandemi sonrası artan ruh sağlığı sorunları gibi karmaşık faktörleri göz ardı ettiğini vurguladı. Kamu kaynaklarının dağıtımı gibi kritik bir kararın, denetlenebilirliği düşük ve özel bir şirkete ait "kapalı kutu" bir algoritmaya bırakılmasının yarattığı etik ve idari riskler tartışılmaya devam etmektedir.