İrlanda’da sınav notu hesaplama algoritmasındaki kodlama hatalarının binlerce öğrencinin yanlış not almasına yol açtığı bildirildi

İrlanda Eğitim Bakanlığı tarafından 2020 yılında pandemi nedeniyle merkezi sınavların yerine kullanılan not hesaplama algoritmasında, yaklaşık 50.000 satırlık kod içerisinde tek bir satırda iki önemli hata tespit edildiği açıklandı. Bakanlık yetkilileri, bu hatalardan ilkinin sistemin öğrencinin en iyi iki dersi yerine en kötü iki dersini işleme almasına neden olduğunu; ikincisinin ise hesaplamaya dâhil edilmemesi gereken bir dersin (Sivil, Sosyal ve Siyasal Eğitim - CSPE) sonuçlarını yanlışlıkla denkleme kattığını bildirdi.

Söz konusu teknik aksaklıklar sonucunda, en az 6.000 öğrencinin hak ettiğinden daha düşük not aldığı, yaklaşık 8.000 öğrencinin ise algoritmanın normal şartlarda atayacağından daha yüksek notlara ulaştığı aktarıldı. Hataların, sistemin geliştirilme sürecindeki kısıtlı zaman ve kaynak yetersizliği nedeniyle yeterince test edilmemesinden kaynaklandığı değerlendirilmektedir. Yazılımın halihazırda kullanılan bir paket program olmadığı, İrlanda’daki mevcut durum için özel olarak (custom-built) tasarlandığı belirtildi.

Olayın ardından İrlanda hükümeti, düşük not alan öğrencilerin durumunun düzeltilmesi için ek kontenjan çalışmaları başlatıldığını ve sistemin incelenmesi için ABD merkezli Educational Testing Service (ETS) adlı uzman kuruluşla anlaşıldığını duyurdu. Trinity College Dublin'den kıdemli araştırmacı Andrew Anderson, bu tür tahmin sistemlerinin "anlaşılamazlık" (inscrutability) sorunu taşıdığını, bir insanın aksine algoritmanın verdiği kararın gerekçesini açıklayamadığını ve bu durumun şeffaflığı feda ettiğini belirtti.

Sistemin kodlarının açık kaynaklı olmaması nedeniyle bağımsız denetimin yapılamadığı, hataların ancak yüklenici firma Polymetrika’nın iç denetimi sırasında fark edildiği bildirildi. Bu durum, otomatik karar verme mekanizmalarının eğitim gibi kritik alanlarda kullanılmasının yarattığı riskleri ve algoritmik önyargıların yaşam üzerindeki etkilerini yeniden tartışmaya açtı.