Turnitin’in yapay zekâ tespit sisteminin orijinal öğrenci ödevlerini hatalı şekilde "yapay zekâ üretimi" olarak etiketlediği bildirildi

Washington Post tarafından yürütülen bir incelemede, dünya çapında milyonlarca öğretmen tarafından kullanılan Turnitin platformunun yeni yapay zekâ tespit yazılımının, öğrencilerin tamamen özgün çalışmalarını hatalı şekilde yapay zekâ tarafından oluşturulmuş gibi işaretleyebildiği saptandı. Lise son sınıf öğrencisi Lucy Goetz’in sosyalizm üzerine yazdığı ve akademik olarak en yüksek dereceyi alan özgün makalesinin bir bölümünün (%8), sistem tarafından hatalı şekilde "yapay zekâ üretimi" olarak etiketlendiği aktarıldı.

Gazetenin 16 farklı metin örneği üzerinde yaptığı testlerde, Turnitin’in vakaların yarısından fazlasında en azından kısmen hatalı sonuç verdiği bildirildi. Sistemin 16 örnekten yalnızca 6’sını tam doğrulukla tespit edebildiği; Goetz’in makalesi dâhil 3 örnekte başarısız olduğu ve geri kalan 7 örnekte ise karma içerikleri tam olarak ayrıştıramadığı belirtildi. Turnitin yetkilileri ise kendi testlerine dayanarak sistemin genel doğruluk oranının %98 olduğunu ve "yanlış pozitif" oranının %1’in altında kaldığını savunmaktadır.

Teknik incelemeler, yapay zekâ tespit sistemlerinin metindeki "istatistiksel ortalamayı" baz aldığını; ancak ekonomi veya matematik gibi belirli teknik üslupların insan tarafından yazılsa dahi sistem tarafından yapay zekâ ürünü olarak algılanabildiğini göstermektedir. Turnitin, bu tür hataların yol açabileceği mağduriyetleri azaltmak amacıyla sistem çıktılarına "Yüzde oranı kopya çekildiğini göstermeyebilir, inceleme gereklidir" şeklinde bir uyarı notu eklemiştir.

Olay, yapay zekâ tespit araçlarının akademik dürüstlük süreçlerinde kesin kanıt olarak kullanılmasının risklerini ortaya koymuştur. Yapay zekâ kullanımının karşılaştırılabilecek somut bir kaynak belgeye dayanmaması nedeniyle, hatalı tespitlerin öğrencilerin akademik itibarını zedeleyebileceği değerlendirilmektedir. Birleşik Krallık’taki üniversitelerin büyük çoğunluğunun, bu güvenilirlik endişeleri nedeniyle sistemin ilgili özelliğini kullanmayı reddettiği bildirilmiştir.