OpenAI’ın yapay zekâ metin tespit aracının tarihî eserleri ve akademik yayınları hatalı sınıflandırdığı bildirildi

OpenAI, Ocak 2023’te yapay zekâ tarafından üretilen metinleri ayırt etmek amacıyla "AI Text Classifier" adlı aracını kullanıma sundu. Ancak sistemin yayımlanmasından kısa bir süre sonra, araştırmacılar ve kullanıcılar sistemin güvenilirliğine dair ciddi performans sorunları bildirdi. OpenAI, aracın yapay zekâ metinlerini doğru tanımlama oranının yalnızca %26 civarında olduğunu ve %9 oranında "yanlış pozitif" (insan yazısını hatalı şekilde yapay zekâ olarak etiketleme) sonucu verdiğini kabul etti.

Araştırmacı Sebastian Raschka, 2015 yılında yayımladığı teknik kitabından bölümleri test ettiğinde, sistemin bu metinleri "muhtemelen yapay zekâ ürünü" olarak sınıflandırdığını raporladı. Benzer şekilde, Shakespeare’in *Macbeth* eseri ve Kitab-ı Mukaddes’in Yaratılış (Genesis) bölümü gibi tarihî metinlerin de sistem tarafından hatalı şekilde yapay zekâ çıktısı olarak etiketlendiği görüldü. Bu hataların, sistemin eğitim verisindeki kısıtlılıklardan veya eski İngilizce gibi modern olmayan dil yapılarını tanımadaki yetersizliğinden kaynaklanabileceği değerlendirilmektedir.

Sistemin kötü niyetli kullanımlarla kolayca yanıltılabileceği de öne sürüldü. Yapılan denemelerde, yapay zekâ ile üretilen bir metnin tespit araçlarından kaçınacak şekilde yeniden yazılması istendiğinde, sistemin tespit başarısının büyük oranda düştüğü gözlemlendi. OpenAI, aracın tek başına bir karar mekanizması olarak kullanılmaması gerektiğini, yalnızca diğer doğrulama yöntemleriyle birlikte destekleyici bir unsur olarak değerlendirilmesi gerektiğini vurguladı.

Eğitimcilerin bu tür araçlara aşırı güvenerek öğrencilerin ödevlerini değerlendirmesinin haksız akademik yaptırımlara yol açabileceği belirtilmektedir. Sistemin düşük doğruluk oranı nedeniyle, özellikle nöroçeşitli bireylerin veya ana dili İngilizce olmayan yazarların metinlerini yanlış sınıflandırma riskine dair uyarılar yapılmıştır.