Scopus sıralama sistemindeki felsefe dergilerinin otomatik üretilmiş içerikler ve sahte atıf ağlarıyla manipüle edildiği öne sürüldü

Kraków’daki Jagiellonian Üniversitesi’nden felsefe profesörleri Tomasz Żuradzki ve Leszek Wroński, Elsevier’in Scopus veri tabanındaki 2023 yılı felsefe dergisi sıralamalarını incelediklerinde, Addleton Academic Publishers’a ait üç derginin (Linguistic and Philosophical Investigations, Review of Contemporary Philosophy, Analysis and Metaphysics) dünya genelindeki 806 dergi arasında ilk 10’da yer aldığını tespit etti. Yapılan incelemede, bu dergilerin CiteScore gibi akademik başarı göstergelerini yükseltmek amacıyla sistematik bir çapraz atıf ağı kurdukları ve içeriklerinin büyük ölçüde otomatik sistemler tarafından üretilmiş olabileceği iddia edildi.

Söz konusu dergilerde yayımlanan makalelerin; "blokzincir", "metaverse", "derin öğrenme" ve "sürükleyici görselleştirme" gibi popüler terimleri içeren belirli şablonlar üzerine kurulu olduğu bildirildi. Makalelerin çoğunun, metodoloji kısmında AMSTAR, AXIS ve ROBIS gibi kalite kontrol araçlarını kullandığını iddia ettiği, ancak bu araçların sonuçlarını açıklarken her seferinde aynı sayısal verileri ve kalıplaşmış ifadeleri kullandığı saptandı. Bu durumun, makalelerin içeriklerinin anlamlı bir akademik araştırmadan ziyade, otomatik metin üretim araçlarıyla oluşturulmuş olabileceği şüphesini doğurduğu belirtildi.

Ayrıca, dergilerin yayın kurullarında hayatını kaybetmiş on kişinin isminin yer aldığı, yazarların bir kısmının ise "The Cognitive Labor Institute" gibi gerçekte varlığı doğrulanamayan kurumlara bağlı gösterildiği öne sürüldü. Scopus, 5 Mayıs 2024 tarihli güncellemesinde "yayın endişeleri" gerekçesiyle ilgili yayıncıya ait dört dergiyi dizinden çıkardığını duyurdu. Ancak araştırmacılar, bu tür dergilerin sıralamalarda üst sıralara tırmanmasının, dürüst yayın yapan dergilerin alt sıralara itilmesine neden olduğunu ve üniversitelerin işe alım, terfi ve ödül süreçlerinde kullandığı otomatik metriklerin güvenilirliğini sarstığını vurguladı.

Olayla ilgili olarak iletişime geçilen bir yayın kurulu üyesi, isminin rızası dışında kullanıldığını ve kendisine hiçbir görev verilmediğini ifade etti. Dergilerde makalesi görünen bazı yazarların ise konuyla ilgili sorulara yanıt vermediği aktarıldı. Bu durum, akademik sıralama sistemlerinin otomatik içerik manipülasyonuna karşı savunmasız kalabildiğini ve bu verilerin akademik değerlendirmelerde doğrudan kullanılmasının riskli olduğunu göstermektedir.