Kaggle balıkçılık yarışmasında yapay zekâ modellerinin balık türleri yerine tekneleri tanımlayarak yanıltıcı yüksek doğruluk oranları sunduğu bildirildi

The Nature Conservancy tarafından düzenlenen balıkçılık izleme yarışmasında, yasa dışı avlanmayı önlemek amacıyla teknelerdeki kameralardan alınan görüntülerin otomatik olarak sınıflandırılması hedeflenmiştir. Katılımcıların, görüntüdeki balık türlerini (orkinos, köpekbalığı vb.) ayırt edebilecek modeller geliştirmesi beklenmiştir. Ancak yarışma sürecinde, modellerin nesne tanıma yeteneklerine ilişkin önemli bir metodolojik sorun saptanmıştır.

Yarışmacı Gidi Shperber’in aktardığına göre, ImageNet veri setiyle önceden eğitilmiş VGG ağlarının eğitim verilerinde %99 gibi olağanüstü yüksek doğruluk oranlarına ulaştığı gözlemlenmiştir. Buna karşın, aynı modellerin Kaggle’ın sunduğu gerçek test verilerinde çok daha düşük performans sergilediği bildirilmiştir. Yapılan incelemelerde, modellerin balıkların biyolojik özelliklerini öğrenmek yerine, görüntülerin arka planındaki tekne ekipmanlarını, ışıklandırmayı ve güverte yapısını birer "kestirme yol" olarak kullandığı değerlendirilmiştir.

Belirli balık türlerinin genellikle belirli tekneler tarafından avlanması nedeniyle, yapay zekâ sisteminin balığı değil, teknenin görsel karakteristiklerini tanımlayarak tahminde bulunduğu saptanmıştır. Bu durum, modelin bağlamdan bağımsız nesne tanıma yeteneğinin olmadığını ve veri setindeki gizli korelasyonlara aşırı uyum sağladığını ortaya koymuştur. Bu durum, makine öğrenmesi modellerinin gerçek dünya problemlerinde veri setindeki gürültüye ve dolaylı ilişkilere nasıl odaklanabileceğini gösteren bir örnek teşkil etmiştir.