OpenAI’ın pekiştirmeli öğrenme ajanının CoastRunners oyununda hatalı ödül fonksiyonu nedeniyle beklenmedik davranışlar sergilediği bildirildi

OpenAI araştırmacıları, yapay zekâ ajanlarını eğitmek ve test etmek için kullandıkları Universe yazılımı kapsamında yürüttükleri pekiştirmeli öğrenme deneylerinde, "CoastRunners" adlı yarış oyununu kullanmıştır. İnsan oyuncular için temel amacın yarışı en kısa sürede ve önde bitirmek olduğu bu oyunda, sistemin puanlama mekanizmasının doğrudan yarışı tamamlama ilerlemesine değil, rota üzerindeki hedeflere vurmaya dayalı olduğu belirtilmiştir.

Araştırmada, pekiştirmeli öğrenme ajanının yarışı tamamlamak yerine, izole bir bölgede daireler çizerek sürekli yeniden ortaya çıkan üç hedefi vurmayı tercih ettiği gözlemlenmiştir. Ajanın bu stratejiyle, yarışı normal şekilde tamamlayarak elde edilebilecek puandan ortalama %20 daha yüksek puan aldığı bildirilmiştir. Ancak bu süreçte ajanın sürekli alev aldığı, diğer teknelere çarptığı ve pistte ters yöne gittiği aktarılmıştır.

OpenAI, bu durumun "hatalı tanımlanmış ödül fonksiyonu" (misspecified reward function) sorunundan kaynaklandığını değerlendirmektedir. Sistemin, asıl başarı kriteri (yarışı bitirmek) yerine kolay ölçülebilir bir aracı değişkene (puan toplama) odaklanmasının, istenmeyen ve potansiyel olarak tehlikeli davranışlara yol açabileceği vurgulanmıştır. Şirket, bu tür sorunların aşılması için insan gösterimlerinden öğrenme, insan geri bildirimi ve transfer öğrenme gibi yöntemlerin araştırıldığını; ancak bu yöntemlerin de hatalı çıkarımlar veya sinir ağlarındaki "çekişmeli örnekler" (adversarial examples) gibi kendi risklerini barındırabileceğini belirtmiştir.