Uzmanlaşmış hukuk yapay zekâ sistemlerinin ve genel sohbet botlarının yüksek oranda hatalı hukuki bilgi ve sahte atıf ürettiği bildirildi

Stanford Üniversitesi bünyesindeki RegLab ve HAI araştırmacıları tarafından yayımlanan bir çalışma, hukuk alanında uzmanlaşmış ve "halüsinasyonsuz" olduğu iddiasıyla pazarlanan yapay zekâ sistemlerinin dahi önemli oranda hatalı bilgi ürettiğini ortaya koydu. Lexis+ AI ve Ask Practical Law AI sistemlerinin hukuki sorguların %17’sinden fazlasında, Westlaw’un yapay zekâ destekli araştırma aracının ise %34’ünde hatalı veya yanlış dayanaklı bilgi sunduğu saptandı. Bu hataların, yasaların doğrudan yanlış açıklanması veya mevcut olan ancak iddiayı desteklemeyen kaynaklara atıf yapılması (hatalı temellendirme) şeklinde ortaya çıktığı bildirildi.

Araştırmada, halüsinasyonları azaltmak için kullanılan "bilgi geri çağırma ile zenginleştirilmiş üretim" (RAG) yönteminin kesin bir çözüm sunmadığı; sistemlerin yargı yetkisi farklılıklarını ayırt etmekte zorlandığı veya güncelliğini yitirmiş içtihatları sunduğu değerlendirildi. Öte yandan, The Conversation tarafından aktarılan bir başka çalışmada; ChatGPT, Bard ve Bing gibi genel amaçlı botların aile, iş ve tüketici hukuku gibi konularda sıklıkla ABD hukukuna dayalı veya güncelliğini yitirmiş bilgiler verdiği belirlendi. Bu durumun, hukuki uzmanlığı olmayan kullanıcılar için ikna edici ancak yanlış yönlendirici bir risk oluşturduğu vurgulandı.

Yapay zekâ kaynaklı bu hataların yargı süreçlerine fiilen yansıdığına dair vakalar da kayda geçti. Manchester’da görülen bir davada, kendisini savunan bir kişinin ChatGPT tarafından uydurulan kurgusal dava örneklerini mahkemeye sunduğu; ABD’de ise bazı avukatların benzer şekilde sahte atıflar içeren dilekçeler nedeniyle yargısal yaptırımlarla karşılaştığı hatırlatıldı. İlgili teknoloji şirketleri sistemlerinin doğruluğunu artırmak için çalıştıklarını belirtse de araştırmacılar, bu araçların profesyonel bir denetim olmaksızın kullanılmasının hatalı hukuki kararlara yol açabileceği konusunda uyarıda bulundu.

Söz konusu sistemlerin performansına ilişkin veriler, araştırmacıların belirlediği belirli sorgu setlerine dayanmaktadır. Şirketlerin kendi iç test süreçleri ve veri setleri kamuya tam açık olmadığından, sistemlerin tüm kullanım senaryolarındaki mutlak hata payı bağımsız olarak bütünüyle doğrulanamamıştır.