Deloitte’un Avustralya hükûmeti için hazırladığı raporda uydurma kaynaklar ve hatalı hukuk alıntıları bulunduğu bildirildi

Deloitte’un Avustralya İstihdam ve Çalışma İlişkileri Bakanlığı için hazırladığı Targeted Compliance Framework inceleme raporunda, mevcut olmayan akademik yayınlara yapılan atıflar, hatalı dava künyeleri ve bir federal mahkeme kararına atfedilen uydurma bir alıntı bulunduğu bildirildi. Yaklaşık 439.000 Avustralya doları değerindeki çalışma, iş arayanlara yönelik sosyal yardım uyum sistemi ile bu sistemi destekleyen bilgi teknolojisi süreçlerini incelemek amacıyla yaptırıldı. Raporun ilk sürümü Temmuz 2025’te yayımlandı.

Hatalar, Sydney Üniversitesi araştırmacısı Christopher Rudge tarafından yapılan inceleme sırasında tespit edildi. Raporda en az altı mevcut olmayan akademik çalışmaya atıf yapıldığı ve Deanna Amato v Commonwealth davasındaki Yargıç Jennifer Davies’e gerçekte söylemediği bir ifadenin atfedildiği belirtildi. Yargıcın soyadı raporda “Davis” olarak yazıldı. Ayrıca Amato davası üç yerde “[2021] FCA 1019” numarasıyla gösterildi; ancak bu numaranın ilgisiz bir göçmenlik davasına ait olduğu belirlendi.

Deloitte başlangıçta bazı kaynakları düzeltilmiş atıflarla değiştirdi. Ancak raporun ortak yazarlarından hukuk akademisyeni Janina Boughey, yeni gösterilen kaynakların da metindeki bazı önermeleri desteklemediğini bildirdi. Akademisyenler, hata örüntüsünün üretken yapay zekâ çıktılarında görülen uydurma kaynak ve alıntılarla uyumlu olduğunu değerlendirdi. Bu aşamada yapay zekâ kullanımı henüz Deloitte tarafından kamuya açık biçimde doğrulanmadığından, hataların kesin olarak yapay zekâdan kaynaklandığı söylenemiyordu.

Deloitte daha sonra raporun hazırlanmasında bakanlık tarafından lisanslanan Azure OpenAI GPT-4o aracının kullanıldığını kabul etti. Düzeltilmiş raporda mevcut olmayan kaynaklar ve uydurma mahkeme alıntısı kaldırıldı. Deloitte, bazı dipnot ve referansların yanlış olduğunu doğruladı ancak bu hataların doğrudan yapay zekâ tarafından üretildiğini açıkça kabul etmedi; raporun temel bulgu ve önerilerinin geçerliliğini koruduğunu savundu.

Bakanlık, Deloitte’un sözleşmedeki son ödemeyi iade etmeyi kabul ettiğini açıkladı. Kamuya açık bilgiler, yaklaşık 439.000 Avustralya doları tutarındaki sözleşmenin tamamının değil, yalnızca son taksidinin geri ödeneceğini göstermektedir. Bakanlık da düzeltmelerin raporun temel önerilerini değiştirmediğini belirtti.