DOGE tarafından geliştirilen yapay zekâ aracının ABD Gazi İşleri Bakanlığı sözleşmelerini hatalı analiz ettiği ve kritik hizmetleri riske attığı öne sürüldü

2025 yılı başında ABD’de Hükümet Verimliliği Departmanı (DOGE) bünyesinde, Gazi İşleri Bakanlığı (VA) bütçesinde kesinti yapılacak alanları belirlemek amacıyla geliştirilen yapay zekâ tabanlı bir yazılımın, hatalı analizler ve "halüsinasyonlar" ürettiği saptandı. Yazılım mühendisi Sahil Lavingia tarafından Mart 2025'te oldukça kısa bir sürede geliştirilen ve "munchable" (iptal edilebilir) olarak adlandırılan sistemin, bakanlığın on binlerce sözleşmesini inceleyerek hangilerinin gereksiz olduğunu tespit etmekle görevlendirildiği bildirildi.

Sistemin teknik incelemesinde, güncel olmayan ve düşük maliyetli büyük dil modellerinin kullanıldığı; bu durumun sözleşme değerlerinin yanlış okunması gibi ciddi veri hatalarına yol açtığı saptandı. Örneğin, gerçek değeri 35.000 dolar olan bazı sözleşmelerin sistem tarafından 34 milyon dolar olarak raporlandığı ve toplamda 2.000'den fazla sözleşmenin inceleme listesine eklendiği aktarıldı. Uzmanlar, aracın sözleşmelerin yalnızca ilk birkaç sayfasını analiz ettiğini, yasal gereklilikleri ve operasyonel bağlamı göz ardı ettiğini belirterek, genel amaçlı yapay zekâ modellerinin bu denli karmaşık kamu alımları süreçlerinde kullanılmasının güvenilir olmadığını vurguladı.

Söz konusu yazılım tarafından işaretlenen listede yer alan ve aralarında kanser araştırmaları için gen dizilimi, kan tahlili analizleri ve hemşirelik hizmetlerini iyileştirme araçlarının da bulunduğu en az iki düzine sözleşmenin iptal edildiği doğrulandı. Yazılımın geliştiricisi Lavingia, sistemde hatalar yapıldığını kabul ederek kodun nihai karar verici olarak kullanılmaması gerektiğini ifade etti. Bakanlık yetkilileri ise kararların yalnızca yapay zekâya dayanmadığını, her iptalin insan denetiminden geçtiğini savunsa da; kurum içi kaynaklar inceleme süreçlerinin şeffaf olmadığını ve çalışanlara itiraz için bazen sadece birkaç saatlik süreler tanındığını iddia etti.