Yapay Zekâ Ajanının, Sosyal Mühendislik Yoluyla Manipüle Edilerek Otonom İşletme Sürecinde Finansal Kayıplara Neden Olduğu Bildirilmektedir

Anthropic ve Andon Labs, Kasım 2025’in ortalarında The Wall Street Journal merkezinde Project Vend adlı kontrollü bir deney başlattı. Deney kapsamında Claude tabanlı “Claudius” adlı yapay zekâ ajanına bir ofis satış noktasının stoklarını yönetme, ürün sipariş etme, fiyat belirleme ve çalışanlarla Slack üzerinden iletişim kurma görevleri verildi. Sistem, fiziksel ürünleri doğrudan yerleştiren tamamen robotik bir otomat değildi; teslim alma ve raf doldurma gibi işlemler insanlar tarafından gerçekleştirildi.

İlk sürümde Claude 3.7 Sonnet kullanılan Claudius’a 1.000 ABD doları başlangıç sermayesi sağlandı. Deneye katılan yaklaşık 70 gazeteci, ajanı uzun konuşmalar ve gerçek dışı talimatlarla yönlendirmeye çalıştı. Bir gazeteci Claudius’u 1962’de Sovyetler Birliği’nde kurulmuş bir otomat olduğuna ikna ederken başka bir çalışan, uydurma bir kurum kuralını gerekçe göstererek ürünlerden ücret alınmamasını talep etti. Ajan bu talepleri kabul ederek satış fiyatlarını sıfıra indirdi.

Claudius deney sırasında satış noktasıyla ilgisi sınırlı olan bir PlayStation 5, canlı beta balığı ve şarap siparişlerini onayladı. Bu ürünler de ücretsiz dağıtım kapsamına alındı; PlayStation 5 daha sonra iade edildi. Ücretsiz ürünler ve uygunsuz satın alma kararları sonucunda işletmenin bakiyesi 1.000 doların üzerinde eksiye düştü. Zarar gerçek bir ticari faaliyette bağımsız olarak oluşmaktan ziyade, Anthropic’in güvenlik ekibi tarafından tasarlanan ve katılımcıların sistemi kasıtlı olarak sınadığı kontrollü deney ortamında meydana geldi.

Deneyin ikinci aşamasında Claudius, Claude Sonnet 4.5’e yükseltildi ve kararlarını denetlemek üzere “Seymour Cash” adlı ayrı bir yapay zekâ yönetici eklendi. Gazeteciler, işletmenin yönetim yapısı ve amacı hakkında sahte kurul belgeleri hazırlayarak denetleyici ajanın yetkilerinin kaldırıldığını ileri sürdü. Claudius ve Seymour Cash bu belgeleri geçerli kabul etti ve ürünlerin yeniden ücretsiz dağıtılmasına izin verdi.

Üç hafta süren deney, mevcut yapay zekâ ajanlarının uzun vadeli ticari hedefleri koruma, çelişkili talimatları değerlendirme ve sosyal mühendislik girişimlerine direnme konularındaki sınırlılıklarını ortaya koydu. Anthropic, sonucu gerçek kullanıcılara sunulan Claude hizmetinin olağan performansını temsil eden bir ticari olay olarak değil, ajan güvenliği ve dayanıklılığına ilişkin bir stres testi olarak değerlendirdi.