Üretken yapay zekâ sistemlerinin hayali yazılım paketleri önermesinin tedarik zinciri saldırılarına zemin hazırladığı bildirildi

Güvenlik araştırmacıları ve akademik çalışmalar, üretken yapay zekâ modellerinin kod yazımı sırasında var olmayan yazılım paketlerini gerçekmiş gibi önermesinin, siber güvenlikte "slopsquatting" olarak adlandırılan yeni bir saldırı türüne yol açtığını bildirdi. Bu riskin, yapay zekânın belirli komutlara yanıt olarak tutarlı bir şekilde aynı hayali paket isimlerini uydurmasından (halüsinasyon) kaynaklandığı değerlendirilmektedir. Kötü niyetli aktörlerin, sistemlerin sıkça uydurduğu bu isimleri tespit ederek ilgili paket depolarında zararlı yazılım içeren gerçek paketler oluşturabileceği ve bu yolla geliştiricilerin sistemlerine sızabileceği öne sürülmektedir.

Lasso Security araştırmacısı Bar Lanyado tarafından yapılan bir deneyde, yapay zekâ sistemlerinin sıklıkla önerdiği hayali "huggingface-cli" paket isminin PyPI üzerinde rezerve edildiği; kısa bir süre sonra Alibaba’nın "GraphTranslator" adlı projesinin kurulum talimatlarında, muhtemelen yapay zekâ çıktılarından kaynaklanan bir hata sonucu bu sahte pakete atıfta bulunulduğu belirlendi. Söz konusu paketin binlerce kez indirildiği, ancak deney amaçlı olduğu için herhangi bir zarar vermediği; buna karşın yöntemin gerçek bir saldırıda kullanılması durumunda geniş çaplı bir tedarik zinciri ihlaline neden olabileceği vurgulandı.

Akademik araştırmalar, ticari yapay zekâ modellerinin yaklaşık %5,2, açık kaynaklı modellerin ise %21,7 oranında hayali paket önerdiğini ortaya koymuştur. Çalışmalar, bu halüsinasyonların %43’ünün aynı komutlar verildiğinde her seferinde tekrarlandığını göstermektedir. Ayrıca, Google AI Overviews sisteminin de bir arama sorgusuna yanıt olarak, meşru bir paketi taklit eden (typosquatting) zararlı bir npm paketini önerdiği bir vaka rapor edilmiştir.

Güvenlik uzmanları, geliştiricilerin yapay zekâ tarafından oluşturulan kodları doğrulamadan kullanmalarının ("vibe coding") riskli olduğunu belirtmektedir. Python Software Foundation ve Socket gibi kuruluşların bu tür kötüye kullanımları engellemek için API tabanlı raporlama ve otomatik tespit sistemleri üzerinde çalıştığı bildirilmiştir.