Yapay Zekâ Güvenliğinde Yeni Tehdit: Ajanların Hafızası Zehirlenebiliyor

Yapay zekâ ajanlarının uzun süreli hafızasına sahte bilgiler yerleştirilmesi, sistemlerin aylar sonra yanlış verileri gerçek kabul etmesine yol açabiliyor. Forcepoint araştırmacıları, AI agent sistemlerinin web sayfaları, belgeler, e-postalar veya mesajlar üzerinden zehirlenmiş hafıza kayıtları oluşturabileceğini ortaya koydu. Saldırganlar böylece sahte tedarikçi, destek adresi, güvenlik kuralı veya onay prosedürü gibi bilgileri gelecekteki karar süreçlerine taşıyabiliyor.

Kalıcı Yapay Zekâ Hafızası Yeni Bir Saldırı Yüzeyi Oluşturuyor

Forcepoint araştırmacılarının incelediği yöntemde saldırgan, yapay zekâ asistanının kullandığı kalıcı hafıza katmanına güvenilmemesi gereken bir bilgiyi yerleştirmeyi amaçlıyor. Geleneksel prompt injection saldırıları oturum sona erdiğinde etkisini büyük ölçüde kaybederken kalıcı bellek zehirleme yaklaşımı, saldırganın eklediği bilginin sonraki oturumlarda yeniden kullanılmasına dayanıyor.

Bir yapay zekâ ajanının uzun süreli hafızasında kullanıcı tercihleri, görev geçmişi veya operasyonel bilgiler tutulabiliyor. Saldırganın hafızaya sahte bir alan adı, müşteri hizmetleri adresi veya güvenlik prosedürü yerleştirmesi, sonraki görevlerde sistemin yanlış kaynağı güvenilir kabul etmesine neden olabiliyor.

Forcepoint kıdemli güvenlik araştırmacısı Syed Hassan Faizan, uzun süreli hafızanın ajanlar daha fazla görev üstlendikçe yeni bir saldırı yüzeyine dönüştüğünü belirtiyor. Araştırmacıya göre sistemlerin yalnızca model girdilerini değil hafızaya kaydedilecek bilgilerin güvenilirliğini de değerlendirmesi gerekiyor.

Bir web sayfasını ziyaret eden yapay zekâ ajanı, insan kullanıcının görmediği metinleri de işleyebiliyor. Forcepoint’in senaryosunda saldırgan, arama sonuçlarında meşru görünen bir seyahat danışmanlığı sayfası hazırlarken insanlara görünmeyen ek talimatları sayfanın içine yerleştiriyor.

Kurumsal tarayıcı aracı sayfanın HTML içeriğini indirirken görünür metinlerin yanında gizli metinleri de alabiliyor. Tarayıcı katmanı HTML içeriğini modele doğrudan aktarmak yerine okunabilir metne dönüştürdüğünde yapay zekâ sistemi insanın fark etmediği talimatları da normal içerikle birlikte değerlendirebiliyor.

Dolaylı komut enjeksiyonu olarak bilinen yöntem, saldırganın doğrudan kullanıcıyla veya yapay zekâ sistemiyle iletişim kurmasını gerektirmiyor. Zehirli içerik bir web sayfası, PDF, destek kaydı veya kurumsal bilgi tabanı içerisinde bulunduğu için ajan içeriği görevini yerine getirirken saldırganın mesajını fark etmeden okuyabiliyor.

Forcepoint’in kavramsal saldırı senaryosunda seyahat asistanı, tarayıcı aracılığıyla saldırgan tarafından hazırlanmış bir sayfayı işliyor. Sistem sayfadaki sahte rezervasyon sağlayıcısına ilişkin bilgiyi güvenilir bir seyahat tercihi olarak hafızasına kaydettiğinde saldırganın hazırladığı içerik yalnızca ilk oturumla sınırlı kalmıyor.

Kullanıcı daha sonraki bir tarihte seyahat rezervasyonu konusunda yardım istediğinde ajan daha önce kaydettiği bilgiyi yeniden çağırabiliyor. Zehirlenmiş hafıza kaydı güvenilir kabul edildiği için sistem gerçek bir sağlayıcı yerine saldırganın belirlediği sahte hizmeti önerebiliyor.

Kurumsal yapay zekâ güvenliği açısından risk yalnızca yanlış öneriyle sınırlı kalmıyor. Saldırganın sahte bir güvenlik kuralı, onay zinciri veya dahili prosedür eklemesi durumunda ajan ilerleyen görevlerde yanlış operasyonel kararlar verebiliyor. Özellikle e-posta, Slack, Microsoft Teams, PDF veya ortak belge sistemlerinden bilgi toplayan ajanlar daha geniş bir içerik havuzuyla karşılaştığı için güven değerlendirmesi kritik hâle geliyor.

Forcepoint araştırmacıları, uzun süreli hafızaya aktarılacak kayıtların güvenilir bir ortama alınmadan önce güvenlik değerlendirmesinden geçirilmesini öneriyor. Bellek risk puanlaması yaklaşımı, her kayıt için kaynağın güvenilirliği, içeriğin niteliği ve davranışsal sinyaller gibi farklı göstergeleri değerlendirerek risk seviyesi oluşturmayı amaçlıyor.

Yüksek riskli kayıtlar sistem tarafından doğrudan reddedilebilir veya karantinaya alınabilir. Kuruluşlar ayrıca şüpheli hafıza öğelerini kullanıcı onayına sunabilir ya da ajan tarafından kullanılmadan önce güvenilmeyen içerik olarak işaretleyebilir.

Kurumsal AI güvenliği açısından yaklaşım, geleneksel güvenlik kontrollerinin yapay zekâ hafızasına uyarlanmasını gerektiriyor. Dosyalar, e-postalar ve ağ trafiği güvenilir kabul edilmeden önce incelenirken kalıcı hafıza kayıtlarının da aynı şekilde doğrulanması, ajanların yanlış bilgiyi sonraki karar süreçlerine taşımasını azaltabilir.

Yapay zekâ ajanlarının görev geçmişini hatırlaması, kişiselleştirme ve otomasyon açısından önemli avantajlar sağlarken hafızanın saldırıya açık hâle gelmesi yeni bir güvenlik problemi oluşturuyor. Ajanlar farklı kaynaklardan bilgi toplayıp sonraki oturumlarda yeniden kullandıkça güvenilmeyen içerik ile güvenilir bilgi arasındaki ayrım daha kritik hâle geliyor.

Bellek zehirleme saldırısı, geleneksel prompt injection yöntemlerinden farklı olarak saldırganın etkisini tek bir konuşmanın dışına taşıyabiliyor. Kalıcı kayıtların sonraki görevlerde tekrar kullanılması, saldırının doğrudan gözlemlenmesini zorlaştırırken yanlış bilginin uzun süre sistem içinde kalmasına neden olabiliyor.

Yapay zekâ ajanları kurumsal uygulamalara daha fazla eriştikçe bellek güvenliği de kimlik doğrulama, erişim kontrolü, ağ izolasyonu ve çıktı denetimi gibi temel güvenlik katmanlarının yanında değerlendirilmek zorunda kalacak. Önümüzdeki dönemde ajan hafızasına hangi bilginin yazılabileceği, hangi kaynağın güvenilir kabul edileceği ve eski kayıtların ne zaman yeniden doğrulanacağı, güvenli ajan mimarisinin temel unsurları arasında yer alacak.