- AppOmni, ServiceNow’un Now Assist yapay zekasının “ikinci dereceden hızlı enjeksiyon” yoluyla kötüye kullanılabileceği konusunda uyarıyor
- Kötü amaçlı, düşük ayrıcalıklı aracılar, hassas verileri sızdırmak için daha yüksek ayrıcalıklı kişileri işe alabilir
- Risk, varsayılan yapılandırmalardan kaynaklanır; azaltıcı önlemler arasında denetimli yürütme, geçersiz kılmaların devre dışı bırakılması ve izleme aracıları yer alır
Hepimiz içeriden kötü niyetli kişileri duymuşuzdur, ancak siz hiç içeriden kötü niyetli yapay zekayı duydunuz mu?
AppOmni’den güvenlik araştırmacıları uyarı ServiceNow’un Şimdi Assist üretken yapay zeka (GenAI) platformu. kullanıcıya ve diğer aracılara karşı kullanılmak üzere ele geçirilebilir.
ServiceNow’un Now Assist’i, temsilciler arası işbirliği sunan bir platformdur. Bu, bir AI temsilcisinin belirli işleri yapması için farklı bir AI temsilcisini arayabileceği anlamına gelir. Dolayısıyla, “birincil” AI aracısı kötü niyetliyse, daha yüksek ayrıcalıklara sahip “ikincil” aracıya, hassas dosyaları çalmak veya ayrıcalıkları yükseltmek gibi zararlı şeyler yapması talimatını verebilir.
İkinci dereceden hızlı enjeksiyon
Örneğin, düşük ayrıcalıklı bir “İş Akışı Önceliklendirme Aracısı”, devam eden bir vakanın “tam bağlam aktarımını” talep eden dahili bir görev oluşturmasını tetikleyen hatalı biçimlendirilmiş bir müşteri talebi alır.
Görev, otomatik olarak daha yüksek ayrıcalıklara sahip bir “Veri Alma Aracısı”na aktarılır; bu temsilci, isteği meşru olarak yorumlayıp hassas bilgiler (isimler, telefon numaraları, hesap tanımlayıcılar ve iç denetim notları) içeren bir paket derler ve bunu sistemin yanlışlıkla güvendiği harici bir bildirim uç noktasına gönderir.
Her iki temsilci de diğerinin yasal olarak hareket ettiğini varsaydığından, veriler, eylemi herhangi bir insan tarafından incelemeden veya onaylamadan sistemden çıkar.
Ancak bunun çalışması için Now Assist platformunun varsayılan kurulumda bırakılması gerekiyor.
AppOmni SaaS Güvenlik Araştırması şefi Aaron Costello, “Bu keşif endişe verici çünkü yapay zekada bir hata değil; belirli varsayılan yapılandırma seçenekleriyle tanımlanan beklenen davranıştır” dedi.
“Temsilciler birbirlerini keşfedip işe alabildiğinde, zararsız bir istek sessizce bir saldırıya dönüşebilir; suçlular hassas verileri çalabilir veya şirket içi sistemlere daha fazla erişim sağlayabilir. Bu ayarların gözden kaçırılması kolaydır.”
Güvenlik açığına “ikinci dereceden istem enjeksiyonu” adı verildi.
The Hacker News’in haberine göre ServiceNow, sistemin amaçlandığı gibi çalıştığını ve herhangi bir değişiklik yapmayacağını söylese de, potansiyel riskleri daha açık bir şekilde belirtmek için belgelerini güncelledi.
Bu tehditleri azaltmak için kullanıcılara ayrıcalıklı aracılar için denetimli yürütme modunu yapılandırmaları, otonom geçersiz kılma özelliğini devre dışı bırakmaları, aracı görevlerini ekibe göre bölümlere ayırmaları ve yapay zeka aracılarını şüpheli davranışlara karşı izlemeleri önerilir.
Her bütçeye uygun en iyi antivirüs
TechRadar’ı Google Haberler’de takip edin Ve bizi tercih edilen kaynak olarak ekleyin Akışlarınızda uzman haberlerimizi, incelemelerimizi ve görüşlerimizi almak için. Takip Et butonuna tıklamayı unutmayın!
Ve tabii ki siz de yapabilirsiniz TechRadar’ı TikTok’ta takip edin Video biçimindeki haberler, incelemeler ve kutu açma işlemleri için bizden düzenli güncellemeler alın WhatsApp fazla.