- Basılı kelimeler, otonom karar sistemleri içindeki sensörleri ve bağlamı geçersiz kılabilir
- Vizyon dili modelleri, genel metni amacı doğrulamadan komut olarak ele alır
- Yapay zeka dili tam anlamıyla okuduğunda yol işaretleri saldırı vektörlerine dönüşüyor
Otonom araçlar ve dronlar, çevrelerini yorumlamak için görüntü tanımayı dil işlemeyle birleştiren, yol işaretlerini, etiketleri ve işaretleri navigasyonu ve tanımlamayı destekleyen bağlamsal bilgiler olarak okumalarına yardımcı olan görüş sistemlerine güveniyor.
Kaliforniya Üniversitesi, Santa Cruz ve Johns Hopkins’ten araştırmacılar, yazılı dil kasıtlı olarak manipüle edildiğinde bu varsayımın geçerli olup olmadığını test etmek için yola çıktılar.
Deney, otonom araç kameraları tarafından görülebilen metnin, basit çevresel veriler yerine talimat olarak yanlış okunup okunamayacağına odaklandı ve büyük görüş dili modellerinin, yol işaretlerine gömülü komutları takip etmeye zorlanabileceğini buldu.
Deneyler neyi ortaya çıkardı?
Simüle edilmiş sürüş senaryolarında, kendi kendini süren bir araba, bir dur sinyaline ve aktif bir yaya geçidine yaklaşırken başlangıçta doğru davrandı.
Değiştirilmiş bir tabela kameranın görüş alanına girdiğinde, aynı sistem metni bir talimat olarak yorumladı ve yayaların mevcut olmasına rağmen sola dönmeye çalıştı.
Bu değişim, trafik ışıklarında, yol düzeninde veya insan faaliyetlerinde herhangi bir değişiklik olmadan gerçekleşti; bu da, yazılı dilin tek başına kararı etkilediğini gösteriyor.
Bu saldırı sınıfı, girdi verilerinin bir komut olarak işlendiği dolaylı istem enjeksiyonuna dayanır.
Ekip, “ilerle” veya “sola dön” gibi kelimeleri şunu kullanarak değiştirdi: Yapay zeka araçları uyum olasılığını arttırmaktır.
İngilizce, Çince, İspanyolca ve karma dil formlarında yazılan komutların hepsi etkili olduğundan dil seçimi beklenenden daha az önemliydi.
Renk kontrastı, yazı tipi stili ve yerleşimin sonuçları etkilemesi nedeniyle görsel sunum da bir rol oynadı.
Bazı durumlarda, sarı metinli yeşil arka planlar modeller arasında tutarlı sonuçlar üretti.
Deneyler, sürüş ve drone senaryolarında iki görüş dili modelini karşılaştırdı.
Pek çok sonuç benzer olsa da sürücüsüz araç testleri, modeller arasında başarı oranlarında büyük bir fark olduğunu gösterdi.
Drone sistemlerinin tepkileri daha da öngörülebilir oldu.
Bir testte, bir drone yalnızca görünümüne dayanarak bir polis aracını doğru bir şekilde tanımladı.
Genel bir araca belirli sözcüklerin eklenmesi, bu iddiayı destekleyen hiçbir fiziksel gösterge olmamasına rağmen, sistemin onu belirli bir departmana ait bir polis arabası olarak yanlış tanımlamasına neden oldu.
Gerçek dünyadaki zararları önlemek için tüm testler simüle edilmiş veya kontrollü ortamlarda gerçekleştirildi.
Öyle olsa bile bulgular, otonom sistemlerin görsel girdiyi nasıl doğruladığı konusunda endişeleri artırıyor.
Geleneksel korumalar, örneğin güvenlik duvarı veya uç nokta korumasıfiziksel alanlara yerleştirilmiş talimatları ele almayın.
Kötü amaçlı yazılım temizleme Saldırı yalnızca basılı metin gerektirdiğinde ilgisizdir ve sorumluluk son kullanıcılar yerine sistem tasarımcılarına ve düzenleyicilere bırakılır.
Üreticiler, otonom sistemlerin çevresel metinleri yürütülebilir talimatlar yerine bağlamsal bilgiler olarak ele almasını sağlamalıdır.
Bu kontroller mevcut olana kadar kullanıcılar, otonom özelliklere olan bağımlılığı sınırlayarak ve mümkün olduğunca manuel gözetimi sürdürerek kendilerini koruyabilirler.
Aracılığıyla Kayıt
TechRadar’ı Google Haberler’de takip edin Ve bizi tercih edilen kaynak olarak ekleyin Akışlarınızda uzman haberlerimizi, incelemelerimizi ve görüşlerimizi almak için. Takip Et butonuna tıklamayı unutmayın!
Ve elbette siz de yapabilirsiniz TechRadar’ı TikTok’ta takip edin haberler, incelemeler ve video biçimindeki kutu açma işlemleri için bizden düzenli olarak güncellemeler alın WhatsApp fazla.