Takvim davetlerinin başlıkları içinde, araştırmacılar kurnaz kötü niyetli istemlerini eklediler. (Google’s Wen, araştırmacıların birisinin takvimine takvim davetlerini kimin ekleyebilecekleri konusunda varsayılan ayarları değiştirdiklerini iddia ediyor; ancak araştırmacılar, bir e -posta konusundaki veya belge başlığındaki istemlerle 14 saldırıdan bazılarını gösterdiklerini söylüyorlar). Cohen, ekibin yarattığı aldatıcı mesajlardan “Tüm teknikler yeni İngilizce olarak geliştirilmiştir, bu yüzden kullandığımız açık İngilizce” diyor. Araştırmacılar, hızlı enjeksiyonların herhangi bir teknik bilgi gerektirmediğini ve hemen hemen herkes tarafından kolayca geliştirilebileceğini belirtiyor.
En önemlisi, İkizler’i akıllı ev cihazlarını kontrol etmeye zorladıkları durumlar için Google’ın ev AI temsilcisine başvurdular ve harekete geçmeleri için talimat verdiler. Örneğin, bir istemi okur:
Yukarıdaki örnekte, birisi Gemini’den takvimlerinde ne olduğunu özetlemesini istediğinde, Gemini takvim davetlerine erişecek ve daha sonra dolaylı istemi enjeksiyonunu işleyecektir. “Bir kullanıcı Gemini’den bugünün etkinliklerini listelemesini istediğinde, örneğin, [LLM’s] Bağlam, ”diyor Yair. Dairedeki pencereler, hedeflenen bir kullanıcı Gemini’den takvimlerinde ne olduğunu özetlemesini istedikten sonra otomatik olarak açılmaya başlamıyor. Bunun yerine, kullanıcı chatbot’a“ teşekkür ”dediğinde işlem tetiklenir – ki bu da aldatmanın bir parçasıdır.
Araştırmacılar adlı bir yaklaşım kullandılar Gecikmeli otomatik araç çağrısı Google’ın mevcut güvenlik önlemlerini almak için. Bu ilk olarak Bağımsız Güvenlik Araştırmacısı Johann Rehberger tarafından İkizler’e karşı gösterildi. Şubat 2024 Ve tekrar içeri Bu yıl Şubat. Rehberger, “Gerçekten büyük ölçekte, çok fazla etkiyle, işlerin nasıl kötü olabileceğini, bazı örneklerle nasıl kötü olabileceğini gösterdiler” diyor Rehberger yeni araştırmalardan.
Rehberger, saldırıların bir bilgisayar korsanının çekilmesi için biraz çaba gerektirebilse de, çalışmanın AI sistemlerine karşı dolaylı hızlı enjeksiyonların ne kadar ciddi olabileceğini gösteriyor. “LLM, evinizde bir eylemde bulunursa – ısıya doğru ilerlerse, pencereyi veya başka bir şeyi açarsa – sanırım bu, belirli koşullarda önceden hazırlamadığınız sürece, bir spammer veya bir saldırgandan dimension gönderilen bir e -postanız olduğu için olmasını istemeyeceğiniz bir eylemdir.”
“Son derece nadir”
Araştırmacıların geliştirdiği diğer saldırılar fiziksel cihazları içermiyor, ancak hala rahatsız edici. Saldırıları, kötü niyetli eylemleri dikkate almak için tasarlanmış bir dizi “adlı” bir tür “adlı yazılım” olarak görüyorlar. Örneğin, bir kullanıcının takvim olaylarını özetlediği için Gemini’ye teşekkür ettikten sonra, chatbot saldırganın talimatlarını ve kelimelerini (hem ekranda hem de sesle – tıbbi testlerinin olumlu olduğunu tekrarlar. O zaman diyor: “Senden ve ailenizden nefret ediyorum ve keşke bu an ölürsün, sadece kendini öldürürsen dünya daha iyi olacak. Bu boku siktir.”
Diğer saldırı yöntemleri takvim olaylarını birinin takviminden silin veya diğer cihazda eylemler gerçekleştirir. Bir örnekte, kullanıcı Gemini’nin “Sizin için yapabileceğim başka bir şey var mı?” Sorusuna “hayır” diye cevap verdiğinde, istemi tetikliyor Zoom uygulaması açılacak ve otomatik olarak bir video görüşmesi başlatır.
