Geçen Ekim ayında Virginia, Arlington’daki bir bilgisayar güvenlik konferansında, birkaç düzine AI araştırmacısı “kırmızı takımda” türünün ilk örneğinde veya en son dil modelini ve diğer yapay zeka sistemlerini stres take a look at etmede yer aldı. İki gün boyunca, ekipler, yanlış bilgilendirme veya kişisel veriler sızdırmak da dahil olmak üzere sistemlerin yanlış davranmasını sağlamak için 139 yeni yol belirledi. Daha da önemlisi, şirketlerin AI sistemlerini take a look at etmelerine yardımcı olmak için tasarlanmış yeni bir ABD hükümeti standardında eksiklikler gösterdiler.
Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), Biden yönetiminin sonuna doğru biten egzersizi detaylandıran bir rapor yayınlamadı. Belge, şirketlerin kendi AI sistemlerini değerlendirmelerine yardımcı olmuş olabilir, ancak anonimlik koşuluyla konuşan duruma aşina olan kaynaklar, NIST’den gelen yönetim ile çatışma korkusu nedeniyle yayınlanmayan birkaç AI belgesinden biri olduğunu söylüyor.
“Çok zorlaştı, altında bile [president Joe] Biden, herhangi bir kağıt çıkarmak için, ”diyor o sırada NIST’de olan bir kaynak.“ İklim değişikliği araştırması veya sigara araştırması gibi hissettim. ”
Ne NIST ne de Ticaret Departmanı bir yorum talebine yanıt vermedi.
Göreve geçmeden önce Başkan Donald Trump, tersine dönmeyi planladığını işaret etti. Biden’in AI üzerindeki yönetici emri. Trump’ın yönetimi o zamandan beri uzmanları AI sistemlerinde algoritmik önyargı veya adalet gibi konuları incelemekten uzaklaştırdı. . AI Eylem Planı Temmuz ayında yayınlanan NIST’in AI Threat Yönetimi çerçevesinin “yanlış bilgi, çeşitlilik, eşitlik ve dahil etme ve iklim değişikliğine yapılan referansları ortadan kaldırmak” için revize edilmesini açıkça istiyor.
İronik bir şekilde, Trump’ın AI eylem planı da yayınlanmamış raporun kapsadığı türden bir egzersiz gerektiriyor. NIST ile birlikte çok sayıda ajansın “AI akademisinden en iyi ve en parlak olanı istemek için AI sistemlerini şeffaflık, etkinlik, kullanım ve güvenlik açıkları için take a look at etmek için bir AI hackathon girişimini koordine etmesi” çağrısında bulunur.
Kırmızı takım etkinliği, AI sistemlerini take a look at etme konusunda uzmanlaşmış bir şirket olan Humane Intelligence ile işbirliği içinde NIST’in AI (ARIA) programının risklerini ve etkilerini değerlendirme ile arrange edildi. Etkinlik, Bilgi Güvenliği’nde (Camlis) Uygulamalı Makine Öğrenimi Konferansı’nda gerçekleşti.
Camlis Kırmızı Takım Raporu, Meta’nın açık kaynaklı büyük dil modeli olan Lama dahil olmak üzere birkaç son AI sistemini araştırma çabasını açıklıyor; Anote, AI modelleri oluşturma ve ince ayarlama için bir platform; Cisco tarafından edinilen bir şirket olan AI sistemlerine saldırıları sağlam istihbarattan engelleyen bir sistem; ve firma sentezinden AI avatarları üretmek için bir platform. Her şirketten temsilciler de tatbikatta yer aldı.
Katılımcılardan kullanmaları istendi NIST AI 600-1 AI araçlarını değerlendirmek için çerçeve. Çerçeve, yanlış bilgi veya siber güvenlik saldırıları oluşturma, özel kullanıcı bilgileri veya ilgili AI sistemleri hakkında kritik bilgiler ve kullanıcıların AI araçlarına duygusal olarak bağlı olma potansiyeli gibi threat kategorilerini kapsar.
Araştırmacılar, korkuluklarını atlamak ve yanlış bilgilendirme, kişisel veriler sızmak ve siber güvenlik saldırılarına yardımcı olmak için take a look at edilen modelleri ve araçları tespit etmek için çeşitli hileler keşfettiler. Raporda, dahil olanların NIST çerçevesinin bazı unsurlarının diğerlerinden daha yararlı olduğunu gördükleri belirtiliyor. Raporda, NIST’in bazı threat kategorilerinin uygulamada yararlı olacak şekilde tanımlanmadığı belirtiliyor.
