Güvenlik firması Eclypsium, yapay zekâ modellerinin çalıştığı sunuculardaki veri işleme birimlerine (DPU) veya uzaktan yönetim çiplerine erişen bir saldırganın, model dosyasına dokunmadan bellekteki ağırlıkları değiştirebildiğini gösterdi: Demoda model, Çin'in Tayvan'ı işgal olasılığını olduğundan çok daha yüksek gösterdi ve göğüs ağrı şikâyetiyle soru soran kullanıcıya 'evde kal' dedi. Saldırı bir dakikadan kısa sürüyor ve kullanıcı hiçbir şey fark etmiyor.
Yapay zekâ güvenliği tartışmasının odağı bugüne dek modellerin kendisiydi; Eclypsium ise bakışı modelin altına çevirdi. Portland merkezli güvenlik firması — kadrosunda Intel gibi donanım devlerinden gelmiş mühendisler barındıran — Perşembe günü yayımladığı araştırmayla, büyük dil modellerinin üzerinde çalıştığı çok milyar dolarlık donanım endüstrisinin ele geçirilmesi hâlinde chatbot cevaplarının nasıl tahrif edileceğini gösterdi. Şirketin iki demosu iddialı: İlk senaryoda saldırganlar, modelin bilgi işlemede kullandığı ‘ağırlıkları’ uzaktan değiştirerek yapay zekânın Çin’in Tayvan’ı işgal etme olasılığına atfettiği ihtimali büyük ölçüde şişirdi. İkincisinde, tahrif edilmiş donanımda çalışan bir model, göğüs ağrısı için tıbbi tavsiye isteyen kullanıcıya hastaneye gitmek yerine evde kalmasını söyledi.
Saldırının teknik mekanizması şöyle işliyor: Saldırgan, veri merkezlerinin bir kısmını yöneten veri işleme birimlerine (DPU) ya da sunucuları uzaktan yöneten anakart yönetim denetleyicilerine (BMC) ağ erişimi kazanmalı ve belirli güvenlik yapılandırmaları kapalı olmalı. Bu erişim elde edildiğinde saldırgan makinenin belleğindeki kodu ve veriyi okuyup değiştirebiliyor — ve bu yolla modelin davranışını değiştirebiliyor. Araştırmacıların vurguladığı gibi saldırı bir dakikadan kısa sürüyor ve yapay zekâyı kullanan kişi hiçbir şey fark etmiyor. Kritik nokta şu: Eclypsium’ın raporunda anlatılan gösterim, modelin çalışma durumunu geleneksel güvenlik kontrolleri gerçekleştikten sonra değiştiriyor — yani model bütünlüğünün doğrulandığına inanılıyor. Diskteki model dosyası, konteyner ve imzalı artefaktlar geçerli kalırken bellekteki seçili ağırlıklar değiştiriliyor. CNN’in aktardığına göre saldırı, teknoloji devi Nvidia’nın bir hesaplama platformunda gösterildi; ancak senaryo Nvidia’ya özgü değil ve rapora göre AMD, Intel ve Arm sistemleri de bu tekniklere karşı açık.
Nvidia sözcüsü CNN’e, senaryoları incelediklerini ve ‘sektörün daha önce farkında olmadığı bir şey’ bulmadıklarını, güçlü bellek erişim korumalarının saldırı yolunu kapatabildiğini söyledi; Eclypsium ise korumaların etkinliğinin ‘yapılandırmaya ve kullanıma bağlı olduğunu’ ve Nvidia ile bu kontrollerin etkinliği için birlikte çalıştıklarını belirtti. Firmanın yöneticileri bulguları NSA ve CISA’ya da brifing olarak sundu. Bağımsız uzmanlar bulguları şüpheyle karşılamıyor: Donanım güvenliği eğitmeni Joe FitzPatrick saldırıların ‘temelde diğer doğrudan bellek erişimi saldırılarıyla aynı’ olduğunu, Institute for Security and Technology kıdemli üyesi Dominic Rizzo ise çözümlerin ‘yığını çok daha derininden’ başlaması gerektiğini söyledi.
Eclypsium CEO’su Yuriy Bulygin’ın özeti, sektörün bu hafta içinde üçüncü kez hatırladığı bir gerçeği sıkılaştırıyor: ‘Üzerinde çalıştığı altyapıya güvenemiyorsak modele de güvenemeyiz.’ Firmanın kıdemli başkan yardımcısı John Loucaides’in eklediği gibi ‘herkes model güvenliğini konuşuyor — sadece üzerinde koştukları bütün bilgisayarları unutmayalım.’ Pentagon’daki kişisel ajan skandalı ve Cursor’ın zehirlenmiş mağazası, güven zincirinin yazılım halkalarını test etti; Eclypsium’ın gösterimi ise zincirin en alt halkasının — çiplerin, belleğin ve sunucuların — aynı derecede kritik olduğunu ortaya koyuyor. Raporun önerisi de buna uygun: Şirketler yapay zekâ sistemlerindeki tüm bileşenlerin envanterini çıkarmalı, onları açık-yönetim süreçlerine katmalı ve DPU gibi kritik donanımdaki üçüncü taraf yazılımları sıkı denetlemeli.