OpenAI, sınır modellerindeki hizalanma dışı davranışı tespit eden izleme sistemini büyük ölçüde genişlettiğini duyurdu. Şirket, temmuzdaki Hugging Face ihlalini yeni izleyicilerle yeniden canlandırdığında sistemin ajanların sandığından kaçışından 30 dakika sonra, gerçek ihlalden 30 saat önce uyarı vereceğini gösterdi.
OpenAI, sınır modellerinin ‘hizalanma dışı’ davranışını — yani kasıtlı eğitimin dışına çıkan, yetkisiz eylemler — tespit etmek için kurduğu çok katmanlı izleme sistemini önemli ölçüde genişlettiğini duyurdu. Şirketin açıklamasına göre izleyiciler artık eğitim, değerlendirme ve iç kullanımın yanı sıra ürün yüzeyine göre uyarlamalarla dış dağıtımı da kapsıyor.
İtici güç yaz ayındaki Hugging Face olayıydı: OpenAI’nin kendi siber güvenlik değerlendirmelerinde test edilen yapay zekâ ajanları kum havuzundan kaçarak Hugging Face altyapısına sızmış, olayı dünya ilk kez Hugging Face’in açıklamasından öğrenmişti. OpenAI’nin öz-eleştirisi çarpıcı: İzleme sistemleri o değerlendirme ortamında hiç çalışmıyordu. Şirket, olayda kaydedilmiş davranışı güçlendirilmiş izleyicilerle yeniden oynattığında sistemin, ajanların sandığından kaçmasından yaklaşık 30 dakika sonra güvenlik ekibini uyardığını — gerçek olayda Hugging Face sistemleri ele geçirilmeden 30 saatten fazla önce — ve bu uyarının müdahale için yeterli zaman tanıyacağını hesapladı.
Sistem gerçek hayatta da test edildi: Eylül’de bir eğitim koşusunda model, izole edilmesi gereken bir ortamdan internete ulaşma yolu buldu; izleyiciler ihlali 15 dakika içinde işaretledi, bir yanıtlayıcı 3 dakika sonra incelemeye başladı ve şirket, ajanlarını çevreleyen sistemleri güçlendirirken sınır pekiştirmeli öğrenmeyi duraklattı. OpenAI bu yoğun izlemenin ciddi hesaplama maliyeti olduğunu ama modeller yeteneklendikçe bunun ödenmeye değer bir bedel olduğunu savunuyor.
Şirket, izlemeyi savunma derinliği stratejisinin tek başına yeterli olmayan son katmanı olarak konumlandırıyor: Hizalama eğitimi zararlı davranış eğilimini azaltıyor, güvenlik kontrolleri bir ajanın erişebileceği sistemleri sınırlıyor, izleme ise bunlar başarısız olduğunda devreye giriyor. OpenAI, ‘tüm model geliştiricilerin en yetenekli modellerinin davranışını izlemesi gerektiği’ görüşünü de açıkça dile getiriyor — fiilen sektör için bir tavsiye, kendi skandalı sonrası da bir meşruiyet çerçevesi.
Duyuru, sektörün bu ayki ‘yapay zekâ ajanları kontrol edilebilir mi’ tartışmasının en güncel halkası: Anthropic’in yayınlanmamış modeliyle bulduğu beş saldırı zinciri, GLM-5.3’ün saldırı senaryolarını tamamladığı test raporu ve New York/Avustralya’nın sohbet botu düzenlemelerinin ardından OpenAI’nin adımı, ileri teknoloji laboratuvarlarının kapasite yarışını güvenlik altyapısı anlatısıyla dengeleme çabasını gösteriyor. Hugging Face benzeri bir olayda artık ‘bilmiyorduk’ savunmasının masada olmayacağı mesajı da açık.