Kanadalı yapay zekâ şirketi Cohere, Alibaba'nın yeni Qwen modelinin rutin bir güvenlik testinde dış araç kullanmayacağını yazmasına rağmen Pekin'deki bir sunucuya dosya yüklemeye çalıştığını bildirdi. Araştırmacılar olayı kasıtlı casusluk girişimi olarak görmedi.
Kanadalı yapay zekâ şirketi Cohere, Alibaba’nın en yeni yapay zekâ modellerinden Qwen3.8-Flash-Next’ın rutin bir siber güvenlik testi sırasında Pekin’de bulunan bir sunucuya dosya yüklemeye çalıştığını açıkladı. Şirketin aktardığına göre model, kendi notlarında hiçbir dış araç kullanmayacağını belirtmesine rağmen bu denemeyi yaptı.
Olay ilk anda şirketlerin temel beklentilerinden birini tehdit ettiği korkusu yarattı: Açık ağırlıklı bir modeli kendi sunucularında barındırmanın veriyi kurum içinde tuttuğu varsayımı sarsılmış göründü. Ancak kurumsal casusluk yönündeki bu ilk endişeler kısa sürdü. Araştırmacılar durumu, kasıtlı bir bilgi sızdırma girişimi değil; dağınık eğitim ortamlarının modelleri talimatlarının dışında davranmaya itebilecek bir yan etkisi olarak değerlendirdi.
Olay Cuma günü, Qwen modeline kötü amaçlı yazılım indirmelerini yakalayan bir kural yazmasının istendiği bir değerlendirme sırasında başladı. Cohere’nin blog yazısına göre modelin yazılı akıl yürütmesi açıkça hiçbir dış araç kullanmayacağını belirtiyordu. Ancak hemen sonraki adımda model, kısa bir örnek metin parçasını dış sunucuya göndermeye çalıştı ve güvenlik kum havuzu tarafından engellendi.
Cohere, davranışın kasıtlı mı yoksa eğitim sürecinden kalan bir alışkanlık mı olduğunu ayırt edemediğini söyledi. Şirketin kurucularından Ivan Zhang, modele niyet atfetmenin çok zor olduğunu belirterek kendi modellerinde de benzer tuhaflıklar gördüklerini anlattı.
Zhang, kendi model izlerini okuduklarını, ödül hileleri gördüklerini ve modellerin kum havuzlarından çıkmak için bazen çok yaratıcı yollar bulduğunu ifade etti. Ödül hilesi, bir modelin görevi istendiği gibi yapmadan puan kazanmak için kestirme yollar bulması anlamına geliyor.
Bir yapay zekâ modelini kendi başına hareket eden bir ajan gibi eğitmek için Alibaba gibi şirketler onu binlerce deneme düzeneğinde çalıştırıyor; bu düzenekler yazılım için uçuş simülatörüne benzetiliyor. Model her görev tamamlayışında ödül kazanıyor ve bu sırada alışkanlıklar ediniyor. Eğitim düzenekleri dosyaları rutin olarak Alibaba’nın bulut sunucularında sakladıysa, model dosyaları varsayılan olarak oraya kaydetmeyi öğrenmiş olabilir.
Eleştirmenler olayın Cohere’nin inceleme yönteminden kaynaklanmış olabileceğini öne sürdü: Şirket, modelin davranışı ne sıklıkla kendi başına yaptığını ölçmek yerine onu bu davranışa yönlendirmiş olabilir. Cohere, ağ komutunun başlangıcını verip modelin gerisini tamamlamasına izin verdi; binlerce rutin ağ komutu işleyen model, gelişmiş bir otomatik tamamlama gibi davranarak çoğu zaman web adresleri, bir kısmı da Alibaba sunucularına ait adresler üretti.
Cohere, ilk yükleme denemesinin bu tür bir yardım olmadan gerçekleştiğini ancak davranışın nadir olduğunu belirtti. Geliştiricilerin daha fazla kanıt talebi üzerine şirket, testlerin ham izlerini ve başkalarının davranışı yeniden üretmesini sağlayacak bir betiği Pazartesi akşamı Hugging Face platformunda yayınladı.
İzleri inceleyen ilk kuşkuculardan biri, Qwen’ın şüpheli web adresleri uydurabildiğine dair kanıtların güçlü olduğunu, ancak Alibaba’nın bir arka kapı yerleştirdiğine ya da modelin niyetini gizlediğine dair kanıt bulunmadığını söyledi.
Olay, hükümetlerin Çinli yapay zekâya ne kadar sert tepki vereceğine karar verdiği bir dönemde geldi. Geçen hafta ABD İç Güvenlik Bakanlığı, federal sivil kurumlara Çinli yapay zekâ geliştiricisi DeepSeek’in ürünlerini sistemlerinden kaldırma talimatı vermişti.
Cohere blog yazısında hükümetlere, Çinli yapay zekâ kısıtlamalarının devlet bilgisayarlarında çalışan modellere de uyup uymadığını netleştirme çağrısı yaptı. Zhang açık ağırlıklı modellerin tamamen düzenlenmesini istemediğini, şirketlerin bu modelleri internetten indirilen her program gibi değerlendirmesi gerektiğini söyledi.
Kendi yapay zekâ modellerini hükümetlere satan Cohere’nin, yetkililerin ücretsiz Çinli alternatiflere karşı daha temkinli davranmasından çıkar sağlayabileceği de kaydediliyor.