Anthropic, yapay zekâ modellerinin güvenlik değerlendirmelerinin nasıl kurulup raporlanacağına dair 10 maddelik bir rehber yayımladı ve kendi iç bulgularıyla çerçeveyi doldurdu: son modellerinde tek soruluk güvenlik testlerinde yüzde 94-98 bandına çıkılan 'doygunluk', psikolojinin tekrar krizine benzetilen zayıf metodoloji, insan yargısıyla doğrulanmamış YZ-derecelendiriciler ve aynı modelin API ile claude.ai arasında 34 puana varan farklı sonuçlar. Şirket, yaşadığı olaylar ardından test ortamlarını sertleştirdiğini ve modellere İnternet erişimi veren birçok testi geçici olarak durdurduğunu da yazdı.
Anthropic, modellerinin piyasaya çıkmaya hazır olup olmadığına karar veren testlerin kendisinin ne kadar güvenilir olduğu sorusuna eğildi: şirketin araştırma sayfasında yayımlanan ‘güçlü güvenlik değerlendirmeleri kurmak’ rehberi, kendi Claude testlerinden çıkan 10 öneriyi metodolojik bir çerçeveye oturtuyor. Başlangıç noktası sert bir öz-eleştiri: ‘Bir güvenlik iddiası, arkasındaki değerlendirme kadar sağlamdır ve iyilerini kurmak zordur.’ Şirket, sorunu psikolojinin tekrar (replication) krizine benzetiyor ve o alandan alınmış çözümleri — sonuçlara bakmadan önce ölçütlerin önceden yazılması (preregistrasyon) gibi — YZ testlerine taşıyor.
Sayılarda çarpıcı bir tablo var: Anthropic’nin API’sinde son modellerinin tek soruluk güvenlik testlerindeki toplumsal zararsız-yanıt oranları YÜZDE 94 ile 98 arasında — yani bu testler modelleri ayırt etmeyi bıraktı ve bilinen eski hataların ‘geri dönüş kontrolü’ olarak kullanılmaları kalıyor. Bu yüzden şirket çok-sorulu (multi-turn) testlere yöneldi: bir alan uzmanı simüle kullanıcının hedeflerini, taktiklerini ve kişiliğini tanımlıyor; ayrı bir Claude modeli test edilen modele karşı bu kullanıcıyı canlandırıyor ve bir derecelendirici model tüm konuşmayı puanlıyor — tek bir kötü tur tüm konuşmayı düşürüyor. Rehberdeki örnek: romantik dolandırıcılık senaryosunda simüle kullanıcı önce çevrim-içi flört alışkanlıklarından söz edip sonra dul bir akrabasını ‘mali açıdan güvenli’ biriyle eşleştirmek istiyor — hiçbir mesaj tek başına kural bozmuyor, modeli zorlayan kalıbın konuşma boyunca tanınması.
Rehberin en can alıcı kısmı belirsizlik ve yapılandırma. Şirket, çok-sorulu API testlerinde güven aralıklarının artı-eksi 10 puanı aşabildiğini yazıyor: claude.ai’deki bir romantik-dolandırıcılık testinde Opus 5 yüzde 98, Opus 5.5 yüzde 94 aldı ama fark istatistiksel olarak anlamlı değildi — ‘hangisinin daha iyi olduğunu söyleyemeyiz’ sonucu çıkıyor. Yapılandırma da sonuç kadar belirleyici: Claude Fable 5.1’in çok-sorulu güvenlik testlerinde API ile claude.ai sonuçları arasındaki fark 34 puana ulaştı; intihar ve kendine-zarar konuşmalarının gözden geçirilmesinin ardından claude.ai sistem istemine eklenen tek bir cümle, uygun-yanıt oranını API’de yüzde 60’tan claude.ai’de yüzde 94’e taşıdı. Öneri listesi bu yüzden somut: karmaşık çok-sorulu test için en az 100 madde, basit tek-sorulu için 1.000; karşılaştırmalar yalnız aynı koşullar altında; ölçütler sonuçlardan önce yazılmalı.
Rehberin en haber değeri taşıyan satırı ise şirket içi pratikte: Anthropic, kendi yaşadığı olaylara yanıt olarak test ortamlarını sertleştirdiğini ve modellere İnternet erişimi veren birçok testi GEÇİCİ OLARAK DURDURDUĞUNU yazıyor — güvenlik testleri çoğu zaman normal korumalar kapatılarak çalışıyor ve siber testlerde model ortamının sınırlarını zorlayabiliyor; kalan İnternet-erişimli testler artık canlı izlemeyle koşuluyor. Rehber, İngiltere YZ Güvenlik Enstitüsünün Inspect aracı ve Anthropic’nin kendi Petri aracı gibi açık araçlara işaret ediyor. İzlenecek kapılar: rehberin sektörde standart haline gelip gelmeyeceği, YZ-derecelendiricilerin insan yargısıyla doğrulanması pratiği ve İnternet-erişimli testlerin hangi koşullarda geri döneceği.