Nvidia, kayıtlı sesleri 40 dilde yazıya döken, saat uzunluğundaki kayıtları işleyebilen ve sekiz konuşmacıyı ayırt edebilen açık ağırlıklı Nemotron 3.5 Transcribe modelini yayınladı. Model, tıbbi transkripsiyondan toplantı notlarına kadar kullanım için ücretsiz ve ticari kullanıma açık.
Nvidia, Nemotron 3.5 Transcribe adlı yeni ses modelini açık ağırlıklı olarak yayınladı. Şirketin açıklamasına göre model, kayıtlı sesleri 40 dilde yazıya dökebiliyor; İngilizce ile 31 dil arasında çift yönlü konuşma çevirisi yapabiliyor, saat uzunluğundaki kayıtları tek seferde işleyebiliyor ve sekiz konuşmacıya kadar kimlik ayrımı yapabiliyor.
Teknik taraf, modelin pratik kullanım hedefini yansıtıyor: Mamba-2 ve Transformer melezine dayanan hibrit uzman karışımı (MoE) mimarisine sahip model toplam 34 milyar parametre büyüklüğünde ama her seferinde yalnızca yaklaşık 4,3 milyar parametreyi aktive ediyor. Bu sayede tek bir H100 80GB grafik işlemcide çalışabiliyor ve BF16, FP8 ile NVFP4 olmak üzere üç hassasiyet varyantıyla sunuluyor. Bağlam penceresi 65.536 token; kayıt süresi sınırı bir saat.
Model yalnızca düz transkripsiyon da yapmıyor: Metin talimatları ve isteğe bağlı bağlam kabul eden yapı, bağlam duyarlı transkripsiyon (örneğin daha önce geçen isim ve terimleri doğru yazma), konuşmacı etiketli döküm, zengin transkripsiyon, zaman damgası tahmini, dil tanıma ve ses üzerinden soru yanıtlama görevlerini kapsıyor. Eğitim karışımında az miktarda metin talimatı izleme ve kişisel veri etiketleme/dağıtma (PII redaction) görevi de var — yani model, dökümlerdeki hassas bilgileri otomatik gizleyebiliyor.
Nvidia, modelin çok konuşmaculu tanıma testleri başta olmak üzere yayımlanmış karşılaştırmalarda rakiplerini geçtiğini, Hugging Face’in açık ASR liderlik tablosunda en iyi sonuçları verdiğini öne sürüyor. Lisans OpenMDW-1.1: Model ticari ve ticari olmayan kullanım için ücretsiz. Yanında açık kaynak Granary konuşma veri kümesinin ikinci sürümü de yayımlandı; geliştiriciler NeMo Speech araçlarıyla modeli kendi sektörlerinin terminolojisine ince ayarlayabilir.
Hedef alan belli: İş dünyası toplantıları ve tıbbi transkripsiyon, yapay zekânın iş yerindeki en köklü iki uygulama alanı. Nvidia’nın çıkış noktası, bu alandaki geliştiricilere bulut API’lerine bağımlı olmadan, kendi donanımlarında çalışabilecek ve özelleştirilebilecek bir model sunmak. Kısıt da net: Model kayıtlı seslerle çalışıyor, canlı akışları transkribe edemiyor.
Hamle, ses yapay zekâsı alanında açık ve kapalı modeller arasındaki yarışın kızıştığı bir döneme denk geliyor. OpenAI, Google ve Meta’nın ses modelleri büyük ölçüde API arkasında tutulurken, Nvidia’nın güçlü bir transkripsiyon modelini tamamen açık yayınlaması, veri gizliliği yüzünden ses verisini dışarı göndermek istemeyen kurumlar — hastaneler, hukuk büroları, çağrı merkezleri — için ciddi bir alternatif yaratıyor. Model ve veri kümesi Hugging Face üzerinden indirilebilir durumda.