NVIDIA, yaklaşık 4 GB bellekle çalışan açık küçük dil modeli Nemotron 3.5 Bolt E4B'yi herkesin kullanımına açtı. Model, RTX ekran kartları ve Jetson kartlarında internet bağlantısı olmadan çalışıyor.
NVIDIA, yerel çalışan sesli asistanlar, oyun karakterleri ve robotlar için geliştirdiği yeni küçük dil modeli Nemotron 3.5 Bolt E4B’yi 23 Ekim itibarıyla herkesin kullanımına açtı. Ağırlıkları açık olarak paylaşılan model, yaklaşık 4 GB bellekle çalışacak şekilde tasarlandı ve konuşurken aynı zamanda araç çağırıp işlem de yapabiliyor.
Küçük ama iş yapan model
NVIDIA’nın araştırma sayfasındaki bilgilere göre Bolt E4B, Google’ın Gemma 4 E4B modeli üzerine Nemotron eğitim yöntemleriyle geliştirildi. Model, çok adımlı konuşmalarda uygulama arayüzlerini çağırabiliyor; kısa ve konuşmaya uygun yanıtlar veren bir moda sahip. İstenirse “düşünme” özelliği açılıp kapatılabiliyor. Model 64 bin token bağlam penceresi sunuyor ve 35 dili destekliyor.
RTX, Spark ve Jetson’da yerel çalışıyor
Model; GeForce RTX ekran kartlarında, Jetson gömülü kartlarında, RTX Spark ve DGX Spark sistemlerinde çalışacak şekilde hazırlandı. NVIDIA’nın paylaştığı ölçümlere göre Bolt E4B, 12 GB bellekli bir RTX 5070 üzerinde yaklaşık 3,5 GB bellek kullanarak saniyede 133 token üretiyor. RTX Spark’ta bu hız saniyede 67 token’e düşüyor. Jetson Orin Nano 8 GB’da ise model, yaklaşık 4,2 GB bellekle saniyede 15,5 token hızında çalışıyor.
NVIDIA, modelin yeteneklerini göstermek için bir de video paylaştı. Videoda Reachy Mini isimli robot, Jetson Orin Nano 8 GB kartı üzerinde sohbet edip hareket ediyor. Konuşmayı Bolt E4B üstlenirken, görüntü anlamayı NVIDIA’nın Cosmos modeli devralıyor ve iki model de cihaz üzerinde, internet bağlantısı olmadan çalışıyor.
Neden önemli?
Modelin internete ihtiyaç duymaması, verinin cihazdan dışarı çıkmaması anlamına geliyor. Bu durum; finansal belgeler, kurum içi bilgiler ya da kişisel veriler gibi hassas içeriklerle çalışanlar için önemli bir gizlilik avantajı sunuyor. Ayrıca bulut hizmeti maliyeti olmadan yerel donanımda yapay zekâ çalıştırmak isteyen geliştiriciler için de cazip bir seçenek oluşturuyor.
Nemotron ailesinde Bolt E4B’nin yanı sıra, 24 GB bellekle yerel ajan görevleri için optimize edilen Nemotron 3.5 Bolt 74B-A9B da bulunuyor. Daha büyük bu model, internetten araştırma yapmaktan kod yazmaya ve hata ayıklamaya kadar günlük ajan işlerini buluta göndermeden yerelde yürütebiliyor. NVIDIA, her iki modelin ağırlıklarını da açık şekilde paylaşıyor; geliştiriciler yeni modeli Hugging Face üzerinden indirip llama.cpp, Ollama ve LM Studio gibi araçlarla çalıştırabiliyor.
NVIDIA’nın bu hamlesi, yapay zekâ yarışının yalnızca dev veri merkezlerinde değil, masaüstü bilgisayarlarda ve gömülü sistemlerde de kızıştığını gösteriyor. Şirket, sesli asistanlardan araç içi deneyimlere ve akıllı ev cihazlarına kadar geniş bir yelpazede “her cihazda yapay zekâ” vizyonunu bir adım ileri taşımış durumda.