Nvidia, Tek GPU’da Çalışabilen 30 Milyar Parametreli Yapay Zekâ Modelini Yayınladı

Nvidia, yapay zekâ ajanları için geliştirdiği 30 milyar parametreli Nemotron 3.5 Lightning modelini ücretsiz olarak yayınlarken modelin tek GPU üzerinde çalışabildiğini açıkladı. Mixture-of-Experts mimarisini kullanan model, benzer sistemlere kıyasla dört kata kadar daha hızlı çıktı üretirken ajan tabanlı görevlerde yüzde 30’a kadar hız avantajı sağlıyor. Nvidia, modeli geliştiricilerin indirip kendi sistemlerinde kullanmasına açarken şirketlerin kendi verileriyle modeli özelleştirmesine de izin veriyor.

Nemotron 3.5 Lightning Tek GPU Üzerinde Çalışıyor

Nvidia’nın yeni modeli, 30 milyar parametreyi Mixture-of-Experts mimarisiyle yöneterek her görevde modelin tamamını çalıştırma ihtiyacını azaltıyor. MoE yapısında farklı uzman bölümleri belirli görevlerde devreye girerken sistem hesaplama kaynaklarını daha verimli kullanabiliyor.

Nvidia, Nemotron 3.5 Lightning’in aynı kategorideki modellere kıyasla dört kata kadar daha hızlı çıktı üretebildiğini belirtiyor. Ajan tabanlı görevlerdeki performans ise şirketin ölçümlerine göre yüzde 30’a kadar daha yüksek hız seviyesine ulaşabiliyor.

Tek GPU üzerinde çalışma desteği, modelin yalnızca büyük veri merkezlerinde kullanılmasını gerektirmiyor. Geliştiriciler yeterli belleğe sahip bir GPU üzerinden modeli yerel olarak çalıştırarak yapay zekâ ajanlarını kendi altyapılarına daha düşük donanım maliyetiyle yerleştirebiliyor.

Model Şirketlerin Kendi Verileriyle Özelleştirilebiliyor

Kurumsal ekipler Nemotron 3.5 Lightning’i hazır bir model olarak kullanmanın yanında kendi ihtiyaçlarına göre yeniden eğitebiliyor. Nvidia’nın sunduğu özelleştirme yaklaşımı, şirketlerin kendi verilerini kullanarak belirli görevlerde daha uygun sonuçlar veren yapay zekâ ajanları geliştirmesine olanak sağlıyor.

CodeRabbit, modelin bu kullanım alanlarından birini ortaya koyan şirketler arasında yer alıyor. Şirket, Nvidia’nın aktardığı bilgilere göre kendi yönlendirici ajanını yaklaşık iki saat içinde geliştirirken çalışma için yaklaşık 85 dolarlık bir maliyet kullandı.

CrowdStrike ile Harvey de Nemotron 3.5 Lightning’i test eden şirketler arasında bulunuyor. Kurumsal kullanıcıların modeli farklı senaryolarda denemesi, açık ağırlıklı yapay zekâ sistemlerinin yalnızca araştırma projelerinde değil gerçek iş akışlarında da kullanılmaya başladığını gösteriyor.

Nvidia’nın ücretsiz model yayınlaması, şirketin yapay zekâ yazılım ekosistemini büyütme stratejisiyle doğrudan bağlantılı bulunuyor. Daha fazla şirketin açık modelleri kendi altyapısında çalıştırması, yapay zekâ hesaplamaları için gereken GPU kapasitesinin de genişlemesine yol açabiliyor.

Jensen Huang, açık modellerin donanım pazarındaki etkisine daha önce yaptığı açıklamalarda değinmişti. Nvidia CEO’su, ücretsiz yapay zekânın donanım açısından önemli bir fırsat oluşturduğunu belirtirken model kullanımının yaygınlaşmasının hesaplama altyapısına olan talebi artırabileceğine işaret etmişti.

Yerel yapay zekâ kullanımı özellikle veri gizliliğinin önemli olduğu kurumsal senaryolarda ayrı bir avantaj sağlıyor. Şirketler hassas verileri harici bir API hizmetine göndermek yerine modeli kendi sunucularında çalıştırarak veri işleme süreçleri üzerinde daha fazla kontrol sağlayabiliyor.

Nvidia, Nemotron 3.5 Lightning’i kendi platformunun yanı sıra Hugging Face üzerinden de erişime açtı. Geliştiriciler modeli indirerek kendi sistemlerinde çalıştırabilirken modelin yapısını kullanım senaryolarına göre değiştirebiliyor.

Yapay zekâ ajanlarının sürekli görev yürüttüğü sistemlerde modelin hesaplama maliyeti doğrudan operasyon giderlerine yansıyor. Tek GPU üzerinde çalışabilen daha küçük modeller, bu nedenle büyük dil modellerine kıyasla daha düşük altyapı ihtiyacı sunarak yerel ajanların yaygınlaşmasını destekleyebilir.

Nvidia’nın açık model yaklaşımındaki asıl rekabet alanı da burada ortaya çıkıyor. Şirket bir yandan kapalı yapay zekâ servislerine alternatif oluştururken diğer yandan açık modellerin daha fazla donanım üzerinde çalışmasını sağlayarak GPU ekosistemindeki talebi genişletmeyi hedefliyor.