Što je novog
NVIDIA je 15. prosinca 2025. predstavio Nemotron 3 – potpuno novu obitelj otvorenih AI modela koji kombiniraju tri različite arhitekture u jednu hibridnu strukturu: Mamba-2 state-space modele, tradicionalne Transformer attention layere i Mixture-of-Experts (MoE) sustav s 128 eksperata.
Nemotron 3 dolazi u tri veličine: Nano (30B parametara, ~3B aktivnih), Super (100B parametara, ~10B aktivnih) i Ultra (500B parametara, ~50B aktivnih). Nano verzija je već dostupna na Hugging Face i GitHub-u, dok Super i Ultra stižu u prvoj polovici 2026.
Ključna inovacija: 4x veći token throughput u odnosu na Nemotron 2 Nano i 60% manje reasoning tokena, što direktno snižava troškove inference.
Kako funkcionira hibridna arhitektura
Problem klasičnih Transformer modela je kvadratna kompleksnost – memorija raste eksponencijalno s dužinom konteksta. Nemotron 3 to rješava kombinacijom tri tehnologije:
1. Mamba-2 State-Space Modeli
Umjesto klasičnih attention layera koji zahtijevaju ogromne key-value cache memorije, Mamba-2 koristi state-space pristup koji linearno skalira s dužinom sekvence. Rezultat: drastično niža VRAM potrošnja za dugi kontekst.
2. Mixture-of-Experts (MoE)
Model ima ukupno 31,6 milijardi parametara, ali aktivira samo 3,2 milijarde po tokenu. Naučeni router bira 6 od 128 dostupnih eksperata za svaki token, što omogućava veliku reprezentacijsku moć uz nisku računsku cijenu.
3. Selektivni Attention Layeri
Nemotron 3 Nano ima samo 6 attention layera uklopljenih među 23 Mamba-2 i MoE layera. To kombinira prednosti obje arhitekture – efikasnost Mambe i preciznost attentiona.
Napredne tehnike za Super i Ultra
Veće verzije donose dodatne inovacije:
- LatentMoE – tokeni se projiciraju u niži dimenzionalni prostor gdje eksperti rade, što omogućava veći broj eksperata bez povećanja compute troškova
- Multi-token prediction – predviđanje više budućih tokena u jednom prolazu, što ubrzava speculative decoding
- NVFP4 4-bit precision – training i inference u 4-bit formatu na Blackwell arhitekturi uz očuvanje točnosti
Zašto je ovo važno
Za developere agentic AI sustava
Nemotron 3 je dizajniran specifično za multi-agent sustave – aplikacije gdje mnogo AI agenata surađuje na složenim zadacima. Native 1M token context window omogućava agentima da zadržavaju kompleksnu konverzacijsku povijest bez kompresije.
Artificial Analysis je rangirao Nemotron 3 Nano kao najefikasniji otvoreni model te veličine uz vodeću točnost.
Za open source zajednicu
NVIDIA ne objavljuje samo modele – uz Nemotron 3 dolazi:
- 3 trilijuna tokena pretraining, post-training i reinforcement learning podataka
- NeMo Gym i NeMo RL – open source biblioteke za training
- Potpuna transparentnost – whitepaper s tehničkim detaljima arhitekture
Praktične implikacije
60% redukcija reasoning tokena znači drastično niže troškove za aplikacije koje koriste chain-of-thought ili tree-of-thought reasoning. Za production sustave s milijunima zahtjeva, to je razlika između profitabilnosti i gubitka.
4x veći throughput znači da možete opslužiti 4x više korisnika na istom hardveru, ili pružati iste usluge uz 75% manje servera.
Dostupnost i ekosustav
Nemotron 3 Nano je odmah dostupan putem:
- Hugging Face – potpune težine modela
- GitHub – implementacija i dokumentacija
- Cloud provideri – Baseten, DeepInfra, Together AI
Za Super i Ultra verzije trebat će pričekati prvu polovicu 2026., ali s obzirom na Nano performanse, čekanje će vrijediti.
Tehnički detalji za developere
Nemotron 3 Nano specifikacije:
- Ukupno parametara: 31,6 milijardi (3,2 milijarde aktivnih + 0,4 milijarde embeddings)
- MoE konfiguracija: 128 eksperata, 6 aktivnih po tokenu
- Arhitektura: 23 Mamba-2/MoE layera + 6 attention layera
- Context window: 1M tokena
- Pretraining: 25 trilijuna tokena
- Reinforcement learning: concurrent multi-environment post-training
Model koristi advanced RL tehnike s paralelnim treningom u više okruženja, što omogućava bolje generaliziranje na različite zadatke.
