Prosinac 2025. donosi proljetno buđenje open source AI svijeta
Dok se završava 2025. godina, open source AI zajednica pokazuje izvanrednu dinamiku. Tri velika modela – Mistral Large 3, DeepSeek R1 i Qwen 3 – postavljaju nove standarde performansi, dovodeći u pitanje prednost zatvorenih komercijalnih modela poput GPT-4o.
Najzanimljiviji trend: od početka 2023. godine, broj novih open source modela gotovo se udvostručio u usporedbi sa zatvorenim modelima. Open source više nije eksperiment – postaje jezgra enterprise AI sustava.
Mistral Large 3: 675 milijardi parametara efikasnosti
Francuski Mistral AI objavio je 2. prosinca 2025. svoju Mistral 3 familiju, s Mistral Large 3 kao najimpresivnijim članom. Ovaj sparse mixture-of-experts (MoE) model koristi 41 milijardu aktivnih parametara od ukupnih 675 milijardi – omjer od približno 16:1.
Kako sparse MoE funkcionira
Za razliku od tradicionalnih dense modela gdje svi parametri rade na svakom tokenu, MoE arhitektura aktivira samo relevantne “eksperte” za specifične zadatke. Mistral Large 3 na svakom tokenu koristi samo 41B parametara, što značajno smanjuje troškove računanja uz zadržavanje performansi velikih modela.
Ključne specifikacije:
- 256K token context window – za analizu cijelih code repositoryja ili ogromnih pravnih dokumenata
- Native multimodalni vision encoder (~2.5B parametara) – razumijevanje slika nije eksterni dodatak
- Treniran na 3000 NVIDIA H200 GPU-ova
- Apache 2.0 licenca – potpuno open-weight
- Optimiziran za NVIDIA TensorRT-LLM sa FP8 i NVFP4 kvantizacijom
DeepSeek R1: Kineska revolucionarna reasoning arhitektura
DeepSeek, kineski AI startup, predstavio je model koji kombinira reinforcement learning (RL) pristup s Mixture-of-Experts arhitekturom. R1 ima 671 milijardu ukupnih parametara, s 37 milijardi aktivnih po forward passu.
Chain-of-thought reasoning kao emergentno ponašanje
Fascinantna tehnička inovacija: DeepSeek R1 ne uči eksplicitno chain-of-thought reasoning kroz supervised fine-tuning. Umjesto toga, koristi RL da model autonomno razvija ponašanja poput self-verification i error correction.
Benchmark rezultati (R1-0528 verzija iz svibnja 2025.):
- AIME 2025 matematika: 87.5% (skok sa 70.0%)
- AIME 2024: 91.4% (sa 79.8%)
- Codeforces rating: ~1930 (skok od 400 bodova sa ~1530)
- Prosječno koristi 23K tokena “razmišljanja” po upitu (dvostruko više nego ranije)
MIT licenca znači da je model potpuno otvoren. Za pokretanje punog V3/R1 modela potrebno je 8 NVIDIA H200 GPU-ova sa 141GB memorije svaki.
DeepSeek V3.1 i V3.2 – hibridna evolucija
U kolovozu 2025., DeepSeek objavljuje V3.1 koji kombinira snage V3 i R1 u jedinstven hibridni model. Kasnije, u studenom, izlazi DeepSeekMath V2 baziran na V3.2-Exp-Base, specijaliziran za matematiku – postiže gold-level rezultate na nekoliko matematičkih natjecanja.
Qwen 3: Alibaba uzvraća s hibridnim MoE
Alibabin Qwen 3 donosi hibridnu reasoning arhitekturu koja korisnicima omogućava prebacivanje između reasoning i non-reasoning modova dodavanjem/uklanjanjem <think></think> tagova kroz tokenizer.
Efikasnost na steroidima
Qwen3-235B-A22B koristi 235 milijardi ukupnih parametara, ali aktivira samo 22 milijarde – približno trećinu DeepSeek-R1. Ovaj dizajn drastično smanjuje operativne troškove uz performanse koje nadmašuju vodeće modele.
Benchmark dominacija:
- AIME25 matematika: 81.5 – novi rekord za open source modele
- ArenaHard (30B model): 91.0 – iznad QwQ-32B (89.5), DeepSeek-V3 (85.5) i GPT-4o (85.3)
- LiveCodeBench: nadmašuje Grok3
- ArenaHard (human preference): 95.6 – nadmašuje OpenAI-o1 i DeepSeek-R1
Qwen3-30B sa samo 3B aktivnih parametara postiže više od 10x poboljšanje u efikasnosti – performanse prethodne generacije Qwen2.5-32B modela.
Qwen3-Next: ultra-long context
Najnoviji Qwen3-Next-80B-A3B-Instruct podržava 262K tokena sa validacijom do ~1M tokena koristeći YaRN tehniku. Ovo otvara nove mogućnosti za procesiranje ogromnih dokumenata.
Meta Llama 3.3: 70B model koji parira 405B gigantu
Meta je 6. prosinca 2024. objavila Llama 3.3 70B Instruct – model koji postiže performanse usporedive sa Llama 3.1 405B, ali sa znatno manjim računalnim zahtjevima.
Gdje Llama 3.3 pobjeđuje veće modele
- IFEval (instruction following): 92.1 – ispred Llama 3.1 405B (88.6) i GPT-4o (84.6)
- GPQA Diamond: 50.5 – nadmašuje Llama 3.1 70B (48.0)
- MATH & reasoning: nadmašuje 405B verziju u specifičnim metrikama
Ekonomska prednost
Cijena Llama 3.3 70B: $0.10 po milijunu input tokena vs $1.00 za Llama 3.1 405B. Output: $0.40 vs $1.80. U praksi, Databricks izvještava o 88% smanjenju troškova implementacije uz održavanje konkurentnih performansi.
Llama 3.1 405B je približno 5.7x skuplji od Llama 3.3 70B za input i output tokene. Migracija štedi 70-85% infrastrukturnih troškova.
HuggingFace Transformers v5: Strukturna obnova AI ekosustava
Pet godina nakon v4, HuggingFace je 1. prosinca 2025. objavio Transformers v5.0.0rc-0 – najznačajniju modernizaciju biblioteke do sada.
Što se promijenilo
PyTorch-only backend: Transformers v5 ukida podršku za TensorFlow i Flax, fokusirajući se isključivo na PyTorch. Matt White iz PyTorch Foundation kaže: “Transformers je potpuno predan PyTorchu s v5 izdanjem.”
Kvantizacija kao first-class citizen: Puna podrška za 8-bit i 4-bit formate, TorchAO metode, i poboljšana bitsandbytes integracija sa Tensor Parallelism (TP) i Mixture of Experts (MoEs) podrškom.
Simplifikacija tokenizacije: Ukida se razlika između “Fast” i “Slow” tokenizera – sada postoji samo jedan tokenizers backend kao default.
Modularna arhitektura: Nova AttentionInterface centralizira apstrakciju attention metoda. Eager method ostaje u modeling fajlu, dok FA1/2/3, FlexAttention i SDPA prelaze u interface.
Interoperabilnost kao core princip
End-to-end workflow primjer koji v5 omogućava:
- Train: Unsloth/Axolotl/LlamaFactory/MaxText
- Deploy: vLLM/SGLang
- Export: llama.cpp/ExecutorTorch/MLX za lokalno pokretanje
Georgi Gerganov, kreator llama.cpp: “Transformers je go-to mjesto za referencne AI model implementacije.”
Brojke koje govore
- 3 milijuna dnevnih pip instalacija (sa 20,000 u v4)
- 1.2 milijarde ukupnih instalacija
- 400+ model arhitektura (sa 40 u v4)
- 750,000+ community checkpoints (sa ~1,000 u v4)
Kineska open source scena: Prosinac 2025 highlights
HuggingFace održava specijalnu kolekciju “December 2025 – China Open Source Highlights” koja pokazuje snagu kineske AI zajednice:
- DeepSeek-V3.2: 685B parametara, 90.9K preuzimanja
- GLM-4.7: 358B parametara (zai-org), 1.15K preuzimanja
- XiaomiMiMo/MiMo-V2-Flash: 310B parametara, 10.8K preuzimanja
- GLM-4.6V: 108B parametara multimodalni model, 60.5K preuzimanja
- GLM-ASR-Nano-2512: 2B parametara speech recognition, 415K preuzimanja
Kolekcija obuhvaća doprinose Tencenta, ByteDancea, Meituana i drugih – od jezičnih modela preko vizije do audio i video domena.
Open source vs Closed source: Debata se zaoštrava
Harvard Business School procjenjuje vrijednost cjelokupnog open-source softvera na zapanjujućih $8.8 trilijuna. U AI svijetu, ova debata više nije akademska – ima stvarne implikacije za developere, startupe i korporacije.
Argumenti za open source
- Transparentnost: Mogućnost inspekcije algoritama promovira accountability
- Fleksibilnost: Prilagodba specifičnim potrebama bez ovisnosti o vendoru
- Cijena: Open source modeli nude dramatična smanjenja troškova
- Brzina inovacija: Zajednica brzo identificira i popravlja probleme
Argumenti za closed source
- Jednostavnost implementacije: Off-the-shelf rješenja sa profesionalnom podrškom
- Sigurnost: Vendori ulažu veće resurse u security i AI alignment
- Performanse: Često vodeće benchmark rezultate (iako gap se smanjuje)
Sigurnosni paradoks
Analiza preko 100,000 open source modela na HuggingFace i GitHubu pokazuje da preko 30% ima high-severity ranjivosti. Međutim, transparentnost open source modela omogućava bržu identifikaciju i popravke, dok closed modeli skrivaju ranjivosti i ovise o povjerenju prema vendoru.
“Openwashing” kontroverza
Modeli koji objavljuju samo model weights (ali ne training data i kod) kritizirani su kao “openwashing” – sustavi koji su većinom zatvoreni ali se reklamiraju kao otvoreni.
Zašto je ovo važno za developere i korisnike
Prosinac 2025. pokazuje da open source AI više nije iza closed source modela. U mnogim benchmarkovima, modeli poput Qwen 3 i DeepSeek R1 nadmašuju GPT-4o, a to postižu uz:
- Drastično niže troškove izvršavanja (MoE arhitektura)
- Potpunu kontrolu nad modelom i dataom
- Mogućnost fine-tuninga za specifične domene
- Transparentnost u radu modela
Za enterprise, ovo znači mogućnost izgradnje AI sustava koji su istovremeno jeftiniji, prilagodljiviji i transparentniji.
Za developere, ekosustav oko HuggingFace Transformers v5 pruža standardizirani workflow od treninga do produkcijskog deployment-a, sa interoperabilnošću između različitih alata.
Budućnost: Hibridni modeli i specijalizacija
Trend se pomiče prema hibridnim pristupima koji kombiniraju najbolje iz oba svijeta. Qwen 3 sa svojom toggle reasoning funkcionalnosti pokazuje smjer – modeli koji mogu biti efikasni za jednostavne zadatke, ali se mogu “uključiti” u dubok reasoning mode kada je potrebno.
MoE arhitektura postaje standard – omogućava ogromne modele koji u praksi koriste male količine parametara po zadatku, smanjujući troškove i latenciju.
Značajan dio enterprise-a razmatra ili prelazi na open source modele, posebno kada oni postižu ili nadmašuju performanse closed modela.
Izvori
- Mistral AI – Introducing Mistral 3
- TechCrunch – Mistral closes in on Big AI rivals with new open-weight frontier and small models
- NVIDIA Blog – NVIDIA Partners With Mistral AI to Accelerate New Family of Open Models
- DeepSeek – DeepSeek-R1 Release
- HuggingFace – DeepSeek-R1 Model
- BentoML – The Complete Guide to DeepSeek Models: V3, R1, V3.1, V3.2 and Beyond
- Alibaba Cloud – Alibaba Introduces Qwen3, Setting New Benchmark in Open-Source AI
- TechCrunch – Alibaba unveils Qwen3, a family of ‘hybrid’ AI reasoning models
- Alizila – Qwen3-Next: A New Generation of Ultra-Efficient Model Architecture Unveiled
- HuggingFace – Transformers v5: Simple model definitions powering the AI ecosystem
- GitHub – Transformers v5.0.0rc0 Release
- HuggingFace – Meta Llama 3.3 70B Instruct
- Meta AI – Introducing Meta Llama 3
