Kako je AI naučio razmišljati: Od uzoraka do rezoniranja

Problem s kojim se AI susretao

Kada je GPT-3 u 2020. godini šokirao svijet svojom sposobnošću generiranja teksta koji izgleda ljudski, nije bilo teško primijetiti njegove velike slabosti. Model je bio izvanredan u predviđanju sljedećega tokena, ali je potpuno padao na zadacima koji su zahtijevali stvarno razmišljanje.

Postavite li mu matematički problem s više koraka, GPT-3 bi često davao netočan odgovor. Pitajte ga da riješi logički problem i vidjeli biste halucinacije – model bi s potpunim povjerenjem tvrdio stvari koje jednostavno nisu bile istinite. Razlog je bio jasan: veliki jezični modeli (LLM-ovi) u osnovi su samo sofisticirani pokretači uzoraka. Predviđali su sljedeću riječ na temelju milijardi primjera, ali nisu mogli “razmišljati” korak po korak.

2022: Proboj iz Googlea – Chain-of-Thought

U siječnju 2022. godine tim istraživača iz Google Researcha predvođen Jasonom Weijem objavio je revolucionarni rad: “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models” (Prompting lancem razmišljanja izvlači rezoniranje iz velikih jezičnih modela).

Njihovo otkriće bilo je elegantno jednostavno: ako modelu pokažete kako razmišljati korak po korak kroz primjere, model može naučiti slijediti taj obrazac rezoniranja. Umjesto da samo traže odgovor, pokazali su modelu međukorake – lanac razmišljanja koji vodi do rješenja.

Rezultati su bili zapanjujući. Model s 540 milijardi parametara, potpomognut sa samo 8 Chain-of-Thought (CoT) primjera, postigao je vrhunske rezultate na GSM8K benchmarku za matematičke probleme. Ali bilo je nešto još zanimljivije: ovaj pristup radio je samo na dovoljno velikim modelima. To je bila emergentna sposobnost – nešto što se prirodno pojavljuje kada model dosegne određenu veličinu.

Zero-Shot CoT: “Razmislimo korak po korak”

Samo nekoliko mjeseci kasnije, u svibnju 2022., Takeshi Kojima i suradnici otkrili su nešto još nevjerojatnije. U radu “Large Language Models are Zero-Shot Reasoners” pokazali su da ne trebate ni primjere.

Dovoljno je bilo dodati jednu jednostavnu frazu promptu: “Razmislimo korak po korak” (eng. “Let’s think step by step”).

Ta magična rečenica drastično je poboljšala performanse modela na zadacima rezoniranja – od aritmetike do simboličkoga rasuđivanja. Testirali su različite varijacije (“Riješimo ovo dijeleći u korake”, “Razmislimo o ovome logički”), ali “Let’s think step by step” pokazao se najučinkovitijim.

I opet, ova sposobnost bila je emergentna. Manji modeli nisu pokazivali poboljšanja, ali veliki modeli poput PaLM-a sa 540B parametara doživjeli su dramatični skok u performansama.

2023: Eksperimenti sa strukturama razmišljanja

Sljedeća godina donijela je niz eksperimenata kako dalje poboljšati rezoniranje kroz prompting:

Tree of Thought (ToT) – Shunyu Yao i tim s Princetona predstavili su pristup koji omogućuje modelu da istražuje više putanja razmišljanja istovremeno, poput stabla odlučivanja. Umjesto linearnoga lanca, model može razmotriti različite strategije, pogledati unaprijed ili se vratiti natrag ako nešto ne funkcionira.

U “Igri 24” (gdje trebate doći do broja 24 koristeći četiri broja i osnovne operacije), GPT-4 sa standardnim CoT-om rješavao je samo 4% zadataka. Tree of Thought postigao je 74% uspješnosti.

Self-Consistency – Generirajte više lanaca razmišljanja i odaberite najčešći odgovor. Ovaj pristup značajno je poboljšao pouzdanost.

Ali sve ovo bile su prompting tehnike – načini kako ljudi mogu nagovoriti postojeće modele da bolje razmišljaju. Sposobnost rezoniranja nije bila ugrađena u same modele.

Rujan 2024: OpenAI o1 – Rezoniranje kao trening

12. rujna 2024. OpenAI je objavio o1 (s kodnim nazivom “Strawberry”), model koji je promijenio igru. Umjesto da rezoniranje bude trik u promptingu, OpenAI je ugrađivanje razmišljanja ugradio u sam proces treninga.

Ključna inovacija: “thinking tokens” – model ima internu “crnu ploču” gdje razmišlja prije nego što da konačni odgovor. Treniran je reinforcement learningom (pojačanim učenjem) da provedi vrijeme razmišljajući prije nego što odgovori.

Rezultati su bili spektakularni:

Na AIME kvalifikacijskom ispitu za matematičke olimpijade, o1-preview riješio je 83% problema. GPT-4o je riješavao samo 13%.
Dostigao je 89. percentil na Codeforces natjecanjima u programiranju.
Na izazovnim zadacima iz fizike, kemije i biologije model je postigao 75-80% točnih odgovora – usporedivo s PhD studentima.

o1 koristi inference-time scaling – što više vremena (tokena) model provodi razmišljajući, to su bolji odgovori. Model uči sam sebe ispravljati, verificirati svoje zaključke i isprobavati različite pristupe.

OpenAI je lanac razmišljanja držao skrivenim od korisnika (zbog konkurentskih razloga), što je frustriralo programere koji su željeli razumjeti kako model dolazi do zaključaka.

Prosinac 2024: OpenAI o3 – Deliberativno usklađivanje

20. prosinca 2024., tijekom “12 dana OpenAI-a”, izvršni direktor Sam Altman najavio je o3 – toliko velik napredak da su preskočili oznaku “o2”.

o3 donosi deliberativno usklađivanje (deliberative alignment) – model nije samo treniran da razmišlja, već i da razmišlja o sigurnosnim politikama tijekom same faze razmišljanja. Model sam sebe “ponovno promptuje” tekstom iz OpenAI-jevih sigurnosnih smjernica tijekom lanca razmišljanja.

To omogućuje modelu da:

Rezonira o promptu u stvarnom vremenu koristeći sigurnosne specifikacije
Identificira skrivene namjere ili pokušaje zaobilaženja sustava
Postiže 0,88 rezultat na StrongREJECT benchmarku za otpornost na jailbreak (GPT-4o: 0,37)
Izbjegava nepotrebna odbijanja sigurnih upita s 93% točnošću

o3 koristi test-time search – pretraživanje tijekom faze zaključivanja koje omogućuje još sofisticiraniji pristup složenom rezoniranju.

Siječanj 2025: DeepSeek R1 – Demokratizacija rezoniranja

Dok je svijet bio oduševljen o1 i o3 modelima, kineska istraživačka organizacija DeepSeek pripremala je revoluciju. U siječnju 2025. objavili su DeepSeek-R1 – prvi open-source reasoning model koji konkurira OpenAI-u.

Njihov rad “DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning” otkrio je kako trenirati reasoning modele – nešto što je OpenAI držao kao tajnu.

DeepSeek-R1-Zero: Čisto reinforcement learning

Prvi eksperiment, R1-Zero, bio je drastičan: trenirali su model koristeći samo reinforcement learning, bez ikakve supervised fine-tuning (SFT) faze koja koristi ljudske primjere.

Rezultat? Model je sam naučio rezonirati. Emergentno su se pojavili obrasci poput:

Samoverifikacija – provjera vlastitih odgovora
Refleksija – preispitivanje pristupa ako nešto ne funkcionira
Generiranje dugih lanaca razmišljanja
Dinamička prilagodba strategije

Ali R1-Zero imao je i problema: beskonačno ponavljanje, loša čitljivost, miješanje jezika.

DeepSeek-R1: Poliranje emergentnih sposobnosti

Finalna verzija R1 dodala je “cold-start data” prije RL treninga kako bi riješila te probleme. Rezultat je bio model koji:

Postiže performanse usporedive s OpenAI o1
Košta 96% manje za korištenje
Ima vidljiv lanac razmišljanja – korisnici vide kako model dolazi do zaključaka
Koristi GRPO (Group Relative Policy Optimization) za učinkovito treniranje

Destilacija u manje modele

DeepSeek je pokazao da se obrasci rezoniranja iz velikih modela mogu destilirati u manje modele. Objavili su open-source checkpointove za 1,5B, 7B, 8B, 14B, 32B i 70B modele bazirane na Qwen2.5 i Llama3 serijama.

Ovaj rad objavljen je u prestižnom časopisu Nature (volumen 645, str. 633–638, 2025), što potvrđuje njegov znanstveni značaj.

Kasno 2025: Rezoniranje postaje standard

Do kraja 2025. godine reasoning sposobnosti postale su standardna značajka frontier modela:

Claude 3.7 Sonnet (Anthropic, veljača 2025) uveo je hibridni pristup – jedan model koji može biti i običan LLM i reasoning model. Korisnici biraju kada žele brze odgovore, a kada žele da model duže razmišlja.

U “extended thinking” modu Claude 3.7 koristi samorefleksiju prije odgovora. Korisnici mogu kontrolirati “thinking budget” – koliko tokena (do 128K) model može koristiti za razmišljanje. To omogućuje tradeoff između brzine, cijene i kvalitete odgovora.

Gemini 2.5 (Google, ožujak 2025) predstavljen je kao najinteligentniji Googleov model sa ugrađenim chain-of-thought rezoniranjem i milijun tokena kontekstnoga prozora. Gemini 2.5 Pro debitirao je na #1 mjestu LMArena benchmarka sa značajnom razlikom.

Gemini 2.5 dizajniran je kao obitelj hibridnih reasoning modela koji pružaju vrhunske performanse dok ostaju na Pareto-učinkovitoj granici između cijene i brzine. Modeli imaju kontrolu nad “thinking budgetom”, dajući programerima mogućnost da biraju kada i koliko model “razmišlja” prije generiranja odgovora.

Što ovo sve znači?

U razdoblju od samo tri godine AI je prešao put od “predviđanja sljedeće riječi” do “razmišljanja kroz probleme”.

Ključne točke evolucije:

2022. – Otkriće da prompting može izvući rezoniranje iz velikih modela (Chain-of-Thought, Zero-Shot CoT)

2023. – Eksperimenti sa strukturama razmišljanja (Tree of Thought, Self-Consistency)

2024. – Rezoniranje postaje ugrađeno u treniranje modela (OpenAI o1, o3)

2025. – Demokratizacija i standardizacija – open-source reasoning (DeepSeek R1), hibridni modeli (Claude 3.7) i drastično smanjenje cijene

Ovo još nije ljudsko razmišljanje

Važno je naglasiti: ovi modeli ne razmišljaju kao ljudi. Oni koriste statističke obrasce i naučene heuristike da simuliraju proces rezoniranja. Ali razlika u performansama je dramatična – od modela koji ne može riješiti jednostavne matematičke zadatke do modela koji konkurira PhD studentima.

Praktične implikacije

Reasoning modeli pokazuju značajno bolje performanse u:

Programiranju – razumijevanje kompleksnih codebase-ova, planiranje izmjena, full-stack razvoj
Matematici – rješavanje problema s više koraka, dokazivanje teorema
Znanosti – analiza eksperimentalnih podataka, formuliranje hipoteza
Složenoj analizi – multi-step reasoning, strategijsko planiranje

Budućnost

Trend je jasan: reasoning sposobnosti će se nastaviti poboljšavati, a cijena će padati. Što je bilo dostupno samo kroz najskuplje API-je prije godinu dana, sada je dostupno kao open-source.

Sljedeća granica vjerojatno uključuje:

Još dulje lance razmišljanja (stotine tisuća tokena)
Multimodalno rezoniranje (razmišljanje kroz slike, video, kod istovremeno)
Kolaborativno rezoniranje (više modela koji zajedno razmišljaju)
Interaktivno rezoniranje (model koji postavlja pitanja tijekom razmišljanja)

Od jednostavnoga promptinga “razmislimo korak po korak” do modela koji autonomno razmišljaju kroz kompleksne probleme – put je bio brz i fascinantan. A prema svemu sudeći, još smo na početku ove evolucije.