În episodul trecut am demontat bucla ReAct și am înțeles cum o schemă goală JSON devine „mufa” prin care un model din Cloud comunică cu lumea reală. Acum coborâm în mecanismul din spatele raționamentului: Chain of Thought (CoT). Vedem cum modelul poate genera pași intermediari de raționament, ca pe o „ciornă digitală”, înainte de a-ți livra răspunsul final.

„Un agent care are doar brațe executive (ReAct), dar nu știe să își planifice pașii, este doar un automat impulsiv. Astăzi deschidem ușa către monologul intern al unui LLM și înțelegem de ce AI-ul are nevoie să ‘gândească’ pe o foaie de hârtie digitală înainte de a acționa.”

Bun venit la al treilea capitol al călătoriei noastre. Până acum am înțeles scheletul și mufele de comunicare. Însă, dacă vrei să treci de la un chatbot care „ghicește” cuvinte la un sistem care rezolvă probleme complexe, trebuie să înțelegi cum am învățat modelele să nu mai dea răspunsuri la prima mână.

Secretul saltului uriaș de inteligență din prezent nu stă în magie, ci într-un concept foarte pământean: Inference-time compute. Mai pe românește, oferim modelului timp și spațiu pentru a-și construi raționamentul pe o ciornă internă înainte de a ne livra răspunsul final.

🔹Nevoia de ciornă: De ce LLM-urile nu pot calcula totul instantaneu

Un model de limbaj este, la bază, un predictor probabilistic de tokeni. El citește un text și calculează care este următorul token cel mai probabil. Dacă îi ceri să rezolve o problemă complicată de logică direct, într-o singură trecere, are toate șansele să dea greș.

Gândește-te la o analogie simplă: dacă te pun să înmulțești în minte 4739 x 842 și îți cer rezultatul instant, vei eșua. Creierul tău nu are destulă memorie de lucru pentru a procesa toate cifrele simultan. Dar dacă îți dau o foaie de hârtie, începi să scrii pașii intermediari.

Foaia de hârtie nu e doar stocare; ea devine o extensie a procesului tău de gândire. Citești ce ai scris la Pasul 1 ca să poți deduce Pasul 2. Într-un mod asemănător, Chain of Thought (Lanț de Gândire) îi permite unui LLM să genereze pași intermediari de raționament și să îi folosească drept context pentru pașii următori. Când modelul își construiește astfel raționamentul, îi oferim, conceptual, o ciornă digitală. În loc să sară direct la concluzie, poate folosi pașii intermediari pentru a ajunge la răspunsul final.

🔹Monologul Intern: Visible vs. Hidden (Zidul de Securitate)

La început, Chain of Thought a devenit cunoscut mai ales ca o tehnică de „prompt engineering” (faimosul „Let’s think step by step”). Modelul genera explicit pașii intermediari ai raționamentului, iar aceștia puteau apărea direct în răspuns. Astăzi, modelele noi de raționament pot folosi un Monolog Intern Ascuns, în care o parte din procesul de raționament nu mai este afișată utilizatorului.

Interfața îți poate arăta o animație de tipul “Thinking…”, în timp ce, în spate, modelul poate genera un număr mare de tokeni de raționament înainte de a formula răspunsul final. De ce ar vrea companiile din Silicon Valley să păstreze această ciornă în spatele cortinei?

  • 1. Prevenirea Distilării: Dacă ciorna ar fi publică în întregime, lanțurile de raționament ar putea fi colectate la scară mare și folosite pentru antrenarea sau distilarea altor modele. Păstrarea lor ascunse protejează astfel o parte din avantajul tehnologic al modelului.
  • 2. Siguranța și Controlul: Raționamentul intern poate conține ipoteze intermediare, încercări nereușite sau formulări care nu reprezintă răspunsul final. Separarea acestui proces de răspunsul prezentat utilizatorului permite sistemului să aplice filtre și politici de siguranță înainte ca informația finală să fie livrată.

🔹Factura și Contextul: Reasoning Tokens

Această „gândire profundă” are un preț. Când folosești un model cu capabilități de raționament, chiar dacă răspunsul final are doar două propoziții, modelul poate consuma sute sau mii de tokeni pentru procesul intermediar de raționament. Aceștia sunt numiți Reasoning Tokens.

Sunt tokeni generați și procesați de model în Cloud, care consumă putere de calcul, dar care nu sunt afișați în răspunsul final. Cu alte cuvinte, factura nu se calculează neapărat după cât de lung este textul pe care îl vezi tu. O întrebare care primește un răspuns de două propoziții poate necesita un proces intern mult mai lung.

Aici apare și diferența importantă față de fereastra de context. Reasoning Tokens consumă resurse și buget de calcul în timpul procesării, însă nu trebuie confundat acest consum cu păstrarea permanentă a acelor tokeni în istoricul conversației. Modul exact în care sunt contabilizați și cum interacționează cu limita de context depinde de model și de API-ul folosit.

🧠 Fuziunea: Când Chain of Thought întâlnește Bucla ReActAcum avem imaginea completă: Chain of Thought este „ciorna internă” a modelului, iar ReAct este „mâna executivă”. Împreună, ele transformă un simplu model probabilistic într-un strateg capabil să își verifice și să își ajusteze pașii:

  • Thought (CoT): AI-ul își construiește raționamentul pe ciorna internă: „Trebuie să aflu stocul piesei. Voi apela unealta de bază de date, dar dacă rezultatul e zero, voi căuta o alternativă compatibilă.”
  • Action (ReAct): Modelul generează apelul structurat către unealtă, sub forma ordinului JSON, iar aplicația locală îl execută.
  • Observation: Agentul tău (scriptul local) rulează interogarea pe serverul tău, culege rezultatul rigid (ex: stoc 0) și îl împachetează într-un câmp JSON pe care îl trimite înapoi către Cloud.
  • Thought (CoT): LLM-ul primește noul JSON și își continuă raționamentul: „Datele de pe server arată stoc zero. Conform planului meu, trebuie să rulez acum unealta pentru piese alternative.”

💡 Concluzia: Chain of Thought contribuie la strategie și raționament în Cloud, iar ReAct organizează acțiunea, observația și revenirea în buclă până când agentul poate formula răspunsul final.

🛠️ Ce urmează în Episodul 4?Am demontat creierul fuzzy, schemele JSON, bucla ReAct și monologul intern. Teoria este gata. Dar cum punem totul în practică fără să cheltuim bani pe servere sau abonamente scumpe?

În episodul următor, trecem la fapte. Vom găsi un spațiu de lucru complet gratuit pe internet (numit Google Colab) unde putem rula codul de aplicație în Python direct din browser, fără să instalăm nimic pe calculator. Vom folosi o cheie API gratuită de la Google ca să ne conectăm la modelul AI și vom vedea cum tot acest raționament abstract devine realitate, pas cu pas, complet gratuit. Pregătește-te, lăsăm conceptele și trecem la execuție!

Infrastructura ta cognitivă este complet configurată. Să trecem la fapte!

Stay Free! Stay Hidden! Stay Autonomous!

⚙️ Appendix: Micro-Curs de Inginerie AI (Clarificări Tehnice)

  • Chain of Thought (CoT): Tehnica prin care un model generează pași intermediari de raționament pentru a rezolva probleme complexe.
  • Reasoning Tokens: Tokenii generați și procesați în timpul raționamentului intern al anumitor modele. Ei consumă resurse de calcul și, în funcție de model și API, pot fi contabilizați separat sau ca parte a tokenilor de output, fără a fi afișați utilizatorului final.
  • Inference-time Compute: Puterea de calcul consumată în momentul în care AI-ul „deliberează” înainte de a oferi un răspuns. Spre deosebire de antrenare, aici modelul își folosește resursele pentru a rezolva problema concretă din fața lui.
  • Ce este un Token: Nu este neapărat un cuvânt, ci o unitate de procesare. Modelele AI descompun textul în bucăți. Un cuvânt comun poate fi un singur token, în timp ce un termen tehnic complex poate fi spart în mai multe bucăți.
  • Tokeni în Chat vs. API (Agentul Local): În interfața de chat plătești de obicei un abonament fix. În API, costul este de regulă calculat în funcție de numărul de tokeni procesați:
    • Input Tokens: Tot ce trimite Agentul Local către model (cererea + instrucțiunile + schema JSON și, după caz, istoricul conversației).
    • Output Tokens: Tokenii generați de model pentru răspuns. La modelele de reasoning, aceștia pot include și tokeni de raționament, în funcție de modul în care furnizorul îi contabilizează.
    • Facturarea: În API, costul poate include tokenii utilizați pentru raționamentul intern, chiar dacă aceștia nu apar în răspunsul afișat utilizatorului.
  • Diferența de Tokenizare: Fiecare model are propriul „dicționar” (tokenizer). Aceasta înseamnă că modul în care același text este „mărunțit” în tokeni poate diferi de la o tehnologie la alta. Alegerea modelului prin API nu este doar o chestiune de performanță, ci poate conta și pentru optimizarea costurilor.

💡 Analogia „Decibelului” (Scalarea Informației):

Poți privi tokenii ca pe o scală a volumului de informație procesată. Ingineria AI înseamnă să gestionezi acest „volum” cu precizie:

Pasul 1: Raportul Semnal-Zgomot (Semantica)

În acustică, decibelii sunt folosiți pentru a exprima niveluri de intensitate. Dacă ai prea mult „zgomot” de fundal, semnalul util se pierde. În AI, tokenii redundanți sau informația inutilă pot ocupa spațiu în fereastra de context și pot crește costul procesării, fără să aducă suficientă valoare informațională. Un text „dens” transmite mai multă informație utilă într-un număr mai mic de tokeni.

Pasul 2: Pragul de „Auz” (Limita de Context)

Sistemul auditiv uman are limite în ceea ce privește intensitatea sunetului pe care îl poate percepe fără distorsiuni. Modelele AI au o fereastră de context (de exemplu, 128k tokeni). Dacă informația care trebuie procesată depășește limita disponibilă, sistemul trebuie să reducă, să trunchieze sau să gestioneze contextul în alt mod. Rezultatul poate fi pierderea unor informații importante din conversație.

Pasul 3: Amplificarea (Costul)

Dacă vrei să transmiți un semnal pe distanță lungă, amplifici sunetul. În cazul unui model de reasoning, poți aloca mai multe resurse de calcul pentru rezolvarea unei probleme complexe. Acest lucru poate însemna mai mulți Reasoning Tokens și un timp mai mare de procesare. Aici este capcana: mai multă „gândire” înseamnă mai mult consum de resurse și nu garantează automat o decizie mai bună.