Modelul lumii

Umbra și lucrul real

Tot ce a primit vreodată un model de limbaj este text: șiruri lungi de cuvinte așezate unele după altele. Dar textul nu este lumea însăși. El este doar o proiecție a ei, o „umbră” lăsată pe hârtie sau pe ecran de oameni care au trăit experiențe, au observat fapte și au ales ce merită povestit. Asemenea umbrelor de pe peretele unei peșteri, textul pierde o mare parte din culorile, distanțele și profunzimea realității fizice.

În lecțiile despre limbaj am văzut că, pentru a prezice cu succes următorul cuvânt dintr-o frază, modelul trebuie să stăpânească o mulțime de lucruri: acorduri gramaticale, noțiuni de bun-simț, relații de cauză-efect și fire narative. De aici se naște o ipoteză fascinantă: oare cel mai eficient mod prin care o mașină poate prezice umbra nu este chiar reconstituirea, măcar parțială, a obiectului care o proiectează? Un model care ține o evidență internă a obiectelor și a relațiilor din spațiu va face predicții mult mai bune decât unul care încearcă doar să memoreze statistic ce cuvinte s-au succedat în cărți.

Această ipoteză nu trebuie crezută pe cuvânt — ea poate fi verificată experimental. În această lecție vom construi o mică lume în miniatură, suficient de simplă și transparentă încât să putem privi direct în memoria internă a mașinii pentru a vedea dacă și-a desenat o hartă a realității.

O lume văzută numai prin urmele ei

Lumea noastră de test este o tablă de șah simplificată, de 4×4 căsuțe. Pe ea așezăm un pion care pornește din colțul stânga-sus și face câte 10 pași la rând. La fiecare pas, pionul alege la întâmplare, cu șanse egale, una dintre direcțiile cardinale (Nord, Est, Sud, Vest), având o singură restricție de bun-simț: nu are voie să sară peste marginile tablei.

Modelul nostru artificial nu vede deloc tabla de joc și nici coordonatele căsuțelor. El primește doar șirul mutărilor, ca o poveste formată din patru cuvinte („Est, Sud, Est, Nord…”), având o singură sarcină: să ghicească mutarea următoare. Rețeaua este una recurentă, care își actualizează la fiecare pas o memorie internă formată din 24 de numere (starea ascunsă).

Sarcina ascunde o cerință logică strictă: pentru a face predicții corecte, modelul trebuie să acorde probabilitate zero mutărilor care ar scoate pionul în afara tablei. Însă pentru a ști care mutări sunt interzise, mașina trebuie să știe pe ce căsuță se află pionul în acel moment. Poziția nu îi este dezvăluită niciodată direct; ea nu poate fi decât dedusă și reconstituită pas cu pas din istoricul pașilor de până atunci.

Barele din dreapta ilustrează distribuția de probabilități a modelului pentru mutarea următoare. Barele roșii marchează direcțiile care ar scoate pionul de pe tablă. Observați cum, după antrenare, aceste mutări interzise primesc aproape 0% șanse, indiferent unde a ajuns pionul și oricât de întortocheat a fost traseul. Deși nu i-am arătat niciodată tabla, modelul se comportă ca și cum ar ști exact unde se află în spațiu.

Se citește poziția din memoria internă?

Faptul că modelul „se comportă ca și cum ar ști” nu este o dovadă suficientă. Vrem să știm sigur dacă poziția pionului este efectiv înscrisă în cele 24 de numere ale memoriei sale interne. Pentru a afla, folosim o sondă — un clasificator separat, asemenea unui stetoscop medical, antrenat să citească starea internă a rețelei (fără a o modifica) și să ghicească pe care dintre cele 16 căsuțe se află pionul.

Pentru a valida riguros rezultatul, comparăm sonda cu doi martori de control: 1. Martorul superficial: cât de bine am putea ghici poziția doar privind ultima mutare și numărul pasului (informația vizibilă direct la suprafață). 2. Rețeaua neantrenată: aceeași arhitectură cu ponderi aleatorii, pentru a verifica dacă nu cumva orice amestec mecanic de numere păstrează o urmă reziduală a pașilor.

Rezultatul este categoric: din memoria rețelei antrenate, sonda citește căsuța exactă cu o precizie uriașă, depășind detașat ambii martori de control. Nimeni nu i-a cerut vreodată rețelei să memoreze poziția pionului. I s-a cerut doar să prezică cuvinte, iar reprezentarea spațială a căsuței a apărut spontan în memorie pentru că era cea mai scurtă și sigură cale către o predicție de succes.

Folosește modelul această reprezentare?

Faptul că o informație poate fi citită dintr-o rețea nu garantează încă faptul că rețeaua se și bazează pe ea. Poziția pionului ar fi putut sta în memorie doar ca un ecou pasiv, fără să influențeze deciziile reale ale modelului. Pentru a demonstra o legătură de cauzalitate directă, avem nevoie de o intervenție.

Procedura este curată și elegantă: luăm memoria internă a modelului la un moment oarecare și, urmărind direcția identificată de sondă, îi modificăm artificial numerele — „teleportând-o” mental pe o altă căsuță de pe tablă, una care are alte margini și alte mutări permise. Lăsăm tot restul neschimbat și îi cerem modelului predicția. Dacă modelul se sprijină cu adevărat pe poziția din memorie, mutările pe care le va considera permise ar trebui să devină instantaneu cele ale căsuței noi, nu ale celei unde se află pionul în realitate!

Ca martor de control, aplicăm o împingere de aceeași magnitudine, dar orientată într-o direcție complet aleatorie.

Când modificăm starea către căsuța țintă, predicția o urmează fidel: modelul consideră permise mutările specifice noii căsuțe, ignorând unde este pionul în realitate. În schimb, împingerea aleatorie doar zăpăcește rețeaua fără să o orienteze nicăieri. Acest lucru demonstrează fără dubiu că poziția internă nu este un simplu efect secundar: ea este reperul activ de care se folosește modelul pentru a decide.

Aceasta este esența a ceea ce numim un model al lumii: o proprietate a realității exterioare, dedusă exclusiv din urme textuale, înscrisă coerent în memoria internă a sistemului și folosită activ în generarea răspunsurilor.

Ce ne spune și ce nu ne spune acest experiment

Lumea noastră în miniatură a avut doar 16 căsuțe, iar modelul a avut la dispoziție 24 de numere pentru a le ține minte. Un model mare de limbaj se confruntă cu o lume nemărginită, are la dispoziție miliarde de parametri, iar textele umane sunt infinit mai nuanțate decât un șir mecanic de mutări cardinale. Ceea ce am demonstrat aici este că mecanismul funcționează: o rețea neurală are capacitatea de a sintetiza geometria și regulile lumii pornind doar de la cuvinte.

Experimente similare realizate pe modele de frontieră — testate pe jocuri de șah, hărți ale orașelor sau logica de execuție a unor programe software — au confirmat că sondele găsesc într-adevăr hărți interne coerente, iar intervențiile dovedesc că mașinile se folosesc de ele.

Totuși, este esențial să înțelegem limita acestei constatări. Un model intern al lumii nu înseamnă o ancorare directă în realitate. Poziția pionului a fost dedusă din text și rămâne captivă în text: dacă i-am fi trimis modelului un șir de mutări imaginare dintr-o lume absurdă, ar fi construit la fel de docil o hartă pentru acea ficțiune. Fenomenul confabulării (sau „halucinației”) rămâne o realitate, deoarece mașina nu are simțuri fizice pentru a verifica direct lumea.

Ceea ce câștigăm însă este o schimbare profundă de perspectivă asupra întrebării „ce știe o mașină”: nu doar dacă memorează asocieri de cuvinte, ci dacă reușește să își construiască reprezentări structurate ale realității din care să extragă raționamente utile.

În lecția următoare explorăm ce înseamnă ca o astfel de mașină să devină „mai deșteaptă” și de ce progresul ei este adesea mult mai continuu decât pare pe hârtie.