Ce se vede înăuntru

Sarcina și întrebarea

Modelul interactiv din această pagină primește două numere de câte două cifre și o operație matematică, generând cifrele rezultatului. Între datele de intrare și răspunsul final se află două straturi neuronale ascunse, fiecare compus din 72 de neuroni. Când rețeaua procesează un calcul, valorile numerice instantanee care trec prin aceste unități se numesc activări.

Aceste activări sunt doar 72 de numere zecimale fără nicio etichetă descriptivă. Întrebarea fascinantă este: oare rețeaua a descoperit de la sine concepte logice umane — cum ar fi „transportul de la unități la zeci” (trecerea peste ordin) sau valoarea zecilor din rezultat? Pentru a afla, cercetătorii introduc o sondă (probe): un mic detector extern, complet separat de model, antrenat să ghicească conceptul căutat analizând exclusiv activările interne, fără a atinge sau modifica modelul.

Sonda pe care o folosim este deliberat minimalistă (o sondă liniară). Ea nu are capacitatea de a face raționamente complicate pe cont propriu; poate doar să înmulțească fiecare dintre cele 72 de numere cu o pondere și să le adune. Dacă un detector atât de simplu reușește să ghicească perfect conceptul, concluzia este fără echivoc: informația era deja organizată limpede chiar în măruntaiele rețelei!

Ce se citește din activări

Priviți tabelul interactiv: coloanele din mijloc reprezintă grupul de control — martorul științific indispensabil, fără de care cifrele nu ar avea nicio valoare. Prima coloană martor măsoară ce se poate citi direct din numerele brute de la intrare; a doua coloană arată ce găsește sonda într-o rețea identică, dar complet neantrenată, lăsată cu valori la întâmplare.

Prezența martorilor ne permite să distingem trei situații fundamentale. Când toate valorile sunt mari, conceptul era deja evident în datele brute de intrare, deci sonda nu demonstrează nicio pricepere a rețelei. Când ultima coloană (modelul antrenat) depășește spectaculos ambii martori, avem dovada că modelul a calculat intern o abstractizare nouă, absentă la intrare. Iar când scorul final coboară sub martori, înseamnă că rețeaua a renunțat la acel detaliu pentru a se concentra pe alte priorități.

O scădere a scorului nu înseamnă neapărat că informația a dispărut fără urmă; înseamnă doar că ea nu mai stă întinsă la suprafață într-o formă liniară simplă. Orice sondă măsoară lumea printr-o pereche anume de ochelari.

O unitate sau o direcție

Dacă un concept se află cu siguranță în rețea, unde anume locuiește el? Prima noastră intuiție naivă ar fi să căutăm „neuronul dedicat” — o singură unitate biologică sau artificială care să se aprindă ca un bec ori de câte ori apare acel concept (faimoasa teorie a „neuronului bunicii”).

Graficul de mai sus demontează categoric această iluzie. Pentru conceptele pe care rețeaua le calculează activ, niciun neuron individual nu se apropie de precizia întregului strat. Conceptul nu locuiește într-o celulă izolată, ci într-o direcție distribuită — o armonie colectivă, un tipar fin în care zeci de unități vibrează împreună cu intensități și semne diferite.

Această descoperire explică fenomenul de superpoziție: un spațiu cu 72 de dimensiuni poate găzdui simultan mii de concepte diferite sub formă de direcții cvasi-ortogonale, care se întrepătrund armonios fără a se distruge reciproc. Iată de ce căutarea unui neuron unic pentru fiecare noțiune este o fundătură, în timp ce căutarea direcțiilor vectoriale aduce la lumină adevărata geometrie a gândirii artificiale.

Citit nu înseamnă folosit

Atenție însă la o capcană logică: faptul că o sondă poate citi o trăsătură nu înseamnă automat că modelul o și folosește pentru a lua decizii! Ar putea fi o simplă coincidență, o umbră pasivă sau un deșeu de calcul fără relevanță.

Pentru a trece de la corelație la cauzalitate, este nevoie de o intervenție chirurgicală (ablation). Luăm direcția geometrică identificată de sondă și o eliminăm pur și simplu din activările interne — „anesteziem” acea componentă fără a atinge restul rețelei —, apoi măsurăm impactul asupra rezolvării sarcinii.

Priviți rândul de control cu direcția aleatorie: orice intervenție brută produce o mică perturbare, dar marea întrebare este dacă direcția vizată provoacă o cădere semnificativ mai severă. Dacă eliminarea direcției prăbușește precizia modelului, avem certitudinea că modelul se bizuia activ pe ea. Dacă impactul este identic cu cel al unei perturbări la întâmplare, înseamnă că trăsătura era doar scrisă pasiv, fără a avea vreun rol funcțional.

Exact aceasta este metodologia de vârf folosită astăzi pentru a sonda modelele lingvistice de frontieră: identificarea direcțiilor cu sens, validarea riguroasă pe eșantioane martor și intervenția activă (ștergere sau amplificare) pentru a ghida comportamentul rețelei din interior.

Cât de departe se poate merge

Principiul demonstrat aici pe un model didactic de 72 de unități este aplicat direct marilor sisteme lingvistice cu sute de miliarde de parametri, însă la o scară amețitoare.

La acea scară, cercetătorii nu pot ghici dinainte manual toate milioanele de concepte posibile. Se folosesc rețele ajutătoare speciale (auto-codificatoare rare / sparse autoencoders) care descompun automat activitățile interne într-un dicționar gigantic de direcții curate. În aceste hărți au fost descoperite direcții fascinante: reprezentări neuronale pentru Turnul Eiffel, pentru concepte științifice avansate, pentru tonul glumeț sau chiar pentru intenția de a induce în eroare.

Ceea ce rămâne neschimbat și peren este rigoarea metodei științifice: o citire fidelă prin sonde, un martor de control și o intervenție cauzală directă. Fără martor, riscăm să ne amăgim singuri; fără intervenție, nu putem ști dacă ceea ce vedem contează cu adevărat. Este modul prin care deslușim orice mister pe care nu îl putem întreba direct în cuvinte.

Cu această privire în interior se încheie călătoria noastră prin mecanismele fundamentale ale inteligenței artificiale moderne. În ultima parte a cursului, nu vom mai adăuga piese noi de puzzle. Vom folosi tot ce am învățat pentru a medita la trei mari întrebări filosofice și practice: oare o mașină care doar prezice cuvinte își construiește un model profund al lumii? ce înseamnă cu adevărat ca un algoritm să fie „inteligent”? și ce riscuri nebănuite apar atunci când o societate întreagă își optimizează scopurile după indicatori artificiali?