Atenția

Privirea directă: de ce nu mai facem rezumate

Lecția precedentă ne-a lăsat în fața a două obstacole majore. În primul rând, aveam nevoie ca o informație aflată la începutul textului să ajungă intactă la final, fără a fi strivită într-un rezumat intermediar care se umple rapid. În al doilea rând, voiam să scăpăm de calculul pas cu pas, pentru ca procesarea cuvintelor să poată rula simultan pe miile de nuclee ale cipurilor grafice.

Ambele dileme se rezolvă spectaculos printr-o singură idee îndrăzneață: dacă o poziție din frază are nevoie de lămuriri, îi dăm voie să privească direct către cuvintele care dețin acele lămuriri! Nu mai purtăm carnețele de notițe și nu mai așteptăm la coadă. Dar cum poate o rețea să știe spre ce cuvinte anume să-și îndrepte atenția, dacă nimeni nu i-a lăsat instrucțiuni scrise de mână?

Dialogul din sală: Întrebare, Etichetă și Conținut

Pentru a stabili cine cu cine stă de vorbă, fiecare cuvânt primește trei roluri distincte (trei vectori derivați prin învățare):

Interogarea (sau Query) reprezintă întrebarea pe care o lansează cuvântul curent: un vector care specifică exact ce piesă de puzzle îi lipsește. Cheia (sau Key) este ecusonul pe care fiecare cuvânt îl poartă la vedere: o descriere a tipului de cunoaștere pe care îl poate oferi. Valoarea (sau Value) este conținutul informațional propriu-zis pe care cuvântul îl livrează dacă a fost ales.

Potrivirea dintre o întrebare și un ecuson se calculează printr-o operație simplă: produsul scalar. Cu cât cei doi vectori arată mai aliniați în aceeași direcție pe harta semantică, cu atât potrivirea este mai puternică. Scorurile rezultate sunt transformate în ponderi procentuale a căror sumă dă 100%. Rezultatul final este un amestec armonios din valorile oferite de celelalte cuvinte, fiecare cântărită proporțional cu interesul stârnit.

Imaginați-vă o sală mare și plină de lume unde cineva strigă: „Cine are o trusă medicală?”. Toți cei din încăpere își verifică ecusonul; cei care nu se pricep tac mâlc, iar persoanele calificate răspund și își oferă ajutorul. Nimeni nu a dictat dinainte cine va interveni: dialogul se leagă dinamic și instantaneu pe baza potrivirii dintre cerere și ofertă.

Atenția la lucru: un fascicul călăuzitor

În panoul de mai jos puteți urmări un mecanism de atenție instruit în direct pe sarcina memoriei: secvența începe cu un simbol („A” sau „B”), continuă cu o zonă neutră de umplutură, iar la final i se cere să identifice primul caracter. Puteți citi concret potrivirile dintre interogarea ultimului pas și cheile tuturor pozițiilor anterioare.

Observați cum reflectorul atenției luminează cu maximă intensitate poziția zero, unde se află simbolul căutat, ignorând complet caracterele sterile de la mijloc. Nimeni nu i-a programat această căutare: rețeaua a descoperit singură prin antrenament că aceasta este singura strategie care rezolvă cu succes problema.

Observați și o asimetrie curioasă: pentru secvențele care debutează cu „A”, poziția inițială captează peste nouăzeci la sută din privire. Pentru cele cu „B”, atenția este mai dispersată, deoarece absența indiciilor pentru „A” este un indiciu suficient pentru deducerea lui „B”. În rețelele neuronale nu există o cerință de simetrie abstractă; modelele adoptă orice scurtătură matematică eficientă care le asigură victoria.

Testul comparativ: memoria care nu se mai stinge

Să supunem mecanismul de atenție aceluiași test dur la care rețeaua recurentă a cedat după doar cincisprezece pași. Rulăm antrenamentul pe lungimi crescătoare și măsurăm precizia pe șiruri complet noi.

Rezultatul este categoric: atenția rămâne imbatabilă și nu dă niciun semn de oboseală odată cu distanța! Pentru ea, noțiunea de depărtare fizică nu există: poziția 1 și poziția 100 se află la exact același efort de calcul — o singură comparație directă între întrebare și cheie.

Puntea directă: de ce nu mai moare semnalul

În rețelele recurente, semnalul de corectare a erorilor trebuia să traverseze un șir nesfârșit de înmulțiri succesive până se tocea de tot.

În mecanismul de atenție, drumul are o singură treaptă. Ieșirea finală este legată printr-o punte directă de poziția inițială, factorul de legătură fiind chiar coeficientul de atenție. Semnalul de gradient curge nestingherit pe această pasarelă fără să fie strivit, ajungând curat și puternic la destinație. Lanțul fragil de telefonul fără fir a fost înlocuit cu o linie telefonică directă.

Marea deblocare: totul calculat simultan

Al doilea triumf al atenției nu ține de teorie, ci de ingineria pură a cipurilor — și el a schimbat soarta întregii industrii.

Calculul legăturii dintre cuvântul 3 și cuvântul 20 nu mai depinde de etapele intermediare: el poate fi efectuat în exact aceeași milisecundă cu toate celelalte perechi posibile. Toate întrebările și toate cheile întregii fraze sunt grupate în două matrici uriașe, iar potrivirile se află printr-o singură înmulțire matricială masivă — exact operațiunea pentru care au fost proiectate plăcile video moderne.

Aici s-a produs marea explozie a inteligenței artificiale. Atenția a învins nu neapărat pentru că ar fi un model mai filozofic decât recurența, ci fiindcă a putut fi instruită pe supercalculatoare de mii de ori mai rapide. În tehnologie, adesea nu triumfă ideea cea mai complicată, ci aceea care se pretează cel mai bine la paralelizare pe scară uriașă.

Priviri multiple: atenția cu mai multe capete

Un singur fascicul de atenție poate urmări o singură legătură la un moment dat. Într-o frază umană se petrec însă nenumărate fenomene simultane: trebuie să urmărim acordul subiectului cu verbul, să deslușim la cine se referă un pronume și să sesizăm complementul direct.

Soluția arhitecturală este simplă: antrenăm mai multe mecanisme de atenție în paralel, numite capete de atenție (attention heads). Fiecare cap deține propriile matrici de întrebări, chei și valori. Fără vreo directivă impusă din exterior, capetele se specializează spontan prin diviziunea muncii: unul urmărește relațiile sintactice, altul legăturile temporale, iar un altul acordul de gen.

Un singur strat de atenție are totuși o limită logică: el poate localiza un cuvânt după ecusonul său, dar nu poate extrage direct ceea ce se află imediat după acel cuvânt. Pentru a realiza raționamente compuse, este nevoie să așezăm mai multe asemenea straturi unul peste altul — pasul decisiv spre arhitectura Transformer din lecția următoare.

Prețul libertății: costul pătratic

Nimic nu vine pe gratis în inginerie. Pentru ca fiecare cuvânt să poată privi spre absolut toate celelalte cuvinte dintr-o frază de lungime N, rețeaua trebuie să evalueze o grilă de N înmulțit cu N conexiuni. Acest efort crește cu pătratul lungimii textului: dacă dublăm numărul de cuvinte, numărul de calcule se multiplică de patru ori!

Mai există un amănunt esențial: atenția este un extraordinar sistem de dirijare și rutare, dar ea doar mută informația dintr-un loc în altul fără a o transforma profund. Un creier are nevoie nu doar să adune indicii, ci și să le digere și să tragă concluzii. În lecția următoare, vom asambla atenția alături de un bloc dens de procesare neuronală, dând naștere celebrei cărămizi Transformer.