Blocul transformer

Banda transportoare: dosarul care circulă nestingherit

În modelele vechi, fiecare strat distrugea reprezentarea anterioară pentru a o înlocui cu una nouă. Arhitectura Transformer schimbă radical această logică. Fiecare cuvânt pornește la drum ca un vector bogat de coordonate, iar acest vector călătorește de la intrare până la ieșire de-a lungul unei autostrăzi neîntrerupte numite flux rezidual.

Cea mai intuitivă analogie este cea a unui dosar de lucru care circulă printr-o serie de birouri specializate: fiecare birou citește dosarul, adaugă o filă nouă cu observații utile sau o ștampilă și îl trimite mai departe pe bandă, dar niciun birou nu aruncă dosarul la coș! Ceea ce a descoperit atenția în primul etaj rămâne conservat și poate fi consultat intact și la al patruzecilea etaj.

Fiecare bloc Transformer are două mari ateliere care citesc de pe această bandă și adaugă rezultatele înapoi pe ea: primul este mecanismul de atenție (care face schimb de idei între cuvinte diferite), iar al doilea este o mică fabrică de gândire individuală pentru fiecare cuvânt în parte.

Atelierul de gândire: rețeaua densă a fiecărui cuvânt

După ce atenția a strâns indiciile de la vecini, intră în acțiune al doilea motor al blocului: rețeaua de pe fiecare poziție (cunoscută ca rețea feed-forward sau MLP). Ea funcționează ca un birou de reflecție individual: ia vectorul îmbogățit al unui cuvânt, îl proiectează într-un spațiu intern de patru ori mai larg unde combină nuanțele, aplică o funcție neliniară de activare și îl aduce înapoi la dimensiunea standard.

Două trăsături o disting esențial de mecanismul de atenție. În primul rând, ea acționează complet independent la fiecare poziție: cuvântul de pe poziția 3 este procesat în propria lui căsuță fără să tragă cu ochiul la vecini. În al doilea rând, folosește exact aceeași formulă de calcul pentru toate cuvintele, asigurând o consecvență perfectă în tot textul.

Această împărțire a muncii explică și consumul de resurse: atenția compară fiecare cuvânt cu toți ceilalți (cost pătratic), în timp ce rețeaua densă se aplică o singură dată pe fiecare cuvânt (cost liniar). În textele lungi, atenția solicită cel mai mult calculatorul; în schimb, rețeaua densă este cea care stochează două treimi din memoria permanentă și faptele brute învățate de model.

Atenția mută piesele pe tablă, dar rețeaua densă este cea care deține cea mai mare parte din parametrii modelului. Este ca o bibliotecă de cunoștințe enciclopedice stocate direct în ponderi, consultată la fiecare pas.

Banda de ocolire: salvarea semnalului

O regulă de aur a blocului Transformer este că niciun modul nu rescrie vectorul de la zero. Fiecare modul generează doar o adăugire fină (o mică ajustare numerică), care se adună pur și simplu peste conținutul inițial al benzii. Traseul direct care permite vectorului să ocolească transformările și să ajungă intact la ieșire poartă numele de conexiune de ocolire (sau skip connection).

Această găselniță aduce o relaxare imensă procesului de învățare. Dacă un anumit etaj nu are nimic nou de adăugat într-o propoziție simplă, neuronii săi trebuie doar să producă zero, iar informația continuă nestingherită. Fără această pasarelă de ocolire, stratul ar fi fost silit să învețe cu greu cum să copieze fidel fiecare bit de informație fără să-l altereze.

Mai mult, ocolirea rezolvă definitiv problema estompării semnalului la antrenament. Când eroarea se propagă înapoi, ea dispune de o bandă de mare viteză pe care nu există nicio înmulțire repetată. Chiar dacă stivuim cincizeci sau o sută de etaje, semnalul de corectare a erorilor ajunge curat și nealterat până la primele cuvinte.

Amortizorul de vibrații: normalizarea pe strat

Deoarece fiecare etaj adaugă noi valori numerice pe banda transportoare, există riscul ca numerele să crească nestăvilit spre mărimi gigantice. Dacă un strat primește la intrare valori de sute de ori mai mari decât cele pentru care a fost calibrate, calculele matematice devin instabile și o iau razna.

Aici intervine mecanismul de normalizare pe strat (Layer Normalization). La fiecare pas, înainte ca datele să intre în calcule, vectorul este calibrat: i se aduce media la zero și se împarte la variația sa internă, apoi este ajustat fin printr-o scalare învățată. Astfel, valorile sunt readuse într-un interval temperat și previzibil, indiferent de câte straturi s-au acumulat sub ele.

Un detaliu arhitectural esențial: normalizarea se aplică pe ceea ce intră în atelier, nu pe banda transportoare însăși! Autostrada principală rămâne liberă să crească și să acumuleze nuanțe de la toate etajele, dar fiecare specialist primește o copie frumos calibrată înainte de a se apuca de lucru.

Anatomia blocului complet: pas cu pas

Toate aceste piese formează o coregrafie armonioasă, repetată de două ori în interiorul fiecărui bloc: întâi normalizăm și aplicăm atenția, adunând rezultatul pe bandă; apoi normalizăm și aplicăm rețeaua densă, adunând din nou pe bandă.

În animația didactică de mai sus, valorile numerice sunt generate pentru a ilustra ordinea operațiunilor și stabilitatea mărimilor pe parcursul etapelor de normalizare și adunare.

Stivuirea pe înălțime: etajele gândirii profunde

O singură cărămidă Transformer este puternică, dar adevărata magie apare când construim un zgârie-nori. Al doilea bloc citește banda lăsată de primul și adaugă reflecțiile sale; al treilea continuă de unde a rămas al doilea. Modelele compacte au 12 etaje, în timp ce giganții din prezent stivuiesc între 40 și 100 de blocuri identice ca structură.

Această adâncime nu este o simplă lăcomie inginerească. Anumite raționamente lingvistice necesită mai mulți pași de deducție logică. De exemplu, un prim etaj de atenție poate identifica legătura dintre un pronume și un nume propriu; etajul următor poate extrage acțiunea asociată acelui nume dintr-o altă propoziție. Fiecare etaj stivuit reprezintă o rundă suplimentară de gândire și abstractizare înainte de a da răspunsul final.

Mecanica fină care ține turnul în picioare

La prima vedere, conexiunile de ocolire și normalizarea par simple detalii tehnice de instalație. În realitate, ele fac diferența dintre o rețea care funcționează strălucit și una complet nefuncțională. În tabelul interactiv de mai jos puteți testa comportamentul semnalului de învățare pe măsură ce adăugăm etaje.

Fără conexiuni de ocolire, semnalul de gradient se prăbușește exponențial: după treizeci de etaje, el devine o fracțiune microscopică ce nu se mai poate deosebi de zero. Cu conexiuni de ocolire și normalizare riguroasă, semnalul ajunge la fel de viguros la primul strat ca și cum ar fi trecut printr-un singur etaj!

Aceste componente invizibile nu măresc neapărat inteligența teoretică a formulelor, ci fac rețeaua antrenabilă în realitate. Este o distincție filozofică fundamentală în informatică: una este ceea ce o formulă poate reprezenta pe o tablă de matematică, și cu totul altceva ceea ce un algoritm poate învăța stabil în practică.

Cât de mare este modelul: formula 12·d²

Dimensiunea totală a unui bloc Transformer se calculează uimitor de simplu, sprijinindu-se pe o singură măsură de bază: lățimea vectorului de trăsături, notată în literatură cu d.

Mecanismul de atenție folosește patru matrici pătrate (pentru interogări, chei, valori și combinarea ieșirilor), ceea ce înseamnă 4d² parametri. Rețeaua densă de procesare conține o matrice de expandare de la d la 4d și una de revenire, însumând 8d² parametri. Adunând cele două ateliere, fiecare bloc conține exact 12d² parametri! Dacă înmulțim această valoare cu numărul de etaje stivuite, obținem cu o acuratețe impresionantă dimensiunea oficială a marilor modele din presă (cum ar fi cele din familia GPT sau LLaMA).

Și totuși, acestei structuri aproape perfecte îi lipsește încă un simț elementar: ea nu cunoaște noțiunea de timp sau de succesiune! Mecanismul de atenție compară toate cuvintele dintr-o mișcare; dacă amestecăm ordinea cuvintelor dintr-o propoziție, atenția va produce exact aceleași scoruri, ca și cum ar privi o grămadă dezordonată de pietre, nu o secvență vie. În lecția următoare, vom afla cum i se insuflă modelului simțul orientării și ordinea cuvintelor.