Antrenarea la scară

Marea lectură: ce învață o mașină din bibliotecile lumii

Sarcina fundamentală care stă la baza marilor modele de limbaj este surprinzător de simplă: parcurgând un fragment de text, modelul trebuie să ghicească ce jeton urmează. Soluția corectă este deja scrisă negru pe alb chiar în fraza respectivă, la pasul imediat următor. Nu este nevoie ca oameni plătiți să pună etichete manuale pe fiecare cuvânt: tot ce s-a tipărit vreodată este, din oficiu, un caiet de exerciții gata de rezolvat. Această primă fază masivă poartă numele de preantrenare.

De aici provine scara gigantică a inteligenței artificiale contemporane. Omenirea a produs trilioane de cuvinte în cărți, articole, cod sursă și conversații. Întrebarea crucială nu mai este de unde adunăm exemple, ci cum se transformă comportamentul rețelei pe măsură ce este hrănită cu oceane de text.

Anatomia greșelii: cele trei componente ale erorii

Când testăm modelul pe texte proaspete pe care nu le-a mai văzut niciodată, greșeala sa totală (măsurată prin pierdere sau perplexitate) nu este un număr haotic, ci suma a trei surse distincte:

Prima este entropia sursei (sau eroarea ireductibilă): gradul firesc de mister al comunicării vii. Nici măcar un cititor omniscient nu ar putea ști cu siguranță absolută cum se va încheia o frază poetică sau ce decizie va lua autorul în rândul următor. Limba are o doză de libertate și joc care impune o barieră minimă de incertitudine, imposibil de coborât la zero.

A doua este golul de capacitate: neputința cauzată de dimensiunea rețelei. Un model mic, cu memorie redusă, pur și simplu nu are suficiente sinapse pentru a reține toate subtilitățile gramaticale sau faptele istorice ale lumii. Chiar dacă i-am pune la dispoziție o bibliotecă infinită, el se va plafona rapid din cauza propriei sale îngustimi structurale.

A treia este golul de estimare: ignoranța generată de lipsa de lectură. Modelul ar avea destui parametri pentru a pricepe o idee, dar nu a întâlnit suficiente exemple concrete pentru a-și calibra ponderile. Această eroare se dizolvă treptat pe măsură ce volumul de date crește.

Datele elimină golul de estimare, parametrii elimină golul de capacitate, iar entropia rămâne neatinsă ca o podea de netrecut. Dacă forțezi un singur aspect și le neglijezi pe celelalte, te lovești rapid de un zid: ai un motor supradimensionat care funcționează în gol sau o caroserie firavă copleșită de combustibil.

Experimentul de laborator: curbele de învățare

Putem observa acest fenomen cu precizie matematică pe un generator sintetic ale cărui secrete le cunoaștem pe de-a-ntregul. Sursa de mai jos emite simboluri conform unui set strict de reguli ce depind de ultimele trei caractere. Știind formula exactă a sursei, putem calcula dinainte nivelul exact al entropiei și podeaua teoretică a fiecărui model.

Antrenăm patru modele de dimensiuni diferite: de la cel mai mic (care observă doar un caracter în urmă) până la cel mai mare (care ține cont de patru caractere).

Fiecare curbă coboară vertiginos la început, după care se nivelează și refuză să mai scadă. Plafonul nu este o întâmplare: este golul de capacitate al fiecărui model. Cel mai mic atinge podeaua imediat și nu mai învață nimic nou, oricâte milioane de caractere i-am furniza.

Modelul de mărime potrivită ajunge exact la entropia sursei. În schimb, un model supradimensionat are aceeași podea finală, dar pentru că are mult mai mulți parametri de ajustat, are nevoie de mult mai mult text pentru a atinge performanța optimă. A fi „mai mare” nu înseamnă automat a fi „mai bun”, decât dacă modelul este hrănit cu date pe măsura mărimii sale.

Armonia bugetului: ce model alegem la fiecare etapă?

Priviți clasamentul modelelor la diferite bugete de date din tabelul de mai jos:

Lecția practică este fără echivoc: dacă ai puțin text, un model uriaș este o risipă curată și dă rezultate mai slabe decât un model compact! Neavând destule exemple pentru a ancora miile de parametri, modelul gigant începe să halucineze și să memoreze zgomot. Pe măsură ce muntele de date crește, ierarhia se inversează spectaculos, iar arhitecturile mai încăpătoare preiau conducerea.

Mărimea optimă a creierului artificial crește mână în mână cu volumul de lectură oferit. Această regulă de bun-simț guvernează marile decizii economice din culisele laboratoarelor de inteligență artificială.

Legile de scalare: o rețetă inginerească predictibilă

Când reprezentăm scăderea erorii pe axe logaritmice, traiectoria se transformă într-o linie dreaptă remarcabil de netedă. O linie dreaptă pe grafic logaritmic reflectă o lege de putere: de fiecare dată când multiplicăm resursele de un anumit număr de ori, distanța până la perfecțiune scade cu o proporție fixă și previzibilă.

Aceste reguli, numite legi de scalare, leagă între ele trei mărimi fundamentale: numărul de parametri ai rețelei (capacitatea cilindrică), volumul de date de lectură (combustibilul) și puterea totală de calcul (electricitatea consumată de procesoare). Faimosul studiu Chinchilla (2022) a demonstrat că, pentru a obține eficiență maximă dintr-un buget de calcul, parametrii și volumul de jetoane trebuie să fie dublate în proporții egale.

Există totuși o mare enigmă care îi intrigă pe cercetători: legile de scalare pot estima cu o precizie de laborator cât de mult va scădea pierderea matematică, dar ele nu pot anticipa ce abilități noi va dobândi modelul! Scăderea treptată a unei fracțiuni de eroare deblochează dintr-o dată deducții logice, traduceri surprinzător de fluide și capacitatea de a scrie programe de calculator complexe.

Unde este limita limbajului uman?

În experimentul nostru simplificat, sursa avea o memorie de doar trei litere, așa că am putut atinge rapid podeaua absolută dincolo de care nu mai era nimic de învățat. Limba umană vie este însă infinit mai adâncă: o aluzie dintr-un roman poate trimite la o frază rostită cu trei capitole în urmă, la o tragedie greacă antică sau la o trăire psihologică nuanțată. Nimeni nu a atins încă podeaua absolută a limbajului, iar modelele continuă să se îmbunătățească pe măsură ce le oferim mai multă putere de calcul și texte mai bogate.

La capătul acestui stagiu masiv de preantrenare, modelul devine un maestru al probabilităților: el calculează la fiecare pas o distribuție de șanse pentru următorul cuvânt. Dar cum se transformă aceste procente abstracte într-un text coerent rostit pe ecran? În partea următoare, vom asista la nașterea dialogului: vom descoperi cum alege calculatorul cuvântul potrivit și cum se modelează personalitatea unei inteligențe artificiale.