Cuvântul următor

Misiunea: continuarea unei fraze

Imaginați-vă că ascultați o melodie cunoscută și cineva se oprește brusc în mijlocul refrenului: mintea dumneavoastră aude deja nota următoare înainte ca ea să fie cântată. Exact așa funcționează predicția de limbaj. I se prezintă un șir de cuvinte — de pildă: „Cerul senin era de un albastru...” — și i se cere să anticipeze continuarea firească.

Răspunsul modelului nu este un singur cuvânt categoric aruncat pe masă, ci o listă completă de scoruri pentru fiecare termen din vocabular: „intens” primește 60%, „deschis” 25%, „strălucitor” 10%, în timp ce cuvinte absurde precum „furculiță” primesc o șansă infimă, aproape de zero. Când adunăm toate aceste scoruri, suma lor dă exact 100% (sau 1). Un sistem care calculează aceste șanse se numește model de limbaj, iar tabelul complet de note poartă numele de distribuție de probabilitate. Rețeaua doar evaluează posibilitățile; decizia finală privind cuvântul rostit se ia abia într-un pas următor.

Marele secret: datele de antrenament sunt gratuite

Aici se află revelația esențială care a propulsat inteligența artificială la scara gigantică din prezent — un detaliu economic adesea trecut cu vederea.

Pentru a învăța un calculator să recunoască semne de circulație sau cifre scrise de mână, este nevoie ca mii de oameni să eticheteze manual fiecare imagine în parte: „aceasta este o curbă”, „aceasta este cifra 7”. Această muncă manuală este colosal de scumpă, lentă și limitată de buget. În schimb, pentru sarcina de a ghici cuvântul următor, nu este nevoie de niciun profesor plătit care să adauge etichete! Răspunsul corect se află deja chiar acolo, în textul pe care îl citește mașina: este cuvântul care urmează în mod natural pe pagină.

Orice carte, articol de presă, enciclopedie sau pagină web din istoria omenirii devine instantaneu un set perfect de exerciții rezolvate. O carte de o sută de mii de cuvinte oferă o sută de mii de întrebări cu răspunsul garantat inclus. Acest miracol metodologic se numește auto-supervizare. Prin el, bariera etichetării manuale a dispărut: întreaga bibliotecă a civilizației noastre s-a transformat peste noapte într-un ocean inepuizabil de învățare.

Cel mai simplu prezicător: metoda statisticii oarbe

Cum putem construi cel mai primitiv model de limbaj? Pur și simplu numărând aparițiile! Citim un text mare și ținem o evidență riguroasă: de câte ori după „cafenea” a urmat cuvântul „aglomerată” și de câte ori „veche”? Când vrem să prezicem ce urmează după un termen, ne uităm în catastif și alegem proporțiile observate în trecut. Putem privi în urmă doar un singur cuvânt, sau grupuri de două, trei ori patru cuvinte consecutive. Numărul de termeni luați în considerare ca punct de plecare se numește ordinul modelului (sau contextul de n-grame).

Dacă privim în urmă doar un singur cuvânt (ordinul 1), opțiunile sunt risipite și confuze: după o prepoziție precum „cu” poate urma aproape orice substantiv din dicționar. Dacă mărim fereastra la trei sau patru cuvinte, predicția devine foarte sigură pe frazele cunoscute, deoarece acea secvență exactă a apărut poate o singură dată în textul citit.

De la predicție la creație: generarea de text

Un sistem capabil să evalueze probabilități poate fi transformat numaidecât într-un autor automat. Îi dăm un impuls de pornire (un „prompt”), modelul calculează probabilitățile, alege un cuvânt și îl adaugă la frază. Noua frază extinsă devine întrebarea pentru pasul următor. Repetând acest ciclu cuvânt cu cuvânt, se naște un text cursiv. Să observăm frumusețea mecanismului: mașina nu a fost instruită să fie scriitor creativ, ci doar să ghicească veriga lipsă; generarea de povestiri este doar jocul predicției derulat pas cu pas spre viitor.

Cum alegem însă cuvântul din lista de probabilități? Nu suntem obligați să-l luăm mereu pe cel de pe primul loc. Putem introduce un parametru de reglaj intuitiv numit temperatură. La o temperatură scăzută (aproape de zero), modelul alege strict cele mai probabile cuvinte: textul rezultat este foarte logic, corect și previzibil, dar devine rapid repetitiv și monoton. La o temperatură ridicată, mașina acordă șanse și variantelor mai surprinzătoare: textul capătă vioiciune, metaforă și originalitate, dar dacă exagerăm, începe să aiureze și pierde firul logic.

Porțiunile evidențiate cu galben reprezintă pasaje copiate identic din textul pe care a fost antrenat modelul. Dacă setăm un ordin mare de context și o temperatură mică, un model pur statistic nu creează nimic nou, ci doar reproduce mecanic fragmente memorate. Dar această limitare aparține modelului primitiv prin tabele de numărare, nu sarcinii în sine!

De ce o sarcină atât de simplă cere aproape totul

Misiunea de a ghici cuvântul următor nu menționează nicăieri cuvinte mari precum „inteligență”, „conștiință” sau „gândire”. Și totuși, tocmai această modestie aparentă o face atotcuprinzătoare. Pentru a ghici cu adevărat bine în orice context posibil, un model este constrâns să acumuleze o sumă colosală de competențe cognitive.

Priviți câteva exemple cotidiene: în propoziția „Păsările care zburau deasupra lacului ___”, pentru a alege corect „erau” în loc de „era”, modelul trebuie să stăpânească acordul gramatical peste o paranteză de câteva cuvinte. În „Capitala Franței este ___”, trebuie să dețină cunoștințe geografice solide despre lume. În „Trei plus patru fac ___”, trebuie să știe să calculeze. În „A băgat cheia în broască, a răsucit-o și a ___”, trebuie să înțeleagă fizica obiectelor cotidiene și succesiunea acțiunilor umane. Iar în „Medicul i-a explicat pacientului îngrijorat că operația a fost o reușită, de aceea el s-a simțit ___”, trebuie să înțeleagă empatia, psihologia și trăirile oamenilor.

Niciuna dintre aceste deprinderi nu i-a fost impusă explicit prin reguli scrise de programatori. Toate decurg firesc din ambiția de a prezice bine: orice model care ignoră logica sau faptele lumii va comite erori mari la ghicire. A prezice fidel următorul cuvânt dintr-un text înseamnă, în profunzime, a construi o simulare internă a universului descris de acel text.

Cum măsurăm performanța: busola perplexității

Cum știm dacă un model ghicește bine sau doar bâjbâie la întâmplare? Ne întoarcem la principiile din a doua lecție. Calitatea unui model de limbaj este strâns legată de cantitatea medie de biți de informație necesară pentru a descrie textul folosind probabilitățile oferite de model — adică exact entropia din teoria compresiei de date. Aici cercul se închide fascinant: capacitatea de a comprima și capacitatea de a prezice sunt două fețe ale aceleiași monede.

În practică, această măsură se exprimă adesea printr-un indicator numit perplexitate. Intuitiv, perplexitatea reprezintă numărul de opțiuni egal probabile între care modelul ezită atunci când trebuie să aleagă. Dacă un model are o perplexitate de 20 la o anumită propoziție, înseamnă că este la fel de nehotărât ca o persoană care ar trage la sorți cu ochii închiși dintre douăzeci de cuvinte diferite. Cu cât perplexitatea este mai mică, cu atât modelul este mai sigur pe el și mai precis. Esențial este ca măsurătoarea să se facă mereu pe texte proaspete, pe care modelul nu le-a văzut niciodată în faza de instruire.

În tabelul de mai sus redescoperim capcana clasică a supraînvățării (overfitting). Pe textele deja memorate, perplexitatea scade spectaculos pe măsură ce mărim ordinul de context: modelul recunoaște pe de rost fiecare frază. În schimb, pe un text nou-nouț, perplexitatea explodează! De ce? Deoarece înșiruirile lungi de cuvinte noi nu au apărut niciodată în baza sa de date, iar modelul prin simplă numărare rămâne complet mut și neajutorat.

De ce eșuează fatal modelele pur statistice bazate pe tabele? Din cauza unei explozii combinatorii nemiloase. Într-un vocabular modest de cincizeci de mii de cuvinte, numărul secvențelor posibile de doar trei cuvinte depășește o sută douăzeci și cinci de mii de miliarde! Nici dacă am aduna toate textele scrise vreodată pe Pământ nu am putea completa un asemenea tabel. Avem nevoie urgentă de o arhitectură superioară: un model capabil nu doar să caute potriviri literale, ci să generalizeze prin analogie și rudenie de sens. În lecția următoare, vom descoperi cum rețelele neuronale realizează acest salt calitativ decisiv.