De la continuator la asistent

Ce lipsește după preantrenare

Preantrenarea învață o singură sarcină: să ghicească următorul fragment de text dintr-o bibliotecă uriașă de cărți și pagini web. Modelul care iese din această etapă este un maestru al tiparelor de limbă, însă nu are nici cea mai vagă idee că este un program de calculator sau că cineva de la tastatură așteaptă ajutor de la el.

Dacă îi scrieți o întrebare precum „Cum se formează ploaia?”, el o tratează ca pe o bucată oarecare de text și caută continuarea cea mai frecventă statistic. Pe internet, după o întrebare urmează adesea o altă întrebare („Și de ce ninge iarna?”), o listă de test grilă („A: prin condensare, B: prin evaporare”), o scenă de roman sau chiar o ceartă de forum. Un răspuns clar și direct este doar una dintre miile de continuări posibile, și nu neapărat cea mai des întâlnită. Modelul nu refuză să vă ajute din încăpățânare; pur și simplu nu știe că a fost întrebat ceva.

Reglajul fin pe dialoguri

Soluția este să-l învățăm bunele maniere ale conversației. Îi arătăm un nou set de date, organizat strict sub formă de dialog: după fiecare cerință sau întrebare a unui utilizator urmează întotdeauna un răspuns redactat impecabil de un asistent. Antrenarea continuă cu același mecanism de predicție a cuvântului următor, dar pe aceste exemple alese cu mare grijă. Etapa se numește reglaj fin supravegheat (deseori prescurtat SFT, din engleză).

Cantitatea de text necesară aici este surprinzător de modestă. În timp ce preantrenarea înghite mii de miliarde de cuvinte adunate de pe tot internetul, reglajul fin are nevoie doar de câteva mii sau zeci de mii de exemple calitative scrise de oameni. În această fază, modelul nu învață noțiuni noi despre lume — el știe deja faptele din preantrenare. Ceea ce învață este o postură: cum să se comporte ca un ghid util, amabil și concis.

Tabelul interactiv de mai sus urmărește două aspecte pe întrebări noi: cât de des răspunsul are forma unei propoziții informative încheiate (o atitudine de asistent) și cât de des conține măcar un termen din întrebarea inițială.

Prima coloană crește rapid chiar după primele perechi de antrenament: modelul prinde imediat tonul și stilul unui răspuns. A doua coloană se schimbă mai greu, pentru că priceperea de fond provine din ce a acumulat înainte. Reglajul fin oferă haina de asistent; el nu poate crea din nimic cunoașterea care nu a fost asimilată la preantrenare.

Într-un model de mari dimensiuni, această transformare pare spectaculoasă deoarece rețeaua are deja în memorie o cantitate vastă de informații enciclopedice, iar reglajul fin doar le deblochează în format de dialog. În micul contor din această pagină, care are o memorie infimă, puteți vedea cele două forțe separate în forma lor curată.

Ce nu se poate scrie într-o culegere

De ce nu ne oprim la reglajul fin pe dialoguri? Pentru că pentru cele mai multe solicitări complexe nu există un singur răspuns perfect pe care cineva să-l poată redacta ca șablon suprem. Dacă cereți „explică teoria relativității pentru un copil de 10 ani” sau „scrie o poezie despre toamnă”, există mii de variante posibile, iar calitatea lor depinde de claritate, ritm, căldură și tact.

Este extrem de greu și de costisitor pentru experți umani să scrie sute de mii de răspunsuri perfecte la orice întrebare imaginabilă. Însă oamenii au un avantaj remarcabil: o asimetrie naturală a judecății. Ne este foarte greu să scriem o capodoperă de la zero, dar ne este foarte ușor să privim două texte gata scrise (A și B) și să spunem pe loc: „A este mai limpede și mai la obiect decât B”.

Pe această asimetrie se bazează următorul pas revoluționar: în loc să scriem exemple demonstrative, adunăm comparații de preferință. Trecem de la întrebarea rigidă „care este textul corect literă cu literă?” la întrebarea firească „care dintre cele două variante este preferată de om?”.

Modelul de recompensă

Comparațiile umane („A este mai bun decât B”) nu pot fi aplicate direct pe rețeaua lingvistică, deoarece o preferință generală nu îi spune modelului ce cuvinte anume trebuiau corectate la fiecare pas. De aceea, construim un arbitru automat: un model de recompensă.

Acest arbitru este o rețea neurală separată care primește o întrebare împreună cu un răspuns și acordă o notă numerică (un scor de satisfacție). El este antrenat pe mii de comparații făcute de oameni, urmând o regulă intuitivă: de fiecare dată când evaluatorul uman a preferat răspunsul A în fața răspunsului B, modelul de recompensă trebuie să atribuie o notă mai mare lui A decât lui B. Nu contează valoarea absolută a notei, ci doar ierarhia corectă.

Ponderile vizibile în grafic reflectă criteriile pe care le-a dedus arbitrul din alegerile dumneavoastră. Nimeni nu i-a programat reguli rigide: el a observat ce trăsături înclină balanța și a învățat să aprecieze concizia, absența repetițiilor sau structura clară a frazelor.

Indicatorul de acuratețe măsoară cât de des modelul de recompensă anticipează corect preferința pe o pereche nouă de texte, pe care nu a mai văzut-o. Aceasta este dovada că arbitrul nu memorează mecanic exemplele, ci prinde gustul general al evaluatorului.

Ce se întărește de fapt: capcanele optimizării

Un model de recompensă nu poate citi intențiile sufletești ale oamenilor; el detectează doar corelații statistice între trăsăturile textului și voturile primite. Dacă două însușiri apar adesea împreună în răspunsurile apreciate, el le va recompensa pe amândouă fără discriminare.

Dacă experimentați cu adnotatorul automat de mai sus, veți observa că, indiferent ce criteriu principal alegeți, alături de el urcă întotdeauna și o a doua trăsătură care s-a nimerit să însoțească regula în textele generate.

În modelele reale de asistenți, această capcană poartă numele de legea lui Goodhart: când o măsurătoare devine o țintă directă de optimizare, ea își pierde valoarea de măsură. Dacă evaluatorilor umani le-au plăcut răspunsurile mai lungi și mai amănunțite, modelul de recompensă învață că „lungimea înseamnă calitate”. În scurt timp, asistentul începe să ofere răspunsuri interminabile, excesiv de ceremonioase sau pline de o siguranță artificială. Multe dintre ciudățeniile asistenților comerciali provin tocmai din această discrepanță între ce doream de fapt și ce a reușit să măsoare funcția de recompensă.

Cel mai bun din mai multe și învățarea din preferințe

Odată ce avem un arbitru automat de încredere, îl putem pune la treabă pentru a perfecționa asistentul prin două metode complementare.

Cea mai directă metodă este selecția celui mai bun din mai multe (cunoscută ca Best-of-N): când utilizatorul pune o întrebare, modelul generează în culise mai multe variante independente de răspuns (de pildă, opt variante). Toate sunt notate de modelul de recompensă, iar utilizatorului îi este livrat doar câștigătorul cu nota maximă. Este o abordare simplă și robustă, deși consumă mai multă putere de calcul la fiecare răspuns.

A doua metodă, mult mai profundă, este învățarea din preferințe (sau alinierea prin învățare prin recompensă — RLHF). Aici modificăm direct ponderile interne ale modelului generator: el este răsplătit ori de câte ori produce texte bine cotate și descurajat când derapează, păstrând în același timp o ancoră de siguranță față de modelul inițial pentru a nu-și distruge fluența lingvistică naturală.

Prin îmbinarea acestor trei trepte esențiale — vasta preantrenare pe cărți, reglajul fin pe dialoguri și rafinarea prin preferințe umane — un simplu motor de prezis cuvinte este transformat într-un asistent cooperant și inteligent.

Dar ce se întâmplă, de fapt, în măruntaiele calculatorului în fiecare secundă în care asistentul își redactează răspunsul? Cât text poate păstra în memorie, cum evită să recalculeze totul de la capăt pentru fiecare literă și de ce are nevoie de o memorie tampon specială? În lecția următoare, vom deschide capacul motorului în plină funcționare.