Scopul și măsura lui

O notă în locul unei dorințe reale

De-a lungul întregului curs am antrenat rețele folosind întotdeauna o cifră: o funcție de cost pe care am vrut să o coborâm, o recompensă pe care am vrut să o mărim sau un scor pe un set de teste. Dar acea cifră nu a fost niciodată dorința noastră adevărată. Dorința noastră reală era ca mașina „să recunoască cifre scrise de mână”, „să răspundă politicos și util” sau „să deseneze o imagine convingătoare”. Cifra a fost doar o aproximare — ceea ce am reușit noi să formulăm matematic dintr-o intenție umană bogată și nuanțată.

În lecțiile despre asistenți am observat deja această distanță: modelul de recompensă nu învață neapărat gândurile subtile ale omului, ci doar tiparele din răspunsurile pe care acesta le-a preferat. Dacă evaluatorii umani tind să prefere răspunsuri puțin mai detaliate, mașina reține rapid că lungimea aduce puncte în plus. Cât timp presiunea de căutare este moderată, diferența dintre nota obținută și calitatea reală a răspunsului rămâne mică și inofensivă.

Întrebarea esențială a acestei lecții este: ce se întâmplă atunci când construim un motor de căutare extrem de puternic, care forțează la maximum obținerea acelei note? Această presiune de optimizare poate fi studiată cu precizie printr-o metodă simplă și intuitivă: selectarea celui mai bun răspuns dintr-un număr de k variante posibile.

Alegerea celui mai bun din k variante

Să ne imaginăm că punem o întrebare unui model și îi cerem să genereze un grup de k răspunsuri diferite. Fiecare răspuns are trei calități independente, alese la întâmplare: cât de corect este, cât de limpede este formulat și cât de lung a ieșit textul.

Scopul nostru real — ceea ce își dorește un utilizator rațional — este corectitudinea, claritatea și o lungime echilibrată: un răspuns puțin mai elaborat este de ajutor, însă un răspuns mult prea lung devine obositor, redundant și își pierde utilitatea.

Măsura automată (nota pe care o primește) este însă calculată de o formulă simplificată: corectitudinea și claritatea aduc puncte, iar lungimea este socotită întotdeauna ca un plus. La prima vedere, pare o notă destul de corectă: se potrivește cu dorința noastră pe două criterii din trei, iar la lungime greșește doar atunci când textul depășește o anumită limită.

Să vedem ce se întâmplă când mașina alege răspunsul cu cea mai mare notă dintr-un eșantion de k variante. Când k = 1, mașina ia primul răspuns fără nicio selecție. Când mărim k până la 4096, mașina caută neobosit cel mai bine notat răspuns din mii de posibilități.

Graficul de mai sus arată un fenomen fascinant. Curba albastră (nota oficială) urcă neîncetat: cu cât mașina caută printre mai multe variante, cu atât găsește un răspuns cu o notă mai mare. Curba portocalie (calitatea reală dorită) crește și ea la început: la valori mici ale lui k, nota și utilitatea merg mână în mână, pentru că mașina alege răspunsuri mai corecte și mai clare.

Însă priviți ce se întâmplă de la un punct încolo: cele două curbe se despart dramatic! Calitatea reală atinge un vârf, după care începe să se prăbușească. De ce? Pentru că răspunsurile găsite sunt deja destul de corecte și clare, iar singurul mod prin care mașina mai poate stoarce puncte suplimentare este să găsească răspunsul cel mai lung și stufos posibil. Fără să-și dea seama, sistemul a început să sacrifice calitatea reală pentru a „trișa” grila de notare.

Glisorul demonstrează că mărimea erorii din formula de notare dictează doar momentul în care apare prăbușirea, nu dacă ea va avea loc. Chiar și cu o formulă care greșește foarte puțin, o căutare suficient de puternică va descoperi acea mică imperfecțiune și o va exploata la extrem.

De ce paguba crește odată cu puterea mașinii

Sistemul de optimizare nu are acces la dorința noastră reală. El vede exclusiv cifra pe care i-am cerut să o maximizeze. Pentru el, răspunsul selectat la k = 4096 este o reușită absolută — cel mai mare scor obținut vreodată! Faptul că răspunsul a devenit o compunere interminabilă și greu de citit nu este vizibil în formula lui matematică. Această discrepanță se vede doar din exterior, de un om care știe ce își dorea cu adevărat.

Aceasta este demonstrația vie a unui principiu celebru din științele sociale, cunoscut ca legea lui Goodhart: „Atunci când o măsură devine o țintă, ea încetează să mai fie o măsură bună.” Dacă evaluezi o clinică medicală după timpul scurt de așteptare, medicii ar putea expedia pacienții; dacă evaluezi o școală după notele la un test standardizat, profesorii vor preda exclusiv rezolvarea acelui test; dacă ceri unui model AI să maximizeze o notă superficială, el va găsi cele mai neașteptate căi de a fenta spiritul cerinței.

În această perspectivă, noțiunea de „superinteligență” desemnează un optimizator cu un k uriaș: un sistem capabil să exploreze milioane de opțiuni pentru a maximiza formula dată, mult mai eficient decât ar putea un om. Riscul nu vine din faptul că mașina ar deveni conștientă sau rău-intenționată, ci din faptul că este prea eficientă în a urmări o țintă imperfectă. Nimeni nu știe cum să descrie o valoare umană complexă printr-o formulă fără scăpări, iar un sistem destul de puternic va exploata întotdeauna scăpările.

Cum ne protejăm: instrumentele alinierii

Problema nu are o soluție magică simplă, dar dispune de măsuri de protecție inginerești clare. Trei dintre ele sunt testate în tabelul de mai jos:

1. Temperarea presiunii de căutare: nu lăsăm mașina să caute printre mii de variante extreme, ci o constrângem să rămână aproape de comportamentul demonstrat de oameni în exemplele inițiale.
2. Arbitri multipli: în loc de o singură notă, folosim mai multe formule de evaluare independente; două rigle care au slăbiciuni diferite se compensează și se corectează reciproc.
3. Bariere și praguri de bun-simț: înainte de a nota răspunsul, respingem din start orice variantă care depășește limite firești (de exemplu, un text excesiv de lung sau agresiv), ca o verificare de siguranță aplicată înainte de notare.

Niciuna dintre aceste măsuri nu oferă o formulă perfectă, pentru că o formulă perfectă pentru valorile umane nu există. Însă toate mențin calitatea reală sus acolo unde nota simplă ar fi lăsat-o să se prăbușească. Prețul plătit este același: renunțăm voluntar la o parte din forța brută de optimizare în favoarea siguranței.

Aceasta este forma practică pe care o îmbracă disciplina numită alinierea inteligenței artificiale (AI alignment): nu căutarea iluzorie a unei definiții matematice absolute a binelui, ci construirea atentă de rigle multiple, filtre de protecție și limite de bun-simț în jurul unor formule despre care știm din start că sunt imperfecte.

Ce este certitudine și ce rămâne o dezbatere deschisă

Simularea pe care am explorat-o descrie o certitudine matematică: pentru orice grilă de notare imperfectă, există o intensitate a optimizării dincolo de care utilitatea reală are de suferit, iar acest punct critic este atins cu atât mai repede cu cât grila este mai lacunară. Ceea ce nu ne poate spune simularea este cât de repede vor atinge sistemele din lumea reală acest nivel de forță și cât de bine vor rezista măsurile noastre de protecție.

Aici se despart opiniile cercetătorilor: o parte consideră că sistemele viitoare vor rămâne unelte docile sub control uman atent, unde filtrele de bun-simț vor fi suficiente. O altă parte avertizează că presiunea economică de a construi agenți tot mai autonomi și mai rapizi va forța optimizarea dincolo de capacitatea noastră de a o supraveghea. Ambele perspective recunosc aceeași curbă; diferența stă în aprecierea locului în care ne aflăm astăzi pe ea.

Ceea ce putem reține ca o învățătură limpede este că distanța dintre ceea ce dorim și ceea ce măsurăm nu este un defect temporar al calculatoarelor, ci o proprietate a oricărui proces de optimizare. În ultima lecție a cursului, vom relua tot acest drum fascinant de la capăt, parcurgându-l de jos în sus într-o singură privire de ansamblu.