Cum se măsoară

Ce e de fapt un scor

La rădăcină, un test standardizat (un benchmark) este pur și simplu o culegere de întrebări la care cunoaștem deja răspunsul corect. Trimitem fiecare întrebare către model, numărăm răspunsurile nimerite și calculăm procentul de reușită. Acest proces poartă numele de evaluare (sau benchmark evaluation).

Din această definiție aparent banală decurg două adevăruri fundamentale, deseori trecute cu vederea. În primul rând, întrebările au fost alese de anumiți oameni cu preferințe și prejudecăți proprii — prin urmare, scorul reflectă doar priceperea la acel set particular de sarcini, nu o presupusă istețime generală. În al doilea rând, orice test este doar un eșantion restrâns din universul infinit al posibilităților: scorul obținut nu este o certitudine divină, ci o estimare statistică însoțită inevitabil de o marjă de eroare.

Pentru a ilustra acest fenomen, am pregătit trei modele diferite, antrenate pe aceeași materie de bază (calcule cu două numere), dar cu experiențe distincte de învățare: primul a exersat predominant adunări, al doilea a fost hrănit mai ales cu scăderi, iar al treilea a primit un amestec echilibrat din ambele operații.

Patru teste, patru clasamente

Apăsați pe „Antrenează și măsoară” și priviți rezultatele: fiecare dintre cele patru teste proclamă un alt campion! Niciunul dintre modele nu poate fi numit „cel mai bun” în mod absolut, fără a preciza imediat la ce anume ne raportăm. Clasamentul final nu este o proprietate intrinsecă a rețelei neuronale, ci o oglindire a modului în care a fost compus examenul.

Chiar și un test presupus „neutru”, care combină mai multe materii, introduce subtil propriile sale distorsiuni: dacă o sarcină este mult mai dificilă decât restul, toate modelele vor eșua la ea în egală măsură, astfel încât diferențierea pe podium va fi decisă de probele ușoare sau colaterale.

Cât din diferență e zgomot

Deoarece testul conține un număr finit de întrebări, scorul calculat fluctuează în mod natural: este nesiguranța unui scor (intervalul de încredere statistic). Dacă un model obține 82% pe un set de 100 de întrebări, adevărata sa pricepere se află undeva între 75% și 89%. Pentru a reduce această marjă de incertitudine la jumătate, ar trebui să cvadruplăm numărul de întrebări din test.

Această realitate matematică explică de ce tabelele cu clasamente publice din inteligența artificială oscilează neîncetat de la o lună la alta, fără ca modelele să fi suferit vreo transformare reală. Când diferența dintre locul 1 și locul 2 este de doar 1-2 procente, ierarhia este dictată de norocul statistic al întrebărilor care s-au nimerit în test, nu de o superioritate intelectuală palpabilă.

Comparația pe exact aceleași întrebări (subiecte identice) permite o diferențiere statistică ceva mai fină, deoarece modelele greșesc adesea la aceleași capcane. Totuși, această aparentă precizie se evaporă instantaneu de îndată ce scoatem modelele în lumea reală și le confruntăm cu întrebări noi, neprevăzute.

Când testul a trecut prin antrenare

Există însă un pericol și mai insidios: „scurgerea subiectelor de bacalaureat”. Testele standardizate sunt publice pe internet, iar roboții care adună texte pentru antrenarea modelelor absorb fără discernământ miliarde de pagini web. Când întrebările și rezolvările oficiale ale unui test ajung în materia de studiu a rețelei, fenomenul se numește contaminare (data contamination).

Experimentul de mai jos antrenează din nou modelul echilibrat de la aceleași valori de pornire, însă strecoară în materia de învățare chiar câteva dintre exercițiile din testul oficial.

Priviți ce se întâmplă: scorul pe testul oficial „contaminat” crește spectaculos, dând iluzia unui progres extraordinar, în timp ce pe întrebări complet noi performanța reală chiar stagnează sau se degradează. Modelul nu a devenit mai capabil; a învățat pur și simplu testul pe de rost, ca un elev care a văzut fișa cu răspunsuri înainte de oră.

Tragedia este că această fraudă involuntară nu poate fi detectată dacă ne uităm doar la testul publicat. Ea iese la iveală exclusiv atunci când evaluatorul deține un set secret de întrebări proaspete, ținut strict sub cheie.

De ce nu se curăță ușor

La prima vedere, soluția pare evidentă: de ce nu ștergem întrebările testelor din datele de antrenament? În practică, este o misiune aproape imposibilă.

Arhivele de pe internet conțin mii de miliarde de cuvinte. O întrebare dintr-un test poate apărea parafrazată, tradusă într-o altă limbă, citată într-un articol de blog sau discutată pe larg pe un forum tehnic. Mai mult, chiar dacă datele ar fi complet curate, intervine Legea lui Goodhart: de îndată ce o măsurătoare devine o țintă comercială, toți dezvoltatorii își optimizează rețelele anume pentru a bifa acel test, iar indicatorul își pierde orice relevanță obiectivă.

Iată de ce cele mai oneste evaluări moderne sunt cele dinamice: întrebări complet noi, formulate după ce modelul a fost finalizat, și platforme oarbe de vot (precum arenele de chat) unde utilizatori reali judecă răspunsurile fără să știe ce model se află în spate. Orice riglă lăsată prea mult la vedere ajunge, inevitabil, să deformeze tocmai ceea ce dorea să măsoare.

Până aici, am analizat modelul ca pe o „cutie neagră”, privind doar ce intră și ce iese pe ușă. În lecția următoare, vom deschide însăși cutia: vom pătrunde în interiorul rețelei pentru a vedea cum se aprind circuitele neuronale și ce concepte reale iau naștere în straturile sale adânci.