De ce inventează

Ce se întâmplă când nu știe: actorul care nu poate tăcea

Când întrebați un asistent despre un fapt obscur pe care nu l-a întâlnit niciodată, în rețeaua lui nu se declanșează nicio alarmă de eroare. El nu intră într-o stare de blocaj și nu afișează un ecran gol. În schimb, face exact ceea ce a fost construit să facă la fiecare pas: calculează o distribuție de probabilități și extrage din ea cel mai plauzibil cuvânt următor.

Răspunsul care se așterne pe ecran are o ținută impecabilă: fraze rotunde, un ton calm și convingător, nume proprii și ani exacți. Fenomenul acesta poartă în științele cognitive numele de confabulare (cunoscut în limbajul curent drept halucinație): producerea unei narațiuni cursive și elegante în locul unui adevăr documentat.

Modelul seamănă cu un actor de teatru de improvizație care are o singură interdicție absolută: nu are voie să tacă niciodată pe scenă. Dacă din sală i se strigă o replică bizară despre un eveniment inventat, actorul nu se va opri să spună că nu cunoaște piesa; el va improviza pe loc un monolog răsunător, alegând cuvintele care sună cel mai firesc în context. Important de reținut: modelul nu minte. A minți presupune să cunoști adevărul și să decizi cu bună știință să spui altceva. Modelul nu poate face această distincție, fiindcă în matematica matricelor lui nu există nicăieri un registru al adevărului obiectiv.

Ce intră în socoteală: plauzibilitate vs. adevăr

Micul model demonstrativ de mai jos este un contor de caractere care privește doar ultimele câteva semne din întrebare. În grafic, caracterele care contează cu adevărat pentru decizie sunt evidențiate, în timp ce restul frazei este estompat:

Dacă două întrebări complet diferite se termină cu aceeași secvență de litere, modelul nostru va genera exact aceeași continuare. Nu este o eroare întâmplătoare: sensul adânc al primei părți a întrebării nici măcar nu a ajuns la circuitul de decizie.

Desigur, un asistent modern dispune de ferestre de atenție care cuprind mii de cuvinte simultan, așa că nu va fi păcălit de ultimele câteva litere. Însă natura calculelor rămâne identică: rețeaua măsoară compatibilitatea armonioasă a cuvintelor între ele, nu corespondența lor cu realitatea fizică din afara textului.

Ce măsoară de fapt scorul unui text

Fiecărei propoziții pe care o analizează, un model de limbaj îi poate atribui un scor numeric de probabilitate. Utilizatorii interpretează adesea acest scor ca pe un indice de certitudine sau de adevăr factual. Să vedem însă ce măsoară el în realitate.

În experimentul de mai jos, punem modelul să evalueze și să clasifice opt răspunsuri posibile pentru fiecare întrebare. Dacă scorul ar măsura corectitudinea faptică, răspunsul adevărat ar trebui să se claseze întotdeauna pe primul loc:

În micul nostru model de jucărie, clasamentul pare haotic fiindcă memoria lui scurtă scapă din vedere începutul întrebării. Modelele mari se descurcă incomparabil mai bine, dar principiul rămâne același: scorul reflectă cât de naturală și de previzibilă este succesiunea de cuvinte în limba respectivă, nu dacă afirmația este conformă cu realitatea istorică sau științifică.

Calibrarea: siguranță afișată vs. certitudine reală

O altă întrebare fundamentală este: când modelul afirmă că o opțiune are 80% probabilitate, are el dreptate în 8 cazuri din 10? Această corespondență între siguranța matematică afișată și rata reală de succes se numește calibrare.

Măsurăm acest lucru pe un text nou, nemaivăzut la antrenare. Împărțim predicțiile în grupe după nivelul de încredere și verificăm de câte ori opțiunea clasată pe primul loc a fost într-adevăr cea corectă:

Priviți graficul: aproape toate punctele cad sub diagonala ideală punctată. Acest lucru indică o problemă universală a modelelor de limbaj: sunt hiper-încrezătoare. Ele afișează o certitudine categorică chiar și atunci când doar ghicesc. Cel mai mare decalaj nu apare la vârf, ci în zona de mijloc, unde modelul pare destul de sigur pe sine fără să aibă o bază solidă.

Chiar și o calibrare matematică perfectă nu ar rezolva problema adevărului. Ea ne-ar spune doar cât de sigur este modelul că ghicește următorul simbol din text, nu dacă propoziția respectivă corespunde adevărului din lumea fizică.

De ce nu poate spune simplu „nu știu”

Ar fi atât de simplu și de comod dacă, atunci când nu deține un răspuns, modelul ar spune deschis: „Nu știu”. Însă în mecanismul unui transformator, formula „Nu știu” nu este o stare internă de alertă sau o recunoaștere a ignoranței; este doar o înșiruire oarecare de litere, având o anumită probabilitate statistică.

În marea bibliotecă pe care s-a antrenat modelul — enciclopedii, cărți, articole științifice și pagini web —, textele nu conțin aproape niciodată replica „Nu știu”. Cărțile explică, articolele afirmă, iar autorii vorbesc cu autoritate. Modelul a deprins o lecție clară: după o întrebare, textul firesc continuă printr-o expunere detaliată de fapte, nu printr-o pauză de modestie.

Prin reglaj fin și aliniere cu feedback uman, asistenții moderni sunt antrenați să rostească mai des formule de refuz precum „Nu am suficiente informații”. Însă chiar și această reacție este doar un tipar lingvistic învățat pe anumite formulări, nu o concluzie izvorâtă dintr-o introspecție sinceră. Iată de ce problema nu poate fi remediată adăugând în cerință îndemnuri de tipul „te rog să fii foarte atent și să nu minți”: cuvintele dumneavoastră modifică doar puțin distribuția de probabilități, fără a putea crea un organ de verificare factuală care pur și simplu nu există în arhitectură.

Dacă nu putem schimba ușor convingerile gravate în miliardele de parametri, putem oare să-i schimbăm purtarea din mers, fără să-i atingem deloc rețeaua? Ce se întâmplă dacă îi punem în față câteva exemple chiar în textul întrebării? În lecția următoare, vom descoperi una dintre cele mai spectaculoase proprietăți ale asistenților moderni: învățarea direct din context.