Cât costă un răspuns

Sarcina de încercare

Pentru a compara corect cele trei tehnici de eficientizare, le punem la treabă pe o aceeași problemă geometrică: împărțirea planului în patru regiuni distincte, delimitate atât prin distanța față de centru (raze), cât și prin orientare (unghiuri). Este o frontieră suficient de curbă și sinuoasă încât o rețea minusculă să nu o poată descurca dintr-o dată, dar suficient de compactă încât toate antrenamentele să poată rula direct în browserul dumneavoastră.

Nu toate ponderile la fiecare răspuns

Într-un model lingvistic clasic dens, fiecare cuvânt parcurge absolut toate straturile și toate miliardele de ponderi ale rețelei. Dar oare este cu adevărat necesar ca fiecare circuit să se aprindă pentru fiecare silabă?

O alternativă mult mai inteligentă este arhitectura cu amestec de experți (Mixture of Experts sau MoE). Rețeaua este compusă din zeci de sub-modele specializate (numite „experți”), iar la intrare se află un mic modul de decizie (un ruter). Pentru fiecare jeton de text, ruterul alege doar doi experți potriviți și direcționează calculul exclusiv către ei. Capacitatea totală a modelului rămâne gigantică în memorie, însă efortul de calcul activ pentru fiecare cuvânt scade de câteva ori.

Gândiți-vă la o policlinică modernă cu zeci de medici specialiști: când intrați cu o problemă la genunchi, la recepție sunteți îndrumat doar către ortoped și radiolog. Nu este nevoie să vă consulte toți cei cincizeci de doctori din spital pentru a primi diagnosticul corect!

Priviți tabelul interactiv: rândul evidențiat corespunde exact configurației pentru care a fost instruit ruterul (doi experți activi). Dacă încercăm să folosim mai puțini experți decât optimul, precizia scade vizibil; dacă însă forțăm apelarea tuturor experților simultan, performanța nu crește, ci se degradează — experții au învățat să colaboreze în echipe mici și complementare, iar dacă vorbesc toți deodată, semnalele lor se bruiază reciproc.

Mai puține cifre pentru fiecare pondere

Fiecare dintre miile de miliarde de parametri ai unui model este, la origine, un număr zecimal stocat cu o precizie matematică înaltă (pe 16 sau 32 de biți, adică 2 până la 4 octeți per număr). În timpul antrenamentului, această finețe milimetrică este indispensabilă pentru a ajusta minusculele pante ale învățării. Însă odată ce modelul e gata și doar răspunde la întrebări, oare chiar avem nevoie de atâtea zecimale?

Tehnica de rotunjire inteligentă a numerelor se numește cuantizare. Arhitectura rămâne neatinsă — aceleași conexiuni, aceleași înmulțiri —, dar fiecare număr este comprimat la 8 biți, 4 biți sau chiar mai puțin. Este exact același principiu pe care l-am întâlnit în primele lecții la eșantionarea sunetului: transformarea unei scări fine și costisitoare într-o scară cu trepte mai late.

Analogia cu o imagine digitală este perfectă: dacă reduceți o paletă foto de la 16 milioane de culori la 256 de nuanțe alese cu grijă, ochiul uman de la distanță abia va sesiza diferența, în timp ce fișierul devine de patru ori mai ușor. Doar dacă tăiem prea adânc — coborând sub pragul critic de 3 sau 2 biți — imaginea se destramă brusc în pete inestetice de culoare. La fel și modelul: comprimat moderat, el își păstrează aproape intactă fluența, economisind uriaș din memoria plăcii grafice.

Un model mic care învață de la unul mare

A treia strategie nu modifică modelul gigant existent, ci îl pune în rolul de dascăl pentru a instrui un model compact ucenic. Această metodă poartă numele de distilare a cunoașterii.

Interesant este că modelul ucenic nu este pus să memoreze doar răspunsurile seci (adevărat sau fals), ci învață din nuanțele fine și probabilitățile pe care le emite modelul profesor — inclusiv din ezitările și asocierile lui subtile. Totuși, marele secret practic al distilării nu stă într-o formulă magică de predare: dacă am avea etichete perfecte din belșug, modelul mic ar învăța la fel de bine direct din date. Distilarea strălucește atunci când exemplele etichetate de oameni sunt rare și extrem de costisitoare, în timp ce textele brute neetichetate sunt nelimitate. Putem interoga profesorul digital de miliarde de ori pe date noi, iar explicațiile lui devin manualul de studiu al ucenicului.

Ce nu se micșorează

Toate aceste trei mari optimizări vizează exclusiv parametrii interni ai rețelei (ponderile): câți dintre ei activează simultan, cu câte zecimale îi reprezentăm sau câți parametri păstrăm în total. Există însă o componentă pe care niciuna dintre ele nu o poate micșora de la sine: contextul discuției.

Memoria temporară a conversației (cunoscută drept KV cache) se umflă direct proporțional cu numărul de replici și pagini schimbate cu utilizatorul. Chiar dacă alegeți un model de patru ori mai mic ca număr de parametri, dacă dialogul se întinde pe sute de mii de cuvinte, consumul de memorie video va fi dominat covârșitor de această arhivă a conversației curente.

Cuantizarea se aplică și cheilor și valorilor păstrate, cu același fel de rezultat: mult loc câștigat până la un prag, apoi o cădere bruscă. Ea e singura dintre cele trei care ajută pe amândouă părțile.

În acest experiment am putut măsura erorile cu o riglă matematică precisă, deoarece granițele geometrice erau cunoscute exact dinainte. Dar când vine vorba despre un asistent lingvistic care compune eseuri, sintetizează rapoarte sau glumește, calitatea unui răspuns devine o chestiune mult mai alunecoasă. În lecția următoare, vom descoperi cum se măsoară performanța modelelor moderne de limbaj și de ce testele standardizate din industrie nasc atâtea controverse.