Textul care trage imaginea

Cuvintele care ghidează pensula: condiționarea

Până în acest punct, rețeaua care curăța zgomotul primea doar două indicii: coordonatele punctului și nivelul de zgomot la care se află. Acum îi așezăm în față un al treilea martor esențial: o descriere în cuvinte. Textul este transformat mai întâi într-o reprezentare numerică (un vector de sens) și oferit rețelei ca reper suplimentar la antrenament. Acest parteneriat se numește condiționare.

Din acea clipă, zgomotul ghicit de rețea nu mai depinde doar de poziția punctului în spațiu, ci și de instrucțiunea primită. Același punct mâncat de purici, la exact același nivel de degradare, va fi împins într-o direcție dacă îi șoptim cuvântul „spirală” și într-o direcție complet diferită dacă îi cerem un „inel” sau o „cruce”.

În sistemele complexe de generare vizuală, textul nu intră ca un singur bloc rigid. Fiecare regiune a pânzei analizează cuvintele descrierii prin mecanismul de atenție încrucișată (cross-attention): un anumit cuvânt trage de pensulă în colțul de sus al imaginii, în timp ce altul ghidează detaliile de la bază. Modelul nostru din pagină folosește forma cea mai directă, cu o singură etichetă globală, fiindcă imaginea este simplificată la un singur punct.

Cele trei descrieri disponibile aici sunt cuvinte simple ale căror forme geometrice se suprapun parțial în plan. Cine vrea să vadă efectul textului trebuie să urmărească armonia formei finale, nu doar locul unde aterizează punctele.

Sămânța și cuvântul: cine hotărăște compoziția?

Zgomotul aleatoriu din care pornește difuzia inversă este determinat matematic de un număr numit sămânță (sau seed). Păstrând fixă această sămânță și schimbând doar cuvântul călăuzitor, putem separa cu o claritate desăvârșită ce anume aduce hazardul și ce anume dictează dorința noastră.

Toate cele trei panouri de mai sus au pornit din exact aceleași puncte inițiale de zgomot. Singurul lucru care le-a despărțit a fost cuvântul oferit rețelei la fiecare pas. Dacă schimbați sămânța, se modifică locul exact în care aterizează fiecare firicel; dar conturul de ansamblu rămâne fidel cuvântului ales. Regula de aur a generării este simplă: cuvântul hotărăște ce se desenează; sămânța hazardului hotărăște care anume dintre variantele posibile se naște.

Maneta ghidării: cum amplificăm vocea textului

Dacă antrenăm rețeaua în mod obișnuit, observăm o timiditate deranjantă: descrierea în cuvinte este doar una dintre mai multe intrări, iar modelul tinde adesea să facă o medie neutră peste tot ce a văzut, ignorând cerințele specifice.

Soluția modernă se bazează pe o strategie inteligentă: în timpul antrenamentului, ascundem cuvântul din când în când și lăsăm rețeaua să lucreze fără nicio descriere. La generare, îi cerem să facă două predicții paralele: una în care ascultă textul și una în care nu are niciun text la dispoziție. Diferența dintre cele două ne dezvăluie exact forța cuvântului: încotro împinge cerința noastră în raport cu o desenare oarbă.

Această diferență poate fi amplificată cu un factor de multiplicare numit ghidare (sau Classifier-Free Guidance). La valoarea unu folosim predicția firească a rețelei; la zero cuvântul este ignorat complet; iar peste unu exagerăm intenționat impulsul textului, forțând punctele să se supună temei alese.

Cele două tăișuri: claritate versus rigiditate

Maneta ghidării este însă o sabie cu două tăișuri. Cu cât forțăm cuvântul mai tare, cu atât punctele sunt strivite către centrul cel mai tipic și mai stereotip al formei cerute. Rezultatul devine mai clar și mai docil, dar își pierde varietatea naturală, semănând excesiv cu el însuși.

Tabelul de mai jos măsoară simultan ambele aspecte: procentul în care rezultatul aparține cu adevărat formei cerute și gradul de împrăștiere (diversitate) al punctelor.

Gândiți-vă la un desenator talentat care primește indicații în timp ce schițează pe pânză. Câteva sugestii clare îl ajută să nimerească tema dorită. Dar dacă îi strigi instrucțiuni la fiecare trăsătură și îi ții mâna rigidă, desenul devine țeapăn, repetitiv și artificial. Iar dacă exagerezi peste măsură, lucrarea se strică definitiv.

De aici provine comportamentul pe care îl observă oricine folosește unelte generative de text-în-imagine: la ghidare mare rezultatele sunt izbitoare și foarte ascultătoare, dar repetitive și saturate; la ghidare mică sunt bogate, poetice și felurite, deși riscă să se abată de la text. Nu este o bătălie între bine și rău, ci un compromis viu între fidelitate și libertate creativă.

Până acum, toate calculele noastre s-au petrecut direct pe ecran, pixel cu pixel. Pentru o fotografie de înaltă rezoluție, acest volum ar fi uriaș. În lecția următoare vom vedea cum putem muta întreaga difuzie într-un spațiu comprimat, mult mai elegant: spațiul latent.