Măsura informației

A afla înseamnă a deosebi

Să pornim de la o experiență firească, pe care o trăim în fiecare zi, dar la care rareori ne oprim să reflectăm: ce se petrece în mintea noastră atunci când aflăm ceva nou? Înainte de a primi un răspuns, ținem deschise mai multe posibilități. Când primim răspunsul, unele dintre aceste variante se închid și dispar. A afla ceva înseamnă, în cel mai concret sens, a trece de la o listă mai lungă de lucruri care ar putea fi adevărate la o listă mai scurtă. Această intuiție stă la baza oricărei ghicitori, a oricărei investigații polițiste și a oricărui diagnostic medical: căutăm indicii care să elimine din incertitudini.

În anul 1948, un tânăr matematician și inginer american pe nume Claude Shannon a făcut un pas de o simplitate strălucită: a propus să măsurăm informația privind exclusiv această restrângere a posibilităților, lăsând deoparte înțelesul literar, importanța emoțională sau adevărul profund al mesajului. Pentru Shannon, informația adusă de un mesaj este tocmai cantitatea de incertitudine pe care acesta o spulberă — adică măsura în care scurtează lista lucrurilor care ar fi putut fi. Mesajul este privit pur și simplu ca o alegere făcută dintr-un repertoriu cunoscut, nu ca o interpretare filosofică despre lume.

La o primă vedere, consecințele acestei definiții pot părea neobișnuite. Dacă un mesaj vă confirmă un fapt pe care îl știați deja cu deplină certitudine — de exemplu, că mâine dimineață soarele va răsări —, el nu vă aduce nicio informație nouă, oricât de vital ar fi răsăritul pentru viața noastră. De ce? Pentru că lista posibilităților avea deja un singur rând și a rămas tot cu unul singur; nu a existat nicio îndoială de risipit. În schimb, un mesaj care tranșează între două variante la fel de plauzibile aduce exact o unitate fundamentală de cunoaștere, indiferent dacă este vorba despre aruncarea unei monede (cap sau pajură), despre culoarea unei perechi de șosete alese pe întuneric sau despre rezultatul unui test medical. Această unitate se numește bit (o prescurtare din limba engleză de la binary digit, dar și cu sensul de „o fărâmă”) și reprezintă cea mai mică fărâmă de informație cu putință: răspunsul la o singură întrebare bine aleasă de tip „da sau nu”. Măsurăm așadar puterea de a deosebi variantele, nu greutatea emoțională a veștii.

Această perspectivă presupune un lucru esențial: noțiunea de informație are sens doar în raport cu o listă de posibilități pe care o avem în vedere de la început. Fără o astfel de listă, întrebarea „câtă informație aduce acest mesaj?” rămâne suspendată în aer, la fel cum întrebarea „cât de departe ai mers?” nu are sens fără să știi de unde ai plecat. Informația nu este o proprietate magică ascunsă în mesajul în sine, ci o relație vie între ceea ce aduce mesajul și ceea ce nu știa încă cel care îl ascultă.

Pentru a vedea cum funcționează această măsură în practică, vom urmări o situație limpede de la un capăt la celălalt: un obiect mic este ascuns într-una din șaisprezece cutii închise, iar singurul nostru instrument de căutare sunt întrebările la care se poate răspunde sincer doar cu „da” sau „nu”.

Căutare liniară și căutare binară

Avem în fața noastră șaisprezece cutii aliniate cuminte pe masă. Obiectul căutat se poate afla în oricare dintre ele, iar noi nu avem nici cel mai mic indiciu: fiecare cutie are exact aceeași șansă de a fi cea norocoasă. Nu avem voie să ridicăm capacele cu mâna noastră. Putem doar să formulăm întrebări, iar o gazdă care știe unde se ascunde secretul ne va răspunde de fiecare dată cinstit, exclusiv cu „da” sau „nu”. Întrebarea firească este: de câte întrebări avem nevoie pentru a găsi obiectul la sigur, dacă gândim cât mai isteț cu putință?

Prima strategie care ne vine în minte este cea a bunului-simț imediat, numită căutare liniară. O luăm la rând, cutie cu cutie: „E în prima cutie?”, apoi „E în a doua?”, „E în a treia?” și tot așa, ca atunci când căutăm o cheie rătăcită pipăindu-ne buzunarele pe rând. Dacă avem mare noroc, nimerim chiar din prima încercare. Dacă însă avem ghinion, vom fi nevoiți să punem cincisprezece întrebări; iar dacă primele cincisprezece răspunsuri au fost toate „nu”, știm sigur că obiectul se află în a șaisprezecea, fără să mai fie nevoie să întrebăm. Numărul de întrebări depinde așadar de noroc, iar în medie vom avea nevoie de peste opt întrebări pentru a ajunge la țintă.

Există însă o a doua strategie, mult mai puternică, care schimbă complet felul în care punem problema. În loc să întrebăm timid despre o singură cutie, întrebăm dintr-o dată despre o jumătate întreagă: „Se află obiectul în jumătatea din dreapta?”. Indiferent dacă răspunsul este „da” sau „nu”, jumătate dintre cutii sunt eliminate dintr-o singură suflare! Aplicăm apoi aceeași logică pe grupul rămas: din 16 cutii rămân 8, din 8 rămân 4, din 4 rămân 2, iar din 2 rămâne o singură cutie, certă și găsită. Această metodă se numește căutare binară (adică bazată pe împărțirea în două). Ea garantează găsirea obiectului în exact patru întrebări, oriunde ar fi el ascuns. De ce exact patru? Pentru că fiecare întrebare înjumătățește numărul de necunoscute, iar 2 · 2 · 2 · 2 = 16. Patru înjumătățiri succesive reduc fără greș șaisprezece posibilități la una singură.

Diferența uriașă dintre cele două abordări nu ține de șansă, ci de felul în care este croită întrebarea. O întrebare de tipul „Este în această primă cutie?” este profund dezechilibrată: primim aproape sigur un răspuns negativ, iar un „nu” abia dacă elimină o biată posibilitate din șaisprezece. În schimb, întrebarea „Este în jumătatea din dreapta?” este perfect echilibrată: oricare ar fi răspunsul primit, el curăță exact jumătate din ceață. O întrebare ne oferă maximum de informație atunci când rezultatul ei este cel mai imprevizibil, adică atunci când ambele variante aveau șanse egale. Aici se vede limpede rolul bitului: un răspuns pe care îl anticipam cu ușurință nu ne învață aproape nimic nou, pe când un răspuns cu adevărat incert ne deschide ochii.

Cutiile se sting în desen nu pentru că cineva s-ar fi uitat fizic în ele, ci pentru că logica răspunsului le-a exclus fără drept de apel. Niciun capac n-a fost ridicat, și totuși, la capătul celor patru întrebări, știm cu precizie unde se află secretul.

Logaritmul în baza 2

Să privim mai îndeaproape ce se întâmplă atunci când numărul posibilităților crește. Cu 4 întrebări am putut deosebi 16 cutii. Dacă mai adăugăm o singură întrebare — a cincea —, prima noastră tăietură poate împărți lumea în două grupuri de câte 16: dintr-o dată putem lămuri 32 de posibilități! A șasea întrebare ne permite să explorăm 64 de cutii. Fiecare nouă întrebare binară nu adaugă doar câteva variante în plus, ci dublează numărul total al posibilităților pe care le putem stăpâni. Cu doar 10 întrebări putem găsi un obiect ascuns între 1024 de cutii; cu 20 de întrebări putem cerne peste un milion de posibilități; iar cu 30 de întrebări trecem de un miliard!

Dacă citim această relație invers, găsim instrumentul de care avem nevoie în viața de zi cu zi. Dacă avem în față o listă cu un număr oarecare de posibilități, de câte înjumătățiri succesive este nevoie pentru a rămâne cu una singură? Acest număr de pași poartă denumirea matematică de logaritm în baza 2 și se notează simbolic cu log₂. Dincolo de denumirea care poate părea tehnică, el nu reprezintă altceva decât „numărul de tăieri în două” necesare pentru a ajunge la certitudine: logaritmul în baza 2 din 16 este 4, din 1024 este 10, iar din 2 este 1. Nu avem nevoie de formule algebrice greoaie; reținem doar ideea simplă că logaritmul măsoară câte dublări sau înjumătățiri leagă o mulțime de variante de certitudinea finală.

Ce se întâmplă dacă numărul variantelor nu este o putere perfectă a lui doi? De pildă, dacă avem o mie de posibilități, numărul teoretic de înjumătățiri este de aproximativ 9,97. Asta înseamnă că 9 întrebări nu ne ajung pentru a fi pe deplin siguri în toate cazurile, dar 10 întrebări sunt mai mult decât suficiente. Măsura informației nu trebuie să fie neapărat un număr întreg: ea exprimă câtă libertate de alegere conținea lista inițială, iar întrebările pe care le formulăm în practică reprezintă rotunjirea ei la pasul imediat următor.

Acum putem formula clar concluzia: a afla care variantă este adevărată dintr-un număr de posibilități egal probabile înseamnă a primi o cantitate de informație egală cu numărul de înjumătățiri necesare pentru a le cerne. Pentru șaisprezece cutii, avem nevoie de patru biți. Un mesaj care alege fără greș o variantă dintr-un milion aduce aproximativ douăzeci de biți de informație — exact cât încape în douăzeci de răspunsuri curate de „da” sau „nu”. Numărul de întrebări crește uimitor de lent în timp ce numărul variantelor explodează; tocmai de aceea putem găsi orice cuvânt într-un dicționar gros de o mie de pagini din doar câteva deschideri la mijloc.

Codul binar

Mai rămâne o legătură esențială de făcut — puntea către lumea calculatoarelor moderne. Șirul de răspunsuri pe care le-am strâns pe parcursul căutării binare nu se aruncă: el reprezintă, literă cu literă, chiar adresa unică a cutiei găsite. Dacă notăm fiecare răspuns de „da” cu cifra 1 și fiecare răspuns de „nu” cu cifra 0, în ordinea exactă în care au fost primite, obținem o secvență de patru cifre, cum ar fi 1011. Această succesiune funcționează ca un set de instrucțiuni de orientare la răscruce de drumuri și duce fără greș la o singură cutie. Fiecare cutie are propriul său șir distinct, fiindcă la fiecare pas o nouă tăietură desparte variantele rămase în două tabere.

A exprima un lucru în binar înseamnă pur și simplu a-l identifica prin istoricul alegerilor care îl deosebesc de toate celelalte variante din listă. Acest cod binar nu încearcă să descrie proprietățile intime ale obiectului — nu ne spune din ce este făcut sau cât cântărește —, ci doar unde se găsește el în raport cu vecinii săi. Este o adresă poștală curată, nu o pictură. Tocmai de aceea orice repertoriu din lume, de la literele alfabetului și sunetele unei viori până la culorile unei fotografii, poate fi transcris fidel folosind doar aceste două simboluri elementare: 0 și 1.

Când așezăm opt astfel de biți laolaltă, obținem un octet (cunoscut și sub denumirea englezească de byte). Opt biți pot deosebi 2⁸ = 256 de posibilități diferite: un spațiu suficient de generos pentru a include toate literele mari și mici ale unui alfabet, cifrele de la 0 la 9, semnele de punctuație și caracterele speciale ale unei tastaturi obișnuite. Un calculator nu „vede” litere, nuanțe calde de galben sau acorduri muzicale; el manevrează exclusiv lungi șiruri de 0 și 1, adică răspunsuri la întrebări succesive. Semnificația acestor biți depinde întru totul de convenția pe care am stabilit-o în prealabil: secvența 01000001 reprezintă litera mare „A” dacă citim un text, numărul 65 dacă facem socoteli sau o anumită nuanță de gri dacă prelucrăm o imagine digitală.

Probabilități inegale

Până în acest punct, am presupus că toate cutiile au șanse strict egale de a adăposti obiectul căutat, motiv pentru care tăietura făcută exact la jumătatea listei a fost cea mai înțeleaptă mișcare. Dar ce se întâmplă atunci când posibilitățile din fața noastră nu sunt la fel de probabile? Gândiți-vă, de pildă, la literele dintr-o limbă naturală.

A redacta un mesaj pe calculator înseamnă a transmite o succesiune de litere alese una câte una dintr-un repertoriu comun. Dacă avem un alfabet simplificat de treizeci și două de caractere și le tratăm pe toate ca fiind la fel de probabile, fiecare literă ne costă exact 5 întrebări — adică 5 biți —, iar un text de o mie de caractere va cere cinci mii de biți de memorie.

Știm însă prea bine că literele nu apar cu aceeași frecvență. În limba română, vocale precum „e”, „a” sau „i” se ivesc în aproape fiecare cuvânt, pe când litere precum „q”, „w” sau „y” apar doar sporadic în neologisme. Dacă tăiem mereu lista mecanic la mijloc, ambele categorii vor primi coduri de aceeași lungime: 5 biți pentru o literă omniprezentă și tot 5 biți pentru o raritate. Se produce astfel o risipă evidentă de spațiu și efort. Pentru a vedea cum putem îndrepta lucrurile, ne întoarcem la jocul cutiilor, dar de această dată lăsăm tăietura liberă să se deplaseze.

Linia de demarcație nu este obligată să stea înțepenită la mijlocul numărului de cutii. Mișcând glisorul, creăm coduri de lungimi inegale: o cutie favorizată poate fi identificată printr-un singur bit, în timp ce altele vor cere mai mulți biți. Cât timp toate cutiile au șanse egale, această deplasare este o pierdere clară: întrebarea asimetrică primește aproape mereu un răspuns previzibil, iar media întrebărilor crește.

Când însă probabilitățile sunt diferite, această asimetrie devine o cheie salvatoare. Tăietura ideală nu este cea care împarte numărul brut de variante în două, ci aceea care împarte în două probabilitatea totală: de o parte așezăm variantele frecvente care, însumate, adună 50% din șanse, iar de cealaltă parte restul. Procedând astfel, fiecare răspuns rămâne la fel de imprevizibil ca o aruncare cinstită de monedă și ne aduce un bit întreg de lămurire. Simbolurile frecvente primesc coduri scurte, economice, iar simbolurile rare primesc coduri mai lungi. În ansamblu, lungimea medie a textului scade simțitor sub 5 biți pe caracter, fără a pierde nici măcar o singură literă. E exact intuiția genială a lui Samuel Morse de la mijlocul secolului al XIX-lea: pentru cea mai frecventă literă a alfabetului englez, „E”, a ales cel mai scurt semnal cu putință — un singur punct scurt —, lăsând combinațiile lungi pentru literele rar folosite.

Limita teoretică minimă a acestei lungimi medii, pentru un set dat de probabilități, poartă un nume celebru în știință: entropie. Aceasta este tema fascinantă pe care o vom deschide în lecția următoare.

Ce presupune această măsură

Înainte de a merge mai departe pe drumul nostru, merită să facem un pas în spate și să contemplăm limpede temeliile pe care se sprijină această teorie, căci tot ce vom învăța mai târziu — până la cele mai avansate modele de inteligență artificială — își trage rădăcinile de aici.

• O listă clară de posibilități, convenită dinainte de emițător și receptor. Noțiunea de informație este întotdeauna relativă la această stare inițială de cunoaștere: același mesaj aduce patru biți de noutate cuiva care ezita între șaisprezece variante, dar aduce zero biți cuiva care cunoștea deja răspunsul dinainte.
• Probabilități și grade de așteptare. Măsura informației nu cercetează ce este moral, estetic sau util, ci cât de neașteptat este un eveniment. Măsurăm gradul de surpriză obiectivă pe care îl provoacă o veste, nu justețea ei filosofică.
• O detașare deplină de semnificația subiectivă. Un mesaj fals sau o fabulă bine ticluită transportă exact la fel de mulți biți ca un adevăr științific riguros, dacă ambele aleg cu aceeași precizie din repertoriul de semne. Această neutralitate nu este un defect, ci tocmai secretul aplicabilității universale a teoriei: tocmai pentru că nu depinde de interpretări omenești, măsura bitului funcționează la fel de ireproșabil pentru literele unei cărți, pixelii unei fotografii din spațiu, secvențele genetice din ADN sau miliardele de parametri dintr-o rețea neuronală modernă.

În schimbul acestei abstractizări, primim un avantaj formidabil: o măsură universală care se poate aduna, compara, stoca și optimiza. Datorită ei putem calcula cu precizie cât spațiu ocupă un text într-o memorie, cât de mult poate fi comprimată o fotografie fără pierderi vizibile, câți biți pot călători pe secundă printr-o fibră optică și — așa cum vom vedea în a doua jumătate a cursului — cât de bine a învățat o mașină inteligentă să anticipeze următorul cuvânt dintr-o conversație.