Home » Articole » RO » Societate » Societatea Informaţională » Informaţii » Ştiinţa informaţiei » Evaluarea matematică a informațiilor

Evaluarea matematică a informațiilor

Teoria informației se bazează pe teoria probabilității și statistică. Teoria informației adesea se referă la măsurări ale informațiilor distribuțiilor asociate cu variabile aleatoare. Cantitățile importante de informații sunt entropia, o măsură a informațiilor într-o singură variabilă aleatoare, și informațiile reciproce, o măsură a informațiilor în comun între două variabile aleatoare. Prima cantitate este o proprietate a distribuției de probabilitate a unei variabile aleatoare și oferă o limită privind rata la care datele generate de eșantioane independente cu distribuția dată pot fi comprimate în mod fiabil. Cea din urmă este o proprietate a distribuției în comun a două variabile aleatoare, și este rata maximă de comunicare fiabilă pe un canal zgomotos, în limita lungimilor blocului, atunci când statisticile de canal sunt determinate de distribuția în comun.

Alegerea bazei logaritmice în următoarele formule determină unitatea utilizată a entropiei informațiilor. O unitate comună de informații este bitul, bazat pe logaritmul binar. Alte unități includ nat, care se bazează pe logaritmul natural, și hartley, care se bazează pe logaritmul zecimal.

În cele ce urmează, o expresie a formei p log p este considerată, prin convenție, ca fiind egală cu zero, ori de câte ori p = 0. Acest lucru este justificat deoarece limp→0+ plog⁡ p = 0 pentru orice bază logaritmică.

Entropia unei surse de informații

Pe baza funcției de masă de probabilitate a fiecărui simbol sursă care urmează să fie comunicată, entropia Shannon H, în unități de biți (per simbol), este dată de

H = – Σipilog(pi)

unde pi este probabilitatea de apariție a celei de a i-lea valori posibile a simbolului sursă. Această ecuație oferă entropia în unități de „biți” (per simbol), deoarece folosește un logaritm de bază 2, iar această măsură de bază 2 a entropiei a fost numită uneori „shannon” în onoarea lui. Entropy este de asemenea frecvent calculată folosind logaritmul natural (baza e, unde e este numărul lui Euler), care produce o măsurătoare a entropiei în „nat” per simbol și, uneori, simplifică analiza prin evitarea necesității includerii constante suplimentare în formule. Alte baze sunt de asemenea posibile, dar mai puțin frecvent utilizate. De exemplu, un logaritm de bază 28 = 256 va produce o măsurătoare în octeți per simbol iar un logaritm în baza 10 va produce o măsurătoare în cifre zecimale (sau hartley) per simbol.

Intuitiv, entropia HX  a unei variabile aleatoare discrete X este o măsură a cantității de incertitudine asociată cu valoarea lui X, atunci când numai distribuția sa este cunoscută.

Entropia unei surse care emite o secvență de N simboluri care sunt independente și identic repartizate (iid) este N·H biți (per mesaj de N simboluri). Dacă simbolurile datelor sursă sunt distribuite în mod identic, dar nu independent, entropia unui mesaj de lungime N va fi mai mică decât N·H.

Entropia unui proces Bernoulli în funcție de probabilitatea de succes(Entropia unui proces Bernoulli în funcție de probabilitatea de succes, adesea numită funcția de entropie binară, Hb(p). Entropia este maximizată la 1 bit per proces atunci când cele două rezultate posibile sunt la fel de probabile, ca într-o tragere la sorți echidistantă.)

Entropia comună

Entropia comună a două variabile aleatoare discrete X și Y este entropia de împerechere a acestora: (X, Y). Acest lucru implică faptul că dacă X și Y sunt independente, atunci entropia lor comună este suma entropiile lor individuale.

De exemplu, în cazul în care (X, Y) reprezintă poziția unei piese de șah – X rândul și Y coloana, atunci entropia comună a rândului piesei și coloanei piesei va fi entropia poziția piesei.

H(X,Y) = EX,Y[-log⁡p(x,y)] = – Σx,yp(x,y) logp(x,y)

În ciuda notației similare, entropia comună nu trebuie confundat cu entropie încrucișată.

Entropia condițională (echivocă)

Entropia condițională sau de incertitudinea condiționată a lui X dată fiind variabila aleatoare Y (numită și echivocul lui X despre Y) este media entropiei condiționale peste Y:

H(X|Y) = EY[H(X|y)] = – Σy∈Yp(y) Σx∈Xp(x|y) logp(x|y) = – Σx,yp(x,y) log(p(x,y)/p(y))

Pentru că entropia poate fi condiționată de o variabilă aleatoare sau pe acea variabilă aleatoare de o anumită valoare, trebuie avut grijă să nu se confunde aceste două definiții ale entropiei condiționale, dintre care prima este în uz mai frecvent. O proprietate de bază a acestei forme de entropie condiționată este faptul că:

H(X|Y) = H(X,Y) – H(Y)

Informații reciproce (transinformații)

Informația reciprocă măsoară cantitatea de informații care poate fi obținută cu privire la o variabilă aleatoare prin observarea alteia. Este importantă în comunicare unde poate fi folosită pentru a maximiza cantitatea de informații partajate între semnalele transmise și recepționate. Informația reciprocă a lui X în raport cu Y este dată de:

I(X,Y) = EX,Y[IS(x,y)] = x,yp(x,y) log(p(x,y)/p(x)p(y))

unde IS (Informațiile reciproce Specifice) sunt informațiile reciproce punctuale.

O proprietate de bază al informațiilor reciproce este că

I(X,Y) = H(X) – H(X|Y)

Adică, știind Y, putem salva o medie de I(X,Y) biți codificând X, comparativ cu necunoașterea lui Y.

Informațiile reciproce sunt simetrice:

I(X,Y) = I(Y,X) = H(X) + H(Y) – H (X,Y)

Informațiile reciproce pot fi exprimate ca divergența medie Kullback-Leibler (câștigul de informații) între distribuția de probabilitate posterioară a lui X având în vedere valoarea lui Y și distribuția anterioară pe X:

I(X,Y) = Ep(y)[DKL(p(X|Y = y)∥p(X))]

Cu alte cuvinte, aceasta este o măsură a cât de mult, în medie, se va schimba distribuția de probabilitate pe X dacă se dă valoare lui Y. Acest lucru este adesea recalculat ca divergență din produsul distribuțiilor marginale la actuala distribuţie comună:

I(X,Y) = DKL(p(X,Y)∥p(X) p(Y))

Informațiile reciproce sunt strâns legate de testul raportului de veridicitate în cadrul tabelelor de evenimente neprevăzute și distribuție multinomială și de testul χ2 al lui Pearson: informațiile reciproce pot fi considerate o statistică pentru evaluarea independenței între o pereche de variabile, și are o distribuție asimptotică bine specificată.

Divergența Kullback-Leibler (câștigul de informații)

Divergența Kullback-Leibler (sau divergența de informații, câștigul de informații, sau entropia relativă) este o modalitate de a compara două distribuții: o distribuție de probabilitate p(X) „adevărată”, și o distribuție de probabilitate q(X) arbitrară. Dacă vom comprima datele într-un mod care presupune că q(X) este distribuția care stă la baza unor date, atunci când, în realitate, p(X) este distribuția corectă, divergența Kullback-Leibler este numărul de biți suplimentari medii per datum necesari pentru comprimare. Aceasta este astfel definită

DKL(p(X)∥q(X)) = Σx∈X -p(x) logq(x) – Σx∈X -p(x) logp(x) = Σx∈X p(x) log(p(x)/q (x))

Cu toate că este folosită uneori ca „distanță metrică”, divergența KL nu este o adevărată metrică, deoarece aceasta nu este simetrică și nu satisface inegalitatea triunghiului (făcând-o o semi-quasimetrică).

O altă interpretare a divergenței KL este „surpriza inutilă”, introdusă printr-o evaluare a priori: să presupunem că un număr X este pe cale de a fi tras la întâmplare dintr-un set discret cu distribuția de probabilitate p(x). În cazul în care Alice știe adevărata distribuție p(x), în timp ce Bob crede a priori că distribuția de probabilitate este q(x), atunci Bob va fi mai surprins decât Alice, în medie, dupa ce a văzut valoarea lui X. Divergența KL este valoarea așteptată (obiectivă) a suprizei (subiective) a lui Bob minus surpriza lui Alice, măsurată în biți, dacă logaritmul este în baza de 2. În acest fel, în măsura în care evaluarea a priori a lui Bob este „greșită” poate fi cuantificată în ceea ce privește modul „surpriza inutilă”, este de așteptat să-l atingă.

Alte cantități

Altecantități teoretice de  informații importante includ entropia Rényi (o generalizare a entropiei), entropia diferențială (o generalizare a cantităților de informații în distribuții continue), precum și informațiile reciproce condiționale.

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *