» » » » » » » Contribuții ale lui Claude E. Shannon în teoria informației

Contribuții ale lui Claude E. Shannon în teoria informației

Teoria informației

Teoria informației studiază transmiterea, prelucrarea, utilizarea și extragerea informațiilor. Abstract, informația poate fi gândită ca o soluționare a incertitudinii. În cazul comunicării informațiilor printr-un canal cu paraziți, acest concept abstract a fost concretizat în 1948 de către Claude Shannon în lucrarea sa „O teorie matematică a comunicării„, în care „informația” este gândită ca un set de mesaje posibile, unde scopul este de a trimite aceste mesaje peste un canal cu paraziți, și apoi receptorul să reconstruiască mesajul cu probabilitate mică de eroare, în ciuda paraziților canalului. Rezultatul principal al lui Shannon, teorema codării zgomot-canal, a arătat că, în limita multor utilizări ale canalului, rata de informații care sunt asimptotic obtenabile este egală cu capacitatea canalului, dependentă doar de statistica canalului prin care sunt trimise mesajele.

Teoria informației este strâns asociată cu o colecție de discipline pure și aplicate, care au fost studiate și reduse la practica inginerească într-o varietate de grile în întreaga lume în ultima jumătate de secol: sisteme adaptive, sisteme anticipatorii, inteligența artificială, sisteme complexe, știința complexității, cibernetica, informatica, învățarea la nivel de mașină, împreună cu științele sistemelor cu multiple descrieri. Teoria informației este o teorie matematică amplă și profundă, cu aplicații la fel de largi și profunde, printre care domeniul vital al teoriei codificării.

Teoria codificării este preocupată de gasirea unor metode explicite, numite coduri, pentru creșterea eficienței și reducerea ratei de eroare de comunicare de date prin canale cu paraziți în apropierea capacității canalului. Aceste coduri pot fi divizate aproximativ în tehnici pentru compresia datelor (codarea sursei) și corectarea erorilor (codarea canalului). În acest din urmă caz, a fost nevoie de mulți ani până când metodele de lucru ale lui Shannon s-au dovedit a fi posibile. O a treia clasă de coduri în teoria informației sunt algoritmii de criptare (atât coduri cât și cifruri). Conceptele, metodele și rezultatele din teoria codificării și teoria informației sunt utilizate pe scară largă în criptografie și criptanaliza.

Teoria informației este, de asemenea, utilizată în regăsirea de informații, colectarea de informații, jocuri de noroc, statistici, și chiar în compoziția muzicală.

Eveniment reper care a instituit disciplina teoriei informației, și a adus-o imediat în centrul atenției la nivel mondial, a fost lucrării clasice a lui Claude E. Shannon, „O teorie a comunicării„, în Bell System Technical Journal în iulie și octombrie 1948.

Înainte de această lucrare, idei limitate despre teoria informațiilor au fost dezvoltate la Bell Labs, toate asumând implicit evenimentele de egală probabilitate. Lucrarea din 1924 a lui Harry Nyquist, Anumiți factori care afectează viteza telegrafului, conține o secțiune teoretică de cuantificare a „inteligenței” și „vitezei de linie” la care se poate transmite printr-un sistem de comunicație, conform relației W = K log m (amintind de constanta lui Boltzmann), unde W este viteza de transmitere a informațiilor, m este numărul de niveluri diferite de tensiune pentru a fi alese la fiecare moment, iar K este o constantă. Lucrarea din1928 a lui Ralph Hartley, Transmiterea informațiilor, utilizează cuvântul informație ca o cantitate măsurabilă, reflectând capacitatea receptorului de a distinge o secvență de simboluri din oricare alte informații, cuantificând astfel informația ca H = log Sn = n log S, unde S este numărul de posibile simboluri, și n numărul de simboluri dintr-o transmisie. Unitatea de informații este, prin urmare, cifra zecimală, mult mai târziu redenumită hartley în onoarea autorului ca o unitate sau scară de măsurare a informațiilor. Alan Turing în 1940 a folosit idei similare ca parte a analizei statistice pentru spargerea cifrurilor germane Enigma în al doilea război mondial.

O mare parte din matematica din spatele teoriei informației cu evenimente de probabilități diferite a fost dezvoltată pentru domeniul termodinamicii de Ludwig Boltzmann și J. Willard Gibbs. Conexiuni între entropia informației și entropia termodinamică, inclusiv contribuțiile importante ale lui Rolf Landauer în anii 1960, sunt explorate în lucrarea Entropia în termodinamică și teoria informației.

În lucrarea revoluționara și fundamentală a lui Shannon, o muncă completată în mod substanțial la Bell Labs până la sfârșitul lui 1944, prima dată a fost introdus modelul calitativ și cantitativ al comunicării ca proces statistic care stă la baza teoriei informației, pornind de la afirmația că

„Problema fundamentală a comunicării este aceea de a se reproduce, la un moment dat, exact sau aproximativ, un mesaj selectat la un alt punct.”

De aici s-au dezvoltat următoarele idei:

  • entropia informațiilor și redundanța unei surse, precum și relevanța sa prin teorema codificării sursei;
  • informația reciprocă și capacitatea de canal a unui canal cu paraziți, inclusiv promisiunea unei comunicări perfecte fără pierderi dată de teorema codificării zgomot-canal;
  • rezultatul practic al legii Shannon-Hartley pentru capacitatea canalului pentru un canal gaussian; precum și
  • bit – un nou mod de a vedea unitatea fundamentală a informațiilor.

Lasă un răspuns

Adresa ta de email nu va fi publicată. Câmpurile obligatorii sunt marcate cu *