Canale

Canalul afectat de zgomot gausian aditiv este modelul de canal cel mai simplu utilizat in analiza statistica clasica in teoria comunicarii . El este un canal fara memorie, invariant in timp, fara distorsiuni afectat de zgomot aditiv distribuit gausian. Acest zgomot se presupune adesea ca este zgomot alb.

Canalul simetric binar este modelul de canal fundamental folosite in teoria informatiei clasica. Semnalele de intrare sunt binare (0 si 1), si probabilitatea de receptionare a unui 1 dupa transmiterea unui 0 (si invers) este p; probabilitatea de a nu apare nici o eroare este q=1-p.

Capacitatea unui canal este rata (in biti pe canal utilizat) cu care informatia poate fi transmisa (si receptionata fara erori) printr-un canal afectat de zgomot.

Caracteristicile canalelor

 Medii de transmisie

Prin fire

perechi rasucite (Twisted Pair)
cablu coaxial
linii de putere
fibra optica
fara fir
    ELF, VLF, LF, MF, HF, VHF, UHF, microunde, infrarosu, visibil, UV,  

Canalul AWGN

unde:

n(t) - este zgomotul alb ce se insumeaza peste semnalul util undeva in timpul procesului de transmisie pe canalul de comunicatie.

s(t) - semnalul util transmis de sursa, iar

y(t) - semnalul receptionat la destinatie afectat

Un semnal poate fi reprezentat ca un punct in spatiul semnalelor. Puterea acestui semnal este reprezentate de patratul lungimii vectorului corespunzator ce conecteaza originea cu acel punct. Zgomotul aditiv face ca semnalul receptionat sa fie un punct diferit, ce apare intr-o regiune invecinata punctului reprezentand semnalul transmis. Raza sferei reprezentate in figura urmatoare reprezinta radacina patrata a puterii zgomotului.

Fie un semnal binar este ia valorile 0 si A. In prezenta unui zgomot  gaussian alb aditiv se obtine un semnal y a carei distributie este suma celor doua distributii gaussiene: P0pY|0 si P1pY|1, unde P0 si P1 sunt probabilitatile de aparitie a unui 0, respectiv 1, la intrarea canalului iar pY|0 si pY|1 sunt functiile de repartitie a unui semnal 0, respectiv 1, care au strabatut canalul afectat de zgomot. 

Distinctia dintre un semnal 1 si un semnal 0 la receptie se face prin alegerea unui prag de separare reprezentat in figura prin punctul de pe axa y de valoare m. Introducerea acestui prag de separare introduce anumite erori. Spre exemplu in stanga lui m (y < m) exista o probabilitate nenula (reprezentata in figura prin functia P1pe|1) ca un semnal 1 sa fie receptionat la celalalt capat ca fiind 0. Analog, exista o probabilitate nenula (P0pe|0, in figura) ca un semnal 0 transmis la intrarea canalului sa fie interpretat ca 1. Mai precis P1pe|1(y)  = P1pY|1(y) pentru y<m adica probabilitatea ca un 1 sa fie interpretat ca ). Analog, P0pe|0(y)  = P0pY|0(y) pentru y > m. Functia de eroare totala este suma celor doua "cozi" de gaussiene reprezentata in figura prin hasurarea verticala a ariei dintre functia de eroare si axa y.

Canalul binar simetric

Canalul binar simetric presupune doua semnale de intrare x0 si x1. x0 este receptionat fara erori (ca y0) cu probabilitatea 1-p si cu eroare (ca y1) cu probabilitatea p. Similar, x1 este receptionat fara erori (ca y1) cu probabilitatea 1-p si cu eroare (ca y0) cu probabilitatea p. Probabilitatea totala de receptie cu erori este 

P0p+P1p = p

Selfinformatia

Shannon a definit selfinformatia la iesirea unei surse discrete prin cantitatea de informatie necesara pentru a specifica, fara ambiguitati, in biti, un simbol emis de acea sursa.

Selfinformatia corespunzatoare unui semnal de xk ce apare cu probabilitatea p(xk) se defineste prin:

I(xk)  = - log2{ p(xk)}

Idea lui Shannon poate fi inteleasa daca ne punem urmatoare intrebare: Care este numarul de biti necesar pentru a reprezenta numarul intreg N? Insa orice numar N este cuprins intre doua puteri intregi ale lui 2. Spre exemplu 24 < 17 <25. Urmand aceasta idee putem reprezenta pe 17 ca fiind 24.087.... Adica pentru reprezentarea binara a lui 17 ar fi necesare 4.087... biti.

Informatie mutuala

Cantitatea de informatie furnizata de un semnal de iesire yi referitoare la un semnal de intrare xk este numita informatie mutuala si este definita prin

I(xk ; yi)  = - log2{ p(xk|yi)/p(xk)}

Care este logaritmul raportului dintre probabilitatea a posteriori si probabilitatea a priori.

Adica, raportul dintre ceea ce stim noi (statistic) ca s-a transmis dupa ce s-a receptionat ceva (y) si ceea ce stiam inainte.

Nota: p(A|B) este probabilitatea conditionata de aparitie a evenimentului A de aparitia evenimentului B. Deoarece prin definitie

p(A|B)=p(A si B)/p(B) = p(AB)/p(B)

Probabilitatea p(A|B) se mai numeste probabilitate a posteriori de aparitie a evenimentului A (conditionata de aparitia evenimentului B), in timp ce p(A) se numeste probabilitate a priori.

Aici evenimentul yi este cauzal ulterioara aparitiei evenimentului xk.

Interpretarea informatiei mutuale

Se poate arata imediat ca 

I(xk ; yi)=I(xk)-I(xk|yi)

ceea ce inseamna ca informatia mutuala este diferenta dintre ceea ce stiam a priori si ceea ce stim a posteriori referitor la emisia unui semnal xk.

 Adica, cantitatea de informatie furnizata de yi este egala cu diferenta dintre selfinformatia lui xk inainte si dupa de observarea lui yi.

Observam ca 

I(xk ; yi)=I(yi ; xk)

deoarece

I(xk ; yi) = - log2{p(xkyi)/[p(xk)p(yi)]}

Informatia mutuala este o masura a schimbarii cantitatii de informatie despre semnalul de la intrarea canalului obtinuta prin observarea semnalului de la iesire.

Capacitatea unui canal

Capacitatea unui canal este cantitatea maxima de informatie furnizata de un canal in medie, masurata in biti.

Presupunand ca rata sursei prezente la intrarea canalului (in biti per simbol) este mai mica decat capacitatea canalului este posibila precizarea informatiei de la iesirea sursei fara eroare.

Mai exact, este posibila transmisia de date printr-un canal afectat de zgomot fara eroare.

Astfel, capactatea canalului masurata in biti (pe simbol) este rata maxima cu care informatia poate fi transmisa prin canal si receptionata fara erori.

Codificarea canalului

Redundanta structurata este adaugata mesajului informational in scopul reducerii cantitatii de informatie per simbol (si a cobora sub capacitatea canalului) sub forma unor caractere de verificarea a paritatii.

Astfel la iesirea canalului pot fi verificate anumite relatii algebrice, depistandu-se astfel posibilele erori.

O data depistate aceste erori ele pot fi inlaturate cu o probabilitate foarte mare.