Entropija i informacija

ta je zapravo informacija?
ime se bavi teorija informacija?
Kako meriti koliinu informacija?

Teorija informacija
Informacija
Signal

Informacija je saznanje preneto kroz prostor-vreme.

Signal je fiziki nosilac informacije.

Informacija -
Signal
Uvod u teoriju unformacija
Druge definicije informacije:
Poruka koju je primalac prihvatio i razumeo
Podatak: injenica na osnovu koje je mogue doneti
zakljuak; "statistiki podatak"
Znanje prikupljeno studiranjem, iskustvom ili poduavanjem
Mentalni stimulans
Znaenje
Znanje
Uvid

Definicije
informacije
Uvod u teoriju unformacija
...
Vest
Predanje
Prezentacija
Ono to auditor prikupi o organizaciji
(dovoljno, kompetentno, relevantno i korisno)

Definicije
informacije
Uvod u teoriju unformacija
...
Rezultat procesiranja i organizacije injenica ime
se poveava koliina znanja onoga ko ih prima
Mogunost zakljuivanja o uzroku posmatranjem posledice
(vatra, dim)

Definicije
informacije
Uvodu teoriju unformacija
 Bilo kakva komunikacija ili predstava znanja u formi injenica,
podataka, miljenja na bilo kom medijumu i u bilo kom obliku,
ukljuujui tekstualni, numeriki, grafiki, kartografski, narativni ili
audiovizualni
Numerika mera smanjenja neizvesnosti nakon prelaska nekog
sistema iz jednog stanja u drugo
Najkrai zapis koji treba dati Turingovoj maini nakon ega bi ona
mogla da reprodukuje datu sekvencu simbola

Definicije
informacije
Uvod u teoriju unformacija
Informacija

Informacija je saznanje preneto kroz prostor-vreme.

Informacija
Uvod u teoriju unformacija
 Pod reju saznanje moemo smatrati postupak uklanjanja
nedoumice o stvarnom stanju nekog sistema
Drugim reima, ono to saznajemo jeste istina koja nam je pre
saznanja bila nedostupna
Saznanje se, u vidu informacije, moe dalje preneti, tako da
korisnik informacije moe postati njen novi izvor

Saznanje
Uvod u teoriju unformacija
Teorija informacija bavi se:
Definicijom mere koliine informacija

Prouavanjem izvora informacija

Prouavanjem prenosnog kanala

Analizom granica koje optimalni sistem moe dostii

Konstrukcijom prenosnog sistema to boljih performansi

Predmet
prouavanja
Uvod u teoriju unformacija
Pored toga, teorija informacija bavi se i:
Analizom mogunosti zatite tajnosti informacija

Analizom mogunosti skladitenja informacija

Analizom sistema sa vie korisnika koji meusobno sarauju

ili ne sarauju

Predmet
prouavanja
Uvod u teoriju unformacija
Communication Engineering & Signal Processing

Claude Elwood Shannon (1916 2001)

Ameriki elektroinenjer i matematiar, poznat kao otac
teorije informacija, ali i teorije projektivanja digitalnih
elektronskih kola
Poetak teorije informacija

Sve tehnike komunikacije u sutini su diskretne teorema o uzorkovanju

Izvor informacija generie stohastiki proces,

pa se prenos informacija mora analizirati alatima teorije verovatnoe

Postoji mogunost da se prenos informacija znaajno ubrza

bez oteenja, bez obzira na kanal

Postoji mogunost da se kroz dati kanal prenos informacija obavi

sa proizvoljno malom verovatnoom greke kapacitet kanala

Uvod u teoriju unformacija

enonov model komunikacionog sistema

Smetnje

KODER ZATITNI ZATITNI DEKODER

IZVOR
IZVORA KODER
+ DEKODER IZVORA
KORISNIK

Ekvivalentni izvor Ekvivalentni korisnik

Kanal bez smetnji

Prenosni medijum

Uvod u teoriju unformacija

 I(a) = -log(P[a])

Smanjivanjem P[a], I(a) raste.

Verovatnoa dva nezavisna dogaaja

je P[a,b]=P[a]*P[b].

Matematika
definicija
Uvod u teoriju unformacija
Primer:

Primer:

Ishod eksperimenta sa jednim

noviem nosi 1 bit informacije.

Uvod u teoriju unformacija

Objanjenje...

Usvojena definicija ne vodi rauna o znaenju koje neka

informacija ima za korisnika usled njegovih predznanja
(informacija koje je uskladitio pre prijema informacije o
dogaaju a). S druge strane, ona je osnovni koncept
digitalnih komunikacija.

Definicije
informacije
Uvod u teoriju unformacija
Entropija

Ako sluajni dogaaji A1, A2, ... , An oznaavaju razliita stanja

nekog fizikog sistema X, gde je funkcionisanje sistema prelazak iz
jednog u drugo stanje, tada se svakom stanju moe pridruiti
brojevna vrednost i X smatrati sluajnom promenljivom (gde su pi
verovatnoe zauzimanja stanja Ai):

x1 x2 ... xn n
X : , p i 1
p1 p2 ... p n i 1

Uvod u teoriju unformacija

 Entropija

Entropija je mera neodreenosti (haosa, neizvesnosti) sistema u

pogledu prelaska u jedno od moguih stanja, posmatrajui
komunikacione sisteme (izvor, koder, kanal, dekoder, primalac,
smetnje) u kojima signali i umovi takoe imaju statistiki karakter,
tj. pojavljuju se sa odreenim raspodelama verovatnoe. Od ove
raspodele zavisi i srednja informacija po signalu (mera informacije).
Obrazac za entropiju (neizvesnost u pogledu izbora jedne od
moguih vrednosti kojima su pridruene verovatnoe pi) je po
Shannon-u: n
H X pi log 2 pi
i 1
Jedinica za entropiju je bit.

Uvod u teoriju unformacija

 Entropija

Entropiju H(x) sluajne veliine x moemo interpretirati na sledee

naine:
Oekivana koliina informacije koju sadri jedna realizacija x
Neodreenost u vezi ishoda jedne relizacije x
Oekivana vrednost broja bita neophodnih za opis jedne
realizacije x

Uvod u teoriju unformacija

Osobine entropije

H(1)=0
H(p1, p2, , pn) ne zavisi od permutacije verovatnoa pi; i=1,2, .., n
H(p1, p2, , pn, 0) = H(p1, p2, , pn)
H 1 , 1 ,..., 1 h(n) je rastua funkcija od n N
n n n

U sluaju kada su verovatnoe pi iste, obrazac ima oblik:

1 1 1
H , ,..., log 2 n
n n n

Uvod u teoriju unformacija

Entropija sloenih sistema

Posmatraju se i sloeni sistemi (X,Y), gde su sva mogua stanja,

realizacije dvodimenzionalne sluajne promenljive.
Vezano za komunikacione sisteme, veliine su:
H(X) i H(Y) neizvesnosti u vezi sa ulazom kanala X i izlazom kanala Y,
H(X,Y) neizvesnost u pogledu pojave ureenog para (X,Y),

Uslovna entropija:

H X / Y pij log 2 q j / i
i j

Srednja uzajamna informacija X i Y:

I X , Y H X H X / Y H Y H Y / X

Uvod u teoriju unformacija

 Literatura

Prof. dr Vojin enk

Teorija informacija