Teorija informacije

Osnovni pojmovi teorije informacije

Osnovni pojmovi teorije informacije

♦ I. Diskretna slučajna varijabla

♦ II. Opći model diskretnog komunikacijskog sustava

Poruka i prijenos poruke

Sadržaj informacije poruke

Srednji sadržaj informacije - entropija
♦ III. Vjerojatnosni opis komunikacijskog sustava
♦ IV. Informacijski opis komunikacijskog sustava

informacijske mjere
♦ V. Kapacitet diskretnog komunikacijskog kanala
♦ VI. Prijenos informacije komunikacijskim sustavom

Teorija informacije / Osnovni pojmovi teorije informacije 2

I. Diskretna slučajna varijabla

♦ Slučajna varijabla x koja poprima vrijednosti x iz

skupa simbola X s vjerojatnošću px(x). Vektor
vjerojatnosti označavamo kao px.

Primjer (bacanje kocke):

X = {1, 2, 3, 4, 5, 6}, px(2) = 1/6.
 Vektor vjerojatnosti: px= [1/6, 1/6, 1/6, 1/6, 1/6, 1/6]

Napomena: indeks x u izrazu px(x) neće se pisati u

primjerima i zadacima. Primjer zapisa: p(1) == p(x = 1) ==
p1,...

Teorija informacije / Osnovni pojmovi teorije informacije 3

 DEFINICIJA
II. Opći model diskretnog komunikacijskog
sustava

♦ Temeljni problem komunikacije je točno ili

aproksimativno reproducirati u jednoj točki
informacijskog prostora (odredište) poruku odabranu
na nekoj drugoj točki (izvor) [Shannon, 1948].

DISKRETNI KOMUNIKACIJSKI
IZVOR SUSTAV ODREDIŠTE

SMETNJE

KOMUNIKACIJSKI SUSTAV

Teorija informacije / Osnovni pojmovi teorije informacije 4

 DEFINICIJA
Poruka

♦ Poruka je niz simbola odabranih iz konačne abecede X

Abeceda je skup elementarnih simbola
X = {x1 , x2 ,..., xi ,..., xn }
♦ Svaki simbol pri N-tom biranju ima vjerojatnost pojavljivanja:
→ p N ( xi )
xi 
♦ Pretpostavka (za sada): odabir simbola neovisan o
prethodno odabranim simbolima: xi  → p ( xi )

x3x2x5x1x0... DISKRETNI
IZVOR KOMUNIKACIJSKI ODREDIŠTE
SUSTAV

SMETNJE

Teorija informacije / Osnovni pojmovi teorije informacije 5

Prijenos poruke: pogled sa izvora

♦ Prijenos poruke odgovara prijenosu simbola

♦ Na izvoru se pojavljuje simbol xi (i = 1,..., n)

Što se pojavljuje na odredištu?
 U idealnom slučaju bi slijed simbola koji se pojavi na odredištu bio jednak slijedu
simbola na izvoru;
 Općenito gledano, na odredištu se pojavljuje neka druga poruka, tj. niz simbola yj
(j = 1,..., m);
♦ Pretpostavka: poznata statistička svojstva prijenosa – [p(yj|xi)]
DISKRETNI KOMUNIKACIJSKI
IZVOR SUSTAV ODREDIŠTE

SMETNJE

X , P( X ) Y , P (Y )
x1 , p ( x1 ) p ( y1 / x i ) y1 , p ( y1 )
x 2 , p ( x2 ) y 2 , p ( y2 )

xi , p ( xi )

xn , p ( xn )
? p ( y j / xi )
y j , p( y j )

ym , p( ym )

Teorija informacije / Osnovni pojmovi teorije informacije 6

 Prijenos poruke: pogled sa odredišta

♦ Prije pojave yi, znamo

IZVOR
DISKRETNI KOMUNIKACIJSKI
SUSTAV ODREDIŠTE vrlo malo o događajima
na izvoru
SMETNJE
♦ Nakon opažanja yi
X , P( X ) Y , P(Y )
znamo više: primili smo
x1 , p( x1 )
x2 , p ( x2 )
p( x1 / y j ) y1 , p ( y1 )
y2 , p ( y2 )
informaciju!
xi , p( xi )

xn , p( xn )
p( xi / y j )

? y j , p( y j )

ym , p ( ym )

Teorija informacije / Osnovni pojmovi teorije informacije 7

Sadržaj informacije događaja xi

♦ Sadržaj informacije događaja xi (oznaka I(x=xi)) je

količina informacije koju, svojom pojavom, sam o
sebi donosi događaj x = xi.
♦ Neka je p vjerojatnost pojavljivanja događaja (x = xi)
tada je I(x = xi) = –log2p [bit].

U literaturi se može naći oznaka SIC (engl. Shannon
Information Content).

♦ Primjer (bacanje novčića):

X = {Pismo, Glava}, px= [1/2, 1/2], I(x = Pismo) = 1 bit.

Teorija informacije / Osnovni pojmovi teorije informacije 8

Primjer: Sadržaj informacije poruke

♦ Koliko informacije možemo maksimalno prenijeti nekom porukom?

♦ Primjer: Diskretno bezmemorijsko izvorište generira simbole iz skupa

simbola X = {x1, x2, x3, x4}. Vjerojatnosti pojavljivanja simbola su
sljedeće: p(x1) = 0.4, p(x2) = 0.3, p(x3) = 0.2 i p(x4) = 0.1. Izračunajte
količinu informacije koja se prenosi u poruci x1x2x1x3.

Rješenje: 6,7 bit/poruka

Koliko informacije u prosjeku sadrži svaki simbol poruke?

 ENTROPIJA

IZVOR

Teorija informacije / Osnovni pojmovi teorije informacije 9

 DEFINICIJA
Entropija

♦ Entropija diskretne slučajne varijable → H(X)

n
H (X ) = − ∑ p( xi ) log p( xi ) [bit/simbol ]
i =1
♦ Srednja vrijednost vlastitog sadržaja informacije slučajne
varijable x
♦ Primjer: Koliki je prosječni broj pitanja (s odgovorima
“da/ne”) da se pogodi cjeli broj između (0, 10]?

X={1, 2, ...,10}, p(1)=p(2)=...=p(10)=1/10

H(x)=3,32 bit/simbol

Rješenje: potrebni broj pitanja je u intervalu [H(x), H(x)+1]

Teorija informacije / Osnovni pojmovi teorije informacije 10

Primjer: H(X) za Bernoullijevu slučajnu
varijablu

♦ Funkcija gustoće vjerojatnosti f(k,p)  p, k = 1


f ( k , p ) = 1 − p, k = 0
0, ostalo
♦ X={0, 1}, px= [1- p, p] 

Napomena: isto dobivamo za slučaj bacanja novčića.

Teorija informacije / Osnovni pojmovi teorije informacije 11

Entropija, neodređenost, sadržaj informacije
u sustavu bez smetnji

? H(X)
DISKRETNI KOMUNIKACIJSKI
? H(Y) ♦ Neodređenost = entropija
IZVOR SUSTAV BEZ SMETNJI ODREDIŠTE

PRIJE NASTANKA PORUKE

I(X) = H(X)
x3x2x5x1x0...
DISKRETNI KOMUNIKACIJSKI
? H(Y) ♦ Informacija na izvoru,
neodređenost na
IZVOR SUSTAV BEZ SMETNJI ODREDIŠTE

NAKON NASTANKA ALI PRIJE SLANJA PORUKE

odredištu
PRIJENOS
I(X;Y)
I(Y) = I(X)=H(Y)=H(X)

x3x2x5x1x0...
♦ Prijenosom poruke
IZVOR
DISKRETNI KOMUNIKACIJSKI
SUSTAV BEZ SMETNJI ODREDIŠTE neodređenost je nestala
NAKON PRIJENOSA PORUKE

Teorija informacije / Osnovni pojmovi teorije informacije 12

Svojstva entropije

♦ Sadržaj informacije ne može H (X ) ≥ 0

biti negativan
♦ Sadržaj informacije je 0 ako
se uvijek pojavljuje samo H ( X ) = 0 ⇔ ∃i | p ( xi ) = 1
jedan simbol
♦ Neodređenost i sadržaj H ( X ) ≤ log n
informacije su maksimalni 1
ako su vjerojatnosti simbola p ( xi ) = ⇒ H ( X ) = log n
n
jednako raspoređene
♦ Zašto baš logaritam? H ( XY ) = H ( X ) + H (Y )
Teorija informacije / Osnovni pojmovi teorije informacije 13
Primjer: Dokaz Hmax(X)≤log(n)

Lema_1: Neka su p1, p2,..., pM i q1, q2,..., qM proizvoljni pozitivni brojevi za koje
vrijedi: M M
∑ p i = ∑ qi = 1
i =1 i =1
Tada je M M
− ∑ pi log pi ≤ −∑ pi log qi
i =1 i =1
dok jednakost vrijedi ako i samo ako je pi=qi za svako i. (Dokaz [Ash R.B.])

♦ Koristeći (Lema_1) uz qi=1/n dobivamo

n n n n
∑ pi log pi ≤ −∑ pi log qi = −∑ ∑ pi = log n
1
− pi log = log n
n
i =1 i =1 i =1 i =1

♦ Jednakost vrijedi ako i samo ako je pi=qi=1/n za svako i.

Teorija informacije / Osnovni pojmovi teorije informacije 14

Zadatak

Mirna digitalizirana slika s bojama "A", "B", "C",

…, "M" opisana je tablicom:
(xi) A B C D E F G H I J K L M

(fi) 8000 1700 1400 1800 7000 4500 4500 5000 8000 2500 3000 3200 3800

xi - boja, fi – frekvencija pojavljivanja pojedine boje

Svaka boja ("A", "B", "C", …, "M") kodira se

jednim simbolom iz skupa simbola X = {A, B, C,
…, M}. Izračunajte srednji sadržaj informacije
zadane slike.
Teorija informacije / Osnovni pojmovi teorije informacije 15
Komunikacijski sustav (komunikacijski kanal)

♦ Komunikacijski sustav bez smetnji ne postoji u stvarnom životu

♦ U daljnjim analizama ograničavamo se na diskretni kanal bez
memorije

Prijenos bilo kojeg simbola ne ovisi o simbolima koji su se pojavili ranije;

DISKRETNI
INFORMACIJSKI
SUSTAV

SMETNJE

PREDAJNIK PRIJEMNIK

KODER DISKRETNI DEKODER

IZVOR KODER DEKODER ODREDIŠTE
INFOR- BEZMEMORIJSKI INFOR-
SIGNALA KANAL SIGNALA MACIJE
MACIJE

SMETNJE

KOMUNIKACIJSKI SUSTAV

Teorija informacije / Osnovni pojmovi teorije informacije 16

III. Vjerojatnosni opis diskretnog kom.
sustava
DISKRETNI
ULAZ INFORMACIJSKI IZLAZ
♦ Opis sustava skupom SUSTAV
SMETNJE

vjerojatnosti X , P( X ) Y
x1 , p( x1 ) UVJETNE y1
VJEROJATNOSTI p ( y1 | xi )
UNAPRIJED
[p(xi)], [p(yj|xi)]
x2 , p( x2 ) y2


p ( y j | xi )
xi , p( xi ) yj

[p(yj)], [p(xi|yj)] xn , p ( xn ) ym

[p(xi,yj)]
X Y , P(Y )

UVJETNE
x1 p( x1 | y j ) VJEROJATNOSTI y1 , p ( y1 )
x2 UNATRAG y 2 , p ( y2 )

♦ Svaki od ova tri pogleda xi

p ( xi | y j )
y j , p( y j )

potpuno određuje sustav i xn ym , p( ym )

pojave na ulazu/izlazu X Y

Vjerojatnosti prijelaza x→ x1 p ( x1 , y 2 ) y1
♦ x2 p( xi , y1 ) y2

y potpuno definiraju kanal xi

p( xi , y j )
p ( xn , y j )
yj

ZDRUŽENE
xn VJEROJATNOSTI ym

Teorija informacije / Osnovni pojmovi teorije informacije 17

Matrice kanala
DISKRETNI
ULAZ INFORMACIJSKI IZLAZ
SUSTAV
SMETNJE

X , P( X ) Y
 p( y1 | x1 ) p( y 2 | x1 ) … p( y m | x1 )  x1 , p ( x1 ) UVJETNE y1
  x2 , p ( x2 )
VJEROJATNOSTI p ( y1 | xi )
UNAPRIJED y2
p( y1 | x 2 ) p( y 2 | x 2 ) … p( y m | x 2 )
[ ]
p( y j | xi ) = 
  xi , p ( xi )
p ( y j | xi )
yj
 
… … … …
 p( y1 | x n ) p( y 2 | x n ) … p( y m | x n )
xn , p ( xn ) ym

X
 p ( x1 | y1 ) p ( x1 | y 2 ) … p( x1 | y m )  UVJETNE
Y , P (Y )

  x1 p ( x1 | y j ) VJEROJATNOSTI
UNATRAG
y1 , p ( y1 )
p ( x 2 | y1 ) p( x 2 | y 2 ) … p( x 2 | y m )
[ ]
p( xi | y j ) = 
 
x2

p ( xi | y j )
y 2 , p ( y2 )

 
… … … … xi y j , p( y j )

 p ( x n | y1 ) p ( x n | y 2 ) … p ( x n | y m )
xn ym , p( ym )

 p( x1 , y1 ) p( x1 , y 2 ) … p( x1 , y m )  X Y
  x1 p ( x1 , y 2 ) y1
p( x 2 , y1 ) p ( x 2 , y 2 ) … p( x 2 , y m ) 
p( xi , y i ) = 
x2 p( xi , y1 ) y2
[ ]  …  p ( xi , y j )
 
… … … xi yj
p ( xn , y j )
 p( x n , y1 ) p( x n , y 2 ) … p ( x n , y m )
xn
ZDRUŽENE
VJEROJATNOSTI ym

Teorija informacije / Osnovni pojmovi teorije informacije 18

Odnosi vjerojatnosti u inf. sustavu (kanalu)

MATEMATIČKI OPIS ZNAČENJE

n m
Skup simbola na ulazu je potpun; isto
∑ p( x ) =∑ p( y ) =1
i =1
i
j =1
j
vrijedi i za izlaz.
m n Vjerojatnost pojave simbola je zbroj
p( xi ) = ∑ p ( xi , y j ), p( y j ) = ∑ p( xi , y j ) vjerojatnosti pojava svih parova u kojima se
j =1 i =1
taj simbol pojavljuje.
Prijelazi između tri pogleda na sustav
(pogled s ulaza, s izlaza ili oboje
p(xi , y j ) = p(xi ) p( y j | xi ) = p( y j ) p(xi | y j )
istovremeno). Veza između tri načina
potpunog opisa sustava.
Prijelaz iz apriorne u aposteriornu
p(xi , yj ) p(xi , yj ) p(xi ) p(yj | xi )
p(xi | yj ) = = n = n vjerojatnost pojave xi.
p(yj )
∑
p(xi , yj ) ∑
p(xi ) p(yj | xi ) Izračun unazadnih vjerojatnosti prijelaza.
i=1 i=1 Bayesova formula.

Teorija informacije / Osnovni pojmovi teorije informacije 19

Primjer

♦ Izvorište generira simbole iz skupa simbola X={0, 1} koji se potom

prenose kanalom čija je matrica uvjetnih vjerojatnosti prijelaza
[p(yj|xi)]. p(0)=p(1)=0,5 (H(X)=1 bit/simbol).

0.25 0.50 0.25

[p( y j | xi ) =  ]
 0 0

1 
a) Nacrtajte graf prijelaza u kanalu.
b) [p(xi,yj)]=?
c) Odredite vjerojatnost pojave pojedinog simbola na izlazu iz kanala
(Rješenje: p(y=0)=1/8, p(y=1)=1/4, p(y=2)=5/8).
d) H(Y)=? (Rješenje: ≈1,3 bit/simbol)

Teorija informacije / Osnovni pojmovi teorije informacije 20

Zadatak

Dva binarna kanala serijski su povezana kako je to predočeno na slici.

Odredite ukupnu matricu prijelaza kanala (p[Z│X]), p(z1), p(z2) ako je
p(x1)= p(x2)=0,5 te skicirajte novonastali diskretni komunikacijski
kanal.

Teorija informacije / Osnovni pojmovi teorije informacije 21

IV. Vjerojatnosni opis → informacijski opis

♦ Entropija: informacijski opis slučajnih događaja

DOGAĐAJI
xi ∈ X, X = { x1, x2,..., xn}

VJEROJATNOSNI OPIS INFORMACIJSKI OPIS

vjerojatnosti: p(xi), i= 1,...,n entropija: H(X)

n n
1
H ( X ) = ∑ p ( xi ) log = ∑ p( xi ) I ( xi )
i =1 p ( xi ) i =1 SADRŽAJ
INFORMACIJE
POJEDINOG
DOGAĐAJA
ZBROJ
INFORMACIJSKIH VJEROJATNOST
INFORMACIJSKI POJEDINOG
DOPRINOSA SVIH DOPRINOS DOGAĐAJA
MOGUĆIH POJEDINOG
DOGAĐAJA DOGAĐAJA

Teorija informacije / Osnovni pojmovi teorije informacije 22

Informacijske mjere

vlastite H(X) ♦ Entropija na ulazu sustava

entropije
H(Y) ♦ Entropija na izlazu sustava
H(X,Y) ♦ Združena entropija

uvjetne
H(Y|X) ♦ Entropija šuma, irelevantnost
entropije
H(X|Y) ♦ Ekvivokacija, mnogoznačnost
I(X;Y) ♦ Srednji uzajamni sadržaj informacije,
transinformacija

Teorija informacije / Osnovni pojmovi teorije informacije 23

 DEFINICIJA
Entropija na ulazu, izlazu, združena entropija

♦ Promatramo događaje na ulazu i izlazu odvojeno

n m

H ( X ) = −∑ p( xi ) log p( xi ) H (Y ) = −∑ p( y j ) log p ( y j )
i =1 j =1

♦ Promatramo događaje zajednički

Združena entropija para slučajnih varijabli
n m
H ( X , Y ) = −∑∑ p( xi , y j ) log p( xi , y j )
i =1 j =1
♦ Primjer
2 2
1 1
∑∑ p( xi , y j ) log p( xi , y j ) = − 2 log 2 + 4 log 4 + 0 log 0 + 4 log 4  = 1,5 bit/simbol
1 1 1 1
H (X ,Y) = −
i =1 j =1

♦ Napomena: 0log0=0
Teorija informacije / Osnovni pojmovi teorije informacije 24
 DEFINICIJA
Uvjetna entropija H(Y | X)

♦ Prosječna preostala neodređenost varijable Y nakon što je

poznata varijabla X
n
H (Y | X ) = ∑ p( xi ) H (Y | x = xi )
i =1
n m
= −∑ p ( xi )∑ p( y j | xi ) log p ( y j | xi )
i =1 j =1
n m
= −∑∑ p ( xi , y j ) log p( y j | xi )
i =1 j =1

♦ Primjer

H (Y | X ) = 0,689 bit/simbol

Teorija informacije / Osnovni pojmovi teorije informacije 25

Uvjetna entropija H(Y | X) (nast.)

♦ H(Y|X) izražava neodređenost simbola na izlazu sustava

nakon što je poslan simbol sa ulaza (sustav promatramo s
ulaza)
♦ Neodređenost simbola na izlazu sustava je posljedica
smetnji u sustavu
♦ Drugi naziv: Entropija šuma ili irelevantnost
X, P( X) Y
x1, p(x1) p( y1 | xi ) y1
x2, p(x2 ) y2

p( y j | xi )
xi , p(xi ) yj

xn , p(xn ) ym

Teorija informacije / Osnovni pojmovi teorije informacije 26

Uvjetna entropija H(X |Y)

♦ H(X|Y) izražava preostalu neodređenost simbola na ulazu

nakon što je primljen simbol na izlazu sustava (sustav
promatramo s izlaza)
♦ Simbol na izlazu sustava može, zbog smetnji u sustavu,
biti uzrokovan bilo kojim simbolom s ulaza
♦ Drugi naziv: Mnogoznačnost ili ekvivokacija
X Y, P(Y )
x1 p(x1 | y j ) y1, p( y1)
x2 y2 , p( y2 ) ♦ Primjer
p(xi | yj )
xi yj , p( yj )

xn ym, p( ym )

n m
H(X | Y) = − ∑∑ p( xi , y j ) log p( xi | y j ) H ( X | Y ) = 0,5 bit/simbol
i =1 j =1

Teorija informacije / Osnovni pojmovi teorije informacije 27

 DEFINICIJA
Relativna entropija

♦ Mjera udaljenosti između dvaju raspodjela vjerojatnosti

varijable: n
p( xi )
D( p || q) = ∑ p( xi ) log
♦ Interpretacija i =1 q( xi )

Neka je dano izvorište koje generira simbole xi s vjerojatnostima
pojavljivanja p
 Neki promatrač pretpostavlja da su q stvarne vjerojatnosti
pojavljivanja simbola xi
 Pogrešna pretpostavka dovodi do “pogrešnog” kodiranja simbola
(entropijsko kodiranje) na izvorištu, tj. doći će do povećanja broja
bitova po svakom simbolu
 Kodiranjem prema pogrešnim vjerojatnostima trošimo D(p||q) više
bitova po simbolu nego što je potrebno → relativna entropija

n n n
1 1 p( xi )
L = ∑ p( xi ) log = ∑ p ( xi ) log + ∑ p( xi ) log = H ( X ) + D( p || q)
i =1 q ( xi ) i =1 p ( xi ) i =1 q( xi )

Teorija informacije / Osnovni pojmovi teorije informacije 28

 DEFINICIJA
Srednji uzajamni sadržaj informacije
(transinformacija)

♦ Srednji uzajamni sadržaj informacije, I(X;Y), između slučajnih varijabli X i Y je

definiran kao relativna entropija između razdiobe njihovih združenih
vjerojatnosti (p(xi,yj)) i razdiobe umnoška njihovih pojedinačnih vjerojatnosti
(p(xi) i p(yj)), tj.
n m p ( xi , y j )
I ( X ; Y ) = ∑∑ p( xi , y j ) log
i =1 j =1 p( xi ) p( y j )
♦ Interpretacija:

Koliko informacije jedna varijabla pruža o drugoj

U kojoj mjeri su dvije varijable zavisne
 Nezavisne: I(X;Y) = 0
 Jednake: I(X;Y) = H(X) = H(Y)

Teorija informacije / Osnovni pojmovi teorije informacije 29

Odnos entropije i srednjeg uzajamnog
sadržaja informacije

♦ Srednji uzajamni sadržaj informacije I(X;Y) predstavlja

smanjenje neodređenosti varijable X uzrokovano
poznavanjem varijable Y
I ( X ;Y ) = H ( X ) − H ( X | Y )

♦ Uzajamni sadržaj informacije dviju varijabli je simetričan

I(Y;X) = I(X;Y).

Teorija informacije / Osnovni pojmovi teorije informacije 30

Odnos između entropije, združene entropije i
uvjetne entropije
♦ Združena entropija (neodređenost) para varijabli jednaka je zbroju
neodređenosti jedne varijable, te preostale neodređenosti druge
varijable uz uvjet da je prva varijabla poznata.
H ( X , Y ) = H ( X ) + H (Y | X )
♦ Srednji uzajamni sadržaj informacije je razlika između zbroja
pojedinačnih entropija varijabli i združene entropije tih istih varijabli.

I ( X ; Y ) = H ( X ) + H (Y ) − H ( X , Y )
♦ Primjer

Teorija informacije / Osnovni pojmovi teorije informacije 31

Zadatak

Četiri poruke, generirane iz skupa od četiri jednako

vjerojatna simbola X = {x1,...,x4}, kodirane binarnim kodom
(x1 – '00'; x2 – '01'; x3 – '10'; x4 – '11'), prenose se binarnim
simetričnim kanalom. Izračunajte transinformaciju u
kanalu.

Teorija informacije / Osnovni pojmovi teorije informacije 32

Vlastiti sadržaj informacije

♦ Srednji uzajamni sadržaj informacije jedne

varijable same sa sobom naziva se vlastiti sadržaj
informacije.
♦ Vlastiti sadržaj informacije slučajne varijable je
upravo njena entropija:

I(X;X) = H(X) – H(X|X) = H(X)

Teorija informacije / Osnovni pojmovi teorije informacije 33

Primjer

♦ Izvorište generira simbole iz skupa simbola X={0, 1} koji se potom

prenose kanalom čija je matrica uvjetnih vjerojatnosti prijelaza
[p(yj|xi)]. p(0)=p(1)=0,5 (H(X)=1 bit/simbol).

0.25 0.50 0.25

[p( y j | xi ) = 

]0 0 1


d) ...
e) H(X│Y)=? (Rješenje: ≈0,45 bit/simbol)
f) I(X;Y)=? (Rješenje: 0,55 bit/simbol)
g) H(Y│X)=? (Rješenje: 0,75 bit/simbol)
♦ Lako se pokazuje da je I(X;Y)= I(Y;X)

Teorija informacije / Osnovni pojmovi teorije informacije 34

Sažetak: Odnosi i svojstva informacijskih
mjera

I(X;Y) = H(X) – H(X|Y)

H(X,Y)
I(X;Y) = H(Y) – H(Y|X)
I(X;Y) = H(X) + H(Y) – H(X,Y)
H(X;Y) = H(X) + H(Y|X)
I(X;Y)
H(X|Y) =
I(Y;X)
H(Y|X) H(X;Y) = H(Y) + H(X|Y)
I(X;Y) = I(Y;X)
I(X;X) = H(X)
H(X) H(Y)
I(X;Y) ≥ 0
H(X|Y) ≤ H(X)
Teorija informacije / Osnovni pojmovi teorije informacije 35
Prijenos informacije i informacijske mjere

DISKRETNI
ULAZ INFORMACIJSKI IZLAZ
SUSTAV

SMETNJE

H(X|Y)
H(X)
I(X;Y)
H(Y)
H(Y|X)

DISKRETNI
ULAZ BEZMEMORIJSKI IZLAZ
KANAL

SMETNJE

Teorija informacije / Osnovni pojmovi teorije informacije 36

 DEFINICIJA
V. Kapacitet kanala

♦ Promatramo prijenos informacije kom. kanalom

♦ Simboli na ulazu s vjerojatnostima p(xi)
♦ Kapacitet kanala je definiran kao:

C = max I ( X ; Y ) [bit/simbol]
{ p ( xi )}

♦ Kapacitet kanala je maksimalna količina

informacije po simbolu koja se u prosjeku
može prenijeti kanalom

Teorija informacije / Osnovni pojmovi teorije informacije 37

 TEOREM
Temeljni teorem kanala sa smetnjama

♦ Pretpostavimo kanal kapaciteta C [bit/simbol] i izvor karakteriziran entropijom

H [bit/simbol]
♦ Ako je H ≤ C

Postoji sustav kodiranja koji osigurava prijenos poruka uz proizvoljno male gubitke
♦ Ako je H > C

Ne postoji sustav kodiranja koji bi osigurao prijenos bez gubitaka

H(X|Y)

MOGUĆE
PODRUČJE

C H
Teorija informacije / Osnovni pojmovi teorije informacije 38
Primjeri diskretnih komunikacijskih kanala

♦ Binarni simetrični kanal ♦ Binarni kanal s brisanjem simbola

1-pg y1
1 1
x1
X Y y2 = e

x2
0 0 y3
1-pg

♦ deterministički kanal (kanal čija ♦ Binarni kanal s pogreškama i

matrica [p(Y l X)] ima u svakom retku brisanjem simbola
samo jedan element različit od nule) y1
x1

y2 = e

x2
y3

Teorija informacije / Osnovni pojmovi teorije informacije 39

Primjer: kapacitet binarnog simetričnog
kanala
1-pg
1 1
C = max I ( X ; Y )
{ p ( xi )}
= max [ H (Y ) − H (Y | X )] X Y
{ p ( xi )} neovisno
max. za o p(xi)
p(0)=p(1)=0.5

0 0
1-pg

C = 1 + pg log pg + (1 − pg ) log(1 − pg ) [bit / s ]

Teorija informacije / Osnovni pojmovi teorije informacije 40

VI. Prijenos informacije komunikacijskim
sustavom

Teorija informacije / Osnovni pojmovi teorije informacije 41