Professional Documents
Culture Documents
Information theory
Iz dosadanjeg gradiva znamo da se informacija prije slanja kroz
kanal treba prirediti. To se postie pretvorbom informacije u
formu koja ima entropiju blisku maksimalnoj ime se efikasnost
prenosa pribliava maksimalnoj. Ovo se moe postii
kompresijom bez gubitaka informacije (lossless compression),
napr. aritmetikim kodiranjem.
Druga pretvorba odnosi se na sigurnost prijenosa pri emu se
informacija prevodi u formu gdje je za odreeni tip pogreaka
mogua automatska korekcija (napr. Hamming-ovim
kodiranjem).
10 February 2012
zeljko.jericevic@riteh.hr
Saimanje (compression)
10 February 2012
zeljko.jericevic@riteh.hr
Entropijsko kodiranje:
Kraft-ova nejednakost (u Huffman & Shannon-Fano)
10 February 2012
Entropijsko kodiranje:
Kraft-ova nejednakost
1.4.1 The Kraft inequality
The code can be described as a binary search tree: starting from the root, two branches
are labelled 0 and 1, and each node is either a leaf that corresponds to the end of a string,
or a node that can be assumed to have two continuing branches. Let lm be the maximal
length of a string. If a string has length l(c), it follows from the prefix condition that
none of the 2lml(c) extensions of this string are in the code. Also, two extensions of
different code strings are never equal, since this would violate the prefix condition. Thus
by summing over all codewords we get
i
2lml(ci ) 2lm
and the inequality follows. It may further be proven that any uniquely decodable code
must satisfy (1.10) and that if this is the case there exists a prefix code with the
same set of code lengths. Thus restriction to prefix codes imposes no loss in coding
performance.
10 February 2012
Entropijsko kodiranje:
Kraft-ova nejednakost
Entropijsko kodiranje:
Kraft-ova nejednakost
10 February 2012
Aritmetiko kodiranje
Pretpostavimo da elimo poslati poruku koja se sastoji
od 3 slova: A, B & C s podjednakom vjerojatnosti
pojavljivanja
Upotreba 2 bita po simbolu je neefikasna: jedna od
kombinacija bitova se nikada nee upotrebiti.
Bolja ideja je upotreba realnih brojeva izmedu 0 & 1 u
brojevnom sustavu po bazi 3, pri cemu svaka znamenka
predstavlja simbol.
Na primjer, sekvenca ABBCAB postaje 0.011201 (uz
A=0, B=1, C=2)
10 February 2012
Aritmetiko kodiranje
Prevoenjem realnog broja 0.011201 po bazi 3 u
binarni, dobivamo 0.001011001
Upotreba 2 bita po simbolu zahtjeva 12 bitova za
sekvencu ABBCAB, a binarna reprezentacija 0.011201
(u bazi 3) zahtjeva 9 bitova u binarnoj bazi to je uteda
od 25%.
Metoda se zasniva na efikasnim in place algoritmima
za prevoenje iz jedne baze u drugu
10 February 2012
Aritmetiko dekodiranje
Aritmetikim kodiranjem moemo postii rezultat
blizak optimalnom (optimalno je log2p bita za svaki
simbol vjerojatnosti p).
Primjer s etiri simbola, aritmetikim kodom 0.538 i
sljedeom distribucijom vjerojatnosti (D je kraj
poruke):
Simbol
A
B C D
Vjerojatnost 0.6 0.2 0.1 0.1
10 February 2012
11
Simbol
A
B
C
D
Interval [0 0.6) [0.6 0.8) [0.8 0.9) [0.9 1)
0.538 pada u prvi interval (simbol A)
10 February 2012
12
10 February 2012
13
14
10 February 2012
15
10 February 2012
16
17
Aritmetiko kodiranje
Iterativno dekodiranje poruke
18
Aritmetiko kodiranje
Iterativno kodiranje poruke
19
Aritmetiko kodiranje
Dva simbola s vjerojatnou pojavljivanja px=2/3
& py=1/3
20
Aritmetiko kodiranje
Tri simbola s vjerojatnou pojavljivanja px=2/3 &
py=1/3
21
Aritmetiko kodiranje
22