1

Funo Entropia [bits]

0.8

0.6

0.4

0.2

0.1

0.2

0.3
0.4
0.5
0.6
0.7
Probabilidade do smbolo "0"

0.8

0.9

Redundncia

Entropia

Redundncia

Entropia

Entropia
Redundncia

Compactao

Compresso

Estado
inicial

0
1

0
1

0,40

0,20

0,15

0,15

0,10

0,40

0,40

0,25

0,35

0,25

0,20

0,15

0,60

0,40

Estado
inicial

1
0

1
0

4
3

1
0

Sada
1,5

0.5
Entrada
0,5

-1,5

1-p

x0 = 0
p
x1 = 1

y0 = 0
p

1-p

y1 = 1

H ( X ;Y )

H(X |Y )

H(X )

I ( X ;Y )

H (Y | X )

H (Y )

1
0.9
0.8

Capacidade do Canal

0.7
0.6
0.5
0.4
0.3
0.2
0.1
0

0.1

0.2

0.3
0.4
0.5
0.6
0.7
Probabilidade de transio

0.8

0.9

Fonte discreta
sem memria

Codificador
de canal

Canal discreto
sem memria

Rudo

Decodificador
de Canal

Destino

s(t)

+
N(0,R)

r(t)

100

Regio para a qual Rb>C

10

Fronteira onde
Rb=C

Eficincia de BW (Rb/B)

Regio para a qual

Rb<C

0.1

10

20

Eb/N0 em dB

30

xi

Probabilidade de Transio
p(yj|xi)

d(xi ,yj)
Medida de Distoro

yj