CHAPITRE I THORIE DE LINFORMATION

1re srie de problmes

PROBLME #1.1
Une source est caractrise par un alphabet de quatre messages dont les
probabilits doccurrence sont 1/3, 1/6, 1/4 et 1/4.
valuez lentropie de la source.

PROBLME #1.2
Soit X, la valeur obtenue aprs avoir lanc un d. valuez lentropie de cette
source.

PROBLME #1.3
Une source est caractrise par un alphabet de trois messages : A, B et C.
La probabilit doccurrence de A est p, celle de B est galement p.
Exprimez lentropie de la source en fonction de p. Quelle est la valeur
maximale de lentropie et pour quelle valeur de p lobtient-on?

page 1.1

PROBLME #1.4
Une source est caractrise par un alphabet de quatre messages : A, B, C
et D. La probabilit doccurrence de A est p, gale cette de B. La probabilit
doccurrence de C est gale cette de D.
Exprimez lentropie de la source en fonction de p. Quelle est la valeur
maximale de lentropie et pour quelle valeur de p lobtient-on?

PROBLME #1.5
Une source est caractrise par lalphabet suivant : S = [s0, s1, s2]. Les
probabilits doccurrence sont respectivement 0.7, 0.15 et 0.15.
valuez H(S) et H(S2).

PROBLME #1.6
Pour chacun des codes suivants, dterminez sil est dchiffrable ou
indchiffrable. Pour un code dchiffrable, vrifiez sil est instantan.
Message
s0
s1
s2
s3
s4

code #1
0
10
110
1110
1111

code #2
0
01
001
0010
0011

code#3
0
01
011
110
111

code #4
00
01
10
110
111

page 1.2

code #5
010
0110
1100
00011
00110

code #6
0
010
01
10
101

code #7
0
100
101
11
01

PROBLME #1.7
Un fichier form de 10000 caractres est caractris par les statistiques
suivantes :
Caractre
Proportion

A
55%

B
15%

C
15%

D
10%

E
5%

a) laide de la technique de Huffman, trouvez un code de variance maximale.

valuez la longueur moyenne des codes.
b) laide de la technique de Huffman, trouvez un code de variance minimale.
valuez la longueur moyenne des codes.

PROBLME #1.8
Un fichier form de 10000 caractres est caractris par les statistiques
suivantes :
Caractre
Proportion

A
25%

B
25%

C
D
E
F
G
12.5% 12.5% 12.5% 6.25% 6.25%

laide de la technique de Huffman, trouvez un code de variance minimale.

valuez la longueur moyenne des codes, et expliquez pourquoi lefficacit du
codage est de 100%.

page 1.3

PROBLME #1.9
Les codes binaires suivants sont gnrs selon les statistiques indiques:

mot
000
001
010
011
100
101
110

frquence (%)
6%
10%
3%
5%
55%
20%
1%

Trouvez un code de Huffman qui optimisera la transmission de cette

information.
Par quel facteur le taux de transmission (en bit par seconde) pourra-t-il tre
rduit en utilisant ce code?

PROBLME #1.10
Un fichier ASCII (7 bits/caractre) comporte 50 000 caractres totalisant
350 000 bits.
Toutefois, ce fichier n'est form qu'avec 4 caractres diffrents: "A", "B", "C"
et "D".
a)

Par quel facteur peut-on rduire la taille de ce fichier dans le cas o aucun
caractre n'est beaucoup plus frquent que les autres?

b)

Par quel facteur peut-on rduire la taille de ce fichier dans le cas o 60% du
fichier est constitu de "A", 5% de "B", 20% de "C" et 15% de "D"?

page 1.4

PROBLME #1.11
Un fichier de 131 400 symboles est form partir des trois symboles s1, s2 et
s3 selon les proportions suivantes:
SYMBOLE
s1
s2
s3

FRQUENCE
65 700
52 560
13 140

a) Construisez un tableau de codage selon la technique de Huffman, et concluez

en indiquant combien de bits seront ncessaires pour coder le fichier.

b) Un collgue prtend que la compression serait meilleure si le codage de

Huffman tait appliqu non pas sur les symboles seuls, mais plutt sur les
paires sisj caractrises par les statistiques suivantes:
PAIRE
p1
p2
p3
p4
p5
p6
p7
p8
p9

DESCRIPTION
s1s1
s1s2
s1s3
s2s1
s2s2
s2s3
s3s1
s3s2
s3s3

FRQUENCE
16 425
13 140
3 285
13 140
10 512
2 628
3 285
2 628
657

Appliquez la proposition du collgue, et concluez en indiquant combien de bits

seront ncessaires pour coder le fichier.

page 1.5

PROBLME #1.12
Un fichier form de 10000 caractres est caractris par les statistiques
suivantes :
Caractre
Proportion

A
20%

B
20%

C
20%

D
20%

E
20%

tablissez un tableau de codage ( variance minimale) laide de la

technique de Shannon-Fano. valuez la longueur moyenne du code et comparez
avec lentropie de la source.

PROBLME #1.13
Refaites le problme #1.12 pour une source caractrise par les statistiques
suivantes :
Caractre
Proportion

A
40%

B
20%

page 1.6

C
20%

D
10%

E
10%

RPONSES
PROBLME #1.1

1.959 bit

PROBLME #1.2

2.585 bits

PROBLME #1.3

H = 2p log2(1/p) + (1-2p) log2(1/(1-2p))

HMAX = 1.585 bit lorsque p=1/3

PROBLME #1.4

H = 2p log2(1/p) + (1-2p) log2(1/(0.5-p))

HMAX = 2 bits lorsque p=0.25

PROBLME #1.5

H(S) = 1.1813 bit, H(S2) = 2.3626 bits

PROBLME #1.6

code #1 : dchiffrable et instantan

code #2 : indchiffrable
code #3 : indchiffrable
code #4 : dchiffrable et instantan
code #5 : dchiffrable et instantan
code #6 : indchiffrable
code #7 : dchiffrable

PROBLME #1.7

a)

b)

PROBLME #1.8

A
B
C
D
E
F
G

A
B
C
D
E

0
11
100
1010
1011

A
B
C
D
E

0
100
101
110
111

10
11
001
010
011
0000
0001

page 1.7

longueur moyenne : 1.9

variance : 1.29

longueur moyenne : 1.9

variance : 0.99

longueur moyenne : 2.625

variance : 1.01

PROBLME #1.9

Facteur de rduction : 1.515

PROBLME #1.10

a) 3.5

PROBLME #1.11

a) 197 100

PROBLME #1.12

PROBLME #1.13

b) 4.375
b) 182 646

A
B
C
D
E

00
01
10
110
111

longueur moyenne : 2.4

entropie : 2.3219
variance : 0.49

A
B
C
D
E

00
01
10
110
111

longueur moyenne : 2.2

entropie : 2.1219
variance : 0.25

page 1.8