Introduction aux communications numériques

Philippe Ciblat

École Nationale Supérieure des Télécommunications, Paris, France

 Introduction Théorie de l’information Conception d’un système

Introduction

Excepté la radio et la télévision, toutes les communications

actuelles se font en numérique
Types de canaux : paire torsadée, ligne électrique, Hertzien, fibre
optique
Types de sources : analogique (voix) ou numérique (données)

Objectif
Transmettre le maximum de données (débit %) avec une fiabilité
maximale (probabilité d’erreur &) sous
des limites théoriques (Shannon)
des contraintes physiques (propagation)
des contraintes économiques (énergie et complexité)

Philippe Ciblat Introduction aux communications numériques 2 / 37

 Introduction Théorie de l’information Conception d’un système

Système analogique

La source s(t) est un signal analogique (voix, vidéo)

Le signal émis x (t) vaut

x (t) = f (s(t))

Avantages
faible complexité du modem
Inconvénients
pas adapté aux transmissions de données numériques
accès multiple temporel délicat
performances/qualité de réception mauvaises
traitement de l’information délicate

Philippe Ciblat Introduction aux communications numériques 3 / 37

 Introduction Théorie de l’information Conception d’un système

Introduction
Schéma basique d’un système de communication (sans mémoire) :
Paradigme de Shannon (1948)

S X Canal Y Ŝ
Source Encodeur Décodeur Destinataire

p(x) p(y|x) p(y) .

0
Source discrète : S ∈ AN
A : alphabet
L = card(A) : taille de l’alphabet
exemple : A = {1, · · · , L}.

Signal émis : X = [x0 , · · · , xN ]

Description probabiliste du canal : p(Y |X )
log2 (L)N 0
Débit : T = N par utilisation de canal (p.u.)
Philippe Ciblat Introduction aux communications numériques 4 / 37
 Introduction Théorie de l’information Conception d’un système

Notion d’information

Idée
l’information reçue est « quelque chose » d’émis que le récepteur ne
pouvait connaître avant la transmission

L’incertitude au niveau du récepteur s’est réduite quand

l’information a été reçue.
L’information est donc associée à la stochasticité/aléatoirité de
l’événement.
Exemples :
un événement déterministe ne contient aucune information
un événement probabiliste en communications : un train binaire
produit par un flux audio/vidéo, etc.

Philippe Ciblat Introduction aux communications numériques 5 / 37

 Introduction Théorie de l’information Conception d’un système

Fonction mesurant l’information

L’information portée par l’événement scalaire S = s doit vérifier les

propriétés intuitives suivantes :
I(S = s) doit décroire de manière monotone quand la probablité
P(S = s) augmente.
I(S = s) = 0 quand P(S = s) = 1.
I(S = s) doit être une fonction continue de P(S = s).
Si deux événements indépendants S1 = s1 et S2 = s2 sont
observés, alors l’information totale reçue vaut
I(S1 = s1 ) + I(S2 = s2 )
 
1
⇒ I(S = s) = − log2 (P(S = s)) = log2
P(S = s)

Philippe Ciblat Introduction aux communications numériques 6 / 37

 Introduction Théorie de l’information Conception d’un système

Entropie (discrète)
Soit X une variable aléatoire discrète scalaire prenant les valeurs
dans {x1 , · · · , xM }. On note pm = P(X = xm ).
L’information contenue dans la v.a. X , nommée entropie, est la
moyenne de celle présente dans chaque événement
Entropie
M
X
H(X ) = Ex [I(X = x )] = − pm log2 (pm )
m=1

Base 2 du logarithme : bits d’information par symbole de source

émis (si X est un N-vecteur, alors H(X ) = Ex [I(X = x )]/N)
Entropie ne dépend que de
M
X
p(x ) = pm δ(x − pm )
m=1

La valeur sémantique de la source n’a aucune importance en

théorie de l’information.
Philippe Ciblat Introduction aux communications numériques 7 / 37
 Introduction Théorie de l’information Conception d’un système

Exemples

Source binaire : A = {0, 1} avec P(X = 0) = p et

P(X = 1) = 1 − p. Alors

H(X ) = −p log2 (p) − (1 − p) log2 (1 − p)

0.9

0.8

0.7
Entropie (bits/symbol)

0.6

0.5

0.4

0.3

0.2

0.1

0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
Probabilite p

Source quaternaire : A = {a, b, c, d} avec P(X = a) = 1/2,

P(X = b) = 1/4, P(X = c) = 1/8 et P(X = d) = 1/8. Alors

H(X ) = 1, 75

Philippe Ciblat Introduction aux communications numériques 8 / 37

 Introduction Théorie de l’information Conception d’un système

Autres entropies

Entropie conjointe : soient X1 , · · · , Xn des variables aléatoires.

X X
H(X1 , · · · , Xn ) = − ··· p(x1 , · · · , xn ) log2 (p(x1 , · · · , xn ))
x1 ∈A1 xn ∈An

Entropie conditionelle H(Y |X ) est l’information présente dans Y

une fois que X a été observée et est donc connue.

X
H(Y |X ) = −EX [ p(y |x ) log2 (p(y |x ))]
y ∈Ay
X X
= − p(x , y ) log2 (p(y |x ))
x∈Ax y ∈Ay

Philippe Ciblat Introduction aux communications numériques 9 / 37

 Introduction Théorie de l’information Conception d’un système

Information mutuelle

Soit I(X ; Y ) l’information mutuelle qui correspond à l’information

commune à X et Y . On peut montrer que

I(X ; Y ) = H(X ) − H(X |Y )

.

H(X, Y )

H(X|Y )
H(Y |X)
I(X; Y )

H(Y )

H(X) .

Exemple :
Si Y = X , alors I(X , Y ) = H(X )
Si Y et X ind., alors I(X , Y ) = 0

Philippe Ciblat Introduction aux communications numériques 10 / 37

 Introduction Théorie de l’information Conception d’un système

Séquence typique
Soit X = [X1 , · · · XN ] un vecteur de variables aléatoires/séquence
aléatoire i.i.d. d’entropie H(X ).

Théorème
Quand N → ∞, il y a approximativement 2NH(X ) valeurs probables de
X sur les M N possibles.

Exemple : Xn suit une loi binaire de paramètre p.

Soit ζ l’ensemble des séquences composées de Np ’0’ et N(1-p) ’1’.
La loi forte des grands nombres indique que seules ces
séquences vont apparaitre
On rappelle que n! ∝ (n/e)n pour n grand

N −(p log2 (p) + (1 − p) log 2 (1 − p))

N! | {z }
card(ζ) = CNNp = =2 H(X )

p!(N − p)!

Philippe Ciblat Introduction aux communications numériques 11 / 37

 Introduction Théorie de l’information Conception d’un système

Théorème de la compression

dès que la séquence est grande, on ne rencontre que des

séquences typiques.
le nombre de séquences typiques est de 2NH(X )
chaque séquence typique est représentable par H(X ) bits par
symbole

Théorème
Si le nombre de bits par symbole utilisé pour représenter la
source est inférieur à H(X ), il y a nécessairement perte
d’information (théorie de la distorsion).
Dans le contrainte, une compression sans perte est
théoriquement réalisable.

Soit la source quaternaire de la planche 8.

On envoie C(1) =0 00 , C(2) =0 100 , C(2) =0 1100 et C(3) =0 1110 .
La longueur moyenne est de 1,75 bits par symbole.

Philippe Ciblat Introduction aux communications numériques 12 / 37

 Introduction Théorie de l’information Conception d’un système

Capacité de canal (I)

Définition
La capacité d’un canal est égal au nombre maximal de bits
d’information par utilisation de canal offrant une communication fiable
(sans erreur).

A une valeur de l’émetteur X correspond 2NH(Y |X ) séquences

typiques au récepteur
Le récepteur admet 2NH(Y ) séquences typiques
Par conséquent 2NH(Y ) /2NH(Y |X ) séquences de l’émission sont
discernables au récepteur
Or 2NH(Y ) /2NH(Y |X ) = 2N(H(Y )−H(Y |X )) = 2NI(X ,Y ) , ce qui implique que
on peut émettre I(X , Y ) bits par symbole sans faire d’erreur.

Philippe Ciblat Introduction aux communications numériques 13 / 37

 Introduction Théorie de l’information Conception d’un système

Capacité de canal (II)

Définition mathématique
Soit C la capacité d’un canal, alors

C = max I(X , Y )
p(X )

Théorème de la capacité
Il existe un codage de taux d’information T et de longueur N tel que
T < C pour lequel
lim Pe = 0
N→∞

La limite fondamentale est le débit et non la performance

Théorème non constructif (a priori entrelacement long
nécessaire)

Philippe Ciblat Introduction aux communications numériques 14 / 37

 Introduction Théorie de l’information Conception d’un système

• Exemple : canal BSC (I)

Canal binaire symétrique

.
1−p
’0’ ’0’

p
p

’1’ ’1’
1−p .

C = 1 − H(p)

Canal représentant une transmission binaire avec décision dure

Si le canal physique est gaussien, alors
s ! s !
2Ec 2Eb C 1
p=Q =Q ≈ e−Eb C/N0
N0 N0 2

Philippe Ciblat Introduction aux communications numériques 15 / 37

 Introduction Théorie de l’information Conception d’un système

• Exemple : canal BSC (II)

1 1

0.9 0.9

0.8 0.8

0.7 0.7

0.6 0.6
Capacite

Capacite
0.5 0.5

0.4 0.4

0.3 0.3

0.2 0.2

0.1 0.1

0 0
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 1 2 3 4 5 6 7 8 9 10
p Eb/N0 (en dB)

Capacité nulle pour p = 1/2.

Capacité nulle en dessous de Eb /N0 = 0, 4dB

Philippe Ciblat Introduction aux communications numériques 16 / 37

 Introduction Théorie de l’information Conception d’un système

• Exemple : canal BEC

Canal binaire avec effacement

.
1−p
’0’ ’0’

’1’ ’1’
1−p .

C = 1−p

Capacité nulle si p = 1
Il existe un « code » permettant une transmission fiable dès que
p 6= 1

Philippe Ciblat Introduction aux communications numériques 17 / 37

 Introduction Théorie de l’information Conception d’un système

• Exemple : canal gaussien

Canal gaussien :
y =x +b
avec b un bruit gaussien

C = 0.5 log2 (1 + 2Ec /N0 )

Comme Ec = T × Eb et T < C,
T →0
Eb /N0 ≥ (22T − 1)/(2T ) ≥ ln(2) (−1.6dB)

Capacite canal BBGA en fonction de Eb/N0

9

6
Capacite (bits/s/Hz)

0
-5 0 5 10 15 20 25 30 35 40 45
Eb/N0 (en dB)

Philippe Ciblat Introduction aux communications numériques 18 / 37

 Introduction Théorie de l’information Conception d’un système

Passage du temps discret au temps continu

.
x(t)

S X
Encodeur Mise en forme
.

Théorème d’échantillonnage de Nyquist-Shannon

Soit une fonction t 7→ x (t) à temps continu de bande B. Alors cette
fonction est complétement déterminer par les échantillons à temps
discret {x (nTe )}n où Te est la période d’échantillonnage vérifiant

1
≥B
Te
Dans le cas contraire, il y a perte d’information

Philippe Ciblat Introduction aux communications numériques 19 / 37

 Introduction Théorie de l’information Conception d’un système

Canal gaussien à temps continu

On considère
y (t) = x (t) + b(t)
avec une bande de largeur B.
On émet à une puissance fixe P.

C = (B/2) log2 (1 + 2P/BN0 )

Cette capacité représente le débit maximal possible (bits/s) sans

erreur de communication
A puissance fixée (mobile), limB→∞ C = NP0 log2 (e) bits/s
A énergie fixée par symbole émis (filaire), limB→∞ C = ∞ bits/s

Philippe Ciblat Introduction aux communications numériques 20 / 37

 Introduction Théorie de l’information Conception d’un système

Description d’un système

Schéma complexe d’un système de communication
.

Codage S Codage X x(t)

Source de de Modulation Mise en forme
Source Canal

Encodeur

Canal

Physique

Décodeur

Décodage Ŝ Décodage X̃ Interface y(t)

Destinataire de de Démodulation
Radio
Source Canal

Questions ?
Comment obtient-on la source discrète (binaire) S
Que mettre dans les boitiers « codage de canal »,
« modulation » et « mise en forme »
Philippe Ciblat Introduction aux communications numériques 21 / 37
 Introduction Théorie de l’information Conception d’un système

Signal source
Dans le cas d’une source analogique
Echantillonnage (théorème de Nyquist-Shannon)
Quantification (perte d’information)

Exemple
Considérons un signal de parole
bande de [20Hz, 20kHz]
dynamique très large

Qualité Bande Echantillonnage Quantification

téléphone [300Hz, 3400 Hz] 8kHz 8 bits
hifi [20Hz, 20kHz] 44.1kHz 16 bits

Débit (GSM) 13,8 bits/s ; Bande (GSM) : 25kHz ; Bande (POTS) :

4kHz
Débit (HiFi) : 700 kbits/s (ou 1,4 Mbits/s en stéréo)

Philippe Ciblat Introduction aux communications numériques 22 / 37

 Introduction Théorie de l’information Conception d’un système

Quelques systèmes

Système Débit Bande Efficacité spectrale

TNT 10Mbits/s 8MHz 1,25 bits/s/Hz
GSM 13kbits/s 25kHz 0,5 bits/s/Hz
UMTS 3,4Mbits/s 5MHz 0,7 bits/s/Hz
POTS 13kbits/s 4kHz 3,3 bits/s/Hz
Modem 56 kbits/s 4kHz 14 bits/s/Hz
ADSL 500kbits/s 1MHz 0,5 bits/s/Hz
VDSL 10Mbits/s 20MHz 0,5 bits/s/Hz

Débit dépend fortement

de la bande
du rapport signal-à-bruit
Examiner l’atténuation du canal en fonction de la distance et de la
fréquence

Philippe Ciblat Introduction aux communications numériques 23 / 37

 Introduction Théorie de l’information Conception d’un système

Codage de canal

Objectif
Rajouter de la redondance pour corriger les erreurs

Différents types de codes :

Code en bloc
Code convolutif
Turbo-codes

On note R le rendement du code de canal.

Exemples
Code convolutif avec R = 1/2 en GSM
Code à répétition de R = 1/3 corrige 1 erreur et détecte 2
erreurs.

Philippe Ciblat Introduction aux communications numériques 24 / 37

 Introduction Théorie de l’information Conception d’un système

Modulation (I)

Le codeur de canal sort des ’0’ et des ’1’.

Forme d’onde  0 0
0 7→ x0 (t)
0 0
1 7→ x1 (t)
Modulation linéaire (binaire)

x0 (t) = Ag(t) et x1 (t) = −Ag(t)

−A et A sont des symboles

g(t) est un filtre de mise en forme
Les symboles sont émis à une période Ts

Train de symboles
X
x (t) = sk g(t − kTs ) avec sk ∈ {−A, A}
k

Philippe Ciblat Introduction aux communications numériques 25 / 37

 Introduction Théorie de l’information Conception d’un système

Modulation (II)
Exemple
g(t) est une fonction porte de durée Ts
.
Ts

−A 0 1 1 0 0 1 0 1 0 0 .

Remarque
Modulation binaire admet une efficacité spectrale de 1bit/s/Hz
maximum
Modulation M-aire : un symbole contient plusieus éléments
binaires.
Exemple : M = 4.
0
000 7→ A 0
010 7→ −A 0
100 7→ 3A 0
110 7→ −3A

Philippe Ciblat Introduction aux communications numériques 26 / 37

 Introduction Théorie de l’information Conception d’un système

Modulation (III)

Modulation d’amplitude (MDA,PAM,ASK)

.


















































































    



            

Modulation de phase (MDP,PSK)

.

" "
#

< < 8 8
= 9 9
" "
#

< < 8 8
= 9 9

, , * *
- + +

, , * *
- + +

2 6
3 7

2 6
3 7

$ $
! ! % %

$ $
! ! % %

4 4
5 5

4 4
5 5

0 0

. .
( / / 0 0
)

. .
/ /
(
)

> :
? ;

> & :
? ' ;

&
'

Modulation d’amplitude en quadrature (MAQ,QAM)

.
R R T T V V

P P
Q SR SR UT UT V WV

P P
Q S S U U W

J J

H H @ @ F F
I A A G G J KJ

H H @ @ F F
I A A G G K

D D

B B L L
C C ED ED M

N
O

B B L L
C C E E M

N
O

^ ^ \ \ Z Z X X
_ ] ] [ [ Y

^ ^ \ \ Z Z X X
_ ] ] [ [ Y

Philippe Ciblat Introduction aux communications numériques 27 / 37

 Introduction Théorie de l’information Conception d’un système

Filtre de mise en forme

Canal gaussien : y (t) = x (t) + b(t)
.
nTs
y(t) z(t) z(n) ŝn
g(−t)∗

Filtre de réception Détecteur à seuil .

P
z(t) = k sk g̃(t − kTs ) + b(t) avec g̃(t) = g(t) ? g(−t)∗
P
z(n) = k sk g̃(n − k ) + b(n) avec g̃(n − k ) = g̃(nTs − kTs )

Filtre de Nyquist
Un filtre de Nyquist t 7→ h(t) est défini comme suit

h(nTs ) = δn,0

et admet comme contrainte B > 1/Ts

Philippe Ciblat Introduction aux communications numériques 28 / 37

 Introduction Théorie de l’information Conception d’un système

Détecteur à seuil

Canal gaussien (avec filtre de Nyquist) : z(n) = sn + b(n)

Propriété
Le détecteur optimal, c’est-à-dire celui qui minimise la probabilité
d’erreur, cherche le point de la constellation le plus proche de z(n) au
sens de la norme euclidienne.
Exemple : MAQ-16
.


   

 


   

 
   

   

 


   

 


   

 

 
   

 
   

       
      

       
      

Philippe Ciblat Introduction aux communications numériques 29 / 37

 Introduction Théorie de l’information Conception d’un système

Efficacité spectrale
Taux d’information T : nombre de bits utiles par utilisation de
canal (s’exprime en Shannon)

Capacité C : nombre de bits utiles transmissibles par utilisation

de canal avec une communication fiable

Dans un système pratique, on a un codage de canal de

rendement R et une modulation à M états. Alors

T = R ∗ log2 (M)

Débit = T /Ts bits/s

Débit maximal = C/Ts bits/s

Efficacité spectrale : T bits/s/Hz (TEB nul et Eb /N0 fixé)

Philippe Ciblat Introduction aux communications numériques 30 / 37

 Introduction Théorie de l’information Conception d’un système

Performance (I)

Canal gaussien et récepteur optimal

s !
Eb
Pe ∝ Q f (modulation)
N0

Constellation Performance
MDA f = 6 log2 (M)/(M 2 − 1)
MDP f = log2 (M)(1 − cos( 2π
M ))
MAQ f = 3 log2 (M)/(M − 1)

Remarque
MAQ > MDP > MDA

Philippe Ciblat Introduction aux communications numériques 31 / 37

 Introduction Théorie de l’information Conception d’un système

Performance (II)

Taux Erreur Symbole en fonction du Eb/No Taux Erreur Symbole en fonction du Eb/No
1 1
MDP-2 MDP-2
MDP-4 MAQ-16
MDP-8 MDP-16
MDP-16 MDA-16

0.1 0.1
Taux Erreur Symbole

Taux Erreur Symbole

0.01 0.01

0.001 0.001

0.0001 0.0001

1e-05 1e-05
0 5 10 15 20 0 5 10 15 20
Eb/No (en dB) Eb/No (en dB)

Pe pour différents M (MDP fixé) Pe pour différentes modulations (M fixé)

Efficacité spectrale Limite de Shannon

1bit/s/Hz 2dB
2bits/s/Hz 6dB
3bits/s/Hz 10dB
4bits/s/Hz 15dB

Philippe Ciblat Introduction aux communications numériques 32 / 37

 Introduction Théorie de l’information Conception d’un système

Dimensionnement d’un système (I)

1 La bande
Si la fréquence centrale f0 %, alors B % mais distance de
propagation &
Choix de B guidé par la physique du système.
2 L’énergie
autonomie
compatibilité électro-magnétique
distance souhaitée
3 Le débit
Ds ≈ B et Db = TDs
Si TEB, Db et B sont fixés, alors T est fixé
Comme T = R ∗ log2 (M), on a « rapidement » R et M.

Compromis entre performances et débit

Si on relâche les performances, le débit augmente (voix)
Si on relâche le débit, on assure les performances (données)

Philippe Ciblat Introduction aux communications numériques 33 / 37

 Introduction Théorie de l’information Conception d’un système

Dimensionnement d’un système (II)

.

Bande Puissance
(physique) (CEM, Batterie)

Modulation et Codage
Débit symbole
Traitement du Signal

Débit binaire Performances

(Services) (QoS)
.

Philippe Ciblat Introduction aux communications numériques 34 / 37

 Introduction Théorie de l’information Conception d’un système

Exemple : le GSM
Accès multiple :
AMRF (125 canaux de 200kHz)
AMRT (8 utilisateurs par sous-canal)
1 utilisateur ≡ 25kHz et 1000 utilisateurs par station
.

f0 = 900MHz Contrôle de puissance

B = 200kHz 2mW → 2W
pour 8 utilisateurs (3dBm→ 33dBm)

Tb = 0, 75/B GMSK-2 et Code convolutif R = 1/2

Db = 270kbits/s
pour 8 utilisateurs Algorithme de Viterbi

Séquence
d’apprentissage

13kbits/s
10−2 → 10−3
par utilisateur
.

Philippe Ciblat Introduction aux communications numériques 35 / 37

 Introduction Théorie de l’information Conception d’un système

Comparaison théorie/pratique

6
Efficacité spectrale (bit/s/Hz)

5
on
nn
    
   

4 ha
    
   

   
   

eS
   
   

it ed DVBT (MAQ64,R=2/3)
3 lim
2

1 
















GSM
DAB (MDP4,R=1/2)
5 10 15 20 25 30

RSB (dB)





Turbocodes 


Code convolutif .

Philippe Ciblat Introduction aux communications numériques 36 / 37

 Introduction Théorie de l’information Conception d’un système

Conclusion

Deux points encore importants sont à mentionner

Canal multi-trajet
.

(ρ1, τ1)

(ρ0, τ0)

(ρ2, τ2)

X
y (t) = ρk x (t − τk ) + b(t) = c(t) ? x (t) + b(t)
k

⇒ Traitement d’égalisation à effectuer

Estimation de c(t)
⇒ Séquence d’apprentissage ou en autodidacte

Philippe Ciblat Introduction aux communications numériques 37 / 37