Ê





. Thµnh phè nä cã 1% d©n sè lµ sinh viªn. Trong sè sinh viªn cã 50% lµ

nam thanh niªn. Sè nam thanh niªn trong thµnh phè lµ 32%. Gi¶ sö ta gÆp
mét nam thanh niªn. H·y tÝnh l-îng th«ng tin chøa trong tin khi biÕt r»ng
®ã lµ mét sinh viªn



Gäi ÿ1 là sӵ kiӋn gһp mӝt nam thanh niên › › ( ÿ1 ) å 0,32
ÿ2 là sӵ kiӋn gһp mӝt sinh viên › › ( ÿ2 ) å 0, 01
Khi đó xác suҩt sӕ sinh viên có trong sӕ nam thanh niên là › ( ÿ1 / ÿ2 ) å 0,5
Bài toán đһt ra là phҧi tìm xác suҩt đӇ có mӝt sinh viên trong sӕ nam thanh
niên › ( ÿ2 / ÿ1 ) å ?
Tӯ đҫu bài ta có nhұn xét sau :
ÿ1 và ÿ2 là 2 biӃn cӕ ( 2 sӵ kiӋn ) phөc thuӝc nhau, do đó xác suҩt đӇ ÿ1 và
ÿ2 xҧy ra đӗng thӡi là

› ( ÿ1 , ÿ2 ) å › ( ÿ1 ). ›( ÿ2 / ÿ1 ) å ›( ÿ2 ). ›( ÿ1 / ÿ2 ) (1)
Tӯ (1) suy ra

›( ÿ2 ). ›( ÿ1 / ÿ2 ) 0, 01.0,5 1
› ( ÿ2 / ÿ1 ) å å å
› ( ÿ1 ). 0,32 64
Lưӧng thông tin

1
; ( ÿ2 / ÿ1 ) å log ›( ÿ2 / ÿ1 ) å log å log 2 6 å 6,0

64
; ( ÿ2 / ÿ1 ) i




1

Cã hai hép ®ùng bót ch×, mçi hîp ®ùng 20 bót ch×. Hép thø nhÊt cã 10
bót tr¾ng, 5 bót ®en vµ 5 bót ®á. Hép thø hai cã 8 bót tr¾ng, 8 bót ®en
vµ 4 bót ®á. Ta lÊy hó ho¹ mét bót ch× tõ mçi hép. Hái r»ng phÐp thö
nµo trong hai phÐp thö nãi trªn cã ®é bÊt ®Þnh lín.


Hӝp A có : 10 trҳng, 05 đen, 05 đӓ ĺ ™ = 20
Hӝp B có : 08 trҳng, 08 đen, 04 đӓ ĺ ™ = 20
Lҩy ngүu nhiên mӛi hӝp 01 bút chì :
 
10 1
Xác suҩt lҩy đưӧc trҳng : p(ai) = = ; Xác suҩt lҩy đưӧc đen : p(a2)
20 2
5 1
= =
20 4
5 1
Xác suҩt lҩy đưӧc đӓ : p(a3) =
20 4

  
8 2
Xác suҩt lҩy đưӧc trҳng : p(b1) = = ; Xác suҩt lҩy đưӧc đen : p(b2) =
20 5
8 2
=
20 5
4 1
Xác suҩt lҩy đưӧc đӓ : p(b3) = =
20 5
Vұy A và B có thӇ biӇu diӉn :
 Y1 Y 2 Y 3
 1 2 3

 !  !
A = 1 1 1 ! B = 2 2 1 !
 !  !
2 4 4 5 5 5

Ta có :
3
1 1 1 1 1 1
H(A) = - í ›(a i ) log 2 ›(a i ) = - log 2 - log 2 - log 2 = 1,5

å1 2 2 4 4 4 4

2
 3
2 2 2 2 1 1 4
H(B) = - í ›(b j ) log 2 › ( j ) = - log 2 - log 2 - log 2 = - + log 2 5 = 1,52
 å1 5 5 5 5 5 5 5

Ta thҩy H(B)>H(A), và Entrpy là đӝ bҩt đӏnh trung bình cӫa nguӗn tin nên
phép thӱ ӣ hӝp B có đӝ bҩt đӏnh cao hơn.


 C¸c tÝn hiÖu ‘ ,
víi c¸c x¸c suÊt tiªn nghiÖm

‘ å   ,


å ‘ ®-îc truyÒn theo kªnh nhÞ ph©n ®èi xøng cã nhiÔu nh-
h×nh vÏ. Do cã nhiÔu nªn x¸c suÊt thu ®øng mçi tÝn hiÖu gi¶m ®i chØ
b»ng 7/8. H·y t×m:
a. L-îng tin tøc riªng cã ®iÒu kiÖn 

 

b. L-îng tin tøc chÐo 

  

c. C¸c l-îng tin tøc trung b×nh 

, H(X), H(X/Y), I(X,Y)

‘ 
‘ å  

‘ å  ‘ ‘


‘  å ‘ 

 å ‘


‘

 
å ‘ 





 
 å  





a. Tính lưӧng tin riêng có điӅu kiӋn ; ( ÿ2 / 1 ) 

Ta có :
› ( ÿ2 , 2 ) å ›( ÿ2 ). ›( 2 / ÿ2 ) å ›( 2 ). ›( ÿ2 / 2 )

3
 1 7 7
.
› ( ÿ2 ). ›( 2 / ÿ2 )
› ( ÿ2 / 2 ) å å 4 8 å 32 (1)
› ( 2 ) ›( 2 ) ›( 2 )

3 1 1 7 10
› ( 2 ) å ›( ÿ1 ). ›( 2 / ÿ1 )
›( ÿ2 ). ›( 2 / ÿ2 ) å .
. å
4 8 4 8 32
10
Thay › ( 2 ) å vào (1) ta có
32
7 7
7
› ( ÿ2 / 2 ) å 32 å 32 å
›( 2 ) 10 10
32
Suy ra
7
; ( ÿ2 /  2 ) å lo g å 0 , 5 1 4 5 7 3 
10
   ; ( ÿ 2 ,  2 ) 
7
› ( ÿ2 / 2 )
; ( ÿ 2 ,  2 ) å lo g å lo g 1 0 å lo g 2 , 8 å 1, 5
 
› ( ÿ2 ) 1
4
  !"  ; (  / 2 ) Î#$%Î#$&'%Î(#$Î'%
2
› (x i / 2 )
) ; ( , 2 ) å  [I(x i , 2 )] í › (xi / 2 ).log
i 1 ›( ÿ
) 
› (x1 / 2 ) › (x 2 / 2 )
; ( , 2 ) å › (x1 / 2 ).log  ›(x 2 / 2 ).log
› ( ÿ1 ) › ( ÿ2 ) (2)

4
 7 3
Thay › (x1 / 2 ) å 1  ›(x 2 / 2 ) å 1  å vào (2)
10 10
* ; (  / 2 ) i Î+
,
2
q H(X) =  ›( ÿ ).log ›( ÿ ) å 0,811278 




å1

2 2
qH(X/Y)=  ›( ÿ ,  ).log ›( ÿ /  ) i

å1  å1




i › ( ÿ1 , 1 ).log › ( ÿ1 / 1 )
›( ÿ1 , 2 ).log ›( ÿ1 / 2 )
›( ÿ2 , 1 ).log ›( ÿ2 / 1 )
›( ÿ2 , 2 ).log ›( ÿ2 / 2 ) #

%
3 7 21
Tính › ( ÿ1 , 1 ) å › ( ÿ1 ). ›( 1 / ÿ1 ) å . å ;
4 8 32
3 1 3
› ( ÿ1 , 2 ) å › ( ÿ1 ). ›( 2 / ÿ1 ) å . å
4 8 32
1 1 1
› ( ÿ2 , 1 ) å › ( ÿ2 ). ›( 1 / ÿ2 ) å . å
4 8 32
1 7 7
› ( ÿ2 , 2 ) å › ( ÿ2 ). › (  2 / ÿ2 ) å . å ;
4 8 32
7 3
› ( ÿ2 / 2 ) å ; › ( ÿ1 /  2 ) å ;
10 10
› ( ÿ1 , 1 ) å › ( ÿ1 ). ›( 1 / ÿ1 ) å › ( 1 ). › ( ÿ1 / 1 )
3 7
.
› ( ÿ1 ). ›( 1 / ÿ1 ) 4 8 21 1
› ( ÿ1 / 1 ) å å å ; › ( ÿ2 / 1 ) å
›( 1 ) 22 22 22
32

Thay các phép tính trên vào (3) ta có

H(X/Y)=0,459 bit
q Tính I(X,Y)=H(X)-H(X/Y)=0,352 bit

+. -./.012!34./56 789 : ; !1<.
=310.;>?74 10 4:6@ A 29
BC  8 D 9 6 7 E3 F  B8 G  H F  I 4 0 

5
 J 4:6@ A 29.8.@8 @ 9 /IK
BC  80DIL96 7

Theo gi¶ thiÕt ®é bÊt ®Þnh cña khèi háng lµ:

1
I
a i å log p
a i å log å 4 bit
16
L-îng th«ng tin nhËn ®-îc sau mçi phÐp ®o:

å p log p
1 p log
1 p
Víi p : x¸c suÊt cã tÝn hiÖu
1 p : x¸c suÊt kh«ng cã tÝn hiÖu
§Ó x¸c ®Þnh ®-îc khèi háng (khö hÕt ®é bÊt ®Þnh) sè phÐp ®o cÇn
thiÕt n lµ:
I
a i
n min å

max

1

› max khi p å 1 p å
2

max
å 1bit
4 bit
n min å å 4 lÇn ®o
1bit
§Ó nmin thuËt to¸n ®o ph¶i ®¶m b¶o
› max  Mçi lÇn ®o ph¶i
1
®o ë ®iÓm gi÷a cña c¸c khèi cÇn x¸c ®Þnh nh»m ®¶m b¶o p å 1 p å .
2
Gi¶ sö khèi háng lµ khèi 6. C¸c phÐp ®o cÇn thiÕt lµ:
-c LÇn 1: §o ë ®Çu ra khèi 8: Kh«ng cã tÝn hiÖu, khèi háng n»m trong
c¸c khèi tõ 1 › 8.
-c LÇn 2: §o ë ®Çu ra khèi 4: Kh«ng cã tÝn hiÖu, khèi háng n»m trong
c¸c khèi tõ 5 › 8.
-c LÇn 3: §o ë ®Çu ra khèi 6: Kh«ng cã tÝn hiÖu, khèi háng n»m trong
khèi 5 hoÆc 6.
-c LÇn 4: §o ë ®Çu ra khèi 5: Cã tÝn hiÖu. VËy khèi háng lµ khèi 6


6

M   N    9 B7 O  ± P   L QR  ! S  
 T!U! .@S B70.E NV

§é bÊt ®Þnh cña sè ®-îc chän ngÉu nhiªn:

1
I
a i å log p
a i å log å 3bit
8
§Ó t×m ®-îc sè ®· chän cña A, B ph¶i ®Æt c¸c c©u hái cho A ®Ó thu
®-îc ®ñ mét l-îng th«ng tin cÇn thiÕt lµ 3 bÝt.
Mçi c©u hái cña B (d¹ng lùa chän) cã thÓ xem lµ nguån rêi r¹c nhÞ ph©n,
bëi vËy l-îng th«ng tin nhËn ®-îc sau mçi c©u tr¶ lêi t-¬ng øng lµ:

B å p log p
1 p log
1 p
Víi p : x¸c suÊt nhËn c©u tr¶ lêi ®óng 
1 p : x¸c suÊt nhËn c©u tr¶ lêi sai
I
a i
VËy sè c©u hái cÇn thiÕt n lµ : n å

B
I
a i
Sè c©u hái trung b×nh tèi thiÓu lµ: n min å

B max
1

B max
khi p å 1 p å
2
3bit
n min å å 3 lÇn hái
1bit
Gi¶ sö A chän sè 3. C¸c c©u hái B cã thÓ ®Æt cho A lµ:
-c C©u 1 - Sè A chän lín h¬n 3? Tr¶ lêi: Sai
-c C©u 2 - Sè A chän lín h¬n 1? Tr¶ lêi: §óng
-c C©u 3 - Sè A chän lín h¬n 2? Tr¶ lêi: Sai
VËy sè A chän lµ 3

=W
  P

Mӛi mӝt điӇm ҧnh (phҫn tӱ ҧnh) có 8 mӭc sáng đӗng xác suҩt, do đó lưӧng
thông tin trung bình cӫa mӛi tin (Entropy) là cӵc đҥi và bҵng log8=3

7
Vӟi 5.10^5 yӃu tӕ (phҫn tӱ) thì Lưӧng thông tin là 5.10^5x 3=1,5.10^6 bit
Khҧ năng thông qua cӫa kênh VTTH là : C =25x1,5.10^6 (b/s)
Theo công thӭc 3.52 (trang 111)
 P

C' å Flog 1
ás !
 Pn

C =Flog16=4F -> F=C /4=9,375.10^6H


 P.5X!8.5X!L Y Z[@S.;>.5
X!L;\BHQ]U.^ _JE3F B7GU
 !S  7 @!.@X9.:  .;>.5 X!L`T! !=9
UV
c
Theo gi¶ thiÕt ®é bÊt ®Þnh chøa trong sù kiÖn ®ång xu gi¶ lµ :
I(xi) = - log p(xi) = - log 1/27 = log 27 bit
Khi sö dông c©n ®Üa th¨ng b»ng, sau mçi lÇn c©n c¸c sù kiÖn cã thÓ cã
lµ :
-c C©n th¨ng b»ng víi x¸c suÊt p
-c C©n lÖch tr¸i víi x¸c suÊt q
-c C©n lÖch ph¶i víi x¸c suÊt 1-p-q
L-îng th«ng tin nhËn ®-îc sau mçi lÇn c©n :
H(B) = -plog p ± qlog q ± (1-p-q)log (1-p-q)
§Ó x¸c ®Þnh ®-îc ®ång xu gi¶ tæng l-îng th«ng tin nhËn ®-îc sau c¸c lÇn
c©n ph¶i kh«ng nhá h¬n ®é bÊt ®Þnh cña ®«ng xu gi¶. Nh- vËy sè lÇn
c©n cÇn thiÕt lµ : n = I(xi)/H(B)
§Ó n cã gi¸ trÞ nhá nhÊt th× H(B) ph¶i ®¹t gi¸ trÞ cùc ®¹i.
Ta cã H(B) = H(B)max= log 3 khi p = q = 1-p-q = 1/3.

8
 Khi ®ã nmin= I(xi)/H(B)max = log27/log 3 = 3 lÇn c©n.
ThuËt to¸n c©n nh- sau( ®¶m b¶o p = q = 1-p-q )
-c LÇn 1 : Chia 27 ®ång xu thµnh 3 phÇn, mçi phÇn cã 9 ®ång xu. LÊy 2
phÇn bÊt kú ®Æt lªn mçi bµn c©n 1 phÇn . NÕu c©n th¨ng b»ng th×
®ång xu gi¶ n»m trong 9 ®ång xu ch-a c©n. Ng-îc l¹i, tuú theo c©n
lÖch tr¸i hay lÖch ph¶i ta còng x¸c ®Þnh ®-îc phÇn cã chøa ®ång xu
gi¶.
-c LÇn 2 : Chia 9 ®ång cã chøa ®ång xu gi¶ thµnh 3 phÇn nh- nhau, mçi
phÇn cã 3 ®ång xu. §Æt 2 phÇn bÊt kú lªn 2 bµn c©n. KÕt qu¶ cña
phÐp c©n sÏ gióp ta x¸c ®Þnh ®-îc 3 ®ång xu cã chøa ®«ng xu gi¶.
-c LÇn 3 : LÊy 2 ®ång xu bÊt kú trong 3 ®ång xu cã chøa ®ång xu gi¶
®Æt lªn 2 ®Üa c©n. Sau lÇn c©n nµy ta sÏ x¸c ®Þnh ®-îc ®ång xu gi¶.

, a
c cccc c
c ccc
cc c Ycc
c


c ccaccc
c c c
c
c
ccc c
ccc
ÿ c!c"#c
c

c
cc$c c%&c'c
c
c(
c)cc c Yc*c

c c$c&c cc
cc
c

§é bÊt ®Þnh vÒ qu©n bµi mµ A ®· rót:
1
I
a i å  log p
a i å  log  6 bit
52
Gi¶ sö B ®Æt cho A c©u hái d¹ng lùa chän, khi ®ã l-îng th«ng tin nhËn
®-îc sau mçi c©u tr¶ lêi cña A lµ:

B å p log p 
1  p log
1  p
Víi p : x¸c suÊt nhËn c©u tr¶ lêi lµ ®óng 
1  p : x¸c suÊt nhËn c©u tr¶ lêi lµ sai
I
a i
Sè c©u hái cÇn thiÕt ®Ó x¸c ®Þnh ®-îc qu©n bµi A ®· rót lµ: n å

B
Ta thÊy n › min khi
B › max

9
 1

å
max
å 1bit khi p å 1 p å
2
log 52 bit
Sè c©u hái trung b×nh tèi thiÓu lµ: n min å  6 lÇn
1bit
1
ThuËt to¸n ph¶i ®¶m b¶o p å 1 p å .
2
Gi¶ sö A rót ra 7 r«. C¸c c©u hái cÇn thiÕt cã thÓ nh- sau:
-c C©u 1: Qu©n A rót lµ qu©n ®á? §óng
-c C©u 2: Qu©n A rót lµ qu©n c¬? Sai
-c C©u 3: Qu©n A rót cã gi¸ trÞ ó 7? §óng (gi¶ sö J = 11, Q = 12, K = 13,
At=1)
-c C©u 4: Qu©n A rót cã gi¸ trÞ ó 3? Sai
-c C©u 5: Qu©n A rót cã gi¸ trÞ ó 5? Sai
-c C©u 6: Qu©n A rót lµ 6 r«? Sai
VËy qu©n A rót lµ 7 r«

10