. .

ENTROPY AND INFORMATION

G. M. KOSHKIN

The basic properties of entropy and information for discrete random objects are described.
The problem of communications coding is discussed; the Shannon-Fano coding principle for
a binary alphabet is explained, taking a Russian text as an example.


.


.

, ,
, .

, 19471948
[1].

,
, .
, .




1865 . ,
,
. S,
. (1872 ), W

.., 2001

S = k ln W,

122

www.issep.rssi.ru

k . , . .
: , , .

, 7 , 1 1 , 2 0 0 1



. , , ,
, , . ,
. ,
,

, ,
. ,
, .
,
.
() A1 , A2 , , An p1 , p2 , , pn X, X1 , X2 ,
, Xn , [1]
n

H ( A ) = H ( p 1, p 2, , p n ) =

p log p ,
k

(1)

log pi ,
,
, , . 1. ,
Ai , i = 1, 2, , n,
X, . 2, A. ,
, . , , Ai A
Xi X.

. , ,
, ; H(A ) A1 , A2 , , An .
, , , .
,
.
.

k=1

. , , (), , [2].
, (1) , , 2.
,
(,
, : ).
, . ,
10 ( , , ,
).
, , 3,32
, log210 = 3,32.
, , Ai
A , -

1
Xi

log p1

log p2

log pn

pi

p1

p2

pn

2
X1

X2

Xn

p1

p2

pn

,
, .
1. H(p1 , p2 , , pn) = 0 ,
pi , , ,
.
.
2. n H log n, pi ,
1
p 1 = p 2 = = p n = --- .
n

. .

123


3. A B
n m ,
H(AB ) = H(A ) + H(B ).

(2)

. rkl
AkBl A B
pkql ,
H ( AB ) =

kl

q = p
l

p log p ,
i

(4)

i=1

p log p q q log q p ,
k

(3)

,
, .
(3)
IA =

log r kl =

k, l

IA = H(A),

= 1, (2).

, 1 H

, . 2,
[1, 3, 4].
3, , , .
, n
n , .

:
.
, .

pi = P(A = Ai). (4)

, :
I Ai = log p i ,

i = 1, 2, , n,

IA =

p I

i Ai

i=1

pi , I Ai , IA
. ,
1
p 1 = p 2 = = p n = --- , , , n
I Ai
1
I Ai = log --- = log n
n

(5)

, ,

.
, .
A , ,
A .
, , H(A ), ,
,
, .
IA , A. , :
IA = H(A) 0

124

1 1
I A = n --- log --- = log n.
n n

(6)

, , :
,
. , ,
1 , , , 1 .
, .
1. . , , .
.
,
e7

, 7 , 1 1 , 2 0 0 1


1
I Ai = log ------ = log 64 = 6 .
64
(5)
(6) 6 .
2. , :
.
1
. p = --------- ,
365

1
I = log --------- = log 365 8 ,51 .
365
3. , :

.
. :
1
A1 p 1 = --------- A2
365
364
p 2 = --------- . 365

1
364 364
1
I A = H ( A ) = --------- log --------- --------- log --------- 0 ,063 .
365 365 365 365
,
.
: A1 , A2 ,
p1 , p2 . , :
A1 ? 1 , 1
, p 1 = p 2 = --- .
2
- n
, , n
. ,
1 ,
2 .

,
. : , ,
( ), (
).

. ,

, .
, A B . A (, ),
A1 ,
A2 , , An ,
B, B1 ,
B2 , , Bm , m < n. , , m < n,
A
B ( -
).

.
, , B.
, , .
,
(0 1).


, -
. , . (, 0 1)
,
.
: ,
0 1
.
31
, .

0 31, .
,

. .

125


. ,
11 = 1 23 + 0 22 + 1 21 + 1 20,
11
1011.
0, 1, 2, , 31
,
:

00000

00001

00010

00011

00100
................

11110
11111
. ,
, ,
, .
, ,
.
( ) . 3,
[5].

. 3 . , ,

. , 2 ,
, ,
.
, , .
,
:

0, 1.

; 0, 1 ..

. . 3
( ) (), 0,498;

126

0,145
0,095
0,074
0,064
0,064
0,056
0,056
0,047

0,041
0,039
0,036
0,029
0,026
0,026
0,024
0,021

0,019
0,016
0,015
0,015
0,015
0,014
0,013
0,010

0,009
0,008
0,007
0,006
0,004
0,003
0,003
0,002

( )
0,502. ,
0,
1. ,
0,
1.
,
, . . 4,
.
. , :
10010011010000110010011010110011011110001111010000
1111100110100101001000010110110
, , .

.
4

000
001
0100
0101
0110
0111
1000
1001
10100
10101
10110

10111
11000
110010
110011
110100
110110
110111
111000
111001
111010
111011

, 7 , 1 1 , 2 0 0 1

111100
1111010
1111011
1111100
1111101
11111100
11111101
11111110
111111110
111111111


, .
, ,
:
32

H=

p log p = 0 ,145 log 0 ,145 0 ,002 log 0 ,002

i

i=1

4,42 .

:
32

k=

k p = 3 0 ,145 + 3 0 ,095 + + 9 0 ,002 4 ,45.

i

.
, . , , , , ..,
,
, . 3.

i=1

1. . //
. .: - . ., 1963.
. 243332.
2. .. // .
1998. 6. . 122127.

H k,

3. .. .
: - . -, 1963. 240 .

4 ,42
I s = ---------- 0 ,994 .
4 ,45

4. .., .. . .:
, 1973. 512 .

, 1, , , .
,
4 ,42
I s = ---------- 0 ,884 ,
5
, .
,
,

5. .. . .: , 1964. 576 .

..
***
, - ,
.
. ,
60
.

. .

127