20

Captulo 2 de Abramson
Clase 3
2. LA INFORMACIN Y SUS FUENTES
2.1. Definicin de informacin
Definicin: sea E un suceso que puede presentarse con probabilidad ( ) E P . Cuando E
tiene lugar se dice que hemos recibido
( )
( )
|
|
.
|

\
|
=
E P
E I
1
log Unidades de informacin
Al elegir la base se elige la unidad (Bit, Nat, Hartley para base 2, base e y base 10
respectivamente)
Se observa que s ( ) 2 / 1 = E P , ser ( ) 1 = E I bit, o sea que un bit es la cantidad de
informacin obtenida al especificar una de dos posibles alternativas igualmente
probables.
Ej.: imagen de televisin en gris de 500*600 con 10 niveles igualmente probables de
brillantez y sin dependencia entre pxeles consecutivos.
Ej.: Informacin contenida en 1000 palabras emitidas por un locutor de radio de un
vocabulario de 10000
2.2. Fuente de informacin de memoria nula
Se define un mecanismo generador de informacin (fuente) como el de la figura

Ilustracin 1: fuente de informacin
Si la fuente emite una secuencia de smbolos pertenecientes a un alfabeto finito y fijo
( )
q
s s s S , , ,
2 1
= y, adems, los smbolos son estadsticamente independientes, la
fuente es de memoria nula y se puede describir mediante el alfabeto fuente y la
probabilidad de que los smbolos se presenten ( ) ( ) ( )
q
s P s P s P , , ,
2 1

La informacin media suministrada por esta fuente est dada por la entropa
( ) ( )
( )

S i
i
s P
s P S H
1
log *
2
Bits
21


Si se utiliza otra base para el logaritmo la entropa estar dada en la unidad
correspondiente.
Ejemplo: sea la fuente sin memoria {

} con (

) y (

)
(

) , entonces
()

()

()

()

( )
i
s I puede interpretarse como la informacin necesaria para que la presencia de
i
s sea
cierta.
La entropa ( ) S H puede interpretarse como el valor medio de la informacin por
smbolo suministrada por la fuente o el valor medio de la incertidumbre de un
observador antes de conocer la salida de la fuente.
2.2.1. Propiedades de la entropa
Las propiedades de la entropa se pueden sacar con base en el comportamiento de las
dos curvas que se muestran en la siguiente grfica:

Ilustracin 2: Grficos de () y
22


Como se observa la recta se mantiene por encima de la curva () y
por tanto puede escribirse
1 ln s x x
Multiplicando por se tiene que
x
x
>1
1
ln
Si
q
x x x , , ,
2 1
e
q
y y y , , ,
2 1
son dos conjuntos de probabilidades, se demuestra (ver
Pg. 30) que

=
s
q
i i
i
i
x
y
x
1
0 log *
Y, adems,


= =
s
q
i
q
i i
i
i
i
y
x
x
x
1 1
1
log *
1
log *

Resultado que se verific previamente para el clculo de las longitudes promedios en el
sistema de transmisin del clima de las dos ciudades.
Ejemplo:
{ }
{ } 6 / 2 , 6 / 1 , 6 / 1 , 6 / 1 , 6 / 1 ) (
12 / 3 , 12 / 1 , 6 / 1 , 6 / 1 , 3 / 1 ) (
=
=
Y P
X P

Para analizar de qu modo depende la entropa de la probabilidad de los diferentes
smbolos de la fuente sea una fuente { }
i
s S = y sus probabilidades ( ) q i s P
i
, , 2 , 1 , =
Se demuestra (ver Pg. 31) que
( ) 0 ) log( > S H q
O sea que la entropa de la fuente siempre es menor o igual que ) log( q . La igualdad se
cumple si
q
P
i
1
=
Luego el valor mximo de la entropa es ) log( q y se alcanza cuando todos los smbolos
son equiprobables. (Ejemplo: representacin fija con ( ) q
2
log bits)
Un ejemplo particularmente importante de fuente de informacin de memoria nula
corresponde a una fuente binaria de memoria nula. En tal fuente, el alfabeto se reduce a
{ }. La probabilidad de un 0 es y la de un 1, . La entropa de tal fuente
23


() (

) () bits (2-12)
La funcin en (2.12) aparece con frecuencia en los problemas de teora de la
informacin. Por esta razn se acostumbra a representarla por un smbolo especial. Por
definicin:

Que llamaremos funcin entropa. Hay que sealar la diferencia existente entre (2-12) y
(2-13). ()) determina la entropa de una fuente particular S, mientras que () es
una funcin de la variable definida en el lintervalo [ ]. El significado del smbolo
() depende, en definitiva, de la variable. Otro punto importante es que

En la ilustracin se observa la variacin de la curva () en funcin de , en el
intervalo [ ] de la variable.

Ilustracin 3: funcin entropa
24


En este caso se muestra que una fuente binaria no suministra ninguna informacin
en el caso de la informacin cierta y que la informacin media mxima es 1 bit.
Adems, aunque los binits de salida pueden aportar informacin mayor a 1 bit, en
promedio la informacin de la fuente siempre ser menor o igual a 1 bit por binit.
Debe observarse tambin que la cantidad mxima de informacin crece
lentamente al aumentar , de tal manera que para duplicar la informacin
promedio mxima se debe tener una fuente con
2
q smbolos.
2.3. Extensiones de una fuente de memoria nula
Se trabaja con grupos de smbolos, lo que equivale a tener fuentes con ms smbolos.
Si se tiene una fuente de memoria nula con un alfabeto { }
q
s s s , , ,
2 1
se pueden
agrupar las salidas en paquetes de smbolos, lo que permite
n
q secuencias de salida
distintas
Definicin: Sea una fuente de memoria nula, con un alfabeto { }
q
s s s , , ,
2 1
. Sea
i
P la
probabilidad correspondiente a
i
s . La extensin de orden de ,
n
S , es una fuente de
memoria nula de
n
q smbolos, { }
n
q
o o o , , ,
2 1
. El smbolo
i
o corresponde a una
secuencia de smbolos de los
q
s , con una probabilidad ( )
i
P o que es precisamente la
probabilidad de la secuencia correspondiente. Es decir, si
i
o representa la secuencia
( )
in i i
s s s , , ,
2 1
, entonces ( )
in i i i
P P P P * * *
2 1
= o
En este caso se demuestra (ver pgina 21) que
( ) ( ) S H n S H
n
* =

Ejemplo: Consideremos la extensin de segundo orden de la fuente que tiene un
alfabeto

{ }
3 2 1
, , s s s S =
con probabilidades
( ) { } 4 / 1 , 4 / 1 , 2 / 1 = S P
. Dicha fuente
tendr los nueve smbolos siguientes:



25


2.4. Fuentes de informacin de Markov (fuente con memoria)
En este caso la presencia de un determinado smbolo
i
s depende de un nmero finito
de smbolos precedentes. Tal fuente se define por su alfabeto y el conjunto de
probabilidades condicionales

( ) q j q i s s s s P
p jm j j i
, , 2 , 1 ; , , 2 , 1 para , , , /
2 1
= =

En una fuente de Markov de orden la probabilidad de un smbolo cualquiera viene
determinada por los smbolos precedentes. Puesto que existen smbolos distintos,
existirn
m
q estados posibles, en donde estado significa los smbolos precedentes.

Un estado cambia cuando la fuente emite nuevos smbolos. Una forma de representar
este comportamiento es el diagrama de estados.

En este diagrama los
m
q estados se representan cada uno por un punto (o por un
crculo), indicndose mediante flechas las transiciones entre estados.



El diagrama de estados para esta fuente se muestra en la siguiente figura:
26




Fuente ergdica: es aquella que observada durante un tiempo suficientemente largo,
emite con toda seguridad una secuencia tpica de smbolos.

Las fuentes no ergdicas son una rareza y por tanto si se escoge un estado inicial de una
fuente de Markov y se deja transcurrir un gran nmero de transiciones de estado, se sabe
que existir una probabilidad finita de que se presente cada uno de ellos. Adems en una
fuente ergdica los estados que realmente aparecen en una secuencia larga lo harn (con
probabilidad 1) con las mismas probabilidades.




27


.
Una propiedad adicional de las fuentes ergdicas es que la distribucin de
probabilidades de un conjunto de estados que se presentan despus de producirse un
gran nmero de transiciones (o, anlogamente, la distribucin de estados en una
secuencia de salida tpica) no depende de la distribucin inicial con que son elegidos los
diferentes estados.
Existe una distribucin de probabilidades nica para un conjunto de estados de una
fuente de Markov ergdica y los estados en cualquier secuencia suficientemente larga se
presentarn (con probabilidad 1) de acuerdo con esa distribucin. Esta distribucin se
llama distribucin estacionaria y puede calcularse a partir de las probabilidades
condicionales de los smbolos ya que no depende de la distribucin inicial con que los
estados fueron escogidos.
28


Por ejemplo en la fuente de Markov del ejemplo 2.3 Pg. 37 se tiene que
( ) ( ) ( ) ( ) ( ) 10 * 10 / 0 00 * 00 / 0 00 P P P P P + =
( ) ( ) 10 * 5 . 2 00 P P =
( ) ( ) ( ) ( ) ( ) 10 * 10 / 1 00 * 00 / 1 01 P P P P P + =
( ) ( ) 10 01 P P =
( ) ( ) ( ) ( ) ( ) 01 * 01 / 1 11 * 11 / 1 11 P P P P P + =
( ) ( ) 00 11 P P =

Adems

( ) ( ) ( ) ( ) 1 11 10 01 00 = + + + P P P P
( ) ( ) ( ) ( ) 1 00 5 . 2 / 00 5 . 2 / 00 00 = + + + P P P P

Finalmente:

( ) ( )
( ) ( ) 2/14 10 P 01
5/14 11 P 00
= =
= =
P
P

Cuando se definen las probabilidades condicionales de los smbolos
( )
jm j j i
s s s s P , , , /
2 1
de un proceso ergdico de Markov de orden , implcitamente
definimos tambin las
m
q probabilidades de estado ( )
jm j j
s s s P , , ,
2 1
.
Combinando estas dos probabilidades se obtiene la probabilidad del suceso
simultneo, fuente en el estado ( )
jm j j
s s s , , ,
2 1
y
i
s presente. Esta probabilidad es
precisamente ( ) ( ) ( )
jm j j jm j j i i jm j j
s s s P s s s s P s s s s P , , , * , , , / , , , ,
2 1 2 1 2 1
= .


29



Tabla con las probabilidades de la fuente del ejemplo


30


La informacin media suministrada por una fuente ergdica de Markov de orden se
puede calcular de la siguiente manera:

Si nos encontramos en el estado ( )
jm j j
s s s , , ,
2 1
, la probabilidad condicional de recibir
el smbolo
i
s es ( )
jm j j i
s s s s P , , , /
2 1
. La informacin obtenida si se presenta
i
s es

( )
( )
jm j j i
jm j j i
s s s s P
s s s s I
, , , /
1
log , , , /
2 1
2 1

=
La informacin media por smbolo cuando nos encontramos en el estado
( )
jm j j
s s s , , ,
2 1
est dada por
( ) ( ) ( )

=
S
jm j j i jm j j i jm j j
s s s s I s s s s P s s s S H , , , / * , , , / , , , /
2 1 2 1 2 1

La cantidad media de informacin o entropa de la fuente de Markov de orden , se
calcula obteniendo el valor medio de esta cantidad, extendida a los
m
q estados posibles.
( ) ( ) ( )

=
m
S
jm j j jm j j
s s s S H s s s P S H , , , / * , , ,
2 1 2 1

Al escribir esta ecuacin se ha supuesto que el estado ( )
jm j j
s s s , , ,
2 1
es equivalente a
un smbolo de
m
S
( ) ( ) ( )
( )

=
m
S
S jm j j i
jm j j i jm j j
s s s s P
s s s s P s s s P S H
, , , /
1
log * , , , / * , , ,
2 1
2 1 2 1

( ) ( ) ( )
( )

+
=
1
2 1
2 1 2 1
, , , /
1
log * , , , / * , , ,
m
S
jm j j i
jm j j i jm j j
s s s s P
s s s s P s s s P S H

( ) ( )
( )

+
=
1
2 1
2 1
, , , /
1
log * , , , ,
m
S
jm j j i
i jm j j
s s s s P
s s s s P S H

En donde
m
S es una extensin de orden de una fuente de Markov.


31

















2.1. Fuente afn
Se define una fuente afn as:
32


Suponiendo que el alfabeto de una fuente de Markov de orden es { }
q
s s s S , , ,
2 1
= y
que, adems,
q
P P P , , ,
2 1
son las probabilidades de los smbolos de primer orden de la
fuente, la fuente afn de , llamada

S , es la fuente de informacin de memoria nula del

alfabeto idntico al de , y de smbolos de probabilidades
q
P P P , , ,
2 1

Por la simetra que tiene la fuente de Markov de orden 2 de la figura 2.4 los 1s y los 0s
son igualmente probables y por tanto la fuente afn ser aquella fuente de memoria nula
con smbolos equiprobables y 1 =
|
.
|

\
|

S H .
Se demuestra (ver pp. 42-43) que la entropa de la fuente afn

S nunca es menor que la

entropa de la fuente , o sea
( )
|
.
|

\
|
s

S H S H
Lo cual significa que como las dos fuentes y

S tienen las mismas probabilidades de

primer orden y difieren en el hecho de las probabilidades condicionales de impuestas
a sus secuencias de salida, entonces es esta restriccin la que hace decrecer la
informacin promedia que fluye de la fuente.
La igualdad se cumple cuando
i
s es estadsticamente independiente de
j
s

o sea que S
sea una fuente de memoria nula. Esto se comprueba en el ejemplo visto previamente en
donde la fuente de Markov tiene una entropa de 0.81 bits y su fuente afn tiene una
entropa de 1 bit.
Clase 5 4 de agosto

2.2. Extensiones de una fuente de Markov

Se define una fuente que es conformada por smbolos construidos a partir de n smbolos
de una fuente de Markov de orden , as:

Sea una fuente de informacin de Markov de orden , de alfabeto ( )
q
s s s , , ,
2 1
y
probabilidades condicionales ( )
jm j j i
s s s s P , , , /
2 1
. La extensin de orden de ,
n
S ,
es una fuente de Markov de orden , con
n
q smbolos, ( )
n
q
o o o , , ,
2 1
. Cada
i
o
corresponde a una secuencia de de los
i
S smbolos y las probabilidades condicionales
33


de
i
o son ( )

o o o o
j j j i
P , , , /
2 1
. Estas probabilidades, as como , se definen a
continuacin.

Si
i
o representa un smbolo de la extensin de orden , o sea una secuencia de
smbolos, entonces la secuencia ( )
jm j j
s s s , , ,
2 1
es equivalente a alguna secuencia de
i
o , digamos ( )

o o o
j j j
, , ,
2 1
en donde
(
n m/ = el menor nmero entero igual o
superior a n m/ .

Las probabilidades condicionales de los smbolos , por lo tanto, pueden escribirse en la
forma

( )

o o o o
j j j i
P , , , /
2 1


Por ejemplo, la tercera extensin de una fuente de Markov de quinto orden con
smbolos sera una fuente de Markov de segundo orden con
3
q smbolos. De aqu se
puede concluir que si se toman al menos extensiones de una fuente de Markov de
orden puede siempre obtenerse una fuente de Markov de primer orden.

Para obtener la probabilidad condicional de la extensin en funcin de las
probabilidades condicionales de los smbolos de la fuente original , sea

( )
in i i i
s s s , , ,
2 1
= o

Entonces

( ) ( )
( ) ( )
( )
) 1 ( ) 1 ( ) (
1 3 2 2 2 1 1
2 1 2 1 2 1
, , , /
* * , , , , / * , , , /
, , , / , , , , , , /
+
=
=
n i m n j m n j in
i jm j j i jm j j i
jm j j in i i j j j i
s s s s P
s s s s s P s s s s P
s s s s s s P P

o o o o


34


En el ltimo termino del producto se ha supuesto que . Si m n s este ltimo
trmino sera ( )
) 1 ( ) 1 (
, , , /
n i n j jn in
s s s s P

Se demuestra en las pginas 45 y 46 que

( ) ( ) S H n S H
n
* =

Se demuestra adems que la entropa de una fuente afn de la extensin de orden n de
una fuente de Markov de primer orden, cumple con



( ) S H
n
S H
n
n
=
|
|
.
|

\
|

_
lim

Lo cual significa que para valores grandes de , las limitaciones de Markov sobre los
smbolos de
n
S son cada vez menos importantes.

De este resultado puede concluirse que la fuente afn de la extensin de orden de no
coincide con la extensin de orden de la fuente afn de , o sea

35


|
|
.
|

\
|
=
|
|
.
|

\
|
n
n
S H S H
_
_


Ver ejemplo 2-6 pp. 47 y 48




2.3. Estructura del lenguaje

36


En esta seccin se estudia la analoga que hay entre el modelo de probabilidades
previamente visto y el proceso fsico de generacin de informacin. En particular se
estudia el modelo de generacin de mensajes compuestos de palabras de la lengua
inglesa.

Se asume un alfabeto de 26 letras ms el espacio.

Si se asume una fuente con memoria nula con smbolos equiprobables se tiene una
entropa de 4.75 bits/smbolo.

En la figura se muestra una secuencia tpica de smbolos para este caso


Ilustracin 4 Aproximacin cero al ingls

Si se usan las probabilidades reales de la tabla siguiente Se puede obtener una
aproximacin ms exacta al idioma ingls. En este caso la entropa es de 4.03
bit/smbolo.
37



Ilustracin 5: Probabilidades de los smbolos en ingls

La figura siguiente muestra una secuencia tpica para esta fuente.

Ilustracin 6: primera aproximacin al ingls

En este caso se tiene una mejor aproximacin dado que las palabras son en su mayora
de longitud apropiada, y la proporcin entre consonantes y vocales es ms real.

Si se utiliza una fuente de Markov de primer orden con probabilidades condicionales
bien escogidas (Pratt 1942) se tiene que

38



( ) ( )
( )
lo bits/smbo 32 . 3
/
1
log * ,
2
=
=

j i P
S
j i P S H


Utilizando un mtodo sugerido por Shannon en donde se toman las probabilidades de un
texto que se desprenden directamente de l.

El proceso es el siguiente:

- Se abre el texto y se selecciona una letra al azar
- Se saltan varias lneas buscando la prxima ocurrencia de la letra y se mira cual
letra le sigue.
- Se repite de nuevo la operacin y se mira la ocurrencia de la letra que sigui en
el caso anterior y cual le sigue y as sucesivamente.
Con este procedimiento se construye la siguiente aproximacin al ingls.


Ilustracin 7: segunda aproximacin al ingls

En este caso se observa que el texto generado tiene un sabor a ingls.

Con este procedimiento y construyendo una fuente de Markov de segundo orden se
logra un texto como el de la figura siguiente en donde Shannon estim que la entropa
era del orden de 3.1 bits/smbolo.

39



Ilustracin 8: tercera aproximacin al ingls


Utilizando una fuente con memoria nula que emite palabras del ingls con
probabilidades similares a las del ingls Shannon obtuvo la siguiente aproximacin



Ilustracin 9: cuarta aproximacin al ingls


Utilizando una fuente de Markov de primer orden que genere palabras inglesas Shannon
gener la siguiente secuencia:


Ilustracin 10: quinta aproximacin al ingls

Ver ejemplos en otros idiomas en las pp. 52 a 54