Tema 4:

Cadenas de Markov
Ezequiel Lpez Rubio
Departamento de Lenguajes y
Ciencias de la Computacin
Universidad de Mlaga

Sumario
Procesos

estocsticos
Concepto de cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificacin de estados
Cadenas absorbentes
Distribucin estacionaria

Procesos estocsticos

Procesos estocsticos
Un

sistema informtico complejo se

caracteriza por demandas de carcter
aleatorio y por ser dinmico
Necesitamos una herramienta que modele
procesos aleatorios en el tiempo, y para ello
usaremos los procesos estocsticos
Un proceso estocstico es una familia de
variables aleatorias parametrizadas por el
tiempo

Procesos estocsticos
Un

proceso estocstico es una familia de

variables aleatorias definida sobre un
espacio de probabilidad. Es decir:

X t : ,

t T

X t X , t

Procesos estocsticos
Tendremos

que X es una funcin de dos

argumentos. Fijado =0, obtenemos
una funcin determinista (no aleatoria):

X , 0 : T
t X t , 0

Procesos estocsticos
Asimismo,

fijado t=t0, obtenemos una de

las variables aleatorias de la familia:

X t0 , :

X t0 ,

Procesos estocsticos
El

espacio de estados S de un proceso

estocstico es el conjunto de todos los posibles
valores que puede tomar dicho proceso:

S X t | t T

Ejemplo de proceso
estocstico
Lanzamos

una moneda al aire 6 veces. El

jugador gana 1 cada vez que sale cara (C),
y pierde 1 cada vez que sale cruz (F).
Xi = estado de cuentas del jugador despus
de la i-sima jugada
La familia de variables aleatorias {X1, X2,,
X6} constituye un proceso estocstico

Ejemplo de proceso
estocstico
={CCCCCC,CCCCCF,}
card()
P(

= 26 = 64

)=1/64

T={1,

2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X1()={1, 1}
X2()={2,

0, 2}

Ejemplo de proceso
estocstico
fijo , por ejemplo 0=CCFFFC, obtengo
una secuencia de valores completamente
determinista:

Si

(0)=1, X2(0)=2, X3(0)=1, X4(0)=0,

X5(0)= 1, X6(0)=0

Puedo

dibujar con estos valores la trayectoria

del proceso:

Ejemplo de proceso
estocstico

Ejemplo de proceso
estocstico
Si

fijo t, por ejemplo t0=3, obtengo una de las

variables aleatorias del proceso:

X3 :

X 3
Los

posibles valores que puede tomar el

proceso en t0=3 son: X3()={3, 1, 1, 3}

Ejemplo de proceso
estocstico
Podemos

hallar la probabilidad de que el

proceso tome uno de estos valores:

1 1 1 3
P X 3 ( ) 1 P CFC P CCF P FCC 3
2 2 2 8
1 1 1 1
P X 3 ( ) 3 P CCC
2 2 2 8
1 1 1 3
P X 3 ( ) 1 P FCF P FFC P CFF 3
2 2 2 8
1 1 1 1
P X 3 ( ) 3 P FFF
2 2 2 8

Clasificacin de los procesos

estocsticos

T discreto

T continuo

S discreto

S continuo

Cadena

Sucesin de
variables
aleatorias
continuas

Proceso puntual Proceso continuo

Ejemplos de los tipos de

procesos estocsticos
Cadena:

Ejemplo anterior
Sucesin de variables aleatorias continuas:
cantidad de lluvia cada cada mes
Proceso puntual: Nmero de clientes
esperando en la cola de un supermercado
Proceso continuo: velocidad del viento

Funciones asociadas a los

procesos estocsticos
Funcin

de distribucin de primer orden:

F : 0,1
2

x , t F x , t P X t , x
Funcin

de densidad de primer orden:

F x, t
f x, t
x

Funciones asociadas a los

procesos estocsticos
Funcin

de distribucin de 2 orden:

F : 4 0,1

x1 , x2 , t1 , t2 F x1 , x2 , t1 , t2 P X t1 , x1 X t2 , x2
Funcin

de densidad de 2 orden:

2 F x1 , x2 , t1 , t 2
f x1 , x2 , t1 , t 2
x1x2

Funciones asociadas a los

procesos estocsticos
Funcin

valor medio (es determinista):

m :T
t E X t
Funcin

varianza (es determinista):

:T
2

t var X t

Concepto de
cadena de Markov

Cadenas de Markov
Las

cadenas de Markov y los procesos de

Markov son un tipo especial de procesos
estocsticos que poseen la siguiente
propiedad:
Propiedad de Markov: Conocido el estado
del proceso en un momento dado, su
comportamiento futuro no depende del
pasado. Dicho de otro modo, dado el
presente, el futuro es independiente del
pasado

Cadenas de Markov

Slo estudiaremos las cadenas de Markov,

con lo cual tendremos espacios de estados S
discretos y conjuntos de instantes de tiempo T
tambin discretos, T={t0, t1, t2,}

Una cadena de Markov (CM) es una sucesin

de variables aleatorias Xi, iN, tal que:
P

X t 1 j

P X t 1 j
X 0 , X 1 ,..., X t
X t

que es la expresin algebraica de la propiedad

de Markov para T discreto.

Probabilidades de transicin

Las CM estn completamente caracterizadas

por las probabilidades de transicin en una
etapa,
P

X t 1 j

, i, j S , t T

X t i

Slo trabajaremos con CM homogneas en el

tiempo, que son aquellas en las que
i, j S t T , P

X t 1 j

q
ij

X t i

donde qij se llama probabilidad de transicin en

una etapa desde el estado i hasta el estado j

Matriz de transicin
Los

qij se agrupan en la denominada

matriz de transicin de la CM:

q00

q10
Q
q20

...

q01
q11
q21
...

q02 ...

q12 ...

q
ij
i , jS
q22 ...

... ...

Propiedades de la matriz de
transicin

Por ser los qij probabilidades,

i, j S , qij 0,1

Por ser 1 la probabilidad del suceso seguro,

cada fila ha de sumar 1, es decir,

i S ,

q
jS

ij

Una matriz que cumpla estas dos propiedades

se llama matriz estocstica

Diagrama de transicin de
estados
El

diagrama de transicin de estados (DTE)

de una CM es un grafo dirigido cuyos nodos
son los estados de la CM y cuyos arcos se
etiquetan con la probabilidad de transicin
entre los estados que unen. Si dicha
probabilidad es nula, no se pone arco.
i

qij

Ejemplo: lnea telefnica

Sea

una lnea telefnica de estados

ocupado=1 y desocupado=0. Si en el
instante t est ocupada, en el instante t+1
estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.

Ejemplo: lnea telefnica

0,9 0,1

Q
0,3 0,7
0,1
0,9

1
0,3

0,7

Ejemplo: buffer de E/S

Supongamos que un buffer de E/S tiene espacio

para M paquetes. En cualquier instante de tiempo
podemos insertar un paquete en el buffer con
probabilidad o bien el buffer puede vaciarse con
probabilidad . Si ambos casos se dan en el mismo
instante, primero se inserta y luego se vaca.
Sea Xt=n de paquetes en el buffer en el instante t.
Suponiendo que las inserciones y vaciados son
independientes entre s e independientes de la
historia pasada, { Xt } es una CM, donde S={0, 1, 2,
, M}

Ejemplo: buffer de E/S

1(1)

1+
(1)

1+

(1)

(1)

(1)

1+

Ejemplo: Lanzamiento de un
dado
Se

lanza un dado repetidas veces. Cada vez

que sale menor que 5 se pierde 1 , y cada
vez que sale 5 6 se gana 1 . El juego
acaba cuando se tienen 0 100 .
Sea Xt=estado de cuentas en el instante t.
Tenemos que { Xt } es una CM
S={0,

1, 2, , 100}

Ejemplo: Lanzamiento de un
dado
1

2/3

2/3

2/3

2/3

2/3

2/3

1/3

1/3

1/3

1/3
1

2/3

97

1/3
1/3

2/3

98
1/3

2/3

99
1/3

1/3

100

Ejemplo: organismos
unicelulares
Se

tiene una poblacin de organismos

unicelulares que evoluciona as: cada
organismo se duplica con probabilidad 1p o
muere con probabilidad p. Sea Xn el n de
organismos en el instante n. La CM { Xn }
tendr S = { 0, 1, 2, 3, } = N
Si hay i organismos en el instante n, en el
instante n+1 tendremos k organismos que se
dupliquen e ik que mueran, con lo que
habr 2k organismos.

Ejemplo: organismos
unicelulares
Mediante

la distribucin binomial podemos

hallar las probabilidades de transicin qi,2k
(el resto de probabilidades son nulas):

k 0,1,2,..., i , qi , 2 k

i
k i k
1 p p
k

Ecuaciones de
Chapman-Kolmogorov

Ecuaciones de ChapmanKolmogorov
Teorema:

Las probabilidades de
transicin en n etapas vienen dadas por la
matriz Qn:

X t n j
(n)

i, j S , P
qij
X

t
Demostracin:

Por induccin sobre n

Caso base (n=1). Se sigue de la definicin

de qij

Ecuaciones de ChapmanKolmogorov

Hiptesis de induccin. Para cierto n, suponemos

cierta la conclusin del teorema.
Paso inductivo (n+1). Para cualesquiera i,jS,

X t n 1 j

P
kS

P X t n k X t n 1 j

X t i
X t i

kS

X t n k

qik n P
kS

P X t n 1 j
H .I .
X t i
X t n k

X t n 1 j

X t n k

q n q q n 1
ik kj ij
kS

Ecuaciones de ChapmanKolmogorov
Por

este teorema sabemos que la

probabilidad de transitar de i hasta j en n
pasos es el elemento (i,j) de Qn. Para evitar
computaciones de potencias elevadas de
matrices, se intenta averiguar el
comportamiento del sistema en el lmite
cuando n, llamado tambin
comportamiento a largo plazo
A continuacin estudiaremos esta cuestin

Clasificacin
de estados

Clasificacin de estados

Probabilidad de alcanzar un estado:

i, j S , ij P

X n j para algn n 0

X 0 i

Diremos que un estado jS es alcanzable

desde el estado iS sii ij0. Esto significa que
existe una sucesin de arcos (camino) en el
DTE que van desde i hasta j.
Un estado jS es absorbente sii qjj=1. En el
DTE,
1

Subconjuntos cerrados
Sea

CS, con C. Diremos que C es

cerrado sii iC jC, j no es alcanzable
desde i, o lo que es lo mismo, ij=0. En
particular, si C={i}, entonces i es absorbente.
S siempre es cerrado.
Un subconjunto cerrado CS se dice que es
irreducible sii no contiene ningn subconjunto
propio cerrado

Estados recurrentes y
transitorios
Si

S es irreducible, se dice que la CM es

irreducible. En el DTE, esto ocurre sii dados
i,j cualesquiera, j es alcanzable desde i
Diremos que un estado jS es recurrente sii
jj=1. En otro caso diremos que j es
transitorio. Se demuestra que una CM slo
puede pasar por un estado transitorio como
mximo una cantidad finita de veces. En
cambio, si visitamos un estado recurrente,
entonces lo visitaremos infinitas veces.

Estados recurrentes y
transitorios

Proposicin: Sea CS cerrado, irreducible y finito.

Entonces iC, i es recurrente
Ejemplos: La CM de la lnea telefnica es
irreducible. Como adems es finita, todos los
estados sern recurrentes. Lo mismo ocurre con el
ejemplo del buffer
Ejemplo: En el lanzamiento del dado, tenemos los
subconjuntos cerrados {0}, {100}, con lo que la CM
no es irreducible. Los estados 0 y 100 son
absorbentes, y el resto son transitorios

Estados recurrentes y
transitorios

Proposicin: Sea iS recurrente, y sea jS un

estado alcanzable desde i. Entonces j es recurrente.
Demostracin: Por reduccin al absurdo,
supongamos que j es transitorio. En tal caso, existe
un camino A que sale de j y nunca ms vuelve. Por
ser j alcanzable desde i, existe un camino B que va
desde i hasta j. Concatenando el camino B con el A,
obtengo el camino BA que sale de i y nunca ms
vuelve. Entonces i es transitorio, lo cual es absurdo
porque contradice una hiptesis.

Cadenas recurrentes y
transitorias
Proposicin:

Sea X una CM irreducible.

Entonces, o bien todos sus estados son
recurrentes (y decimos que X es
recurrente), o bien todos sus estados
son transitorios (y decimos que X es
transitoria).
Ejemplo: Estado de cuentas con un to
rico (fortunes with the rich uncle).
Probabilidad p de ganar 1 y 1p de
perder 1 . Cuando me arruino, mi to
me presta dinero para la prxima tirada:

Cadenas recurrentes y
transitorias
1p

1p

1p

1p

1p

p
1p

p
1p

p
1p

n+1

Cadenas recurrentes y
transitorias
Esta

cadena es irreducible e infinita. Se

demuestra que es transitoria sii p>0,5 y
recurrente en otro caso (p0,5)
La cadena es transitoria cuando la tendencia
global es ir ganando dinero. Esto implica
que una vez visitado un estado, al final
dejaremos de visitarlo porque tendremos
ms dinero.

Periodicidad

Sea jS tal que jj>0. Sea

k mcd {n N {0} | q jjn 0}

Si k>1, entonces diremos que j es peridico

de periodo k. El estado j ser peridico de
periodo k>1 sii existen caminos que llevan
desde j hasta j pero todos tienen longitud
mk, con m>0

Periodicidad

Ejemplo: En la siguiente CM todos los estados son

peridicos de periodo k=2:

Ejemplo: En la siguiente CM todos los estados son

peridicos de periodo k=3:

Periodicidad
Proposicin:

Sea X una CM irreducible.

Entonces, o bien todos los estados son
peridicos de periodo k (y decimos que X es
peridica de periodo k), o bien ningn estado
es peridico (y decimos que X es aperidica)
En toda CM peridica de periodo k, existe
una particin de S, ={A1, A2, , Ak}, de tal
manera que todas las transiciones van desde
Ai hasta A(i mod k)+1

Periodicidad
Ejemplo

de CM peridica de periodo k=3:

A2

A1

A3

Cadenas ergdicas

Sea X una CM finita. Diremos que X es ergdica

sii es irreducible, recurrente y aperidica
Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:

0
Q 0

14
1
3

Ejemplos
1

Dibujar el DTE:
1/3

1/4
1/2

b
1/2

3/4

d
1/4

1/4

1/2

2/3

1/3
1/3

e
1/3

Ejemplos
2

Hallar los conjuntos cerrados

Tomado un estado i, construimos un conjunto

cerrado Ci con todos los alcanzables desde l en
una o ms etapas (el propio i tambin se pone):
Ca={a, c, e}=Cc=Ce

Cb={b, d, a, c, e}=Cd=S

La CM no ser irreducible, ya que Ca es un

subconjunto propio cerrado de S

Ejemplos

3 Clasificar los estados

Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno

4 Reorganizar Q. Dada una CM finita, siempre

podemos agrupar los estados recurrentes por un lado y
los transitorios por otro, y hacer:

Movimientos entre

recurrente s
Q
Paso de transitorios

a recurren tes

Movimientos entre

transitorios

Ejemplos
En nuestro caso, la nueva ordenacin de S es
S={a, c, e, b, d}, con lo que obtenemos:

2
3
3

0
0

0
2
1

3
3

0
0

0
0
0

0
0

4
2

5 Clasificar la cadena. No es irreducible, con lo cual no ser

peridica, ni aperidica, ni recurrente, ni transitoria ni ergdica.

Ejemplos
Ejemplo:

Analizar la siguiente CM, con

S={a, b, c, d, e, f, g}:
0

0,8

Q 0
0

0 1
0,2 0

0
0

0
0 0

0,4 0,4 0
0,2 0 0

0
0

0
1

0
0

0 0,7

0
0

1
0

0
0

0,3 0
0

Ejemplos
1

Dibujar el DTE:
0,3

a
0,8

0,4
1

0,4

b
0,2

0,2

0,7

1
1

2 Hallar los conjuntos cerrados

Ca={a, c, e}=Cc=Ce

Cf={f, d}=Cd

Cg={g}

3 Clasificar los estados

Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g

Ejemplos

4 Reorganizar Q. Cuando hay varios conjuntos

cerrados e irreducibles de estados recurrentes
(por ejemplo, n conjuntos), ponemos juntos los
estados del mismo conjunto:
P1

0
Q

...
0

Z
1

...

P2

...

P3

...

...

...

...

...

...

0
Z2

0 ... Pn
Z3
Zn

0
Z

Ejemplos
En nuestro caso, reordenamos S={a, c, e, d, f, g,
b} y obtenemos:
0 1 0

0,8 0 0,2

1
0

0
0

0
0

0
1

0
0

Q 0
0

0 0
0 0,4

0,7 0,3 0
0
0

0
0

0
0

0 1 0

0,4 0 0,2

Ejemplos

5 Clasificar la cadena. No es irreducible, con lo

cual no ser peridica, ni aperidica, ni recurrente,
ni transitoria ni ergdica.
Ejemplo: Nmero de xitos al repetir
indefinidamente una prueba de Bernouilli
(probabilidad p de xito). No es CM irreducible,
porque por ejemplo C1={1, 2, 3, } es cerrado.
Todos los estados son transitorios.
0
1p

1
1p

2
1p

3
1p

Ejemplos
Ejemplo:

Recorrido aleatorio. Es una CM

irreducible y peridica de periodo 2. Se
demuestra que si pq, todos los estados son
recurrentes, y que si p>q, todos son
transitorios.
q

Ejemplos
La

siguiente CM es irreducible, recurrente y

peridica de periodo 3. No es ergdica.

Ejemplos
La

siguiente CM es irreducible, aperidica,

recurrente y ergdica.

Ejemplos
La

siguiente CM es irreducible, aperidica,

recurrente y ergdica

Ejemplos
La

siguiente CM es irreducible, aperidica,

recurrente y ergdica

Ejemplos
La

siguiente CM es irreducible, aperidica,

recurrente y ergdica

Ejemplos

La siguiente CM no es irreducible, y por tanto no es

de ninguno de los dems tipos. 1 y 4 son
recurrentes; 2 y 3 son transitorios.
1

Ejemplos

La siguiente CM no es irreducible, y por tanto no es

de ninguno de los dems tipos. Todos los estados
son recurrentes y ninguno es peridico.

Ejemplos
La

siguiente CM es irreducible, recurrente y

peridica de periodo 3. No es ergdica.

Ejemplos

La siguiente CM no es irreducible, y por tanto no es de

ninguno de los dems tipos. Ningn estado es
peridico. 4 es transitorio, y el resto recurrentes. 1 es
absorbente.
1

Ejemplos

La siguiente CM no es irreducible, y por tanto

no es de ninguno de los dems tipos. Ningn
estado es peridico. 4 y 5 son transitorios, y el
resto recurrentes. 3 es absorbente.
1

2
3

Ejemplos

La siguiente CM es no es irreducible, y por tanto

tampoco de ninguno de los dems tipos. 4 es
absorbente, y el resto son transitorios.

Ejemplos

La siguiente CM no es irreducible y por tanto no es de

ninguno de los dems tipos. 1,3 y 5 son recurrentes de
periodo 3. 2 y 6 son recurrentes, pero no peridicos. 4 es
transitorio.

2
3

6
5

Cadenas absorbentes

Concepto de cadena
absorbente
Sea X una CM cuyos estados son todos transitorios
o absorbentes. En tal caso diremos que X es
absorbente.
Si X es finita y absorbente, reordenamos S poniendo
primero los estados transitorios y obtenemos:

Q' R

Q
0 I

Resultados sobre cadenas

absorbentes
Proposicin:

El nmero medio de etapas

que se estar en el estado transitorio jS
antes de la absorcin, suponiendo que
empezamos en el estado transitorio iS,
viene dado por el elemento (i,j) de (IQ)1
Nota: La etapa inicial tambin se cuenta, es
decir, en la diagonal de (IQ)1 todos los
elementos son siempre mayores o iguales
que 1

Resultados sobre cadenas

absorbentes
Proposicin:

La probabilidad de ser
absorbido por un estado absorbente jS,
suponiendo que empezamos en el estado
transitorio iS, viene dada por el elemento
(i,j) de la matriz (IQ)1 R, que se denomina
matriz fundamental de la CM

Ejemplo de CM absorbente
En

un juego participan dos jugadores, A y B.

En cada turno, se lanza una moneda al aire.
Si sale cara, A le da 1 a B. Si sale cruz, B le
da 1 a A. Al principio, A tiene 3 y B tiene 2
. El juego contina hasta que alguno de los
dos se arruine. Calcular:

La probabilidad de que A termine arruinndose.

La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar
el juego.

Ejemplo de CM absorbente

Tendremos una CM con un estado por cada

posible estado de cuentas de A: S={1, 2, 3, 4,
5, 0}. Descomponemos Q:

0
0 0,5
0 0,5 0

0
0
0,5 0 0,5 0
0 0,5 0 0,5 0
0

Q
0 0,5 0 0,5 0
0
0

0
0
0
1
0

0
0
0
0
1

0
0 0,5 0

0,5 0 0,5 0
Q'
0 0,5 0 0,5

0
0 0,5 0

0,5

0,5

0
0

Ejemplo de CM absorbente
Realizamos

I Q' 1

los clculos necesarios:

1
0,5
0
0

0,5
1
0,5
0
0
0,5
1
0,5

0
0
0,5
1
0,2

0,4
I Q' 1 R
0,6

0,8

1,6

1,2

0,8

0,4

0,8

0,6
0,4
0,2

1,2
2,4
1,6
0,8

0,8
1,6
2,4
1,2

0,4

0,8
1,2

1,6

Ejemplo de CM absorbente

Probabilidad de que A termine arruinndose.

La ruina de A est representada por el estado 0, que es el

2 estado absorbente. Como empezamos en el 3er estado
transitorio (A empieza con 3 ), debemos consultar la 3
fila, 2 columna de (IQ)1R, que nos da una probabilidad
de 0,4 de que A empiece con 3 y termine en la ruina.

Probabilidad de que B termine arruinndose

Como es el suceso contrario del apartado a), su

probabilidad ser 10,4=0,6. Tambin podramos haber
consultado la 3 fila, 1 columna de (IQ)1R.

Ejemplo de CM absorbente

Nmero medio de tiradas que tarda en acabar el

juego

Sumamos los nmeros medios de etapas que se estar en

cualquier estado transitorio antes de la absorcin,
suponiendo que empezamos en el 3er estado transitorio.
Dichos nmeros medios son los que forman la 3 fila de la
matriz (IQ)1. El promedio es: 0,8+1,6+2,4+1,2=6 tiradas.

Nota: si observamos la 1 columna de (IQ)1R,

vemos que los valores van creciendo. Esto se debe
a que, cuanto ms dinero tenga al principio A, ms
probabilidad tiene de ganar el juego.

Distribucin
estacionaria

Concepto de distribucin
estacionaria

Teorema: Sea X una CM irreducible, aperidica

y recurrente. Entonces,

j S , p j lm qij n
n

Diremos que una CM alcanza la distribucin

estacionaria sii existen los lmites del teorema
anterior y adems se cumple que:

p
jS

Existencia de la distribucin
estacionaria

Teorema: Sea X finita y ergdica. Entonces la

distribucin estacionaria existe y viene dada por
la solucin de las siguientes ecuaciones:

j S ,

p j pi qij
iS

p
jS

Este teorema no slo dice cundo existe

distribucin estacionaria (en los casos finitos),
sino que adems nos dice cmo calcularla.

Nomenclatura para las

ecuaciones

A las primeras ecuaciones del teorema se les llama

ecuaciones de equilibrio, porque expresan que lo
que sale de j (izquierda) es igual a lo que entra
en j (derecha):

p q
iS

ji

pi qij
iS

A la ltima ecuacin se le llama ecuacin

normalizadora, ya que obliga a que el vector formado
por los pj est normalizado (en la norma 1)

Ejemplos

Ejemplo: Hallar la distribucin estacionaria (si

existe) del ejemplo de la lnea telefnica.
0,1
0,9

0,7

0,3

1 Comprobar que la CM es finita y ergdica, para as

saber que existe la distribucin estacionaria. Lo es,
con lo cual dicha distribucin existe.

Ejemplos

2 Plantear las ecuaciones de equilibrio (una por nodo):

Nodo 0 :

p0 0,9 p0 0,3 p1

Nodo 1 :

p1 0,1 p0 0,7 p1

O lo que es ms fcil,

p0
T
p Q p, donde p

p
1

3 Plantear la ecuacin normalizadora:

p0 p1 1

Ejemplos

4 Resolver el sistema. Hay dos mtodos:

Utilizar un algoritmo estndar de sistemas
de ecuaciones lienales para resolver todas
las ecuaciones conjuntamente, por
ejemplo, Gauss. El sistema debe tener
solucin nica. En nuestro caso,

p0 0,75;

p1 0,25

Ejemplos

Encontrar una solucin cualquiera de las ecuaciones

de equilibrio. Para ello le daremos un valor no nulo a
nuestra eleccin a una sola de las incgnitas. Una vez
conseguida esa solucin, la solucin verdadera ser
un mltiplo de ella (usaremos la normalizadora). En
nuestro caso, haciendo p1=1,

p0 0,9 p0 0,3 p0 3
La solucin verdadera ser de la forma (3k,k)T.
Aplicando la normalizadora,

3k k 1 k 0,25
Con lo cual la solucin verdadera es (075,025)T

Ejemplos

Ejemplo: Hallar, si existe, la distribucin

estacionaria para esta CM con S={1, 2, 3}:

0,3 0,5 0,2

Q 0,6 0 0,4
0 0,4 0,6

Ejemplos

1 Dibujamos el DTE y as comprobamos ms

fcilmente que la CM es finita y ergdica:
1

Ejemplos

2 y 3 Planteamos las ecuaciones:

p1 0,3 0,6 0

p2 0,5 0 0,4
p 0,2 0,4 0,6
3

p1

p2
p
3

p1 p2 p3 1

4 Resolvemos. Para ello fijamos p1=1 y

hallamos una solucin para las ecuaciones de
equilibrio:

Ejemplos
0,7
0,6
0,7
0,7 0,3 1
0,5 0,4 p3 p3

0,6
0,6 0,4 0,6
1 0,3 0,6 p2 p2

Por tanto la solucin verdadera ser de la forma:

0'7
1
k
,
k
,
k

0'6 0'6

0'6 ,0'7 ,

Normalizamos y obtenemos la solucin verdadera:

1
2'3
T
6
7
10

, ,
23 23 23

0'6 0'7 1

0'6 ,0'7 , T

Ejemplos

Ejemplo: Hallar la distribucin estacionaria, si existe,

en el ejemplo del buffer.
1 Ya vimos que la CM es finita y ergdica
2 y 3 Planteamos las ecuaciones de equilibrio nodo
a nodo y expresndolas como salidas=entradas
(usar QT sera ms difcil):

Nodo 0 : p1 p2 ... pM 1 p0
Nodo i i 1,2,..., M 1 : 1 pi 1 pi 1 pi
Nodo M : 1 pM 1 pM

Ejemplos
4 Podemos despejar pi en la ecuacin de cada
nodo i, y as observamos que los pi forman una
progresin geomtrica, cuya razn llamaremos :

1
i 1,2,..., M 1 , pi
pi 1 pi 1
1
i 0,1,..., M 1 , pi i p0

Ejemplos
Usando la suma de los M1 primeros trminos
de una sucesin geomtrica y la ecuacin
normalizadora, llegamos a la solucin:

p0
1
i 1,..., M 1 , pi i p0

1 M 1
pM
p0