You are on page 1of 7

Procesos Estocsticos

Unidad 2. Cadenas de Markov a tiempo discreto


Actividad 3. Estados de cadena de Markov

Objetivo: A travs de esta actividad identificars las clases de comunicacin y analizars


la recurrencia o la transitoriedad de los estados de una cadena de Markov.

Instrucciones: Realiza lo que se te pide en cada uno de los siguientes problemas

1. Suponga la siguiente cadena de Markov con S = {1, 2, 3, 4, 5} y matriz de


transicin:
1 2 3 4 5
0.1 0.3 0.2 0.2 0.2

0 0.1 0.3 0.3 0.3
P 0 0 0.4 0.6 0

0 0.5 0 0.5 0
0 0.8 0 0.2 0

a. Determina las clases de comunicacin.

2
1

5 4

Las clases de comunicacin en esta cadena son: {1}, {2,3,4,5}

b. Encuentra el periodo de cada una de ellas

El estado 2 puede comunicarse consigo mismo, en dos y 3 pasos

242
252
Su perodo es 1 ya que el mcd(2,3) = 1
Tanto el estado 3 como los estados 4 y 5, pertenecen a la segunda clase donde se
encuentra el 2, ya que, por la proposicin:

Sea {Xn} una cadena de Markov estacionaria y j uno de sus estados. Si j tiene periodo d y
j i, entonces i tiene periodo d.

As que, los estados 2,4 y 5 tienen periodo 1 y por lo tanto la clase [2,3,4,5} con respecto
a sus estados es aperidico.
Procesos Estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto

c. Establece si se trata de clases recurrentes o transitorias.

La clase {1} es transitoria.


La clase {2,4,5} es recurrente , al entrar en ella, nunca saldr de ah,
siempre seguir dentro de ella, infinito nmero de veces.

d. Reescribe la matriz de transicin en la forma cannica.


0.1 0.3 0.2 0.2 0.2
0 0.1 0.3 0.3 0.3
= 0 0 0.4 0.6 0
0 0.5 0 0.5 0
( 0 0.8 0 0.2 0 )
Se intercambian R1 R5
0 0.1 0.3 0.3 0.3
0 0 0.4 0.6 0
= 0 0.5 0 0.5 0
0 0.8 0 0.2 0
(0.1 0.3 0.2 0.2 0.2)
Se intercambian C1 C5

0.1 0.3 0.3 0.3 0


0 0.4 0.6 0 0
= 0.5 0 0.5 0 0
0.8 0 0.2 0 0
(0.3 0.2 0.2 0.2 0.1)

Los bloques resultantes son:

0.1 0.3 0.3 0.3


= ( 0 0.4 0.6 0 ) ; 1 = (0.1)
0.5 0 0.5 0
0.8 0 0.2 0
e. Encontrar la probabilidad del primer arribo de 2 a 4 que ocurra en 3 pasos
224
2,2 2,2 4,2
2,4 = 2,2 2,2 4,2 = (0.1) (0.1) (0.5) = 0.0005

f. Encontrar el tiempo esperado del primer retorno a estado 4.


4234
Sea

0 = 0 p00 + 1 p10 + 2 p20 + 3 p30


1 = 0 p01 + 1 p11 + 2 p21 + 3 p31
2 = 0 p02 + 1 p12 + 2 p22 + 3 p32
3 = 0 p03 + 1 p13 + 2 p23 + 3 p33
Procesos Estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto
Con el vector:
0 + 1 + 2 + 3 = 1

0.1 0.3 0.3 0.3


(0 1 2 3 ) ( 0 0.4 0.6 0)
0.5 0 0.5 0
0.8 0 0.2 0

0 p00 + 1 p10 + 2 p20 + 3 p30


0 p01 + 1 p11 + 2 p21 + 3 p31
0 p02 + 1 p12 + 2 p22 + 3 p32
0 p03 + 1 p13 + 2 p23 + 3 p33

0 = 0.10 + + 0.52 + 0.83


1 = 0.30 + 0.41
2 = 0.30 + 0.61 + 0.52 + 0.23
3 = 0.30

0 + 1 + 2 + 3 = 1

Resolviendo para las ltimas cuatro ecuaciones:


0 = 0.30 0.41
0 = 0.30 + 0.61 0.52 + 0.23
0 = 0.30
1 = 0 + 1 + 2 + 3

Resolviendo:
0 = 0.321 1 = 0.16 2 = 0.423 3 = 0.096

Entonces, como la matriz est reducida, para el estado 4, le corresponde 2 y el tiempo


para el estado 4 es:

Donde

1 1
= = 2.36
2 0.423

El tiempo ser 2.36 unidades de t.

2. En cada uno de los siguientes casos, 1) escribe el espacio de estados, 2) la matriz


de transicin y 3) dibuja la grfica dirigida de una cadena de Markov que tenga las
caractersticas indicadas.
a) Una cadena con espacio de estados infinitos, irreducibles y aperidicos.
Procesos Estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto
Para que sea irreductible, todos los estados deben estar comunicados entre s, al tener un
espacio de estados infinitos, cada estado se puede comunicar con el siguiente y con el
anterior.

Es la variante del jugador cuando el jugador no se le agota el dinero

1 1 1 . 1 1 1
0 1 2 n n+1

p p p p p p

Probabilidad p de ganar 1 y 1 de perder 1 , el jugador con recursos ilimitados y listo


para la prxima tirada

S = { 0,1,2, }

1p p
( )
1p p

b) Una cadena con espacio de estados finito, con una clase de periodo 2 y
otra de periodo 3.

1 1 2

3 1 4

1 1
5

S = {1,2,3,4,5}

Dado que la cadena tiene periodo 2, la matriz de transicin es:

1 2 1; perodo 2 y clase {1,2}

0 1
P=( )
1 0

3453
Procesos Estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto
4534

5345

Tiene perodo 3 y clase {3,4,5}

0 1 0 0 0
1 0 0 0 0
0 0 1 0 0
0 0 0 1 0
(0 0 0 0 1)

c) Una cadena en la que todos los estados sean transitorios y tengan periodo
0.
1 2 3 n

1 0
(
)
0 1
1

Esta cadena, saliendo de un estado inicial o de los posteriores no hay forma de regresar
al estado anterior, tampoco a los anteriores, ni al estado inicial.

3. Considere una cadena de Markov con espacio de estados {0, 1, 2, 3} y matriz de


transicin:

0 0 1 0
0 0 1 0
1 0 0 0
0 0 0 1
0 1 2 3
0 0 0 1 0
1 0 0 1 0
2 1 0 0 0
3 0 0 0 1

a. Determinar el Grafo

0 1

1
Procesos Estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto

2 3

b. Establecer las clases de comunicacin

020

12

33

El estado 0 esta comunicado con el estado 2; El estado 1 no est comunicado con


ningn otro estado porque no hay probabilidad positiva de acceder a l desde ningn
otro estado.

c. Determinar si las clases son transitorios o recurrentes

Las clases de comunicacin en esta cadena son: {0,1,2} {3}

El estado 3 slo puede tener un primer retorno en un paso. As que 3 es claramente


transitorio.
El estado 0 es recurrente ya que es un estado en donde la cadena regresa una
infinidad de veces.

d. Determinar el periodo de cada clase

Para el estado 0:

Caminos para regresar al estado 0:

0-2

Por lo que tiene un periodo.

Para el estado 1:

Caminos para regresar al estado 1:

No hay como regresar al estado dos despus de salir de dicho estado.

Para el estado 2:

Caminos para regresar al estado 2:

2-0

d(2)=1 Por lo que tiene un periodo y es un estado aperidico.


Procesos Estocsticos
Unidad 2. Cadenas de Markov a tiempo discreto
Para el estado 3:

Caminos para regresar al estado 3:

d(3)=1 Por lo que tiene un periodo y es un estado aperidico.

Referencias:

http://ocw.uc3m.es/estadistica/procesos-estocasticos-con-aplicaciones-al-ambito-
empresarial/presentaciones/2MC.pdf
http://www.matem.unam.mx/geronimo/2012CNSF/repaso.pdf
Hillier y Lieberman (2010). Introduccin a la Investigacin de Operaciones. 9na.
Edicin. Mc Graw Hill.
Taha, H. (2012). Investigacin de Operaciones. 9na. Edicin. Pearson.
Winston, W. (2004). Investigacin de Operaciones. 4ta. Edicin. Thomson.

Algunos videos tiles son:

https://www.youtube.com/watch?v=zDrVkAq-px4&index=15&list=PLc_ATubXG-
SSmOjWLHMvLLRgliYRc1DYF
https://www.youtube.com/watch?v=plVzcfr_xTo&index=16&list=PLc_ATubXG-
SSmOjWLHMvLLRgliYRc1DYF
https://www.youtube.com/watch?v=Tu7xm7jelvs&index=19&list=PLc_ATubXG-
SSmOjWLHMvLLRgliYRc1DYF

You might also like