EJERCICOS DE CADENA DE MARKOV 1. Una computadora se inspecciona. Se encuentra que est trabajando o que est descompuesta.

En el primer caso, la probabilidad de que siga as la siguiente hora es de 0.95. Si est descompuesta, se repara, lo que puede llevar ms de una hora. Siempre que la computadora este descompuesta (sin importar cunto tiempo pase), la probabilidad de que siga descompuesta una hora ms es de 0.5. SOLUCION:

Diagrama de estados 0.05 0.95

Xi = 2== ==

0: Computadora se encuentra trabajando. 1: Computadora est descompuesta.

0
0.5

0.5

Matriz de Probabilidades de Transicin 0 0 0.95 1 0.5 1 0.05 0.5

P=

0.95 0.5

0.05 0.5

2. En un pueblo, al 90% de los das soleados le siguen das soleados, y al 80% de los das nublados le siguen das nublados. Con esta informacin modelar el clima del pueblo como una cadena de Markov. SOLUCION:

Xi = 1: Das nublados. 2== Diagrama de estados ==

0.9

0: Das soleados.

0.1

0
0.2

0.8

Matriz de Probabilidades de Transicin 0 0.9 0.2 1 0.1 0.8

0 1

P=

0.9 0.2

0.1 0.8

3. Suponga que la probabilidad de lluvia maana es 0.5 si hoy llueve y que la probabilidad de un da claro (sin lluvia) maana es 0.9 si hoy est claro. Suponga adems que estas probabilidades no cambian si tambin se proporciona informacin sobre el clima de das anteriores a hoy. SOLUCION: a) Los eventos que ocurran en un estado (da con lluvia) depender de lo que ocurra en el otro (da sin lluvia) as sucesivamente, y as ocurrir con la probabilidades. Por lo tanto los estados son dependientes lo que hace que se produzca una cadena de estados respecto al clima. b) Formule la evolucin del clima como una cadena de Markov definiendo sus estados y dando su matriz de transicin.

Diagrama de estados 0.5 0.5

Xi = 2== ==

0: Da con lluvia. 1: Da sin lluvia (da claro).

0
0.1

0.9

Matriz de Probabilidades de Transicin 0 0.5 0.1 1 0.5 0.9

0 1

P=

0.5 0.1

0.5 0.9

4. Una partcula se mueve sobre un crculo por puntos marcados 0; 1; 2; 3; 4 (en el sentido de las manecillas del reloj). La partcula comienza en el punto 0. En cada paso tiene una probabilidad de 0.5 de moverse un punto en el sentido de las manecillas del reloj (0 sigue la 4) y una probabilidad de 0.5 de moverse en un punto en el sentido opuesto a las manecillas del reloj. Sea X t (t>=0) a localizacin en el circulo despus del paso t; (Xt) es entonces una cadena de Markov. a) Encuentre la matriz de transicin (de un paso). Diagrama de estados
0.5

0: Punto 0 1: Punto 1

1
0.5
0.5 0.5

0.5

2
0.5

Xi = 2== ==

2: Punto 2 3: Punto 3 4: Punto 4

0.5

0.5

0.5

3
0.5

Matriz de Probabilidades de Transicin 0 1 2 3 4 0 0 0.5 0 0 0.5 1 0.5 0 0.5 0 0 2 0 0.5 0 0.5 0 3 0 0 0.5 0 0.5 4 0.5 0 0 0.5 0 0 0.5 0 0 0.5 0.5 0 0.5 0 0 0 0.5 0 0.5 0 0 0 0.5 0 0.5 0.5 0 0 0.5 0

P=

P=

b) Determine la matriz de transicin de t pasos Pt para t=5; 10; 20; 40; 80

5 0 0.5 0 0 0.5 0.5 0 0.5 0 0 0 0.5 0 0.5 0 0 0 0.5 0 0.5 0.5 0 0 0.5 0

P5 =

10

P5 P10 =

0 0.5 0 0 0.5

0.5 0 0.5 0 0

0 0.5 0 0.5 0

0 0 0.5 0 0.5

0.5 0 0 0.5 0
20

P20 =

0 0.5 0 0 0.5

0.5 0 0.5 0 0

0 0.5 0 0.5 0

0 0 0.5 0 0.5

0.5 0 0 0.5 0

40

P5 = P40 =

0 0.5 0 0 0.5

0.5 0 0.5 0 0

0 0.5 0 0.5 0

0 0 0.5 0 0.5

0.5 0 0 0.5 0

80

P80 =

0 0.5 0 0 0.5

0.5 0 0.5 0 0

0 0.5 0 0.5 0

0 0 0.5 0 0.5

0.5 0 0 0.5 0

c) Determine las probabilidades de estado.

(0 , 1 , 2 , 3 , 4 ) = (0 , 1 , 2 , 3 , 4 ) x

0 0.5 0 0 0.5

0.5 0 0.5 0 0

0 0.5 0 0.5 0

0 0 0.5 0 0.5

0.5 0 0 0.5 0

0 + 1 + 2 + 3 + 4 = 1

5. El ascensor de un edificio con bajo y dos pisos realiza viajes de uno a otro piso. El piso en el que finaliza el viaje n-simo del ascensor sigue una cadena de Markov. Se sabe que la mitad de los viajes que parten del bajo se dirigen a cada uno de los otros dos pisos, mientras que si un viaje comienza en el primer piso, solo el 25% de las veces finaliza en el segundo. Por ultimo, si un trayecto comienza en el segundo piso, siempre finaliza en el bajo. Se pide: a) Calcular la matriz de probabilidad de transicin de la cadena b) Dibujar el grafo asociado. c) Cul es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de los tres pisos.

SOLUCION: 0: Bajo.

Xi = 2== ==

1: 1 Piso 2: 2 Piso

b) Diagrama de estados

0.5 0.5

0
0.75

1
0.25 1

a) Matriz de Probabilidades de Transicin 0 0 0.75 1 1 0.5 0 0 2 0.5 0.25 0 0 0.5 0 0 0.5 0.25 0

0 1 2

P=

0.75 1

c) Estado estable 0 (0 , 1 , 2 ) = (0 , 1 , 2 ) x 0.75 1 0 + 1 + 2 = 1 0.5 0 0 0.5 0.25 0