Actividad 2.

Elementos de una cadena de Markov

Introduccin

Como apoyo considere:

Instrucciones: Analiza cada situacin y contesta los siguientes:

 1. Un profesor de la Unad adquiere una computadora nueva cada tres aos. El profesor
puede elegir entre tres modelos M1, M2, M3. Si el modelo actual es M1, la siguiente
computadora puede ser M2, con probabilidad 0.1 o M3 con probabilidad 0.25. Si el
modelo actual es M2, las probabilidades de cambiar a M1 y M3 son 0.4 y 0.25,
respectivamente. Pero si el modelo actual es M3, entonces las probabilidades de
comprar modelos M1 y M2 son 0.5 y 0.1 Realice:
Defina Xt, S y T
X t : Cambio de computadora en el ao
: {1,2,3} :uno de los 3 modelos de computadora M1,M2, M3: Discreto.
:{0,3,6,9,M}: cada tres ao es el periodo: Discreto

Elabore un grafo

Establecer la matriz estocstica

0.65 0.1 0.25
= ( 0.4 0.35 0.25)
0.5 0.1 0.4
Suponga que el profesor tiene hoy una maquina M2, Cmo ser la
distribucin inicial?. Aqu en el enunciado el problema lo establece.
Cuando el problema no se establece la distribucin inicial se pone
(1/n,..,1/n) donde n es el nmero de estados.
M1 M2 M3
= (1/3 1/3 1/3)

Cul es la probabilidad de que en 15 aos la mquina sea M2?

Cada periodo es de 3 aos y en 15 aos implica 5 periodos, por lo que
n=5.

0.65 0.1 0.25 5 0.572 0.133 0.294

5
= = [( 0.4 0.35 0.25)] = (0.571 0.134 0.294)
0.5 0.1 0.4 0.572 0.133 0.294
 0.572 0.133 0.294
5(1/3 1/3 1/3)
Calculando = (0.571 0.134 0.294)
0.572 0.133 0.294
vP5 = (0.57235 0.13353 0.29412)
La probabilidad de que en 15 aos la mquina sea M2 es de 13.335%

Determine la probabilidad de la trayectoria muestral M2- M3- M1- M2

M2 M3 M1 M2: (0.4)(0.5)(0.1) = 0.02 debes multiplicar el calor que corresponde al
vector inicial.

Si ahora el profesor tiene una mquina M1, cul ser la distribucin

inicial?
= ( 1,0,0)

Suponga que la computadora M1 cuesta $21,000, M2 $18,500 y M3

$35,000. Cul ser el costo esperado en 30 aos, considerando que
actualmente la probabilidad de comprar una M1 es del 0.4 y 0.3 de una
M3?

M1 M2 M3
= (0.4 0.3 0.3)
En 30 aos son 10 periodos, se debe estimar

0.65 0.1 0.25 10

10
= (0.4 0.3 0.3) [( 0.4 0.35 0.25)]
0.5 0.1 0.4
M1 M2 M3
= (0.572 0.133 0.294)
Falta el costo, debes multiplicar el costo por cada probabilidad y sumarlos para que sea el
costo esperado.
2. En el tiempo 0, tengo $2. En los das 1, 2, participo en un juego en el que apuesto
$2. Con probabilidad 2/5, gano el juego, y con probabilidad 3/5, pierdo el juego. Mi
objetivo es incrementar mi capital a $8, y cuando lo logre se termina el juego. El
juego tambin se termina si mi capital se reduce a $0. Defina:
El jugador en un instante , estos son 0, 2, 4, 6 , 8 pesos, entonces los estados iniciales y
finales, que es cuando se termina el juego, son para 0 u 8 pesos.
La terminacin del juego es cuando tenga $8 pesos $0 pesos, lo que se deduce que 00
= 44 = 1

Defina Xt, S y T
: La cantidad de pesos que se tiene en el tiempo
: {,,,,}: Los pesos que se ganan o pierden en el tiempo : Discreto aqu debes especificar el
dinero.
:{,,,,}: nmero de juego en los das que participo: Discreto

Elabore un grafo

Establezca la matriz estocstica

1 0 0 0 0
0.6 0 0.4 0 0
0 0.6 0 0.4 0
0 0 0.6 0 0.4
( 0 0 0 0 1)
Establezca la distribucin inicial
La distribucin inicial de acuerdo a los $2 con lo que empieza, las opciones de
acuerdo a los lmites donde termina el juego:
= ($0 $2 $4 $6 $8)
La distribucin inicial queda
= (0 1 0 0 0)
Cul es la probabilidad de que al octavo juego tenga 4 pesos?
n es el juego, as que en este caso es n=8
8
1 0 0 0 0
0.6 0 0.4 0 0
vPn = vP8 = (0 1 0 0 0) 0 0.6 0 0.4 0
0 0 0.6 0 0.4
( 0 0 0 0 1)
1 0 0 0 0
0.846 0.026 0 0.017 0.109
= (0 1 0 0 0) 0.655 0 0.053 0 0.291
0.369 0.039 0 0.026 0.564
( 0 0 0 0 1 )
= (0.846 0.026 0 0.017 0.109)
La probabilidad es de cero el obtener $4 pesos en el octavo juego.

Determine la probabilidad de la trayectoria muestral 2-4-6-4

De acuerdo al grafo la probabilidad de pasar de $2 pesos a ganar $4 pesos es de 0.4,
para pasar de $4 pesos a $6 pesos es 0.4, para pasar de $6 pesos perder y quedar en $4
pesos es 0.6.
Calculando usando la propiedad de Markov en la siguiente probabilidad conjunta:
[0 = 0, 1 = 1, , = ] = 0(0)(, 1) ( 1, )
0(2)(2,3)(3,4)(4,5)(4,3) =

= (0.4) (0.4) (0.6) = 0.096

La probabilidad es de 0.096
3. Una computadora se inspecciona cada hora. Se encuentra que est trabajando o
descompuesta. La probabilidad de que siga trabajando as la siguiente hora es 0.9.
Si est descompuesta, se repara, lo que puede llevar ms de una hora. Siempre
que la computadora est descompuesta, la probabilidad de que siga descompuesta
en la siguiente hora es 0.35.
Defina Xt, S y T
X t Es la variable aleatoria que define el estado en que se encuentra la computadora en
cierta hora en el tiempo t.
S = {1,2}: 1 = est trabajando, 2 = est descompuesta. El estado la computadora al
momento que se inspecciona. Discreto
= {1,2,3,,m} Hora en que se inspecciona la computadora. Discreto

Elabore Grafo

Establezca la matriz estocstica

Trabajando Descompuesta
0.9 0.1
=( )
0.65 0.35
Establezca la distribucin inicial.
No se plantea la condicin inicial para un caso particular, entonces:
 Trabajando Descompuesta

=( 1/2 1/2 )

Si la computadora ahora est descompuesta, Cul es la

probabilidad de que en cuatro horas este compuesta? Cul es la
probabilidad de que en 8 horas siga descompuesta? Aqu el
problema estableci la distribucin inicial.
Cul es la probabilidad de que en cuatro horas este compuesta?
1 1 0.9 0.1 4 1 1 0.867 0.132
vP4 = ( , ) ( ) = ( , )( ) = (0.86523 0.13476)
2 2 0.65 0.35 2 2 0.863 0.136
La probabilidad es de 0.86523

Cul es la probabilidad de que en 8 horas siga descompuesta?

1 1 0.9 0.1 8 1 1 0.86667 0.13333
8 = ( , ) ( ) = ( , )( ) = (0.86666 0.13334)
2 2 0.65 0.35 2 2 0.86665 0.13335
La probabilidad es de 0.86666

4. Un estudio de cuentas por cobrar en el departamento de Suburbia indica que las

facturas estn al da, vencidas por un mes, vencidas por dos meses, cancelada
como deudas irrecuperables o pagadas en su totalidad. Ochenta por ciento de las
que estn al da se pagan ese mes y el resto pasar a la categora de vencidas por
un mes. De las facturas que estn vencidas por un mes, 90% se pagan y el resto se
convierte en vencidas por dos meses. De las que estn vencidas por dos meses se
pagarn 85% o se considerarn como deudas incobrables.
Defina Xt, S y T
: Es la variable aleatoria que define las facturas pagadas en el tiempo t.
S = {0,1,2,3,4}: 0=pagada 1er mes este estado es incorrecto , 1=vencidas por un mes,
2=vencidas por dos meses, 3=cancelada como deudas irrecuperables, 4=pagadas en su
totalidad. Discreto
= {1,2,3} Mes en que se encuentra la factura. Discreto

Elabore Grafo
 Establezca la matriz estocstica
0 1 2 incobrable pagada

0.2 0 0 0 0.8
0 0.1 0 0 0.9
0 0 0.15 0 0.85
0 0 0 1 0
(0 0 0 0 1 )
Establezca la distribucin inicial
No se plantea la condicin inicial para un caso particular, entonces: Cuando el problema
no se establece la distribucin inicial se pone (1/n,..,1/n) donde n es el nmero de
estados.
1 1 1 1 1
v = ( , , , , )
5 5 5 5 5
Cul es la probabilidad de que en 5 meses sea impagable si hoy
fue facturada? Aqu el problema te indica la distribucin inicial, si fue
facturada eso significa que esta al da.
5
0.2 0 0 0 0.8
1 1 1 1 1 0 0.1 0 0 0.9
v P5 = ( , , , , ) 0 0 0.15 0 0.85
5 5 5 5 5 0 0 0 1 0
( 0 0 0 0 1 )
0.000.32 0 0 0 0.99968
1 1 1 1 1 0 0.00001 0 0 0.99999
=( , , , , ) 0 0 0.00007593 0 0.99992
5 5 5 5 5 0 0 0 1 0
( 0 0 0 0 1 )
1
= (0.000064,0.000002,0.000015, ,0.799918)
5
La probabilidad de que sea incobrable es 0.000064

Si las ventas hoy fueron de $150,000, determina cunto espera

recibir de esta cantidad en 5 meses. Reconsidera la distribucin
inicial.
Debido a que la probabilidad total pagada para dentro de 5 meses es determinado como
1 0.000064 = 0.999936
Se aplica al total:
 (0.999936 )150,000 = $149,990.4

5. Considere el modelo de pacientes que ingresan a los hospitales. Se sabe que si el

paciente ingreso al menos una vez en los dos aos seguidos la probabilidad de
que ingrese al siguiente ao es de 0.70. Si estuvo en el hospital este ao una vez
pero el ao pasado no, la probabilidad de que ingrese el prximo ao es de 0.6. Si
este ao no ingreso al hospital pero ao pasado si, entonces la probabilidad de
que ingrese al siguiente ao es de 0.8. Por ltimo, si no ingreso este ao ni el ao
pasado, la probabilidad de que el siguiente ao ingrese es de 0.4. Establezca una
cadena que sea de Markov considerando la informacin anterior. Se sabe que
lleva dos aos sin ingresar al hospital.
Defina Xt, S y T
: Es la variable aleatoria que define los pacientes que ingresan al hospital en el ao n.
S = {0, 1, 2, 3, 4}: estado en que el paciente, 0=a ingresado al hospital, 1=el paciente
ingreso una vez en los 2 aos seguidos, 2=ingreso este ao pero el pasado no, 3=si el
paciente este ao no ingreso pero el anterior si, 4= si no ingreso este ao ni el ao
pasado. Discreto el estado 0 sobra. Reconsidera este elemento y vuelve a plantear la
matriz.
= {1,2,3} Ao en que ingresa el paciente al hospital. Discreto

Elabore un grafo

Establezca la matriz estocstica

0.3 0 0 0 0.7
0 0.6 0 0 0.4
P= 0 0 0.8 0 0.2
0 0 0 0.4 0.6
( 0 0 0 0 1)
Cmo ser la distribucin inicial?
1 1 1 1 1
= ( , , , , ,)
5 5 5 5 5
 Cul es la probabilidad de que en 6 aos ingrese al hospital?

6
0.3 0 0 0 0.7
1 1 1 1 1 0 0.6 0 0 0.4
vP6 = ( , , , , ) 0 0 0.8 0 0.2
5 5 5 5 5 0 0 0.4 0.6
0
(0 0 0 0 1)

0.000729 0 0 0 0.999271
1 1 1 1 1 0 0.046656 0 0 0.953344
=( , , , , ) 0 0 0.262144 0 0.737856
5 5 5 5 5 0 0 0.004096 0.995904
0
( 0 0 0 0 1 )
= (0.0001458, 0.0093312, 0.052428, 0.0008192, 0.937275)

Ejemplos adicionales:
http://investigaciondeoperaciones2markov.blogspot.mx/p/teoria-y-ejemplos.html
http://www.ugr.es/~bioestad/_private/cpfund10.pdf
http://es.slideshare.net/oskr2588/cadenas-de-markov-blog
http://www.youtube.com/watch?v=jk57_m_Jk28
Presentacin elaborada:
http://www.slideshare.net/lupiuxlupiux/distribucin-inicial-de-las-cadenas-de-markov
Herramientas:
http://herramientas.educa.madrid.org/wiris/
http://www.wolframalpha.com/