You are on page 1of 148

CADENAS DE MARKOV

DISCRETAS
Profesor: Eduardo Navarrete
Departamento Ingeniera de Sistemas
Universidad de la Frontera
Cadenas de Markov
Las cadenas de Markov y los procesos de
Markov son un tipo especial de procesos
estocsticos que poseen la siguiente
propiedad:
Propiedad de Markov: Conocido el estado del
proceso en un momento dado, su
comportamiento futuro no depende del
pasado. Dicho de otro modo, dado el
presente, el futuro es independiente del
pasado
Propiedades Markovianas Propiedades Markovianas
Propiedad 1:
El tiempo en que el proceso se mantiene en un estado particular
debe ser sin memoria.
En el caso de un proceso de parmetro continuo esta
distribucin es una exponencial, en la cual su parmetro puede
variar a travs de los distintos estados.
En el caso de un proceso de parmetro discreto esta distribucin
es una poisson , al igual que en el caso continuo su parmetro
puede variar a travs de los distintos estados.
Introduccin a las Cadenas de Markov Introduccin a las Cadenas de Markov
Clasificacin de Procesos Markovianos Clasificacin de Procesos Markovianos
Los procesos Markovianos se clasifican de acuerdo al tipo
de espacio y tipo de parmetro.
Si el espacio de estados es discreto el proceso recibe el
nombre de Cadena de Markov, en el otro caso, de espacio
continuo, se conoce como Proceso de Markov.
Segn el parmetro temporal, en ambos casos se dividen
en procesos o cadenas de Tiempo Continuo o Tiempo
Discreto.
Introduccin a las Cadenas de Markov Introduccin a las Cadenas de Markov
Conceptos bsicos Conceptos bsicos
Como las cadenas de Markov poseen espacio de estados
discreto, estos se pueden nombrar:
{E
0
, E
1
, E
2
, ...}
Sin embargo, para simplificar la notacin, se asocian a los
nmeros naturales:
Para el caso general el entero i representa al estado E
i
.
Cadenas de Markov discretas Cadenas de Markov discretas
Conceptos bsicos Conceptos bsicos
Para denotar el estado en que se encuentra la cadena en un
tiempo n se utilizar la siguiente notacin:
X
n
=i , estar en el estado i en el tiempo n.
La probabilidad de transicin para ir desde el estado i al
estado j en un paso es:
P
ij
= P[X
n+1
=j | X
n
=i]
Cadenas de Markov discretas Cadenas de Markov discretas
Cadenas de Markov
Slo estudiaremos las cadenas de Markov, con lo
cual tendremos espacios de estados S discretos y
conjuntos de instantes de tiempo T tambin
discretos, T={t
0
, t
1
, t
2
,}
Una cadena de Markov (CM) es una sucesin de
variables aleatorias X
i
, ieN, tal que:
(

=
=
(

=
+ +
t
t
t
t
X
j X
P
X X X
j X
P
1
1 0
1
,..., ,
que es la expresin algebraica de la propiedad de
Markov para T discreto.
Probabilidades de transicin
Las CM estn completamente caracterizadas por
las probabilidades de transicin en una etapa,
T t S j i
i X
j X
P
t
t
e e
(

=
=
+
, , ,
1
ij
t
t
p
i X
j X
P T t S j i =
(

=
=
e e
+1
, ,
Slo trabajaremos con CM homogneas en el
tiempo, que son aquellas en las que
donde q
ij
se llama probabilidad de transicin en una
etapa desde el estado i hasta el estado j
Ejemplos de juegos
1. Juegos de espera
2. Ruleta simple
3. Total de sellos
4. Mquina de servicios
5. Ruleta con doblete inteligente
6. Exitos sucesivos
7. Mquina de servicios ampliada
8. Modelos de Inventarios
9
Ruina de un jugador
10
Urnas de Ehrenfest
11
Las probabilidades de transicin P
ij
se pueden representar
en una matriz cuadrada llamada Matriz de Probabilidad
de Transicin de la cadena.
Matriz de Probabilidad de Transicin:
|
|
|
|
|
|
.
|

\
|
=
KK K
K
P P
P P
P P P
0
11 10
0 01 00
P


Cadenas de Markov discretas Cadenas de Markov discretas


Desde el estado
i
Hasta el estado
j
P
ij
O equivalentemente, el diagrama de estados puede
representarse en forma matricial de la siguiente manera:
Representacin Matricial Representacin Matricial
1 2 3 4 5
1
2
3
4
5
P =
Conceptos bsicos Conceptos bsicos
Las propiedades de la matriz de transicin de probabilidad
son:
1.
Como cada elemento de la matriz representa una
probabilidad, sta debe tener un valor entre 0 y 1.
Matriz de Probabilidad de Transicin:
.... , 2 , 1 , 0 , ; 0 1 = > > j i P
ij
Cadenas de Markov discretas Cadenas de Markov discretas
Conceptos bsicos Conceptos bsicos
Las propiedades de la matriz de transicin de probabilidad
son:

Esto significa que para cada estado la suma de todas las
probabilidades de transicin sean 1.
Adems, dentro de cada fila los valores son no negativos,
estos valores estn entre 0 y 1. La suma de los valores de
la fila es 1, luego, se dice que la matriz es de tipo
estocstica.
Matriz de Probabilidad de Transicin:

=
= =
0
.... , 2 , 1 , 0 ; 1
j
ij
i para P
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo: Ejemplo:
Como se representa una Cadena Como se representa una Cadena
de Markov? de Markov?
Existen dos formas de representar una cadena de Markov; en Existen dos formas de representar una cadena de Markov; en
forma GRFICA y en forma MATRICIAL forma GRFICA y en forma MATRICIAL
P =

(
(
(
0 3 4 1 4
1 4 0 3 4
1 4 1 4 1 2
/ /
/ /
/ / /
0
1
2
1/4
3/4
1/4
1/4
1/4
3/4
1/2
El diagrama de estados puede representarse en forma de tabla de la
siguiente manera:
En la posicin (i,j) de la matriz se coloca la probabilidad de
transitar desde el estado i al estado j
2
1
0.97
4
0
.
0
3
i
j
1. Representacin Grfica 1. Representacin Grfica
1 2 3 4 5
1
0.97 0.03
2
3
4
5
P =
El diagrama transicin de estados :
Matriz de Probabilidad de transicin entre estados:
2 1
0.97
3
0.95
4 5
0.05
0.93
0
.
0
7
1
0
.
0
3
1. Representacin Grfica 1. Representacin Grfica
1 2 3 4 5
1 0
0.97 0 0.03
0
2 0 0 0.95 0.05 0
3 0 0 0 0.07 0.93
4 0 0 0 1 0
5 0 0 0 0 1
P =
Dada , que corresponde a la probabilidad de transicin
del estado i al estado j en 1 paso, se puede generalizar a
que representa la probabilidad de ir del estado i al estado
j en n transiciones como:
Cadenas de Markov discretas Cadenas de Markov discretas
ij P
nij P
0{|};0 ===> nijn PPXjXin
Adems i,j pertenecen al espacio de estados
Si las probabilidades de transicin son homogneas ,
podemos generalizar la expresin anterior a:
Esto representa la probabilidad de pasar desde el estado i
al estado j en n pasos, partiendo desde el estado i, sin
importar como se lleg a este estado (en general, en m
pasos).
Cadenas de Markov discretas Cadenas de Markov discretas
{|};0 nijnmm PPXjXin +===>
Adems i,j pertenecen al espacio de estados
Matriz de Transicin: ejemplo
.

Tiempo
n+1
Estado
0
Estado 1 Estad
o 2
Estado
3
Estado
0
0,20 0,65 0,1
5
0
Tiempo
n
Etado 1
0 0,60 0 0,40
Estado
2
0,15 0,15 0,3
0
0,40
Estado
3
0 0 0 1
Caminata Aleatoria: ejemplo de una
Cadena de Markov
P{S
n+1
=j /S
0
= 0, S
1
= i,.., S
n-1
= i
n-1
, S
n
= i} =
P{S
n
+X
n+1
= j /S
0
= 0, S
1
= i,.., S
n-1
= i
n-1
, S
n
= i}=
P{X
n+1
= j-i /S
0
= 0, S
1
= i,.., S
n-1
= i
n-1
, S
n
= i}=
P{X
n+1
= j-i}= p
j-i
= p
i,j
= P{S
n+1
=j / S
n
= i}
Ejemplo 2: caminata aleatoria con
barreras absorbentes
En el tiempo 0 tengo $ 2 y en los tiempos 1,2,3,...
participo en un juego en el que apuesto $1. Gano el
juego (y gano $1) con probabilidad p y lo pierdo
(perdiendo lo apostado) con probabilidad 1-p. Mi
meta es aumentar mi capital hasta $4 y tan pronto
lo logre me salgo del juego. Tambin salgo cuando
me arruine (capital $0).

Ejemplo 2 (cont)
- X
n
: mi capital inmediatamente despus del juego n
- Estados del proceso = {0,1,2,3,4}
- Matriz de transicin:

|
|
|
|
|
|
.
|

\
|

=
1
p
0
0
0
0
0
p
0
0
0
p 1
0
p
0
0
0
p 1
0
0
0
0
0
p 1
1
P
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
La forma obtener la probabilidad de ir del estado i al estado f en n
pasos, es la expresada en esta ecuacin:
Pero lo que se est buscando es una forma ms general de
expresar esta probabilidad.
e
> =


f k i
k n P P P
kf
k
n
ik
n
if
, ,
0 ,
1
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-
Kolmogorov
Teorema: Las probabilidades de
transicin en n etapas vienen dadas por
la matriz P
n
:
) (
, ,
n
ij
t
n t
p
i X
j X
P S j i =
(

=
=
e
+
Demostracin: Por induccin sobre n
Caso base (n=1). Se sigue de la definicin de p
ij
Ecuaciones de Chapman-
Kolmogorov
Hiptesis de induccin. Para cierto n, suponemos cierta la
conclusin del teorema.
Paso inductivo (n+1). Para cualesquiera i,jeS,
( ) ( )
=
(

=
= . =
=
(

=
=

e
+ + + + +
S k
t
n t n t
t
n t
i X
j X k X
P
i X
j X
P
1 1
{ }= =
(

=
=
(

=
=
=

e
+
+ + +
. .
1
I H
k X
j X
P
i X
k X
P
S k
n t
n t
t
n t
( ) ( ) ( ) 1
1
+
e e
+
+ +
= =
(

=
=
=

n
ij
S k
kj
n
ik
S k
n t
n t
n
ik
p p p
k X
j X
P p
Ecuaciones de Chapman-Kolmogorov
Por este teorema sabemos que la probabilidad de
transitar de i hasta j en n pasos es el elemento (i,j)
de P
n
. Para evitar computaciones de potencias
elevadas de matrices, se intenta averiguar el
comportamiento del sistema en el lmite cuando n,
llamado tambin comportamiento a largo plazo
A continuacin estudiaremos esta cuestin
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
i
29
Cadenas de Markov discretas Cadenas de Markov discretas
f
E
1
E
2
E
3
E
l
n-1 pasos
n-1 pasos
n-1 pasos
n
-
1

p
a
s
o
s
1

p
a
s
o
1
p
a
s
o
1 paso
1

p
a
s
o
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Se desea generalizar el resultado anterior, o sea, obtener la
probabilidad de estar en el estado f en el tiempo b dado que se
estuvo en el estado i en el tiempo a.
Lo anterior queda representado por la siguiente expresin:
| | i X f X P P
a b
b a
if
= = = |
) , (
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Si en el tiempo a se estuvo en el estado i y en el tiempo b se est
en el f, entonces en un tiempo intermedio q se pas por algn
estado k.
As es posible rescribir la expresin anterior como:
( )
| |

= = . = =
k
a q b
b a
if
i X k X f X P P |
,
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
i
Cadenas de Markov discretas Cadenas de Markov discretas
f
E
1
E
2
E
3
E
l
a q b
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
La expresin anterior es independiente del tipo de proceso estocstico
que se presente, por el hecho de contar absolutamente todos los
casos.
Usando las propiedades de las probabilidades condicionales puede
escribirse de la siguiente manera:
( )
| | | | k X i X f X P i X k X P P
q a b
k
a q
b a
if
= . = = = = =

| |
,
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Esta expresin puede simplificarse, pero debe ser acotada a las
cadenas de Markov.
Aplicando la propiedad de que el estado actual depende
exclusivamente del estado anterior, se llega a la siguiente
expresin:
| | | |
( ) ( )

=
= = = = =
k
b q
kf
q a
ik
b a
if
k
q b a q
b a
if
P P P
k X f X P i X k X P P
, , ) , (
) , (
| |
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Sean i, k, f

e , estados genricos de la cadena de Markov,
se define la ecuacin de Chapman-Kolmogorov :

P
ik
m
P
kf
n
representa la probabilidad de ir desde el estado i
al estado f en m+n transiciones a travs de una ruta en la
que, en el tiempo q, la Cadena de Markov se encuentra en
el estado k.
( )
e
> =

f k i
n m k P P P
n
kf
k
m
ik
n m
if
, ,
0 , ,
,
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
i
Cadenas de Markov discretas Cadenas de Markov discretas
f
E
1
E
2
E
3
E
l
a q b
m n
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Tenemos por lo tanto un procedimiento que nos permite
calcular la probabilidad de ir de i a f en n+m pasos,
considerando todos los posibles estados intermedios
Es conveniente en este punto introducir notacin matricial:
Se tiene la matriz P= {pij} con M estados (matriz de MxM),
donde pij es la probabilidad de ir de un estado i a un
estado j en un paso, independiente de las anteriores
transiciones.
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov

=
+
k
m
kf ik
m
f
i
P P P
1 1
Considerando que en el primer paso se efectu la
transicin desde el estado k al estado f, tenemos la
siguiente forma para la ecuacin de Chapman-
Kolmogorov:
Para el caso especial de m=1, es decir se llega al estado f
en dos pasos se tiene la siguiente forma:

=
k
kf ik
f
i
P P P
2
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Mf iM f i f i
f
i
M
e
f e ie
f
i
p p p p p p P
P P P
+ + + =
=

=
....
2 2 1 1
2
1
1 1 2
2
2 2
(
(
(
(

=
MM M
M
ij
p p
p
p p
p P
... ...
. .. .
. .
... ...
) (
1
22
1 11
Descomponiendo:
Matriz de transiciones
de un paso del sistema
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Se observa que la probabilidad de ir de i a f en 2 pasos es:
Por lo que se puede extender este resultado para obtener de
una vez las probabilidades de ir de un estado i cualquiera a un
estado j cualquiera, en dos pasos utilizando la operacin
multiplicacin entre dos matrices
| |
(
(
(
(
(

=
Mf
f
iM i f i
p
p
p p p
..
..
.. ..
1
1
) 2 (
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
2
1
22
1 11
1
22
1 11
) 2 (
.. ..
. .. .
. .
.. ..
.. ..
. .. .
. .
.. ..
P
p p
p
p p
p p
p
p p
P
MM M
M p
MM M
M p
=
(
(
(
(

(
(
(
(

=
2 ) 2 (
) 2 ( ) 2 (
} {
P P
p P
if
=
=
Que es la matriz de transiciones de 2 pasos:
Utilizando este resultado se puede extender el anlisis al caso
en que n+m=3, es decir calcular la probabilidad de ir de i a j en
3 pasos
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov

=
=
M
e
m
f e
n
ie
f
i
P P P
1
3
2
2 2

=
=
M
e
f e ie
f
i
P P P
1
2 1 3
2
2 2
Para el caso de n+m = 3 y siguiendo con el caso en que el estado
intermedio e
2
se alcanza en un paso, para ir de un estado i
cualquiera a j tenemos que la ecuacin de Ch-K nos queda:
Descomponiendo en casos podemos escribir la siguiente
ecuacin:
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Utilizando el resultado obtenido anteriormente podemos escribir la
ecuacin:
| |

=
(
(
(
(
(

=
M
e
Mf
f
M e e ie f i
p
p
p p p P
1
1
1
3
2
2 2 2
..
..
.. ..
| | | |
(
(
(
(
(

+ +
(
(
(
(
(

=
Mf
f
MM M iM
Mf
f
M i f i
p
p
p p p
p
p
p p p P
..
..
.. .. ...
..
..
.. ..
1
1
1
1 11 1
3
Desarrollando la expresin resulta:
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Se puede ver que es equivalente a:
(
(
(
(
(
(

=
MM M
iM i
M
p p
p p
p p
P
.. .. ..
.. ..
.. .. ..
.. ..
.. .. ..
1
1
1 11
(
(
(
(
(
(

=
MM M M
M f
p p p
p p p
P
) 2 (
1
) 2 (
1
) 2 (
1
) 2 (
1
) 2 (
11
) 2 (
) 2 (
.. ..
.. .. ..
.. .. .. .. ..
.. .. ..
.. ..
p
(3)
if = *
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Por lo tanto podemos obtener la matriz de transicin de 3 pasos, es
decir:
} {
) 3 ( ) 3 (
if p P =
3 ) 3 (
P P =
Que entrega las
probabilidades p
(3)
if
de ir
de i a f en tres pasos
2 ) 2 ( ) 3 (
P P P P P = =
Cadenas de Markov discretas Cadenas de Markov discretas
Ecuaciones de Chapman-Kolmogorov Ecuaciones de Chapman-Kolmogorov
Generalizando este resultado para n pasos, vemos
que resolver la ecuacin de Chapman-Kolmogorov es
equivalente a encontrar la matriz de transiciones de n
pasos P
(n)
:
n n
P P =
) (
Clasificacin de Estados Clasificacin de Estados
Clasificacin de Estados Clasificacin de Estados
Un estado j, es alcanzable desde el estado i si se puede
transitar desde j a i en un nmero finito de pasos.

Donde n representa el nmero de pasos (asociado al
parmetro de tiempo discreto).
Cadenas de Markov discretas Cadenas de Markov discretas
1.- Estado Alcanzable (accesible):
0 0 > > n P
n
ij
Clasificacin de Estados Clasificacin de Estados
Los estados i y j se comunican, cuando i es alcanzable desde j y vice-
versa.
Es decir, existe un n y m tal que:
Cadenas de Markov discretas Cadenas de Markov discretas
2.- Comunicacin de Estados:
( ) ( )
0 0 > >
n
ij
m
ji
P y P
Propiedades:
(i) El estado i se comunica con si mismo.
(ii) Si i se comunica con j, entonces j se comunica con i.
(iii) Si, i se comunica con j, y j con k, entonces i se comunica con k.
Clasificacin de Estados Clasificacin de Estados
Un estado i es absorbente
cuando no es posible a
alcanzar otro estado
excepto a s mismo.
Cadenas de Markov discretas Cadenas de Markov discretas
3.- Estado Absorbente:
1 =
ii
P
0
1
P
1
0
P
11
=1
P
0
0
Estado
Absorbente
Clasificacin de Estados Clasificacin de Estados
Un estado i es Transiente si 0< f
i
<1.
Es decir que al salir desde el estado i existe la probabilidad de no retornar, a
diferencia de los estados recurrentes, que retornar con certeza.
Se cumple que:
Cadenas de Markov discretas Cadenas de Markov discretas
5.- Estado Transiente (Transitorio):
( )
s

=1 n
n
ii
P
el nmero esperado de visitas al estado i es finito
Clasificacin de Estados Clasificacin de Estados
Un estado i es peridico de periodo d si:
Si d=1, el estado se denomina Aperidico.
Cadenas de Markov discretas Cadenas de Markov discretas
6.- Periodicidad:
..... 3 , 2 , 0 d d d n P
n
ii
= >
a
b
a
b
c
a es aperidico a,b,c son peridicos d=2
Clasificacin de Estados Clasificacin de Estados
Dos estados que se comunican
pertenecen a la misma clase.
El concepto de comunicacin divide
el espacio de estados en un nmero
de clases disjuntas
Ejemplo grfico: 2 clases
Cadenas de Markov discretas Cadenas de Markov discretas
7.- Clases de Estados:
i
m
k
j
l
n
Pjk
Pij
Pki
Pik
Pkl
Plm
Pmn
Pnl
Pml
Clasificacin de Estados Clasificacin de Estados
Es una cadena que tiene una
nica clase.
X
n
es una cadena de Markov
irreductible si todos los
estados son:
recurrentes positivos
recurrentes nulos
transientes.
Cadenas de Markov discretas Cadenas de Markov discretas
8.- Cadena Irreductible:
Plk
i
m
k
j
l
n
Pjk
Pij
Pki
Pik
Pkl
Plm
Pmn
Pnl
Pml
Clasificacin de Estados Clasificacin de Estados
Teorema:
Si una cadena de Markov es irreductible y aperidica (d=1), entonces
pertenece a una de las siguientes clases:
Cadenas de Markov discretas Cadenas de Markov discretas
9.- Ergocidad:
1. Si todos los estados son transientes recurrentes nulo,
entonces P
ij
(n)
0 cuando n para todo i, j. Por lo tanto
no existe una distribucin de probabilidad estacionaria.
2. Si todos los estados son recurrente positivos (espacio de
estados finito) entonces la cadena de Markov es Ergdica. Por
lo tanto existe una nica distribucin de probabilidad
estacionaria.
Cadenas Markov Discretas Regulares
Regular Si solo si
Es aperidica periodo 1
Es irreducible Todos los estados conectados
Cadenas absorbentes
Concepto de cadena absorbente
forma cannica de matriz
Sea X una CM cuyos estados son todos
transitorios o absorbentes. En tal caso diremos
que X es absorbente. Al menos uno absorbente
Si X es finita y absorbente, reordenamos S
poniendo primero los estados transitorios y
obtenemos:
|
|
.
|

\
|
=
Q R
I
P
0
|
|
.
|

\
|
=
Q R
I
P
0
Estado terminal de cadenas de Markov
absorbentes
Resultados sobre cadenas
absorbentes
Proposicin: El nmero medio de etapas que
se estar en el estado transitorio jeS antes de
la absorcin, suponiendo que empezamos en
el estado transitorio ieS, viene dado por el
elemento (i,j) de (IQ)
1
Nota: La etapa inicial tambin se cuenta, es
decir, en la diagonal de (IQ)
1
todos los
elementos son siempre mayores o iguales que
1
Estado terminal de cadenas de Markov absorbentes
Estado terminal de cadenas de Markov absorbentes
Estado terminal de cadenas de Markov absorbentes
Resultados sobre cadenas
absorbentes
Proposicin: La probabilidad de ser absorbido
por un estado absorbente jeS, suponiendo
que empezamos en el estado transitorio ieS,
viene dada por el elemento (i,j) de la matriz
(IQ)
1
R, que se denomina matriz
fundamental de la CM
Ejemplo de CM absorbente
Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0, que es el 2
estado absorbente. Como empezamos en el 3
er
estado
transitorio (A empieza con 3 ), debemos consultar la 3 fila, 2
columna de (IQ)
1
R, que nos da una probabilidad de 0,4 de
que A empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose
Como es el suceso contrario del apartado a), su probabilidad
ser 10,4=0,6. Tambin podramos haber consultado la 3 fila,
1 columna de (IQ)
1
R.
Ejemplo de CM absorbente
Nmero medio de tiradas que tarda en acabar el juego
Sumamos los nmeros medios de etapas que se estar en
cualquier estado transitorio antes de la absorcin, suponiendo
que empezamos en el 3
er
estado transitorio. Dichos nmeros
medios son los que forman la 3 fila de la matriz (IQ)
1
. El
promedio es: 0,8+1,6+2,4+1,2=6 tiradas.
Nota: si observamos la 1 columna de (IQ)
1
R, vemos
que los valores van creciendo. Esto se debe a que,
cuanto ms dinero tenga al principio A, ms probabilidad
tiene de ganar el juego.
Se desea estudiar el nmero de alumnos que estn estudiando en
la enseanza media de un colegio en particular.
Se considerar que un alumno en un ao en particular puede pasar
de curso, repetir el curso cuantas veces sea necesario o retirarse
del establecimiento sin posibilidades de regresar.
Ejemplo 3: Ejemplo 3:
Alumno de Enseanza Media Alumno de Enseanza Media
Preguntas
1. Cual es el tiempo de permanencia en el
colegios de los alumnos que entran en 1
ao?
2. Cul es el tiempo promedio que le toma a
un alumno que entra en 1 ao graduarse?
3. Cual es la probabilidad de que un alumno
que entro en 1 ao se gradu ?
Si consideramos los siguientes porcentajes, para pasar de
curso, repetir o retirarse en cada ao:
Repetir 1 ao: 2%
Pasar a 2 ao: 97%
Retirarse al final del 1 ao: 1%
Repetir 2 ao: 3%
Pasar a 3 ao: 95%
Retirarse al final del 2 ao: 2%
Repetir 3 ao: 4%
Pasar a 4 ao: 92%
Retirarse al final del 3 ao: 2%
Repetir 4 ao: 1%
Egresar: 96%
Retirarse al final del 4 ao: 3%
Ejemplo 3: Ejemplo 3:
Alumno de Enseanza Media Alumno de Enseanza Media
Definicin de estados:
Estado 1: Estar en primer ao.
Estado 2: Estar en segundo ao.
Estado 3: Estar en tercer ao.
Estado 4: Estar en cuarto ao.
Estado 5: Egresar del establecimiento.
Estado 6: Retirarse del establecimiento.
70
Ejemplo 3: Ejemplo 3:
Alumno de Enseanza Media Alumno de Enseanza Media
La representacin grfica de los estados definidos es:
1 2 3
6 5
4
Ejemplo 3: Ejemplo 3:
Alumno de Enseanza Media Alumno de Enseanza Media
Asociando las probabilidades, se grafica de la siguiente forma:
1 2
6
Repetir 1 ao: 2%
Pasar a 2 ao: 97%
Retirarse al final del 1 ao: 1%
0.02
0.01
0.97
Nota: La suma de las probabilidades asociadas a las
flechas salientes del estado 1 suman 1.
Ejemplo 3: Ejemplo 3:
Alumno de Enseanza Media Alumno de Enseanza Media
El diagrama de estados completo es:
1 2
6
3
5
4
0.02
0.02
0.02
0.03
0.03
0.01
0.01 0.04
0.97 0.95 0.94
0.96
1 1
Ejemplo 3: Ejemplo 3:
Alumno de Enseanza Media Alumno de Enseanza Media
A partir del diagrama de estados, se obtiene la siguiente matriz
de transicin asociada al sistema.
Ejemplo:
1 2
6
3
5
4
0.02
0.02
0.02
0.03
0.03
0.01
0.01 0.04
0.97 0.95 0.94
0.96
1 1
0.020.970000.01 00.030.95000.02 000.040.9400.02 0000.010.960.03 000010 000001 P( ( ( ( =( ( ( ( (
Resumen sobre las Representaciones Resumen sobre las Representaciones
Matriz Q
1 2 3 4
1 0,02 0,97 0 0
2 0 0,03 0,95 0
3 0 0 0,04 0,94
4 0 0 0 0,01
Matriz (I-Q )
-1
1 2 3 4
1 1 1,009 1,009 0,951
2 0 1,03 1,03 0,97
3 0 0 1,04 0,99
4 0 0 0 1,01
Tiempo promedio de permanencia en el colegio de los alumnos
que entraron el primer ao 3,969 aos
Tiempo promedio que le toma a un alumno que entro en primer
graduarse 4,08 aos
Matriz R
5 6
1 0 0,01
2 0 0,02
3 0 0,02
4 0,96 0,03
Matriz NR
5 6
1 0,913 0,079
2 0,9312 0,070
3 0,950 0,051
4 0,97 0,030
Probabilidad que un alumno que entro el primer ao se grade
0,913
Distribucin estacionaria
CADENAS DE MARKOV REGULARES
Tiempo de permanencia en un estado
transiente
S
ii
= Tiempo de permanecia en estado
transiente i
P(S
ii
=n)= p
ii
(n-1)
(1-p
ii
) distribucin
geomtrica de parmetro (1-p
ii
)
E(S
ii
) = 1/ (1-p
ii
)
80
Anlisis Estacionario Anlisis Estacionario
Una cadena de Markov Regular con probabilidad
estacionaria cumple:
es decir, la probabilidad de estar en el estado e es independiente del
tiempo (n), y es constante.
k = % de permanencia en el estado transiente k de una cadena de Markov
regular en condicin estacionaria
Cadenas de Markov discretas Cadenas de Markov discretas
Definicin:
tt =e () lim; nee ne
Notacin Notacin
Se define la probabilidad de estar en el estado e en el n-
simo paso, y se anota:
Cadenas de Markov discretas Cadenas de Markov discretas
() [], nen PXee t ==e
Se define el vector al que se asocia la probabilidad de
estar en cualquiera de los estados existentes en la cadena
en el n-simo, y se anota:
tt ( H= ()()() 1...... nnn E
Notacin Notacin
Se define la probabilidad inicial del sistema, como la
probabilidad de estar en el estado e en el comienzo del
anlisis, y se anota:
Cadenas de Markov discretas Cadenas de Markov discretas
(0)(0)(0) 1...... Ett ( H=
Anlisis Transiente Anlisis Transiente
Ahora se puede generalizar la expresin a:
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
Este vector indica la probabilidad de estar en cualquiera
de los estados de la cadena despus de n pasos, con la
condicin inicial ( que define el estado en el cual se
inicia el proceso).
()(1) nn PH=H
()(0)() nn PH=H
(0) H
Anlisis Transiente Anlisis Transiente
Sea, la probabilidad de estar en el estado e en un
tiempo n.
Sea, , el vector que indica la
probabilidad de estar en cualquier estado despus de n
pasos.
Sea, P la matriz de transicin de estados: donde P
ij
es la
probabilidad de ir desde el estado i al estado j, en un
paso.
Cadenas de Markov discretas Cadenas de Markov discretas
t() ne
tt ( H= ()()() 1...... nnn E
Anlisis Transiente Anlisis Transiente
La ecuacin de Chapman-Kolmogorov en el ltimo
paso, en forma matricial, es:
Cadenas de Markov discretas Cadenas de Markov discretas
()(1) nn PH=H
()(0)() nn PH=H
(3)
(4)
Obs: La ecuacin (3) presenta un mejor desempeo al realizar clculos
cuando el nmero de pasos es muy grande.
Anlisis Estacionario Anlisis Estacionario
Se define el vector de probabilidad estacionaria como:
Se dice que la cadena de Markov tiene probabilidad de
transicin estacionaria si se cumple la ecuacin matricial:
Cadenas de Markov discretas Cadenas de Markov discretas
Definicin:
;0,1,2...., jiij iPPparajE tt [=[==
[=[ () lim nn
Anlisis Estacionario Anlisis Estacionario
Se dispone de 4 mdulos de atencin que se
van activando secuencialmente a medida que
la cantidad de usuarios que deben ser
atendidos aumenta.
Cada mdulo tiene un mximo de usuarios a
los que puede entregar servicio.
Cuando un mdulo est completamente
utilizado, entra en servicio el siguiente
mdulo.
Si un mdulo deja de ser utilizado, el mdulo
se desactiva temporalmente, quedando en
servicio los mdulos anteriores.
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
Anlisis Estacionario Anlisis Estacionario
Interesa conocer:
Cul es la probabilidad de que
cada mdulo est en uso?.
Es decir, se desea conocer, con que
probabilidad se utiliza cada mdulo,
en cualquier instante de tiempo.
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
Anlisis Estacionario Anlisis Estacionario
La definicin de estados para el
ejemplo ser:
Estado 1: El mdulo 1 est siendo
utilizado.
Estado 2: El mdulo 2 est siendo
utilizado.
Estado 3: El mdulo 3 est siendo
utilizado.
Estado 4: El mdulo 4 est siendo
utilizado.
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
Central
Telefnica
G1 G2 G3 G4
Anlisis Estacionario Anlisis Estacionario
Las probabilidades de transicin, asociada a cada mdulo
son:
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
Desde el 1 al 1: 0.3
Desde el 1 al 2: 0.7
Desde el 1 al 3: 0
Desde el 1 al 4:0
Desde el 2 al 1: 0.4
Desde el 2 al 2: 0.2
Desde el 2 al 3: 0.4
Desde el 2 al 4: 0
Desde el 3 al 1: 0
Desde el 3 al 2: 0.3
Desde el 3 al 3: 0.1
Desee el 3 al 4: 0.6
Desde el 4 al 1: 0
Desde el 4 al 2: 0
Desde el 4 al 3: 0.5
Desee el 4 al 4: 0.5
Anlisis Estacionario Anlisis Estacionario
El diagrama de estados que representa la situacin antes
descrita es el siguiente:
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
1 2 3 4
0.3 0.7
0.2
0.4
0.1
0.6 0.5
0.3 0.5
0.4
Anlisis Estacionario Anlisis Estacionario
La matriz de transicin asociada al ejemplo es:
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
El vector de probabilidad de transicin estacionaria es:
(
(
(
(

=
5 . 0 5 . 0 0 0
6 . 0 1 . 0 3 . 0 0
0 4 . 0 2 . 0 4 . 0
0 0 7 . 0 3 . 0
P
| |
4 3 2 1
t t t t =
[
Anlisis Estacionario Anlisis Estacionario
Considerando las ecuaciones matricial:
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
=
[ [
P (1)
12334 1=+++ [[[[[
(2)
Condicin de probabilidades totales
En estado estacionario la
probabilidad de estar en estado i
en el paso n, es igual a la
probabilidad de estar en estado i
en el paso n+1
1 = 0,31+0,42
2 = 0,72+0,22+0,33
3 = 0,42+0,11+ 0,63
4 = 0,5 3 + 0,5 4
Hay que eliminar una de
las ecuaciones del
sistema y agregar la
ecuacin 2
Anlisis Estacionario Anlisis Estacionario
Resolviendo el sistema de ecuaciones anteriores, se
obtiene:
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
1 0,127
2 0,222
3 0,296
4 0,355
Anlisis Estacionario Anlisis Estacionario
Finalmente respondiendo a la pregunta original, Cul es
la probabilidad de que cada mdulo est en uso?.
La probabilidad de que el mdulo 1 est en uso es 0.127
La probabilidad de que el mdulo 2 est en uso es 0.222
La probabilidad de que el mdulo 3 est en uso es 0.296
La probabilidad de que el mdulo 4 est en uso es 0.355
Cadenas de Markov discretas Cadenas de Markov discretas
Ejemplo:
Eejmplo 3: un modelo para el
desplazamiento poblacional
Para efectos de una investigacin, en un determinado pas,
una familia puede clasificarse como habitante de zona
urbana, rural o suburbana. Se ha estimado que durante un
ao cualquiera, el 15% de todas las familias urbanas se
cambian a zona suburbana y el 5% a zona rural. El 6% de las
familias suburbanas pasan a zona urbana y el 4% a zona
rural. El 4% de las familias rurales pasan a zona urbana y el
6% a zona suburbana.
Cadenas de Markov: ejemplo
Tendremos la siguiente matriz de transicin

Urb. Surb. Rur.
|
|
|
.
|

\
|
=
90 0 06 0 04 0
04 0 90 0 06 0
05 0 15 0 80 0
, , ,
, , ,
, , ,
P
Cadenas de Markov

Urb
Surb.
Rural
0,15
0,04
0,05
0,04
0,06
0,06
0,8
0,90
0,90
Aplicacin de resultados anteriores
Consideremos el ejemplo 3, y supongamos que al inicio de la
investigacin, el 35% de la poblacin viva en reas urbanas, el
45% en rea suburbana, y el resto en rea rural.
a) Si inicialmente una familia vive en un rea rural, cul es la
probabilidad de que tres aos despus esta familia viva en un
rea urbana?
b) Cual es la probabilidad de que tres aos despes de iniciada
la investigacin una familia viva en el rea urbana?
Aplicacin de resultados anteriores
a) 0,0967
b) 0,2691
) , , , ( a
, , ,
, , ,
, , ,
P
t
20 0 45 0 35 0
7411 0 1622 0 0967 0
1055 0 7593 0 1352 0
1248 0 3353 0 5399 0
3
=
|
|
|
.
|

\
|
=
Ejemplo (desplazamiento poblacional:
ejemplo 3)
Dado que la matriz del ejemplo 3 es ergdica,
podemos hacer:
102
1
90 0 06 0 04 0
04 0 90 0 06 0
05 0 15 0 80 0
3 2 1
3 2 1 3 2 1
= t + t + t
|
|
|
.
|

\
|
t t t = t t t
, , ,
, , ,
, , ,
) , , ( ) , , (
continuacin
Una opcin es:
3 2 1
3 2 1 2
3 2 1 1
1
06 0 90 0 15 0
04 0 06 0 80 0
t + t + t =
t + t + t = t
t + t + t = t
, , ,
, , ,
continuacin
Cuya solucin es
(t
1
, t
2
, t
3
) = (0.2077 , 0.4918 , 0.3005)
Es decir, si con el paso del tiempo se mantiene el
comportamiento descrito por el modelo (lo cual es
muy poco probable) despus de muchos aos,
aproximadamente, el 21% de la poblacin ocupar
las zonas urbanas, el 49% las suburbanas y el 30% la
rural.
Tiempo de primera pasada
Estamos interesados en tener informacin respecto al
nmero de pasos (transiciones) que hace el proceso
al ir de un estado i a un estado j por primera vez. Se
define
T
i,j
= tiempo de primera pasada al ir del estado i al
estado j
Tiempo de primera pasada
Definimos el tiempo esperado de recurrencia
E(T
i,j
) =
ij

Se puede demostrar que se cumple:

=
+ =
t
=
j n
nj in ij
j
jj
p 1
1
Dos Posibles estados:
0 Llueve
1 No llueve
Supuesto:
El tiempo de maana slo depende del de Hoy.
Llueve Hoy Prob. que llueva maana
No llueve Hoy Prob. que llueva maana
Prediccin del Tiempo
Prediccin del Tiempo
Cadenas de Markov: Otros Cadenas de Markov: Otros
Ejemplos Ejemplos

|=

o=
La matriz de transicin P queda:
Grficamente:
108
P =

(
o o
| |
1
1
0 1
0
1
0
1
7 , 0 = o
4 , 0 = |
1o
1 |
Cadenas de Markov: Otros Cadenas de Markov: Otros
Ejemplos Ejemplos
Prediccin del Tiempo
Prediccin del Tiempo
Sea la probabilidad que llueva hoy de 0.2
Cual es la Probabilidad incondicional de que maana
llueva?
P =

(
0 7 0 3
0 4 0 6
. .
. .
Cadenas de Markov: Otros Cadenas de Markov: Otros
Ejemplos Ejemplos
Prediccin del Tiempo
Prediccin del Tiempo
Aplicando el Teorema de Probabilidades Totales:
Sea : Probabilidad incondicional de que
llover maana.
= P(maana llover /hoy llueve) +
P(maana llover /hoy no llueve)

= + 02 08
00 10
. . P P
= + = 0 2 0 7 08 0 4 0 46 . . . . .
Cadenas de Markov: Otros Cadenas de Markov: Otros
Ejemplos Ejemplos
Prediccin del Tiempo
Prediccin del Tiempo
| | | |
0 1 0 1
1
1
[ [ [ [
=

(
o o
| |
0 0 1
= +
[ [ [
o |
1 0 1
1 1 = +
[ [ [
( ) ( ) o |
1
0 1
= +
[ [
Cadenas de Markov: Otros Cadenas de Markov: Otros
Ejemplos Ejemplos
Prediccin del Tiempo
Prediccin del Tiempo
En el caso General:
Cadenas de Markov otros ejemplos
Si a = 0.7 y b = 0.4, entonces la probabilidad lmite que
llover ser:
es decir:
0
4 7 =
[
/
1
3 7 =
[
/
| | | |
= =
[ [ [
0 1
4 7 3 7 / /
Prediccin del Tiempo
Prediccin del Tiempo
Ejemplos varios
113
Problema del ratn
Problema Ratn:
Un ratn cambia de habitculo cada minuto
con igual probabilidad a las salas adyacentes
114
S E
H C
1/2
1/2
1/2
1/2
1/3
1/3
1/3
1/3
1/3
1/3
Matriz de probabilidades de transicin :
0 1/3 1/3 1/3
1/2 0 1/2 0
1/3 1/3 0 1/3
1/2 0 1/2 0
P =
SOLUCIONES ESTACIONARIAS
Soluciones Estacionarias parta la Cadena de Markov Regular
1 = 1/2 2 + 1/3 3 +1/2 4
2= 1/31 + 1/3 3
3= 1/31 +1/2 2 + 3 + 4 se elimina
4= 1/3 1 + 1/33
1+ 2 + 3 + 4 = 1
Sol 1=3/10 =3
2==2/10 =4
117

1
2 3 4
1
0
1/3 1/3 1/3
2
1/2 0 1/2 0
3
1/3 1/3 0 1/3
4
1/2 0 1/2 0
Preguntas
1. Cuales son las probabilidades de que en
condiciones estacionarias se encuentre en
cada una de las piezas ?
2. 1=3/10
3. 2=2/10
4. 3=3/10
5. 4=2/10
Para acabar con el ratn
Se pone queso envenenado en la cocina
Se abre la puerta de la entrada (SE)
Existe distribucin lmite porque :
El sistema tiene una sola clase final
Esa clase final es aperidica
S
C H
E
Ahora el sistema carece de distribucin lmite
-Hay dos distribuciones finales
E S
C H
S E
1/3
1/3
1/3
1/3
1/3
1/3
1/3
1/3
Que probabilidad hay de que el sistema sea
absorbido en cada estado final ?
1. E, S y H son estados transitorios.
2. C y SE son estados recurrentes o finales.
La situacin inicial del ratn determinar la
situacin futura.
Si inicialmente est en E es ms probable que
salga de casa.
Si inicialmente est en H es ms probable que se
quede en la cocina.
Matriz de transicin: Estructura de P :
1 0 0 0 0
0 1 0 0 0
1/3 0 0 1/3 1/3
0 1/3 1/3 0 1/3
0 1/3 1/3 1/3 0
P = P =
I
O
R Q
1. Matriz identidad (tantas columnas y filas como estados
finales) (I)
2. Matriz 2 x 3 (tantas columnas como transitorios y tantas
filas como estados finales) (O)
3. Matriz 3 x 2 (Probabilidades de absorcin en un solo salto)
(R)
4. Matriz 3 x 3 (Probabilidad de transicin entre transitorios)
(Q)
1 -1/3 -1/3
-1/3 1 -1/3
-1/3 -1/3 1
Resolvemos el sistema:
1/3

0


0

1/3


0

1/3

I - Q
R
M
atriz de
absorcin en
un solo salto
M
atriz de
pro
b. Entre
transito
rio
s
Preguntas
1. Cual es la probabilidad de que termine
envenenado ?
2. Cuanto tiempo permanecer el ratn en la
casa si parte de S ?
Matriz inversa (I-Q)
1.498 0.748 0.748
0.748 1.498 0.748 = (I-Q)
-1
0.748 0.748 1.498
2) Si parte de S permanecer en la casa
0.748+1.498+0.748 = 2,994
125
Matriz NR
NR =
1) =0,751 si parti del saln
126
SE Patio Entrada C cocina
E 0,501 0,499
S 0,249 0,751
H 0,249 0,751
Probabilidades condicionales
130
Una fabrica conservera mexicana de ajes ( chiles ) envasa 4 variedades de chiles:
serranos, pasilla, habaneros y poblanos. La fbrica consta de tres plantas de produccin 1,
2,y 3. La primera planta produce tres veces ms ajes que la segunda y tercera que
producen lo mismo. En cada cadena se envasas los cuatro tipos de ajes en las siguientes
proporciones.
Prob Serranos Pasilla Habaneros Poblanos
1 3/5 10% 30% 50% 10%
2 1/5 30% 40% 10% 20%
3 1/5 40% 10% 20% 30%

Probabilidades condicionales
131
1. Si se toma de la produccin diaria al azar una lata, calcule la probabilidad de que se de
las variedades serrano o pasilla
Prob de serrano = 3/5 0,1 + 1/5 0,3 + 1/5 0,3 + 1/5 0,4 = 0,20
Prob de Pasilla = 3/5 0,3 + 1/5 0,4 + 1/5 0,1 = 0,28
Prob de Serrano o pasilla = 0,48
Probabilidades condicionales
132
1. Si se toma una lata al azar y no es pasilla ni proviene de la segunda planta Cul es la
probabilidad de que provenga de la primera plantas y se de la variedad habanero?
Se puede reformular el problema inicial cambiando el espacio muestral eliminado las
pasilla y la planta 2 . Lo que cambia las probabilidades cono se indica a continuacin
Prob de elegir la 1 planta y la probabilidad de elegir la 2 es Si se elige la primera
la probabilidad de que se aun Habanero es 0,5/0,7 = 0,7143 Pore lo tanto la
probabilidad de elegir la 1 planta y un habanera en este caso ser 0,75( 0,7143)
=0,5357 Tambin se puede resolver por Bayes
Probabilidades condicionales
133
1. Si la primera planta produce el 10 % de las conservas defectuosas, la segunda un 20%
y la tercera un 15% y se elige al azar un conserva que resulta defectuosa, Calcule la
probabilidad de que provenga de la tercera planta. Calcule la probabilidad de que esa
conserva defectuosa se pasilla
D= defectuoso P(D/1) = 0,1 P(D/2) =0,2 P(D/3)= 0,15
P(3/D) = P(3) P(D/3)/P(D) = 0,03/ 0,13 = 0,23
P(D/3) = 0,23 0,1 = 0,023
Reemplazo de autos
134
2. Cada ao su auto puede estar funcionando en buen estado B, funcionando con fallas F, o
parado por una pana mayor P, de acuerdo a las siguientes probabilidades de transicin
anual y costos.
Si su auto esta pana mayor P usted procede a comparar uno similar de inmediato.

Estados B F P
B 0,85 0,10 0,05
F 0,0 0,70 0,30
Valor de venta $6 millones $ 2 millones $ 0 millones
Costo anual Operacin $ 1 milln $ 1,5 milln $ 0 milln

LE CONVIENE REEMPLAZAR SU AUTO INMEDIATAMENTE CUANDO COMIENZA A PRESENTAR
FALLAS (F) Y NO ESPERAR UNA PANA MAYOR (P)?
135
136
137
138
139
140
141
142
143
144
Benitez y Sandoval estn empatados en la final del Master de tenis. Cualquiera de ellos que
gane el prximo punto tendr ventajas y si tiene ventajas y vuelve a ganar ganar el juego. Si las
probabilidades de ganar el prximo punto depende del estado empate o ventaja , de la siguiente
manera para cada uno de ellos:
Estado Prob. Benitez gane prximo
punto
Prob. de Sandoval gane prximo punto
empate 2/3 1/3
ventaja 3/4 1/2

Si el juego est empatado
1) Modele el trmino del juego como una Cadena de Markov
2) Cuantos puntos ms durar el juego?
3) Cul es la probabilidad que gane Sandoval ?
Estados del juego
Estados transientes
Empate = 1
Ventaja Benitez = 2
Ventaja Sandoval = 3
Estados absorbentes
Gana Benitez = 4
Gana Sandoval = 5
145
146
147
Soluciones ion del juego
Si parten empatados
2)Duracin del juego = +1/2+1 = 3 pts
3) Probabilidad que gane Sandoval =
148

You might also like