Presentación Cadenas de Markov

CADENAS DE MARKOV
1. Definicin de procesos estocsticos

Sucesin de eventos que se desarrolla en el tiempo, en el cual el resultado
en cualquier estado contiene algn elemento que depende del azar
Ejemplo 2.1
X
t
= Condiciones de tiempo en la ciudad de Ica
Ejemplo 2.2
X
t
= El valor de venta del kilogramo de pollo cada semana.
Ejemplo 2.3
X
t
= Lanzamiento de una moneda.
En el caso del lanzamiento de una moneda, el resultado en cualquier
etapa es independiente de todos los resultados previos.
En los casos de la condicin del clima y del precio de venta de la
carne de aves, su estado en un tiempo determinado no es aleatorio
por completo, sino que es afectado en cierto grado por el tiempo de
das previos. No obstante la sucesin es tan compleja que dicho
comportamiento cambia da a da de una manera que en apariencia
es algo aleatorio.
Por lo mencionado, decimos que un proceso estocstico discreto en
el tiempo es la relacin entre variables aleatorias.
Xi Xj
Relacin
Ejemplo 2.4
X
t
= Temperatura registrada en cada da del ao en la
ciudad de Lima.
Ejemplo 2.5
X
t
= Cantidad de alumnos que egresan semestralmente
en la especialidad de ingeniera industrial.
Ejemplo 2.6
X
t
= Nmero de alumnos que asisten a cada clase de IO2.
Caso 1: El estado del tiempo
Ud. sabe que el da 23 de noviembre fue un da soleado y la
probabilidad de que el da siguiente lloviera fue de un 36%.
23 / 11
24 / 11 36%
19 / 05 20/ 05
p ?
Caso 2: La ruina del jugador
Cierto juego tiene las siguientes caractersticas:
Se dispone de $3 para jugar.
Se apuesta $1 por jugada.
En cada jugada se gana $1 o se pierde $1 (no hay empate).
Se gana $1 con probabilidad p y se pierde $1 con probabilidad 1 p.
La meta es tener la mxima cantidad de dinero posible.
El juego termina cuando se llega a $5 o cuando el capital se reduce a $0.
Se define X
t
como el capital al final del juego en el tiempo t.
Sabemos que:
X
0
= 3 (constante)
X
1
, X
2
y las dems X
t
son desconocidas (VA)
Se puede considerar que X
0
, X
1
, X
2
, X
3
, .... X
t
son procesos
estocsticos de tiempo discreto.
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
1-p
4
0
0
0
p
0
1
0
1 juego
5 0 0 0 0 0
5
0
0
0
0
p
1
P =
2
3
4
0
1
1-p
0
0
0
1
0
0
1-p
0
0
2
0
p
0
1-p
0
3
0
0
p
0
1-p
4
0
0
0
p
0
1
0
1 juego
5 0 0 0 0 0
5
0
0
0
0
p
1
Grficamente
0
1
2
3 4
1
1-p
p
1-p
p
p
1-p
5
1
1-p
p
Usando diagramas de rbol:
3
2
4
1 juego 1 juego 1 juego
1
3
3
5
0
2
2
4
2
4
1-p
pierde
gana
2 juegos
Xo= es el capital inicial del
jugador igual a $3
En cada jugada gana o pierde $1
con probabilidad de p o 1-p
respectivamente
El juego termina cuando alcanza
su meta que es tener $5 o pierde
todo
3
Xo X1 X2 X3
2
3
4
0
1
1-p
(1-p)
2
0
0
1
0
p(1-p)
0
(1-p)
2
0
2
0
0
2p(1-p)
0
(1-p)
2
3
0
p
2
0
2p(1-p)
0
4
0
0
p
2
0
p(1-p)
1
0
2 juegos
5 0 0 0 0 0
5
0
0
0
p
2
p
1
0
1
2
3 4
1
1-p
5
1
P
2
= P*P =
p(1-p)
(1-p)
2
2p(1-p)
p
2
(1-p)
2
p
2
p
2
2p(1-p)
(1-p)
2
p(1-p)
2. Definicin de Cadenas de Markov
El proceso estocstico de tiempo discreto puede estar en uno de
un nmero finito de estados identificados por 1, 2,...,s.

Un proceso estocstico de tiempo discreto es una CADENA DE
MARKOV s, para t = 0,1,2,... y todos los estados,
P(X
t+1
=i
t+1
/X
t
=i
t
) =
P(X
t+1
=i
t+1
/X
0
=i
0
, X
1
=i
1
,...X
t-1
=i
t-1
, X
t
=i
t
)

Adems para todos los estados i y j y toda t, P(X
t+1
=j / X
t
=i) es
independiente de t. Esta hiptesis permite escribir:
p
ij
= P(X
t+1
=j / X
t
=i)
Con frecuencia se llaman probabilidades de transicin a las p
ij

en una cadena de Markov.

La ecuacin: p
ij
= P(X
t+1
=j / X
t
=i)

Indica que la ley de probabilidad que relaciona el estado del
siguiente perodo con el estado actual no cambia, o que
permanece estacionaria en el tiempo.

Toda cadena de Markov que cumple con esta condicin se llama
cadena estacionaria de Markov.
Se necesita saber las probabilidades de encontrar la
cadena en el estado i en el tiempo 0, es decir, P(X
0
=i) = q
i
Al vector q = [q
1
q
2
.....q
n
] se le llama vector
de condiciones iniciales o distribucin
inicial de probabilidad.

j=1,n
q
j
= 1
Las probabilidades de transicin se presentan como una matriz P de
probabilidad de transicin s x s. La matriz de probabilidad de transicin
se puede escribir como:
1 2 3 ... S
1 p
11
p
12
p
13
... p
1s
2 p
21
p
22
p
23
... P
2s
P = 3 p
31
p
32
p
33
... P
3s
... ... ... ... ... ...
S p
s1
p
s2
p
s3
... p
ss
Dado que el estado es i en el tiempo t, el proceso debe estar en algn
lugar en el tiempo t+1. Esto significa que para cada i:

j=1,s
P(X
t+1
=j / X
t
=i) =
j=1,s
p
ij
= 1
(p
ij
> 0)
Perodo de Transicin
Elementos de una Cadena de Markov:

1. Estados del Sistema: X
(t)
2. Perodo de Transicin
3. Probabilidades de Transicin Matriz de
probabilidades
4. Distribucin inicial de probabilidad
CADENAS DE MARKOV
IMPORTANCIA:
Permite encontrar la probabilidad de que un sistema se
encuentre en un estado en particular en un momento dado.
Permite encontrar el promedio a la larga o las
probabilidades de estado estable.
APLICACIONES
Biologa (Comportamiento de molculas y
prediccin de comportamientos).

Gentica y Paleontologa (Evolucin de las
especies).
Marketing (Identificar patrones de
comportamiento de clientes).
Gobierno (Efecto de Polticas
Gubernamentales).
Ejemplos (Cadenas de Markov)
Ejemplo 1
Supongamos, que en Lima, si un da est nublado, el
65% del tiempo ser nublado al da siguiente y que si un
da est soleado, con probabilidad 38% ser soleado al
da siguiente. Hallar la Matriz de Transicin.
62%
35%
65%
38%
Cadena de Markov con 2 estados
s
0.38
0.35
n
0.62
0.65 n
s
Ejemplo 2 Cadena de Markov con 3 estados
Supongamos que el estado de nimo de Enzo puede ser, alegre, triste o
molesto. Si est alegre, habr una probabilidad de 80% de que siga
alegre al da siguiente y 15% de que est triste. Si est triste, 30% de
que siga triste y 50% de que est molesto. Y, si est molesto, 80% de
que no siga molesto y 50% de que est alegre al da siguiente. Hallar la
Matriz de Transicin.
30%
80%
20%
M
A
0.80
0.20
0.50

T
0.15
0.30
0.20
M
0.05
0.50
0.30
T
A
Ejemplo 3 Cadena de Markov con 4 estados
Considere el siguiente modelo para el valor de una accin. Si la accin
sube o no maana depende de si subi o no hoy y ayer. Si la accin subi
hoy y ayer , maana subir con probabilidad a. Si la accin subi hoy y
ayer baj, maana subir con probabilidad b. Si la accin baj hoy y
ayer subi, la probabilidad de que suba maana es c. Por ltimo, si la
accin baj hoy y ayer, la probabilidad de que suba maana es d.
Determine la matriz de transicin de un paso para la cadena de Markov.
SS
a
SB
BB
BS
1

-

b

1 - d
BS
BB
SS
a
0
b

0
SB
1-a
0
1-b
0

BS
0
c
0
d
BB
0
1-c
0
(1-d)
SB
SS
Ejemplo: lnea telefnica
Sea una lnea telefnica de estados
ocupado=1 y desocupado=0. Si en el
instante t est ocupada, en el instante t+1
estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.
Ejemplo: lnea telefnica
|
|
.
|
\
|
=
7 , 0 3 , 0
1 , 0 9 , 0
Q
0 1
0,9
0,1
0,3
0,7
Ejemplo: Lanzamiento de un dado
Se lanza un dado repetidas veces. Cada
vez que sale menor que 5 se pierde 1 , y
cada vez que sale 5 6 se gana 2 . El
juego acaba cuando se tienen 0 100 .
Sea X
t
=estado de cuentas en el instante t.
Tenemos que { X
t
} es una CM
S={0, 1, 2, , 100}

Ejemplo: Lanzamiento de un dado
0 1 2 3
2/3

1
4 5

2/3 2/3 2/3 2/3 2/3
1/3 1/3 1/3 1/3
>100 99 98 97
1
2/3 2/3
1/3 1/3
2/3
1/3
1/3
1/3

Ejemplo de proceso estocstico
Lanzamos una moneda al aire 6 veces. El
jugador gana 1 cada vez que sale cara
(C), y pierde 1 cada vez que sale cruz (F).
X
i
= estado de cuentas del jugador
despus de la i-sima jugada
La familia de variables aleatorias {X
1
, X
2
,,
X
6
} constituye un proceso estocstico

O={CCCCCC,CCCCCF,}
Combinaciones (O) = 2
6
= 64
P(e)=1/64 eeO
T={1, 2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X
1
(O)={1, 1}

X0 X1 X2
X
2
(O)={2, 0, 2}
2
-1
1
0
1
0
-2
-1
0
Usando diagramas de rbol:
1
-1
2
-2
3
-3
pierde
gana
Xo X1 X2 X3
-2
0
2
1
-1
-6
0
2
-3
-1
1
3
4
0
-2
-4
4
-5
5
6
0
-4
1 juego
1 juego
1 juego
X4
X5
X6
Si fijo , por ejemplo e
0
=CCFFFC,
obtengo una secuencia de valores
completamente determinista:
X
1
(e
0
)=1, X
2
(e
0
)=2, X
3
(e
0
)=1, X
4
(e
0
)=0,
X
5
(e
0
)= 1, X
6
(e
0
)=0
Puedo dibujar con estos valores la
trayectoria del proceso:

-2
-1
0
1
2
3
1 2 3 4 5 6
Instante de tiempo, t
V
a
l
o
r

d
e
l

p
r
o
c
e
s
o
Si fijo t, por ejemplo t
0
=3, obtengo una de
las variables aleatorias del proceso:
9 O :
3
X
( ) e e
3
X
Los posibles valores que puede tomar el
proceso en : X
3
(O)={3, 1, 1, 3}
Podemos hallar la probabilidad de que
el proceso tome uno de estos valores:
| | | | | | | |
8
3
2
1
2
1
2
1
3 FCC P CCF P CFC P 1 ) ( X P
3
= = + + = = e
| | | |
8
1
2
1
2
1
2
1
CCC P 3 ) ( X P
3
= = = = e
| | | | | | | |
8
3
2
1
2
1
2
1
3 CFF P FFC P FCF P 1 ) ( X P
3
= = + + = = e
| | | |
8
1
2
1
2
1
2
1
FFF P 3 ) ( X P
3
= = = = e
Ejemplo: Urna de bolas
Usando diagramas de rbol
0,5
probabilidad
Xo X1 X2 X3
E0=2,0,0
E1=1,1,0
E3=0,1,1
E5=0,0,2
E4=0,2,0
probabilidad
E2=1,0,1
E2=1,0,1
E1=1,1,0
E3=0,1,1
E4=0,2,0
E5=0,0,2
E3=0,1,1
E3=0,1,1
1
1
1
0,5
a)
Ei=[SIN PINTAR, ROJO, NEGRO]
b) Se inicia con las dos bolas sin pintar (E0) y nos piden la
probabilidad de que pasemos al estado [0 2 0] (E4) despus de pintar
dos bolas (a dos pasos). Entonces nos piden P = P*P
Elevamos la matriz P al cuadrado:

c) Nuevamente iniciamos en E0 y nos preguntan cual es la
probabilidad de pasar al estado [0 1 1] (E3) despus de haber pintado
tres bolas (a tres pasos). Entonces nos piden P = P*P*P.
Elevamos la matriz P al cubo y nos queda:
Ejemplo: Compaa de seguros
Usando diagramas de rbol
probabilidad
Xo X1 X2 X3
probabilidad
EO= 1 2
N N
E1= 3 4
S S
E2= 3 4
S N
E3= 2 3
N S
EO= 2 3
N N E2= 4 5
S N
E1= 4 5
S S
EO= 4 5
N N
E3= 4 5
N S
0.03
Encontrando las probabilidades de estado estable por medio de ecuaciones
SOLUCIN
3. Probabilidad de transicin de n pasos
Si una cadena de Markov se encuentra en el estado i en el tiempo
m, la probabilidad que n perodos despus la cadena de Markov
est en el estado j, es:

p
ij
(n) = P(X
m+n
= j / X
m
=i) = P(X
n
= j / X
0
=i)
Donde p
ij
(1) = p
ij
1 2 3 ... S
1 P
11
(n) P
12
(n) P
13
(n) ... P
1s
(n)
2 P
21
(n) P
22
(n) P
23
(n) ... P
2s
(n)
P(n) = 3 P
31
(n) P
32
(n) P
33
(n) ... P
3s
(n)
... ... ... ... ... ...
S P
s1
(n) P
s2
(n) P
s3
(n) ... P
ss
(n)
Las p
ij
(n) se pueden representar en la matriz P(n):
Se puede demostrar que p
ij
(n) es el elemento ij-simo de la matriz
P
n
. Entonces:
p
ij
(n) =
k=1,s
p
ik
(v)p
kj
(n-v)

Para n=0, p
ij
(0) = P(X
0
= j / X
0
= i) y por lo tanto:
p
ij
(0) = 1, si i = j
p
ij
(0) = 0, si i = j

Probabilidad de Transicin de 2 pasos
P
ij
(2) =
k
P
ik
* P
kj
i
j
k
P
ij
(2) = P( X
m+2
=j / X
m
=i )
Probabilidad de Transicin de 3 pasos

P
ij
(3) =
k

l
( P
ik
* P
kl
* P
lj
)
i
j
k
P
ij
(3) = P( X
m+3
=j / X
m
=i )
l
Probabilidad de Transicin de n pasos

i
j
k l

En general,
P( X
n+m
=j / X
m
=i ) = P
ij
(n)
P (n) = P*P*P*.....*P (n veces)
Ejemplo
Una fotocopiadora de oficina tiene uno de dos
posibles comportamientos: FUNCIONA o NO
FUNCIONA

Si funciona durante un da, la probabilidad de que al da siguiente
siga funcionando es de un 75%. Si no funciona durante un da
cualquiera, hay un 75% de probabilidad de que tampoco funcione al
da siguiente.

a)Si actualmente funciona, Cul es la probabilidad de que est
funcionando dentro de dos das?
b) Si actualmente no funciona, Cul es la probabilidad que no est
funcionando dentro de tres das?
Ejemplo - solucin
Estado Descripcin
1 FUNCIONA
2 NO FUNCIONA
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75
0.75
Ejemplo - solucin
1 2
P = 1 0.75 0.25
2 0.25 0.75
1 2
0.25
0.25
0.75
0.75
a) b)
1 2
P
2
= 1 0.625 0.325
2 0.325 0.625
1 2
P
3
= 1 0.567 0.433
2 0.433 0.567
4. Clasificacin de estados de una
Cadena de Markov
Definicin:

Dados dos estados i y j, la trayectoria de i a j es la sucesin de
transiciones que comienza en i y termina en j, de modo que cada
transicin tenga probabilidad positiva de presentarse.
i
j
Cadena de Markov
Definicin:
Un estado j es alcanzable desde el estado i, si hay una trayectoria
que vaya de i a j.
i
j
i
k
j
j es alcanzable por i.
Cadena de Markov
Definicin:
Dos estados, i y j se comunican, si el estado j es alcanzable
desde el estado i, y adems el estado i es alcanzable desde el
estado j.
i
j
i
j
k
i se comunica con j
Cadena de Markov
Definicin:
Un conjunto de estados S en una Cadena de Markov es conjunto
cerrado, si ningn estado fuera de S es alcanzable desde un
estado S.
i
j
l
k
Cadena de Markov
Definicin:
Un estado i, es estado absorbente si pii = 1
i
P
ii
= 1
Cadena de Markov
Definicin:
Un estado i es estado transitorio si hay un estado j alcanzable
desde i, pero el estado i no es alcanzable desde el estado j.
i
j
i
j
k
i es transitorio
Definicin:
Si un estado no es transitorio, se llama estado recurrente.
Cadena de Markov
i j
i
j
k
i es recurrente
Definicin:
Un estado i es peridico con perodo k > 1, si k es el menor
nmero tal que todas las trayectorias que parten del estado i y
regresan al estado i tienen una longitud mltiplo de k.
4. Clasificacin de estados de una Cadena de Markov
i
l
j
estado i es peridico
Si k>1, entonces diremos que i es peridico de periodo j. El
estado j ser peridico de periodo k>1 si existen caminos que
llevan desde j hasta i pero todos tienen longitud mk, con m>0
Periodicidad
Ejemplo: En la siguiente CM todos los estados
son peridicos de periodo k=2:

Ejemplo: En la siguiente CM todos los estados son
peridicos de periodo k=3:
Periodicidad
Ejemplo de CM peridica de periodo k=3:
A
1

A
2

A
3

Definicin:
Si un estado recurrente no es peridico, se llama aperidico.
Cadena de Markov
i
j
k
i
j
k
i es aperidico
Definicin:
Si todos los estados de una cadena de Markov son recurrentes,
aperidicos y se comunican entre s, se dice que la cadena es
ergdica.
Cadena de Markov
Ejemplo
Evaluar la siguiente cadena de Markov
1 2 3
1 0.33 0.67 0
P = 2 0.50 0 0.50
3 0 0.25 0.75
Estados recurrentes
1 2
3
0.67
0.5
0.5
0.25
0.75
La cadena de Markov es
ergdica.
Estados aperidicos
Se comunican entre s.

Cadenas ergdicas
Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:

|
|
|
|
|
|
.
|
\
|
=
3
1
3
1
3
1
4
1
2
1
4
1
3
2
3
1
4
3
4
1
2
1
2
1
0 0
0 0
0 0 0
0 0 0
0 0 0
Q
Ejemplos
d
b c
e
a
1/4
1/4
3/4 1/2
1/4
1/2
1/2
1/3
1/3
1/3
2/3
1/3
Clasificar los estados
Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno
Ejemplo: Analizar la siguiente CM, con
S={a, b, c, d, e, f, g}:
|
|
|
|
|
|
|
|
|
.
|
\
|
=
1 0 0 0 0 0 0
0 3 , 0 0 7 , 0 0 0 0
0 0 0 0 1 0 0
0 1 0 0 0 0 0
0 0 2 , 0 0 0 0 8 , 0
0 4 , 0 4 , 0 0 0 2 , 0 0
0 0 0 0 1 0 0
Q
Ejemplos
a
e
c
b
f
d
g
1
0,8
1
0,2
0,4
0,2
0,4
0,7
0,3
1
1
Clasificar los estados
Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g
Ejemplos
La siguiente CM es comunicativa,
aperidica, recurrente y ergdica.
Ejemplos
La siguiente CM es comunicativa,
aperidica, recurrente y ergdica
Ejemplos
La siguiente CM es comunicativa, recurrente
y peridica de periodo 3. No es ergdica.
Participaciones de mercado
Una investigacin de mercados sobre el consumo de 3 marcas de cerveza: A, B y C
por 1000 personas dar al inicio (n=0) y despus de un periodo (n=1) los siguientes
resultados:
5. Probabilidades de estado estable
a. El porcentaje de los clientes que consumen cada marca de cerveza
despus de un periodo.
b. El porcentaje de los clientes que consumen cada marca de cerveza
despus de 2 periodos.
c. A la larga cmo se reparte el mercado de bebedores de cerveza entre las
tres marcas?
DURANTE UN PERIODO (n = 1)
INICIO (n = 0) A B C
CLIEN PROB CLIEN PROB CLIEN PROB CLIEN PROB
A 200 0.2 140 0.7 40 0.2 20 0.1
B 300 0.3 30 0.1 150 0.5 120 0.4
C 500 0.5 120 0.24 80 0.16 300 0.6
TOTAL 1000 1 290 0.29 270 0.27 440 0.44
[0,2 0,3 0,5]
[0,29 0,27 0,44]
[0,29 0,27 0,44] [0,34 0,26 0,40]
Despus de un periodo
Despus de dos periodos
c. A Largo periodo
Por lo tanto: t = t.T
El sistema de ecuaciones sera:
t
A
+ t
B
+ t
C
= 1
0,7t
A
+ 0,1t
B
+ 0,24t
C
= t
A

0,2t
A
+ 0,5t
B
+ 0,16t
C
= t
B

0,1t
A
+ 0,4t
B
+ 0,6t
C
= t
C

Este sistema es redundante y, para resolverlo,
eliminamos una de las tres ltimas ecuaciones
(por ejemplo la ltima).
t
A
+ t
B
+ t
C
= 1
-0,3t
A
+ 0,1t
B
+ 0,24t
C
= 0
0,2t
A
- 0,5t
B
+ 0,16t
C
= 0
y la solucin es: t = [ 0,376 0,265 0,359]
ANLISIS ECONOMICO: Si la marca A, por cada cliente ganado aumenta
sus ventas en $40 por cuntos perodos se debe realizar la campaa
publicitaria, sabiendo que esta cuesta $500 por periodo?
Para dar respuesta a esta inquietud realizamos el siguiente cuadro:

En consecuencia se deber realizar la campaa
durante 3 semanas, luego cambiar.
5. Probabilidades de estado estable en n pasos
Teorema:
Sea P la matriz de transicin de una cadena ergdica de
s estados.
Existe un vector t = [t
1
t
2
.... t
s
] tal que:
1 2 3 ... S
1 t
1
t
2
t
3
... t
s
2 t
1
t
2
t
3
... t
s
lim P
n
= 3 t
1
t
2
t
3
... t
s
n ... ... ... ... ... ...
S t
1
t
2
t
3
... t
s
Teorema:

1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
El vector t = [t
1
t
2
.... t
s
], se llama distribucin de estado estable o
tambin distribucin de equilibrio para la cadena de Markov.
Teorema:

1 2 3 ... S
1
t
1
t
2
t
3
...
t
s
2
t
1
t
2
t
3
...
t
s
lim P
n
= 3
t
1
t
2
t
3
...
t
s
n ... ... ... ... ... ...
S
t
1
t
2
t
3
...
t
s
Las t
j
satisfacen el siguiente sistema de ecuaciones:
t
j
=

E
k=1,s
(t
k
p
kj
) para j = 1, 2, ....s (t

=

t

P)
E
k=1,s
t
k
= 1 (Et = 1)
Ejemplo
Las compras de los consumidores estn influidas por la
publicidad, el precio y muchos otros factores. Un factor
clave en las compras de los consumidores es la ltima
compra.
Segn datos recolectados en el cafetn de ingeniera industrial (2
semanas):
Si alguien compra una bebida Coca-Cola, y se le agrada el sabor,
quedar dispuesto a comprar otra Coca-Cola (lealtad a la marca).
Coca-Cola es la marca de inters.
Pepsi es su competencia directa.
El 74% de los clientes son leales. La oposicin conserva el 62% de sus
clientes.
Que porcentaje del mercado esperar recibir
Coca-Cola en el largo plazo?
Ejemplo - solucin
Estado Descripcin
A Coca-Cola
B Pepsi
A B
P = A
B
0.74 0.26
0.38 0.62
Hay que resolver el
siguiente sistema:
t

=

t

P
Et

= 1

Donde: t = [t
A
t
B
]
[t
A
t
B
] =

[t
A
t
B
]

P
= [0.74t
A
+ 0.38t
B
0.26t
A
+ 0.62t
B
]
t
A
=

0.74t
A
+ 0.38t
B
t
B
=

0.26t
A
+ 0.62t
B

t
A
+ t
B

= 1

De donde: t
A
=

0.59375
t
B
=

0.40625
Coca-Cola esperar recibir el 59.375% del mercado en el largo
plazo
Ejemplo solucin (elevando P
n
para estabilizarlo en el largo plazo)
A B
P = A
B
0.74
0.26
0.38 0.62
A B
P
2
= A
B
0.6464 0.3536
0.5168 0.4832
A B
P
3
= A
B
0.61270 0.38730
0.56605 0.43395
A B
P
4
= A
B
0.60057 0.39943
0.58378 0.41622
A B
P
5
= A
B
0.59621 0.40379
0.59016 0.40984
A B
P
6
= A
B
0.59463 0.40537
0.59246 0.40754
n
A B
P
9
= A
B
0.59379 0.40621
0.59369 0.40631
A B
P
10
= A
B
0.59376 0.40624
0.59373 0.40627
A B
P
11
= A
B
0.59376 0.40624
0.59374 0.40624
A B
P
12
= A
B
0.59375 0.40625
0.59375 0.40625
A B
P
7
= A
B
0.59470 0.40593
0.59328 0.40672
A B
P
8
= A
B
0.59386 0.40614
0.59358 0.40642
n
A B
P
13
= A
B
0.59375 0.40625
0.59375 0.40625
A B
P
14
= A
B
0.59375 0.40625
0.59375 0.40625
P(13) = P(14) = P(15) = ...... = P(n)
t
A
=

0.59375

t
B
=

0.40625
Podemos observar que las probabilidades se han
estabilizado, es decir, cada fila poseen valores iguales.
6. Tiempos promedio de primera pasada
En una cadena ergdica, sea
ij
el nmero esperado de
transiciones antes de alcanzar por primera vez el estado j,
dado que estamos actualmente en el estado i.
ij
se llama
tiempo promedio de primera pasada del estado i al estado j.
Cuando i = j,
ij
se llama tiempo promedio de recurrencia:

ij
= 1/t
i

Cuando i j, se tiene que resolver el siguiente sistema de
ecuaciones:

ij
= 1 + E
k = j
p
ik

kj

6. Tiempos promedio de primera pasada
Una computadora se inspecciona cada hora. Se encuentra
que est trabajando o descompuesta. Si est trabajando, la
probabilidad de que siga trabajando la siguiente hora es
0.87. Si est descompuesta, se repara, lo que puede llevar
ms de una hora. Siempre que la computadora esta
descompuesta, la probabilidad de que siga descompuesta la
siguiente hora es 0.43.

Encontrar las
ij
.
Ejemplo
Ejemplo - solucin
Estado Descripcin
1 FUNCIONA
2 DESCOMPUESTA
1 2
P = 1
2
0.87 0.13
0.57 0.43
Las ecuaciones para hallar los t

son:
t
1
=

0.87t
1
+ 0.57t
2
t
2
=

0.13t
1
+ 0.43t
2

t
1
+ t
2
= 1

De donde: t
1
=

57/70 t
2
=

13/70

Por tanto:
11
= 1/t
1
= 1.23 horas

22
= 1/t
2
= 5.38 horas
Hay que resolver el
siguiente sistema:
ij
= 1 + E
k = j
p
ik

kj

12
= 1 + p
11

12
= 1 + 0.87
12
21
= 1 + p
22

21

= 1 + 0.43
21

Donde:
12
= 7.69 horas

21
=1.75 horas
7. Cadenas de Markov con recompensa
El costo promedio a largo plazo, por unidad de tiempo est
dado por:

g =

E
j=1,s
(t
j
C
j
)

Donde:
Cj = Inventarios
Nivel de ventas
Mquinas malogradas, etc.
8. Cadenas de Markov absorbentes
Una CM es absorbente, si tiene por lo menos un estado
absorbente, y es posible ir de cada estado no
absorbente hasta por lo menos un estado absorbente.

En una CM absorbente se puede calcular:
Nmero esperado de veces que se estar en un estado
transitorio antes de llegar a un estado absorbente.
Probabilidad de terminar en estados absorbentes.
Se requiere una matriz de transicin ordenada como la que se muestra a
continuacin:
s-m columnas m columnas
s-m filas Q R
m filas 0 I
Se puede entonces determinar:
Nmero esperado de veces en un estado antes de la absorcin:
(I Q)
-1
Probabilidad de terminar en cada uno de los estados absorbentes:
(I Q)
-1
R
Transitorios
Absorbentes
Transitorios
Absorbentes
As tenemos:
I es una matriz identidad de orden m x m que representa las
probabilidades de permanecer dentro de un estado absorbente.

Q es una matriz de orden (s-m) x (s-m) que representa las
probabilidades de ir de un estado transitorio hasta otro estado
transitorio.

R es una matriz de orden (s-m) x m que representa las
probabilidades de ir de un estado transitorio hasta un estado
absorbente.

O es una matriz nula de orden m x (s-m) que representa las
probabilidades de ir de un estado absorbente hasta un estado
transitorio.

En conclusin:
1 2 3 4 5
1 p
11
p
12
p
13
p
14
p
15
2 p
21
p
22
p
23
p
24
p
25
P = 3 p
31
p
32
p
33
p
34
p
35
4 0 0 0 1 0
5 0

0

0

0 1

Q
R
O I
Se definen 4 matrices {Q, R, O, I}
89
Planificacin de Personal

La empresa de abogados Los Justicieros emplea a tres categoras de
abogados:

principiantes, con experiencia y socios. Durante un ao determinado
hay una probabilidad 15% que un abogado principiante sea ascendido
a abogado con experiencia y una probabilidad 5% que deje la empresa
no siendo socio. Tambin hay una probabilidad 20% que un abogado
con experiencia sea ascendido a socio y una probabilidad 10% que
deje la empresa no siendo socio. Tambin hay una probabilidad 5% que
un socio deje la empresa. La empresa nunca degrada a un abogado.
Surgen muchas preguntas interesantes que la empresa podra
contestar. Por ejemplo:
1. Cul es la duracin promedio de un abogado joven recin
contratado en la empresa?.
2. Cul es la probabilidad de que un abogado joven llegue a ser
socio?.
3. Cul es la duracin promedio que pasa un socio en el bufete? entre
muchas otras.
90
Modelaremos la trayectoria de un abogado en Los Justicieros como
cadena absorbente con la siguiente matriz de probabilidad de transicin:
S hacemos la siguiente notacin:
t
1
= Principiante,
t
2
= Experimentado,
t
3
= Socio,
a
1
= Sale sin ser socio y
a
2
= Sale siendo socio.
Q
R
O
I
91
Para dar respuesta a las preguntas formuladas anteriormente, es necesario
obtener las matrices: (I-Q)
-1
y (I-Q)
-1
R, la informacin contenida en estas
matrices debidamente interpretadas, permite tomar decisiones.
Entonces:
Interpretacin: (1) Si en este momento
estamos en el estado transitorio t
i
, el
nmero esperado de periodos que pasarn
a un estado transitorio t
j
antes de la
absorcin es el ij-simo elemento de la
matriz (I-Q)
-1
. (2) Si en este momento
estamos es un estado transitorio t
i
, la
probabilidad de ser absorbidos finalmente
por un estado absorbente a
j
es el ij-simo
elemento de la matriz (I-Q)
-1
R.
1. Matriz Fundamental
2. Matriz Probabilidades
92
Por lo tanto:
1. El tiempo esperado que un abogado principiante permanece en la
empresa = (duracin esperada del abogado principiante en la empresa
como principiante) + (tiempo esperado que el abogado principiante
permanece en la empresa como abogado con experiencia) + (tiempo
esperado que el abogado principiante permanece en la empresa como
socio). Entonces
- Tiempo esperado como principiante = (I-Q)
-1
11
=5
- Tiempo esperado como con experiencia = (I-Q)
-1
12
=2,5
- Tiempo esperado como socio = (I-Q)
-1
13
=10
Por lo tanto, el tiempo total esperado que un abogado principiante
permanece en la empresa es 5 + 2,5 + 10 = 17,5 aos.
2. La probabilidad de que un abogado principiante recin ingresado llegue a
ser socio es tan slo la probabilidad de que salga de la empresa siendo
socio. Como t
1
= Principiante y a
2
= Sale siendo socio, la respuesta es el
elemento 12 de (I-Q)
-1
R = 50.
3. Como t
3
= Socio, buscamos el nmero esperado de aos que pasa en t
3
,
dado que comenzamos en t
3
. Este es justamente el elemento 33 de (I-Q)
-1
=
20 aos. Es razonable, por que durante cada ao hay una probabilidad de
0,05 (1 en 20) que un socio deje el bufete y, por lo tanto, debe tardar un
promedio de 20 aos en dejar la empresa.
93
MODELOS DE PLANEACION DE PERSONAL
Regresemos al bufete de abogados Los
Justicieros (Ejemplo anterior) Supongamos que
la meta a largo plazo de ese bufete es tener 50
abogados principiantes, 30 con experiencia y 10
socios. Para alcanzar este censo de estado
estable, cuntos abogados de cada tipo deben
contratar cada ao?.
H
1
= nmero de abogados principiantes a contratar
H
2
= nmero de abogados con experiencia a contratar
H
3
= nmero de abogados asociados a contratar
0.7
0.8
0.95
a1
a2
t3
t1
t2
Entonces:
Nmero que ingresa al grupo i = nmero que sale del grupo i
H
1
= (0,15 + 0,05)50 (abogados principiantes)
(0,15)50 + H
2
= (0,20 + 0,10)30 (abogados con experiencia)
(0,20)30 + H
3
= (0,05)10 (abogados asociados)
La solucin nica
de este sistema de
ecuaciones es
H
1
=10, H
2
=1,5,
H
3
=-5,5. Estos
significa que para
mantener el censo
deseado de
estado estable,
Los Justicieros
deben despedir
5,5 socios cada
ao.
Ejemplo
A travs del anlisis de cuentas por cobrar pasadas, un contralor
proporciona la siguiente informacin:
El balance de cuentas por cobrar indica que se tiene $60000 en cuentas
por cobrar con retraso entre 0 y 30 das y $40000 en cuentas por cobrar
con retraso entre 31 y 90 das.
0-30 das 31-90 das pagadas Morosas
0-30 das 0.4 0.1 0.5 0
31-90 das 0.1 0.2 0.6 0.1
Pagadas 0 0 1 0
morosas 0 0 0 1
Cul debe ser la concesin?
Ejemplo - solucin
Estado Descripcin
1 CxC con retraso entre 0 y 30 das
2 CxC con retraso entre 31 y 90 das
3 Cuentas pagadas
4 Cuentas morosas
La concesin ser:
60000(0.021) + 40000(0.128)= $6380
1 2 3 4
1 0.4 0.1 0.5 0
P = 2 0.1 0.2 0.6 0.1
3 0 0 1 0
4 0 0 0 1
Paso = 1 da
3 4
R = 1 0.5 0
2 0.6 0.1
Q R
O
I
1 2
Q = 1 0.4 0.1
2 0.1 0.2
1 2
(I - Q)
-1
= 1 1.702 0.213
2 0.213 1.277
3 4
(I - Q)
-1
R= 1 0.979 0.021
2 0.872 0.128
9. Ejercicios Propuestos
Problema 1
Movimiento de agua
Sea X
i
= cantidad de agua que fluye a una represa en el perodo i.
X
i
tiene la siguiente funcin de densidad:
X
i
1 2 3 4 5
F(X
i
) 1/8 1/4 1/4 1/4 1/8
Para todo i
independientes.
Capacidad de la represa: 5 unidades.
Si la represa se llena, el flujo siguiente se pierde.
Al final de un perodo se dejan escapar 3 unidades de agua (si estn
disponibles), cc se deja escapar toda el agua.
Sea: Y
t
= cantidad de agua en la represa al final del perodo t, luego de dejar
escapar el agua.
Problema 1
Movimiento de agua
Encontrar la matriz de probabilidades de transicin.
Clasificar los estados.
Calcular las probabilidades de estado estable.
Cul es el valor esperado de agua que se pierde a la larga?
Si en un perodo dado no hay 3 unidades de agua, sta se debe comprar
en otra parte. Cul es el valor esperado de este faltante por perodo?
Problema 2
Venta de artesanas
Produccin: 1 tapiz al da (para vender al da siguiente)
II = 1, entonces: P(V=1) = 1/3
II = 2, entonces: P(V>1) = , P(V=2) =
II = 3, entonces: P(V>1) = 2/3, P(V>2) = 1/3, P(V=3) = 1/5
Si II =3, el artesano no produce, slo vende.
Hallar:
La matriz de transicin asociada al proceso
La fraccin promedio de tardes en que el artesano tendr slo el tapiz
producido durante ese da y ningn otro
Fraccin de tardes en que el artesano no produce
Nivel promedio de inventario al final de un da
Problema 3
Mercado Compartido
El mercado de un producto lo comparten 4 marcas. La tabla siguiente
nos muestra la distribucin actual del mercado compartido y el
porcentaje de personas que cambian de marca luego de compras
consecutivas:
A la
marca 1
A la
marca 2
A la
marca 3
A la
marca 4
Mercado
compartido
De la marca 1 60 8 20 12 40%
De la marca 2 15 40 25 20 20%
De la marca 3 25 16 50 9 30%
De la marca 4 28 12 20 40 10%
Problema 3
Mercado Compartido
Si en promedio se realiza una compra cada 2 meses, realizar una
prediccin del mercado luego de 6 meses.
Cul es la participacin promedio a largo plazo del mercado para
cada marca si los patrones actuales de compra no se alteran?
Problema 4
Taller de Produccin
Un taller opera dos mquinas idnticas
Cada mquina requiere de la atencin del operador en momentos
aleatorios.
La probabilidad de que la mquina requiera servicio en un perodo de 5
minutos es p = 0.4
El operador es capaz de dar servicio a una mquina en 5 minutos.
Una mquina requiere servicio siempre al inicio de un intervalo de 5
minutos.
Problema 5
Seis 6 bolas en dos urnas
Se tienen tres bolas blancas y tres bolas negras en dos urnas (tres bolas
en cada urna).
El sistema est en el estado i, i = 0,1,2,3, si la primera urna contiene i
bolas blancas.
En cada paso se saca una bola de cada urna y se intercambian (de
urnas).
Sea X
n
el estado del sistema despus del n-simo paso:
Por qu {X
n
, n = 0, 1, ....} es una CM?
Calcular la matriz de transicin.
Se tienen beneficios de 10, 20, 30 y 40 dlares por estar en los estados
0, 1, 2 y 3 respectivamente. Cul ser el beneficio esperado a largo
plazo?
Problema 6
Vigilante nocturno
Un vigilante nocturno recorre el museo cuya planta se dibuja a
continuacin, de acuerdo a estas reglas:
Desde la pieza D, va a la pieza C, y luego al patio P.
Desde el patio, con igual probabilidad se dirige a la pieza B, o a la
pieza C (continuando luego a D).
Desde la pieza B, vuelve al patio.
Se solicita lo siguiente:
Hallar la Matriz de Transicin.
Analizar la matriz para determinar la
posibilidad de la existencia de estados
estables.
Calcular la probabilidad de encontrarse en
cada estado despus de dar 33, 34, 35 y 36
pasos. Comente.
Espacio de estados de un
proceso:
El conjunto de todos
los posibles estados
que un proceso puede
ocupar en los distintos
movimientos se llama
espacio de estados. Un
espacio de estados
puede ser
finito,
infinito
Usaremos a
1
,a
2
,.....a
n

para representar los (n)
estados de un estado
a
i
------> a
j
para
representar que el
proceso se mueve del
estado (i) al estado (j).
Probabilidades de transicin de un solo paso
P(a
i
-----> a
j
) es la
probabilidad condicional para
que el proceso que se
encuentra en el estado a
i
se
mueva al estado a
j
en un
slo paso, y se designa por P
ij

. Esto recibe el nombre de
probabilidad de transicin de
un slo paso. Si todas estas
probabilidades son conocidas
para todos los pares de
estados se ordenan en una
matriz cuadrada que recibe
el nombre de matriz de
transicin.
P = [p
ij
]
Ejemplo:
Sea una persona sentada en el
asiento de en medio de una fila de
cinco asientos [marcados con
A,B,C,D,E] de izquierda a
derecha. Esta persona se mueve
por seis veces de una silla a la
otra, estando sus movimientos
controlados por una moneda que
se tira al aire.
a) Si no est al final de una fila
de asientos se mueve hacia la
derecha si sale CARA y hacia la
izquierda si sale CRUZ.
b) Si est al inicio o al final se
quedar donde est salga lo que
salga.
Espacio de Estados: [ A, B, C, D, E ]

P[A ---> A] = P[E ---> E] = 1
ya que se queda donde est.
P[B ---> A] = 1/2 puesto
que la probabilidad de que
salga CR es 1/2.
P[C ---> C] = 0 ya que
aqu no se puede quedar.
La p
ij
= 1
Las matrices que tienen
elementos no negativos y a
suma de los elementos de
sus filas valen la unidad
se llaman matrices
estocsticas
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0 1/2
E 0 0 0 0 1
Vector probabilidad inicial
Existe un vector
probabilidad inicial tal
que:
a = (a
1
, a
2
,....a
n
)
en la que los
elementos a
i
son las
probabilidades de
que el estado inicial
del proceso sea S
i
.

En el ejemplo anterior
El vector probabilidad
inicial sera
a = (0, 0,1, 0, 0)
puesto que el proceso
comienza en la silla C.

Propiedad de Markov
Considerar una secuencia S
i
,S
j
,S
k
de
un experimento cuyo vector y matriz
inicial son conocidos. Entonces la
secuencia de probabilidad ser:
P( Si,Sj,Sk ) = P( Si) P( Si->Sj) P( Sj->Sk)
Podramos ampliar la regla para
cubrir secuencias de cualquier nmero
de pasos. A los procesos a los
cuales podemos aplicar esta regla se
dicen que tienen la propiedad de
Markov.
Para tales procesos la
probabilidad de la siguiente
direccin depende del
estado presente del proceso
y no depende del estado
precedente.
Ejemplo:
En el problema anterior
calcular la probabilidad de
la secuencia.
P[C,D,C,B,A,A,A] = P[C]
P[C -->D] P[D -->C]
P[C -->B]. P[B -->A]
P[A -->A] P[A -->A]
=1*1/2*1/2*1/2*1/2*1*1 =1/16
Cadena de Markov finita y
estacionara.
Una cadena de Markov estacionara
y finita queda completamente definida
cuando se conoce:
a) Espacio de estados finito.
b) Una matriz [Pij] de probabilidades de
transicin de un slo paso estacionara.
c) El vector de probabilidad inicial.
Cadena de transicin de n pasos
El diagrama es un grfico
de una secuencia de una
muestra de una cadena de
Markov de cinco estados
A ----> E .En los doce
pasos se recorren todos
los estados.
Evidentemente el proceso
no puede quedarse nunca
atrapado. A los estados
que pueden atrapar un
proceso se les llaman
estados absorbentes.
Probabilidades de transicin superiores
La probabilidad de que el
proceso pase del estado S
i
al
S
j
en (n) pasos se llama
probabilidad de transicin en
n pasos y se simboliza por :
P
(n)
ij

La matriz formada por
todos los P
(n)
ij
es una
matriz cuadrada y se
denomina matriz de
transicin de (n) pasos.
TEOREMA:
Si P es la matriz de
transicin de un paso en una
cadena finita de Markov,
entonces P
n
es la matriz de
transicin de (n) pasos.
La probabilidad P(n)
ij
es la probabilidad de pasar
de S
i
a S
j
en dos pasos.
Suponiendo (n) estados en S.
Existen n caminos mutuamente excluyentes
S
i
---->S
1
---->S
j
S
i
---->S
2
---->S
j
.......
Las probabilidades de esos caminos son:
p
i1
p
1j
p
i2
p
2j
........
Por lo que por la regla de la cadena la probabilidad
del suceso S
i
---->S
j
en dos pasos ser la suma de
estas dos probabilidades.
As
P
ij
(n
) = Pir Prj
Pero por definicin de la multiplicacin de matrices,
la sumatoria es el elemento ij-simo de la matriz
P
2
. Luego
P
2
= P
ij
Por induccin se puede demostrar que
P
n
= P
ij
(n
)
A B C D E
A 1 0 0 0 0
B 1/2 1/4 0 1/4 0
C 1/4 0 1/2 0 1/4
D 0 1/4 0 1/4 1/2
E 0 0 0 0 1
A B C D E
A 1 0 0 0 0
B 1/2 0 1/2 0 0
C 0 1/2 0 1/2 0
D 0 0 1/2 0 1/2
E 0 0 0 0 1
MATRIZ DE UN SOLO PASO
MATRIZ DE DOS PASOS
CADENAS DE MARKOV ABSORBENTES
Estados ergdicos:

Sea E un subconjunto de S y E' el
complementario de E en S. Si cada estado de
E se puede alcanzar desde cualquier otro
estado de E, pero ningn estado de E' se
puede alcanzar desde E, entonces E recibe
el nombre de conjunto ergdico. Un estado
ergdico es un elemento de un conjunto
ergdico.
CADENAS DE MARKOV
ABSORBENTES
Son cadenas en donde
todos los estados
transitorios son absorbentes.
CADENAS ERGODICAS
Cadena que est formada
por un conjunto ergdico se
llama cadena ergdica. Se
distinguen dos tipos de
cadenas ergdicas:
a) Cadena ergdica cclica:
en ella slo se puede entrar
en un estado a intervalos
peridicos fijos.
b) Cadena ergdica
regular: cadena ergdica
no-cclica.
EJEMPLO DE CADENA REGULAR
S
1
S
2
S
1
1/2 1/2
S
2
1/2 1/2
Est claro que el sistema
completo nunca estar
completamente "atrapado" en un
estado, as que la cadena es
regular.
S
1

S
2

S
3

S
1

0 3/4 1/4
S
2

1/2 0 1/2
S
3

1/4 3/4 0
Siempre es posible moverse de
un estado a cualquier otro, en
cualquier paso siendo los
movimientos no-cclicos. As la
cadena y la matriz son regulares.
EJEMPLO DE CADENA NO REGULAR
S
1

S
2

S
3

S
1

1/4 1/4
S
2

0 1/3 1/3
S
3

0 1/4 1/4
Despus de n pasos la cadena entrar
(con probabilidad 1 cuando n tiende a
) en S
2
o en S
3
. Una vez situada en
uno de estos estados nunca podr pasar a
S
1
. Por lo tanto S
1
es un estado
transitorio y as la cadena es no regular y
por lo tanto no-ergdica, aunque el
conjunto [ S
2
, S
3
] sea un conjunto
ergdico.
EJEMPLO DE CADENA CICLICA
S
1

S
2

S
3

S
1

0 0 1
S
2

1 0 0
S
3

0 1 0
La cadena se mueve con perodo
3 a travs de los conjunto
cclicos [ S
1
] [ S
2
] y [ S
3
]. Es por
lo tanto una cadena cclica
ergdica y no una cadena regular.
Clasificacin de estados en una cadena de Markov
Se dice que el estado i es accesible
desde el estado j si la probabilidad de
transicin en n pasos de j a i es positiva,
p
(n)
ij
> 0, para algn nmero natural n
Si el estado i es accesible desde el estado
j y viceversa se dice que los estados
estn comunicados
Clasificacin de estados de una cadena de Markov
Estado transitorio
Es aqul tal que despus de que el proceso ha entrado ah, nunca
regresar
El estado i es transitorio si y slo si existe un estado j que es
accesible desde i, pero donde el estado i no es accesible desde j
Al no haber acceso al estado i desde j, existe una probabilidad
positiva (incluso igual a 1) de que el proceso se mueva al estado j
y nunca regrese al estado i
Estado recurrente
Es un estado tal que una vez que el proceso ha estado en l,
existe la seguridad de que volver
Un estado es recurrente si y slo si no es transitorio
Estado absorbente
Es un estado tal que despus de haber entrado all, el sistema ya
nunca saldr
Para que un estado i sea absorbente se requiere que p
ii
= 1
Estado transitorio
En la siguiente matriz de
transicin, el estado 2 es
transitorio, ya que de l
es posible pasar
directamente al estado 0,
pero no de regreso
Por tanto existe la
posibilidad de que el
sistema pase del estado
2 al 0 y no regrese
nuevamente
0 1 2 3
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado transitorio
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
El estado 2 es transitorio. Notamos que tiene una
conexin directa al estado 0, pero no de regreso
Estado recurrente
transicin, todos los
estados, excepto el 2,
son recurrentes
Esto es porque desde los
estados 0,1 y 3 se puede
acceder a cualquiera otro
estado, y a su vez, los
estados 0,1 y 3 son
accesibles desde
cualquier otro estado
0 1 2 3
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado recurrente
0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
Los estados 1, 2 y 3 son recurrentes. Notamos que cada estado que
tiene una conexin directa desde ellos, tambin la tiene hacia ellos
Las flechas
coloreadas por
pares indican
las conexiones
desde y hacia
el estado 1
Estado absorbente
transicin, el estado 0 y
el estado 2 son
absorbentes, ya que una
vez entrando en alguno
de ellos, el sistema no
vuelve a salir
Esto ocurre porque la
probabilidad de pasar al
estado 0 dado que se
encuentra en el estado 0
es igual a 1
Anlogamente ocurre
para el estado 2
0 1 2 3
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3 E
s
t
a
d
o

n
Estado n+1
Estado absorbente
0
2 3
1
1
0.10
0.10
1
0.25
0.40
0.5
0.30
0.15
0.30
0.20
Los estados 0 y 2 son absorbentes. Notamos que una vez
que el sistema llega a alguno de ellos, no vuelve a salir
Ejemplo: La ruina del jugador
Xo es el capital inicial del jugador igual a 2 soles
En cada jugada gana o pierde 1 sol con probabilidad de p o 1-p respectivamente
El juego termina cuando alcanza su meta que es tener 4 soles o pierde todo
ENTNCES:
Proceso Estocstico es la descripcin de
la relacin entre las variables aleatorias
Xo, X1, X2,, Xt (donde t es el nmero de jugadas)
Si Xt fuera el precio de una accin en el
periodo t, entonces se trata de un
PROCESO ESTOCSTICO CONTNUO.

Cadenas de Markov se basa en 2
conceptos: Estado y Transicin.

El sistema ocupa un estado i con probabilidad pi y despus
de un periodo procede a un transicin para el estado j con
una probabilidad de transicin tij

Entnces:
Donde N es el nmero de estados del sistema
Matriz de Transicin de estados T
Por lo tanto, una secuencia de intentos de un experimento es
una Cadena de Markov Si:
a) El resultado del m-simo intento depende slo del
resultado del m-1 simo intento
b) La probabilidad tij de pasar del estado i al estado j en los
intentos sucesivos del experimento permanece constante.
Vector de probabilidad de distribucin de estados al inicio
Vector de probabilidad de distribucin de estados
despus de un periodo (jugada)
Vector de probabilidad de
distribucin de estados despus de
2 periodos (jugadas)
Vector de probabilidad de distribucin
de estados despus de 3 periodos
(jugadas)
Vector de probabilidad de distribucin
de estados despus de n periodos
(jugadas)
Vector de distribucin de estado estable (a la larga)

Presentación Cadenas de Markov

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Presentación Cadenas de Markov

Uploaded by

Copyright:

Available Formats

CADENAS DE MARKOV

1. Definicin de procesos estocsticos

You might also like