Professional Documents
Culture Documents
Cadenas de Markov
UNI-NORTE
CARRERAS ING. DE SISTEMAS E
INDUSTRIAL
I semestre 2008
Maestro
Ing. Julio Rito Vargas Avils.
Sumario
Procesos estocsticos
Concepto de cadena de Markov
Ecuaciones de Chapman-Kolmogorov
Clasificacin de estados
Cadenas absorbentes
Distribucin estacionaria
Procesos estocsticos
Procesos estocsticos
Un sistema informtico complejo se
caracteriza por demandas de carcter
aleatorio y por ser dinmico
Necesitamos una herramienta que modele
procesos aleatorios en el tiempo, y para ello
usaremos los procesos estocsticos
Un proceso estocstico es una familia de
variables aleatorias parametrizadas por el
tiempo
Procesos estocsticos
Un proceso estocstico es una familia de
variables aleatorias definida sobre un
espacio de probabilidad. Es decir:
X t : , t T
X t X , t
Procesos estocsticos
Tendremos que X es una funcin de dos
argumentos. Fijado =0, obtenemos
una funcin determinista (no aleatoria):
X , 0 : T
t X t , 0
Procesos estocsticos
Asimismo, fijado t=t0, obtenemos una de
las variables aleatorias de la familia:
X t0 , :
X t0 ,
Procesos estocsticos
El espacio de estados S de un proceso
estocstico es el conjunto de todos los
posibles valores que puede tomar dicho
proceso:
S X t | t T
Ejemplo de proceso
estocstico
Lanzamos una moneda al aire 6 veces. El
jugador gana 1 cada vez que sale cara (C),
y pierde 1 cada vez que sale cruz (F).
X = estado de cuentas del jugador despus
i
de la i-sima jugada
La familia de variables aleatorias {X , X ,,
1 2
X6} constituye un proceso estocstico
Ejemplo de proceso
estocstico
={CCCCCC,CCCCCF,}
card() = 26 = 64
P( )=1/64
T={1,2, 3, 4, 5, 6}
S={6, 5, , 1, 0, 1, 2, , 5, 6}
X ()={1, 1}
1
X ()={2, 0, 2}
2
X ()={3,-1 1, 3}
3
Ejemplo de proceso
estocstico
Sifijo , por ejemplo 0=CCFFFC, obtengo
una secuencia de valores completamente
determinista:
X (0)=1, X2(0)=2, X3(0)=1, X4(0)=0,
1
X5(0)= 1, X6(0)=0
Puedo dibujar con estos valores la trayectoria
del proceso:
Ejemplo de proceso
estocstico
Ejemplo de proceso
estocstico
Sifijo t, por ejemplo t0=3, obtengo una de las
variables aleatorias del proceso:
X3 :
X 3
S discreto S continuo
Sucesin de
variables
T discreto Cadena
aleatorias
continuas
qij
i j
Ejemplo: lnea telefnica
Sea una lnea telefnica de estados
ocupado=1 y desocupado=0. Si en el
instante t est desocupada, en el instante t+1
estar ocupada con probabilidad 0,7 y
desocupada con probabilidad 0,3. Si en el
instante t est desocupada, en el t+1 estar
ocupada con probabilidad 0,1 y desocupada
con probabilidad 0,9.
Ejemplo: lnea telefnica
0,9 0,1
Q
0,3 0,7
0,1
0,9 0 1 0,7
0,3
Ejemplo: buffer de E/S
Supongamos que un buffer de E/S tiene espacio
para M paquetes. En cualquier instante de tiempo
podemos insertar un paquete en el buffer con
probabilidad o bien el buffer puede vaciarse con
probabilidad . Si ambos casos se dan en el mismo
instante, primero se inserta y luego se vaca.
Sea Xt=n de paquetes en el buffer en el instante t.
Suponiendo que las inserciones y vaciados son
independientes entre s e independientes de la
historia pasada, { Xt } es una CM, donde S={0, 1, 2,
, M}
Ejemplo: buffer de E/S
1(1) 1+ 1+ 1+
(1) (1) (1)
0 1 2 3
(1) 1
M
Ejemplo: Lanzamiento de un
dado
Se lanza un dado repetidas veces. Cada vez
que sale menor que 5 se pierde 1 , y cada
vez que sale 5 6 se gana 1 . El juego
acaba cuando se tienen 0 100 .
Sea X =estado de cuentas en el instante t.
t
Tenemos que { Xt } es una CM
S={0, 1, 2, , 100}
Ejemplo: Lanzamiento de un
dado
1
2/3 2/3 2/3 2/3 2/3 2/3
0 1 2 3 4 5
1/3 1/3 1/3 1/3
1
2/3 2/3 2/3 1/3
97 98 99 100
1/3
1/3 1/3 1/3
Ejemplo: organismos
unicelulares
Se tiene una poblacin de organismos
unicelulares que evoluciona as: cada
organismo se duplica con probabilidad 1p o
muere con probabilidad p. Sea Xn el n de
organismos en el instante n. La CM { Xn }
tendr S = { 0, 1, 2, 3, } = N
Si hay i organismos en el instante n, en el
instante n+1 tendremos k organismos que se
dupliquen e ik que mueran, con lo que
habr 2k organismos.
Ejemplo: organismos
unicelulares
Mediante la distribucin binomial podemos
hallar las probabilidades de transicin qi,2k
(el resto de probabilidades son nulas):
i
k 0,1,2,..., i , qi , 2 k 1 p p
k i k
k
Ecuaciones de
Chapman-Kolmogorov
Ecuaciones de Chapman-
Kolmogorov
Teorema: Las probabilidades de
transicin en n pasos vienen dadas por
la matriz p(n):
M
X t n j
i, j S , P p (n) pik( m ) pkj( n m )
X t i ij
k 0
Para toda i=0,1,2,M
j=0,1,.M y cualquier m=1,2,n-1
y cualquier n=m+1, m+2,
Demostracin: Por induccin sobre n
Caso base (n=1). Se sigue de la definicin de q
ij
Ecuaciones de Chapman-
Kolmogorov
Hiptesis de induccin. Para cierto n, suponemos
cierta la conclusin del teorema.
Paso inductivo (n+1). Para cualesquiera i,jS,
P
X t n 1 j P X t n k X t n 1 j
X t i kS
X t i
X t n k P X t n 1 j
P H .I .
kS
X t i X t n k
X t n 1 j
qik n P q n q q n 1
ik kj ij
kS
X t n k kS
Ecuaciones de Chapman-
Kolmogorov
Por este teorema sabemos que la
probabilidad de transitar de i hasta j en n
pasos es el elemento (i,j) de Qn. Para evitar
computaciones de potencias elevadas de
matrices, se intenta averiguar el
comportamiento del sistema en el lmite
cuando n, llamado tambin
comportamiento a largo plazo
A continuacin estudiaremos esta cuestin
Clasificacin
de estados
Clasificacin de estados
Probabilidad de alcanzar un estado:
X n j para algn n 0
i, j S , ij P
X 0 i
Diremos que un estado jS es alcanzable
desde el estado iS sii ij0. Esto significa que
existe una sucesin de arcos (camino) en el
DTE que van desde i hasta j.
Un estado jS es absorbente sii qjj=1. En el
DTE,
1
j
Subconjuntos cerrados
Sea CS, con C. Diremos que C es
cerrado sii iC jC, j no es alcanzable
desde i, o lo que es lo mismo, ij=0. En
particular, si C={i}, entonces i es absorbente.
S siempre es cerrado.
Un subconjunto cerrado CS se dice que es
irreducible sii no contiene ningn
subconjunto propio cerrado
Estados recurrentes y
transitorios
Si S es irreducible, se dice que la CM es
irreducible. En el DTE, esto ocurre sii dados
i,j cualesquiera, j es alcanzable desde i
Diremos que un estado jS es recurrente sii
jj=1. En otro caso diremos que j es
transitorio. Se demuestra que una CM slo
puede pasar por un estado transitorio como
mximo una cantidad finita de veces. En
cambio, si visitamos un estado recurrente,
entonces lo visitaremos infinitas veces.
Estados recurrentes y
transitorios
Proposicin: Sea CS cerrado, irreducible y finito.
Entonces iC, i es recurrente
Ejemplos: La CM de la lnea telefnica es
irreducible. Como adems es finita, todos los
estados sern recurrentes. Lo mismo ocurre con el
ejemplo del buffer
Ejemplo: En el lanzamiento del dado, tenemos los
subconjuntos cerrados {0}, {100}, con lo que la CM
no es irreducible. Los estados 0 y 100 son
absorbentes, y el resto son transitorios
Estados recurrentes y
transitorios
Proposicin: Sea iS recurrente, y sea jS un
estado alcanzable desde i. Entonces j es recurrente.
Demostracin: Por reduccin al absurdo,
supongamos que j es transitorio. En tal caso, existe
un camino A que sale de j y nunca ms vuelve. Por
ser j alcanzable desde i, existe un camino B que va
desde i hasta j. Concatenando el camino B con el A,
obtengo el camino BA que sale de i y nunca ms
vuelve. Entonces i es transitorio, lo cual es absurdo
porque contradice una hiptesis.
Cadenas recurrentes y
transitorias
Proposicin: Sea X una CM irreducible.
Entonces, o bien todos sus estados son
recurrentes (y decimos que X es
recurrente), o bien todos sus estados
son transitorios (y decimos que X es
transitoria).
Ejemplo: Estado de cuentas con un to
rico (fortunes with the rich uncle).
Probabilidad p de ganar 1 y 1p de
perder 1 . Cuando me arruino, mi to
me presta dinero para la prxima tirada:
Cadenas recurrentes y
transitorias
1p 1p 1p 1p 1p
0 1 2 3
p p p p
1p 1p 1p
n n+1
p p p
Cadenas recurrentes y
transitorias
Esta cadena es irreducible e infinita. Se
demuestra que es transitoria sii p>0,5 y
recurrente en otro caso (p0,5)
La cadena es transitoria cuando la
tendencia global es ir ganando dinero. Esto
implica que una vez visitado un estado, al
final dejaremos de visitarlo porque
tendremos ms dinero.
Periodicidad
Sea jS tal que jj>0. Sea
k mcd {n N {0} | q jjn 0}
Si k>1, entonces diremos que j es peridico
de periodo k. El estado j ser peridico de
periodo k>1 sii existen caminos que llevan
desde j hasta j pero todos tienen longitud
mk, con m>0
Periodicidad
Ejemplo: En la siguiente CM todos los estados
son peridicos de periodo k=2:
i j l m
Ejemplo: En la siguiente CM todos los estados son
peridicos de periodo k=3:
2 5
1 3 4 6
Periodicidad
Proposicin: Sea X una CM irreducible.
Entonces, o bien todos los estados son
peridicos de periodo k (y decimos que X es
peridica de periodo k), o bien ningn estado
es peridico (y decimos que X es aperidica)
En toda CM peridica de periodo k, existe
una particin de S, ={A1, A2, , Ak}, de tal
manera que todas las transiciones van desde
Ai hasta A(i mod k)+1
Periodicidad
Ejemplo de CM peridica de periodo k=3:
A1 A2
i j
m k
l
A3
Cadenas ergdicas
Sea X una CM finita. Diremos que X es ergdica
sii es irreducible, recurrente y aperidica
Ejemplo: Analizar la siguiente CM, con S={a, b,
c, d, e}:
1
2 0 1
2 0 0
0 1
4 0 3
4 0
Q 0 0 1 0 2
3 3
14 1
2 0 1
4 0
1 0 1 0 1
3 3 3
Ejemplos
1 Dibujar el DTE:
1/4 1/3
1/2
b 1/2 c
1/2 3/4 a 1/3 2/3
1/4 1/3
d
e
1/4
1/3
Ejemplos
2 Hallar los conjuntos cerrados
Tomado un estado i, construimos un conjunto
cerrado Ci con todos los alcanzables desde l en
una o ms etapas (el propio i tambin se pone):
Ca={a, c, e}=Cc=Ce
Cb={b, d, a, c, e}=Cd=S
La CM no ser irreducible, ya que Ca es un
subconjunto propio cerrado de S
Ejemplos
3 Clasificar los estados
Recurrentes: a, c, e
Transitorios: b, d
Peridicos: ninguno
Absorbentes: ninguno
4 Reorganizar Q. Dada una CM finita, siempre
podemos agrupar los estados recurrentes por un lado y
los transitorios por otro, y hacer:
Movimientos entre
0
recurrente s
Q
Paso de transitorios Movimientos entre
a recurren tes transitorios
Ejemplos
En nuestro caso, la nueva ordenacin de S es
S={a, c, e, b, d}, con lo que obtenemos:
1
2
1
2 0 0 0
0 1
3
2
3 0 0
Q 1 1 1 0 0
3 3 3
0 0 0 1
4
3
4
0 0
1
4
1
2
1
4
5 Clasificar la cadena. No es irreducible, con
lo cual no ser peridica, ni aperidica, ni
recurrente, ni transitoria ni ergdica.
Ejemplos
Ejemplo: Analizar la siguiente CM, con
S={a, b, c, d, e, f, g}:
0 0 1 0 0 0 0
0 0,2 0 0 0,4 0,4 0
0,8 0 0 0 0,2 0 0
Q 0 0 0 0 0 1 0
0 0 1 0 0 0 0
0 0 0 0,7 0 0,3 0
0 0 0 0 0 0 1
Ejemplos
1 Dibujar el DTE:
0,3
a f 1
0,4
1 0,4 0,7 1 g
0,8 1 e b
c 0,2
d
0,2
2 Hallar los conjuntos cerrados
Ca={a, c, e}=Cc=Ce
Cf={f, d}=Cd
Cg={g}
S
3 Clasificar los estados
Recurrentes: a, c, d, e, f, g
Transitorios: b
Peridicos: a, c, e (todos de periodo 2)
Absorbentes: g
Ejemplos
4 Reorganizar Q. Cuando hay varios conjuntos
cerrados e irreducibles de estados recurrentes
(por ejemplo, n conjuntos), ponemos juntos los
estados del mismo conjunto:
P1 0 0 ... 0 0
0 P2 0 ... 0 0
0 0 P3 ... 0 0
Q
... ... ... ... ... ...
0 0 0 ... Pn 0
Z Z2 Z3 Zn Z
1
Ejemplos
En nuestro caso, reordenamos S={a, c, e, d, f, g,
b} y obtenemos:
0 1 0 0 0 0 0
0,8 0 0,2 0 0 0 0
0 1 0 0 0 0 0
Q 0 0 0 0 1 0 0
0 0 0 0,7 0,3 0 0
0 0 0 0 0 1 0
0 0 0,4 0 0,4 0 0,2
Ejemplos
5 Clasificar la cadena. No es irreducible, con lo
cual no ser peridica, ni aperidica, ni recurrente,
ni transitoria ni ergdica.
Ejemplo: Nmero de xitos al repetir
indefinidamente una prueba de Bernouilli
(probabilidad p de xito). No es CM irreducible,
porque por ejemplo C1={1, 2, 3, } es cerrado.
Todos los estados son transitorios.
p p p p
0 1 2 3
1p 1p 1p 1p
Ejemplos
Ejemplo: Recorrido aleatorio. Es una CM
irreducible y peridica de periodo 2. Se
demuestra que si pq, todos los estados son
recurrentes, y que si p>q, todos son
transitorios.
q q q q
0 1 2 3
1 p p p
Ejemplos
Lasiguiente CM es irreducible, recurrente y
peridica de periodo 3. No es ergdica.
j k
Ejemplos
Lasiguiente CM es irreducible, aperidica,
recurrente y ergdica.
i k
Ejemplos
Lasiguiente CM es irreducible, aperidica,
recurrente y ergdica
i k
Ejemplos
Lasiguiente CM es irreducible, aperidica,
recurrente y ergdica
i j
k
Ejemplos
Lasiguiente CM es irreducible, aperidica,
recurrente y ergdica
i k
Ejemplos
La siguiente CM no es irreducible, y por tanto no es
de ninguno de los dems tipos. 1 y 4 son
recurrentes; 2 y 3 son transitorios.
1 2
4 3
Ejemplos
La siguiente CM no es irreducible, y por tanto no es
de ninguno de los dems tipos. Todos los estados
son recurrentes y ninguno es peridico.
1 1
2 2
Ejemplos
Lasiguiente CM es irreducible, recurrente y
peridica de periodo 3. No es ergdica.
1 2
3 4
Ejemplos
La siguiente CM no es irreducible, y por tanto no
es de ninguno de los dems tipos. Ningn
estado es peridico. 4 es transitorio, y el resto
recurrentes. 1 es absorbente.
1 2
4 3
Ejemplos
La siguiente CM no es irreducible, y por tanto
no es de ninguno de los dems tipos. Ningn
estado es peridico. 4 y 5 son transitorios, y el
resto recurrentes. 3 es absorbente.
1 2
5 4
Ejemplos
La siguiente CM es no es irreducible, y por tanto
tampoco de ninguno de los dems tipos. 4 es
absorbente, y el resto son transitorios.
1 2
4 3
Ejemplos
La siguiente CM no es irreducible y por tanto no es de
ninguno de los dems tipos. 1,3 y 5 son recurrentes de
periodo 3. 2 y 6 son recurrentes, pero no peridicos. 4
es transitorio.
1 2
6 3
5 4
Cadenas absorbentes
Concepto de cadena
absorbente
Sea X una CM cuyos estados son todos
transitorios o absorbentes. En tal caso
diremos que X es absorbente.
Si X es finita y absorbente, reordenamos S
poniendo primero los estados transitorios y
obtenemos:
Q' R
Q
0 I
Resultados sobre cadenas
absorbentes
Proposicin: El nmero medio de etapas
que se estar en el estado transitorio jS
antes de la absorcin, suponiendo que
empezamos en el estado transitorio iS,
viene dado por el elemento (i,j) de (IQ)1
Nota: La etapa inicial tambin se cuenta, es
decir, en la diagonal de (IQ)1 todos los
elementos son siempre mayores o iguales
que 1
Resultados sobre cadenas
absorbentes
Proposicin: La probabilidad de ser
absorbido por un estado absorbente jS,
suponiendo que empezamos en el estado
transitorio iS, viene dada por el elemento
(i,j) de la matriz (IQ)1 R, que se denomina
matriz fundamental de la CM
Ejemplo de CM absorbente
En un juego participan dos jugadores, A y B.
En cada turno, se lanza una moneda al aire.
Si sale cara, A le da 1 a B. Si sale cruz, B le
da 1 a A. Al principio, A tiene 3 y B tiene 2
. El juego contina hasta que alguno de los
dos se arruine. Calcular:
La probabilidad de que A termine arruinndose.
La probabilidad de que B termine arruinndose.
El nmero medio de tiradas que tarda en acabar
el juego.
Ejemplo de CM absorbente
Tendremos una CM con un estado por cada
posible estado de cuentas de A: S={1, 2, 3, 4,
5, 0}. Descomponemos Q:
0 0,5 0 0
0 0,5 0 0 0 0,5 0,5 0 0,5 0
Q'
0,5 0 0,5 0 0 0 0 0,5 0 0,5
0 0,5 0 0,5 0 0 0 0,5 0
0
Q
0 0 0,5 0 0,5 0
0 0 0 0 1 0 0 0,5
0 0 0 0 0 1 0 0
R
0 0
0,5 0
Ejemplo de CM absorbente
Realizamos los clculos necesarios:
1
1 0,5 0 0 1,6 1,2 0,8 0,4
0,5 1 0,5 0 1,2 2,4 1,6 0,8
I Q' 1
0 0,5 1 0,5 0,8 1,6 2,4 1,2
0 0 0,5 1 0,4 0,8 1,2 1,6
0,2 0,8
0,4 0,6
I Q' 1 R
0,6 0,4
0,8 0,2
Ejemplo de CM absorbente
Probabilidad de que A termine arruinndose.
La ruina de A est representada por el estado 0, que es el
2 estado absorbente. Como empezamos en el 3er estado
transitorio (A empieza con 3 ), debemos consultar la 3
fila, 2 columna de (IQ)1R, que nos da una probabilidad
de 0,4 de que A empiece con 3 y termine en la ruina.
Probabilidad de que B termine arruinndose
Como es el suceso contrario del apartado a), su
probabilidad ser 10,4=0,6. Tambin podramos haber
consultado la 3 fila, 1 columna de (IQ)1R.
Ejemplo de CM absorbente
Nmero medio de tiradas que tarda en acabar el
juego
Sumamos los nmeros medios de etapas que se estar en
cualquier estado transitorio antes de la absorcin,
suponiendo que empezamos en el 3er estado transitorio.
Dichos nmeros medios son los que forman la 3 fila de la
matriz (IQ)1. El promedio es: 0,8+1,6+2,4+1,2=6 tiradas.
Nota: si observamos la 1 columna de (IQ)1R,
vemos que los valores van creciendo. Esto se debe
a que, cuanto ms dinero tenga al principio A, ms
probabilidad tiene de ganar el juego.
Distribucin
estacionaria
Concepto de distribucin
estacionaria
Teorema: Sea X una CM irreducible, aperidica
y recurrente. Entonces,
j S , p j lm qij n
n
p
jS
j 1
Existencia de la distribucin
estacionaria
Teorema: Sea X finita y ergdica. Entonces la
distribucin estacionaria existe y viene dada
por la solucin de las siguientes ecuaciones:
j S , p j pi qij
iS
p
jS
j 1
p q
iS
j ji pi qij
iS
0,9 0 1 0,7
0,3
O lo que es ms fcil,
T p0
p Q p, donde p
p
1
3 Plantear la ecuacin normalizadora:
p0 p1 1
Ejemplos
4 Resolver el sistema. Hay dos mtodos:
Utilizar un algoritmo estndar de
sistemas de ecuaciones lienales para
resolver todas las ecuaciones
conjuntamente, por ejemplo, Gauss. El
sistema debe tener solucin nica. En
nuestro caso,
p0 0,75; p1 0,25
Ejemplos
Encontrar una solucin cualquiera de las
ecuaciones de equilibrio. Para ello le daremos un
valor no nulo a nuestra eleccin a una sola de las
incgnitas. Una vez conseguida esa solucin, la
solucin verdadera ser un mltiplo de ella
(usaremos la normalizadora). En nuestro caso,
haciendo p1=1,
p0 0,9 p0 0,3 p0 3
La solucin verdadera ser de la forma (3k,k)T.
Aplicando la normalizadora,
3k k 1 k 0,25
Con lo cual la solucin verdadera es (075,025)T
Ejemplos
Ejemplo: Hallar, si existe, la distribucin
estacionaria para esta CM con S={1, 2, 3}:
0,3 0,5 0,2
Q 0,6 0 0,4
0 0,4 0,6
Ejemplos
1 Dibujamos el DTE y as comprobamos ms
fcilmente que la CM es finita y ergdica:
3 2
Ejemplos
2 y 3 Planteamos las ecuaciones:
p1 0,3 0,6 0 p1
p2 0,5 0 0,4 p2
p 0,2 0,4 0,6 p
3 3
p1 p2 p3 1
Nodo i i 1,2,..., M 1 : 1 pi 1 pi 1 pi
Nodo M : 1 pM 1 pM
Ejemplos
4 Podemos despejar pi en la ecuacin de cada
nodo i, y as observamos que los pi forman una
progresin geomtrica, cuya razn llamaremos :
1
i 1,2,..., M 1 , pi pi 1 pi 1
1
i 0,1,..., M 1 , pi i p0
Ejemplos
Usando la suma de los M1 primeros trminos
de una sucesin geomtrica y la ecuacin
normalizadora, llegamos a la solucin:
p0
1
i 1,..., M 1 , pi i p0
1 M 1
pM p0
Ejemplo #1
0.8 0.2
(C , N) 100 900 (350,650) El primer mes comprarn 350 y no
0 .3 0 .7 comprarn 650
0 si da t es seco
Xt
1 si da t es lluvioso
El proceso estocstico X t X 1 , X 2 , X 3 ,... proporciona
una representacin matemtica de la forma como evoluciona
el clima Centerville a travs del tiempo.
Matrices de transicin de estados en n pasos del clima:
0.08 0.85 0.07
0.85 0.1 0.05 0.85 0.1 0.05 0.737 0.1785 0.0845
P(2)= 0.13 0.17 0.07
0.7 0.08 0.85 0.07 =
0.08 0.85 0.1451 0.7424 0.1125
0.13 0.17 0.7 0.13 0.17 0.7 0.2151 0.2765 0.5084
0.3489512609 0.4253335804 0.2257151581
0.3821913908 0.4476427160 0.1701658913
0.85 0.1 0.05 0.3976255273 0.4360954899 0.1662789808
P(15)= 0.08 0.85 0.07 X
0.3739433721 0.4564784378 0.1695781883
0.13 0.17 0.7
0.3944856049 0.4387111459 0.1668032470
0.3821913908 0.4476427160 0.1701658913
P(15)=
0.3764153058 0.4542293014 0.1693553909
0.3827956653 0.4476436493 0.1695606834
0.85 0.1 0.05 0.3944856049 0.4387111459 0.1668032470
P(16)= 0.08 0.85 0.07 X
0.3764153058 0.4542293014 0.1693553909
0.13 0.17 0.7
0.3920940780 0.4407095866 0.1671963332
0.3827956653 0.4476436493 0.1695606834
P(16)=
0.3783075548 0.4525268533 0.1691655898
0.3832306963
0.85 0.3920940780
0.1 0.05 0.4476019847 0.4407095866 0.1671963332
0.1691673169
P(17)= 0.08 0.85 0.07 X
0.3783075548 0.4525268533 0.1691655898
0.13 0.17 0.7
0.3902722565 0.4422359331 0.1674918080
0.3832306963 0.4476019847 0.1691673169
P =
(17)
0.3797550965 0.4512367311 0.1690081701
0.3835460018 0.4475432006 0.1689107954
0.384437 0.447154 0.1684 Observe que en la matriz de
veinte y cinco pasos, las tres
P(25)= 0.384437 0.447154 0.1684 filas tienen elementos
idnticos. Esto se denomina
0.384437 0.447154 0.1684
probabilidad del estado
estable de la cadena de
Markov o Matriz estacionaria
PPL:
Funcin objetivo Max B
Sujeto a:
0.15B 0.08M -0.13S=0
-0.1B + 0.15M 0.17S=0
-0.05B 0.07M + 0.3S=0
B>0
M>0
S>0
Combined Report for MARKOV
No fuman
Fuman
1
Poblacin
Fuman
2
Ejemplo 4
Ejemplo 4
0 1 2
0 0.93 0.05 0.02
P (1)
1 0.10 0.80 0.10
2 0.05 0.10 0.85
4,000 no fumadores
3,500 fuman 1 paquete, o menos, diario
2,500 fuman ms de un paquete diario.
A B C