Cap3 - Markov Parte 2

Dra.
Norka Bedregal Alpaca

P
R
O
C
E
S
O
S

E
S
T
O
C
A
S
T
I
C
O
S

Dra. Norka Bedregal Alpaca

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Ecuaciones de Chapman-Kolmogorov
Teorema:
Las probabilidades de transicin en n etapas vienen dadas
por la matriz Q
n
:
S j i q
i X
j X
P
n
ij
t
n t
e =
(
=
=
+
,
) (
Observaciones:

Con este teorema, se afirma que la probabilidad de
transitar de i hasta j en n pasos es el elemento (i,j) de Q
n
.
Si el resultado del teorema se combina con la identidad
matricial Q
n+m
= Q
n
Q
m
, se obtiene:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

=
+
k
m
kj
n
ik
m n
ij
q q q
) ( ) ( ) (
Una transicin desde i hasta j en n+m pasos puede
lograrse moviendose desde i hasta un punto intermedio k
en n pasos (con prob q
(n)
i,k
) y despus, dado que el
proceso est en el estado k (la propiedad de Markov
permite que seamos indeferentes a la ruta recorrida),
moverse hasta el estado j en m pasos (con prob q
(m)
k,j
).

Luego, deben considerarse todas las opciones posibles
para el punto intermedio.
Para determinar cul es la probabilidad de que el
sistema se encuentre en el estado j en el tiempo n?,
considere a
t
= (a
0
, a
1
,...,a
m

) la distribucin inicial de la
Cadena de Markov (con m estados) , entonces:
P{X
n
= j}= elemento j del vector a
t
Q
n

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Ejemplo:

Considrese el ejemplo de las migraciones, y suponga que
al inicio de la investigacin, el 35% de la poblacin viva
en reas urbanas, el 45% en rea suburbana, y el resto
en rea rural.
a) Si inicialmente una familia vive en un rea rural,
cul es la probabilidad de que tres aos despus esta
familia viva en un rea urbana?
b) Cual es la probabilidad de que tres aos despus de
iniciada la investigacin una familia viva en el rea
urbana?

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

|
|
|
.
|
\
|
=
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
rural
surb
urb
Q
rural surb urb
Se tiene que la matriz de transicin es:
Calculando la matriz Q
3
, se obtiene:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

|
|
|
.
|
\
|
=
7411 , 0 1622 , 0 0967 , 0
1055 , 0 7593 , 0 1352 , 0
1248 , 0 3353 , 0 5399 , 0
3
Q
a) 0,0967
b) 0,2691
Adems, las probabilidades iniciales dan:
) 20 , 0 45 , 0 35 , 0 ( =
t
a
Con lo cual, se obtienen las respuestas a las
interrogantes:
Ejemplo

Considere el problema de enviar un mensaje binario a
travs de un canal de seal que consta de tres etapas

La transmisin en cada una de las etapas est sujeta a una
probabilidad de error fija de 0.01

Suponga que se enva X
0
= 0 y que X
n
es la seal que se
recibe en la n-sima etapa.

Asuma que X
n
es una cadena de Markov
Obtenga:
a) La matriz de transicin de X
n
b) La probabilidad de que el mensaje llegue sin errores
hasta la segunda etapa: P(X
0
= 0, X
1
= 0, X
2
= 0)

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

La matriz de transicin estar dada por:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Seal recibida en la etapa n+1
Q 0 1
Seal recibida
en la etapa n
0 0.99 0.01
1 0.01 0.99
Al calcular la potencia 2 de esta matriz se tiene:
Seal recibida en la etapa n+2
Q 0 1
Seal recibida
en la etapa n
0 0.9802 0.0198
1 0.0198 0.9802
Probabilidad de que el mensaje
llegue sin error a la segunda etapa
Estado Alcanzable:

El estado j es alcanzable desde el estado i si existe n > 0
tal que:
q
(n)
i,j
> 0
es decir si es posible que el proceso llegue al estado j
desde el estado i.

Se denota i j.

Esto significa que existe una sucesin de arcos (camino)
en el DT (diagrama de transicin) que van desde i hasta
j.

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Clasificacin de estados en Cadenas de Markov
Estados comunicantes:

Los estados i, j se comunican si ij.

Observacin:

La relacin es una relacin de equivalencia
(reflexiva, simtrica y transitiva).

Luego permite dividir el conjunto de estados en clases de
equivalencia

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Los estados {a,b,c} se comunican y forman una clase de
equivalencia. El estado {d} es otra clase de equivalencia.

Cadena de Markov Irreducible:
Cuando una cadena de Markov tiene slo una clase de
equivalencia, se dice que es irreducible

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Ejemplo:
Considere una cadena de Markov con matriz de
transicin:
|
|
|
|
|
.
|
\
|
=
1 0 0 0
0 1 , 0 5 , 0 4 , 0
1 , 0 9 , 0 0 0
0 0 8 , 0 2 , 0
Q
Ejemplo Estado Absorbente:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Estado Absorbente:
Un estado jeS es absorbente si y slo si q
jj
=1.
En el DT:
j
1
Considere la cadena de Markov definida por la siguiente
matriz, identifique los estados absorventes
Estado n+1
Q 0 1 2 3
Estado n
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

El estado 0 y el estado 2 son absorbentes, ya que una
vez entrando en alguno de ellos, el sistema no vuelve a
salir

Esto ocurre porque la probabilidad de pasar al estado
0 dado que se encuentra en el estado 0 es igual a 1
Anlogamente ocurre para el estado 2
Analizando la matriz
Estado n+1
Q 0 1 2 3
Estado n
0 1 0 0 0
1 0.1 0.5 0.25 0.15
2 0 0 1 0
3 0.2 0.1 0.4 0.3
Ejemplo Estado Absorbente

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

0
2 3
1
1
0.10
0.10
1
0.25
0.40
0.5
0.30
0.15
0.30
0.20
Los estados 0 y 2 son absorbentes. Una vez que el
sistema llega a alguno de ellos, no vuelve a salir
Estado Recurrente.
Se define
f
(n)
jk
= probabilidad de que, partiendo del estado
j , la cadena llegue al estado k por primera
vez en el tiempo n
Luego la probabilidad de llegar a k (en un tiempo finito),
partiendo de j es:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

=
=
1
) (
n
n
jk jk
f f
Se dice que el estado i es recurrente si f
ii
= 1.

Esto significa: siempre que se parta del estado i, se podr
regresar a l (en un tiempo finito)
Ejemplo Estado Recurrente.
En la siguiente matriz de transicin, todos los estados,
excepto el 2, son recurrentes

Esto es porque desde los estados 0,1 y 3 se puede
acceder a cualquiera otro estado, y a su vez, los estados
0,1 y 3 son accesibles desde cualquier otro estado

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Estado n+1
Q 0 1 2 3
Estado n
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3
Ejemplo Estado Recurrente.

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
Los estados 1, 2 y 3 son recurrentes. Notar que cada
estado que tiene una conexin directa desde ellos,
tambin la tiene hacia ellos
Estado Transitorio (no recurrente)

Se dice que el estado i es transitorio si f
ii
< 1.

Esto significa que hay manera de abandonar el estado i,
de tal modo que nunca se regrese a l.

Ejemplo:
En el ejemplo de la matriz anterior a,b y c son
transitorios, d es recurrente y tambin absorbente

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

|
|
|
|
|
.
|
\
|
=
1 0 0 0
0 1 , 0 5 , 0 4 , 0
1 , 0 9 , 0 0 0
0 0 8 , 0 2 , 0
Q
Ejemplo Estado Transitorio

En la siguiente matriz de transicin, el estado 2 es
transitorio, ya que de l es posible pasar directamente al
estado 0, pero no de regreso

Por tanto existe la posibilidad de que el sistema pase del
estado 2 al 0 y no regrese nuevamente

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Estado n+1
Q 0 1 2 3
Estado n
0 0.25 0.25 0 0.5
1 0.1 0.5 0.25 0.15
2 0.3 0.1 0.4 0.2
3 0.2 0.1 0.4 0.3
Ejemplo Estado Transitorio

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

0
2 3
1
0.25
0.25
0.10
0.10
0.40
0.25
0.20
0.40
0.5
0.30
0.50
0.15
0.30
0.10
0.20
El estado 2 es transitorio. Notar que tiene una conexin
directa al estado 0, pero no de regreso

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Observaciones:

Estado transitorio, es aqul tal que despus de que el
proceso ha entrado ah, nunca regresar

El estado i es transitorio si y slo si existe un estado j
que es accesible desde i, pero donde el estado i no es
accesible desde j

Al no haber acceso al estado i desde j, existe una
probabilidad positiva (incluso igual a 1) de que el proceso
se mueva al estado j y nunca regrese al estado i

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Estado recurrente, es un estado tal que una vez que el
proceso ha estado en l, existe la seguridad de que
volver

Un estado es recurrente si y slo si no es transitorio

Estado absorbente, es un estado tal que despus de
haber entrado all, el sistema ya nunca saldr
Estado Peridico

Un estado recurrente i es peridico, con periodo k > 1, si
k es el menor nmero tal que todas las trayectoria que
parten de i y regresan a i, tienen longitud mltiplo de k.

El estado j ser peridico de periodo k>1 s y slo si
existen caminos que llevan desde j hasta j pero todos
tienen longitud mk, con m>0

Si un estado no es peridico se le dice aperidico

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Ejemplo:
En la siguiente CM todos los estados son peridicos de
periodo k=2

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V


Ejemplo:
En la siguiente CM todos los estados son peridicos de
periodo k=3
Proposicin:

Sea X una CM irreducible.

Entonces, o bien todos los estados son peridicos de
periodo k (y decimos que X es peridica de periodo k), o
bien ningn estado es peridico (y decimos que X es
aperidica)

En toda CM peridica de periodo k, existe una particin
H de S, H={A
1
, A
2
, , A
k
}, de tal manera que todas las
transiciones van desde A
i
hasta A
(i mod k)+1

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Ejemplo de CM peridica de periodo k=3:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

A
1

A
2

A
3

Cadena Ergdica

Si todos los estados de una Cadena de Markov son
recurrentes, aperidicos y se comunican entre s, se dice
que la cadena es Ergdica.

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Ejemplos

En adelante se darn algunos ejemplos de cadenas con
algunas de estas caractersticas
La siguiente CM es irreducible, recurrente y peridica
de periodo 3.

No es ergdica.

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

La siguiente CM es irreducible, aperidica, recurrente
y ergdica.

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

y ergdica

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

y ergdica

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

La siguiente CM es irreducible, recurrente y peridica
de periodo 3. No es ergdica

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

La siguiente CM no es irreducible y por tanto no es de
ninguno de los dems tipos. 1,3 y 5 son recurrentes de
periodo 3. 2 y 6 son recurrentes, pero no peridicos. 4 es
transitorio.

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

1
6
2
5 4
3
Trabajo Grupal

Desarrollar los siguientes temas:
Definicin
Reordenamiento de los estados en una CM absorbente
Resultados
Dos ejemplos

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Cadenas de Markov Absorbentes

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Con el teorema de Chapman-Kolmogorov, se afirma que
la probabilidad de transitar de i hasta j en n pasos es el
elemento (i,j) de Q
n
.

Para evitar el clculo de potencias elevadas de matrices,
se intenta averiguar el comportamiento del sistema en el
lmite cuando n, llamado tambin comportamiento a
largo plazo

Este acercamiento se presenta a continuacin
Propiedades a Largo Plazo
Ejemplo
La siguiente matriz es regular:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

0.33 0.67
0.75 0.25
P
(
=
(

Si se calcula las primeras potencias de P, se tiene:
2
0.6114 0.3886
0.4350 0.5650
P
(
=
(

3
0.4932 0.5068
0.5673 0.4327
P
(
=
(

4
0.5428 0.4572
0.5117 0.4883
P
(
=
(

5
0.5220 0.4780
0.5350 0.4650
P
(
=
(

6
0.5307 0.4693
0.5253 0.4747
P
(
=
(

7
0.5271 0.4729
0.5294 0.4706
P
(
=
(

De lo anterior, se nota que para P
7
, las entradas por
renglones coinciden a dos decimales

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Las probabilidades lmite son 0.5282 y 0.4718

Estas son las probabilidades lmite de que el sistema se
encuentre en el estado j, despus de muchas transiciones,
y que esta probabilidad sea independiente del estado
inicial

Al conjunto de estas probabilidades se les conoce con el
nombre de distribucin estacionaria

Para calcular esta probabilidad considere la matriz Q,
matriz de transicin de una Cadena de Markov que tiene
los estados {1,2,...k} , entonces, para j=1,2,..,k
j
n
j i
n
q t =

) (
,
lim

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Para obtener los

se usan las ecuaciones de estado
estable, que se presentan en los siguientes teoremas
j
t
Lo que se puede escribir de otra forma, como:
|
|
|
|
|
|
.
|
\
|
=

k
k
k
n
n
Q
t
t
t
t
t
t
t
t
t
2
2
2
1
1
1
lim

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Concepto Distribucin Estacionaria
Teorema:

Sea X una CM irreducible, aperidica y recurrente.
Entonces,
( ) n
ij
n
j
q
lm
S j

= - e t ,
Se dices que una CM alcanza la distribucin estacionaria
s y slo si existen los lmites del teorema anterior y
adems se cumple que:
e
=
S j
j
1 t

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Existencia de la Distribucin Estacionaria
Teorema:

Sea X finita y ergdica. Entonces la distribucin
estacionaria existe y viene dada por la solucin de las
siguientes ecuaciones:
e
= e
S i
ij i j
q S j t t ,
e
=
S j
j
1 t
Observacin:
Este teorema no slo dice cundo existe distribucin
estacionaria (en los casos finitos), sino que adems dice
cmo calcularla.

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Nomenclatura para las Ecuaciones
A las primeras ecuaciones del teorema se les llama
ecuaciones de equilibrio, porque expresan que lo que
sale de j (izquierda) es igual a lo que entra en j
(derecha):

e e
=
S i
ij i
S i
ji j
q q t t
A la ltima ecuacin se le llama ecuacin
normalizadora, ya que obliga a que el vector formado
por los est normalizado
j
t

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

1 )
)
0 )
1
1
=
= =
>

=
=
k
j
j
t t
k
i
ij i j
j
c
Q es esto q b
a
t
t t t t
t
Al conjunto de estas ecuaciones, incluyendo la no
negatividad, se les denomina ecuaciones de estado estable
Nomenclatura para las Ecuaciones

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Ejemplo:
Hallar la distribucin estacionaria (si existe) del ejemplo
de la lnea telefnica.
0 1
0,9
0,1
0,3
0,7
1. Se debe comprobar que la CM es finita y ergdica,
para as saber que existe la distribucin estacionaria.
Como se cumplen estos requerimientos, dicha
distribucin existe

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

2. Plantear las ecuaciones de equilibrio (una por nodo)
1 0 0
3 , 0 9 , 0 : 0 t t t + = Nodo
1 0 1
7 , 0 1 , 0 : 1 t t t + = Nodo
3. O lo que es ms fcil
|
|
.
|
\
|
= =
1
0
,
t
t
t t t

donde Q
T
4. Plantear la ecuacin normalizadora
1
1 0
= +t t

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

5. 4 Resolver el sistema. Hay dos mtodos:

a) Utilizar un algoritmo estndar de sistemas de
ecuaciones lineales para resolver todas las
ecuaciones conjuntamente, por ejemplo, Gauss. El
sistema debe tener solucin nica. En este caso:
25 , 0 ; 75 , 0
1 0
= = t t
b) Encontrar una solucin cualquiera de las
ecuaciones de equilibrio. Para ello se le da un
valor no nulo a eleccin a una sola de las
incgnitas.
Una vez conseguida esa solucin, la solucin
verdadera ser un mltiplo de ella ( se usa la
normalizadora). En este caso, haciendo p
1
=1,

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

3 3 , 0 9 , 0
0 0 0
= + = t t t
La solucin verdadera ser de la forma
(3k,k)
T
. Aplicando la normalizadora,
25 , 0 1 3 = = + k k k
Con lo cual la solucin verdadera es (075,025)
T

Ejemplo (desplazamiento poblacional)
Dado que la Cadena de Markov del ejemplo es regular
matriz del ejemplo es Markov es regular si es irreducible
y aperidica.ergdica,

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

se puede hacer:
|
|
|
.
|
\
|
=
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
rural
surb
urb
Q
rural surb urb
1
90 , 0 06 , 0 04 , 0
04 , 0 90 , 0 06 , 0
05 , 0 15 , 0 80 , 0
) , , ( ) , , (
3 2 1
3 2 1 3 2 1
= + +
|
|
|
.
|
\
|
=
t t t
t t t t t t
Una opcin es:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

3 2 1
3 2 1 2
3 2 1 1
1
06 , 0 90 , 0 15 , 0
04 , 0 06 , 0 80 , 0
t t t
t t t t
t t t t
+ + =
+ + =
+ + =
Cuya solucin es
(t
1
, t
2
, t
3
) = (0.2077 , 0.4918 , 0.3005)

Es decir, si con el paso del tiempo se mantiene el
comportamiento descrito por el modelo (lo cual es muy
poco probable) despus de muchos aos,
aproximadamente, el 21% de la poblacin ocupar las
zonas urbanas, el 49% las suburbanas y el 30% la rural.
La distribucin lmite de una cadena de Markov tiene
dos interpretaciones:

La primera interpretacin se refiere, precisamente, a
que se trata de la distribucin lmite.

Cuando el proceso ha estado en operacin por un
tiempo largo, la probabilidad de encontrar al proceso en
el estado j es t
j
, sin importar en qu estado se haya
comenzado

La segunda interpretacin dice que t
j
proporciona la
fraccin de tiempo que, en el largo plazo, el sistema
pasar en el estado j

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Una consecuencia de lo anterior es que si el sistema
incurre en un costo c
j
por cada visita al estado j, entonces
a la larga el costo promedio por unidad de tiempo
asociado con la cadena de Markov, C, es:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

0
N
j j
j
C c t
=
=
La expresin:
j
n
j i
n
q t =

) (
,
lim

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Ejemplo: Inventarios

Considrese una tienda de fotografa con un problema de
inventarios

Sea
D
i
: demanda de cmaras de tipo K que tiene la
tienda durante la semana i, i = 1,2,

Se supone que las D
i
son variables aleatorias
independientes e idnticamente distribuidas que siguen
la distribucin Poisson con media = 1


C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Sea
X
t
:nmero de cmaras con que la tienda cuenta
al final de la semana t, para t = 0,1,

Suponiendo que X
0
= 3, de modo que al principio se
cuenta con 3 cmaras en inventario

Entonces
{X
t
} = {X
0
, X
1
, X
2
,}
es un proceso estocstico que representa el nmero de
cmaras con que se cuenta al final de la semana t

El dueo de la tienda sigue la poltica de pedidos que se
describe a continuacin:
Al final de cada semana t, se revisa el inventario y:
Si X
t
= 0, entonces se hace un pedido por tres cmaras
Si X
t
> 0, entonces no se hace pedido alguno

Se supone que el sistema de inventarios descrito tiene la
matriz de transicin

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

0.080 0.184 0.368 0.368
0.632 0.368 0 0
0.264 0.368 0.368 0
0.080 0.184 0.368 0.368
P
(
(
(
=
(
(

Se supone tambin, que la tienda incurre en un costo por
almacenaje de acuerdo con la siguiente relacin:

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

( )
0, 0
2, 1
8, 2
18, 3
t
t
t
t
t
si X
si X
C X
si X
si X
=
=

=
Para obtener la distribucin lmite de la cadena de

Markov, se resuelve el sistema de ecuaciones estables.

Con lo que se tiene distribucin lmite
(0.286, 0.285, 0.263, 0.166)

El costo esperado por almacenaje ser:
( ) ( ) ( ) ( )
( ) ( )
0.286 0 0.285 2
0.263 8 0.166 18
5.662
t
E C X = +
+ +
=
Ejercicios:

1. Suponga que las clases sociales de generaciones
sucesivas en una familia siguen una cadena de
Markov con la matriz de probabilidades de transicin
que se da ms abajo. En el largo plazo, qu fraccin
de las familias est en la clase alta?

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

0.7 0.2 0.1
0.2 0.6 0.2
0.1 0.4 0.5
Clase del Hijo
Baja Media Alta
Baja
Clase
P Media
Paterna
Alta
(
(
=
(
(

2. Un autobs en un sistema masivo de transporte opera
en una ruta continua con paradas intermedias

Se clasifica la llegada del autobs en uno de tres estados,
a saber:
1. Llegada temprana
2. Llegada a tiempo
3. Llegada tarda

Suponga que los estados sucesivos forman una cadena de
Markov con la matriz de probabilidad de transicin que
se da ms abajo. En un periodo largo de tiempo, qu
fraccin de las llegadas se puede considerar tarda?
Funciones Asociadas

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

3. Los cuatro pueblos A, B, C y D estn conectados por
lneas de ferrocarril como se muestra en la figura
(todas son en ambos sentidos)
Cada da, sin importar en qu pueblo se encuentre, en
conductor de un tren elige una de las lneas que salen del
pueblo y la recorre hasta el pueblo siguiente, donde el
proceso se repite al da siguiente

A la larga, cul es la probabilidad de encontrar al tren
en el pueblo D?
Funciones Asociadas

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

0.5 0.4 0.1
0.2 0.5 0.3
0.1 0.2 0.7
P
(
(
=
(
(

Funciones Asociadas

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

A
D
C B
Una
Funciones Asociadas

C
A
D
E
N
A
S

D
E

M
A
R
K
O
V

Cap3 - Markov Parte 2

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Cap3 - Markov Parte 2

Uploaded by

Copyright:

Available Formats

Dra.

Norka Bedregal Alpaca

Para obtener la distribucin lmite de la cadena de

You might also like