5 Cadenas de Markov DIM

Procesos de Markov en Tiempo y Estados Discretos
MA4402: Simulación Estocástica Teoría y Laboratorio
Héctor Olivero Q.
Departamento de Ingeniería Matemática

Universidad de Chile
Semestre Primavera 2017
Héctor Olivero Q. (DIM) 2017-2 1 / 44

Las cadenas de Markov fueron introducidas en 1907 por el matemático
ruso Andrei Andreevitch Markov (1856 − 1922), mientras buscaba
condiciones más débiles para la demostración del Teorema Central del
Límite. A pesar de su origen instrumental la teoría de cadenas de
Markov se ha vuelto un tema de estudio en si misma por su amplio
espectro de aplicación.

Contenidos
1 Introducción
2 Algunos Resultados sobre Cadenas de Markov Homogeneas
3 Estructura de Clases
4 Propiedad de Markov Fuerte
5 Comportamiento en Tiempo Largo de CM
6 Cadenas de Markov Reversibles

Introducción
En lo sucesivo consideraremos un conjunto numerable E y un espacio

de probabilidad (Ω, F, P). Supongamos que además tenemos una
suceción de variables aleatorias definidas desde (Ω, F, P) a E, es decir:
Xn : (Ω, F, P) → E, ∀ n ∈ N
Diremos que (Xn )n∈N es un proceso estocástico a tiempo discreto a

valores en E.

Definición de Cadena de Markov I
Un proceso (Xn )n∈N como el anterior, se dice Cadena de Markov si

para todo n ∈ N y para todo (i0 , . . . , in ) ∈ E n tal que
P(X0 = i0 , . . . , Xn = in ) > 0, se tiene que:
P(Xn+1 = in+1 /X0 = i0 , X1 = i1 , . . . , Xn = in ) =

(1)
P(Xn+1 = in+1 /Xn = in )
Si además se tiene que ∀ i, j ∈ E, ∀n ∈ N:
P(Xn+1 = i/Xn = j) = P(X1 = i/X0 = j) (2)
Se dice que el proceso es una Cadena de Markov Homogenea.

Cadenas de Markov Homogéneas
En este caso (Xn )n∈N se puede caracterizar por el par

((λn )n∈E , P = (pij )i,j∈E ) donde:
λi = P(X0 = i)
pij = P(X1 = i/X0 = j)
Diremos que λ es la distribución inicial de la cadena y que P es su

matriz de transición.
Observación:
P
1 Si un vector λ satisface λ(e) ≥ 0, ∀ e ∈ E y
e∈E λ(e) = 1,
decimos que λ es un véctor de probabilidad en E.
P P es una matriz sobre E con entradas no negativas tales que

Si
2
j∈E Pij = 1, decimos que P es una matriz estocástica.

Ejemplos
1 Si (Xn )n∈N es una sucesión de variables aleatorias independientes.

Entonces (Xn )n∈N es cadena de Markov.
2 Si (Yn )n∈N es una sucesión de variables aleatorias independientes,
f una función medible y (Xn )n∈N está dado por
Xn+1 = f (n, Xn , Yn+1 ),
entonces (Xn )n∈N es cadena de Markov.

Caracterización de las Cadenas de Markov Homogéneas
Teorema
Sea λ un vector de probabilidad sobre E y sea P una matriz estocástica.
Entonces (Xn )n∈N es una cadena de Markov homogenea con
distribución inicial λ y matriz de transición P si y sólo si:
∀ n ∈ N, ∀ i0 , . . . , in ∈ E :
P(X0 = i0 , . . . , Xn = in ) = λi0 pi0 i1 pi1 i2 . . . pin−1 in (3)

Ejemplo
Supongamos que E = Z y consideremos (Yn )n∈N sucesión de variables

aleatorias independientes e identicamente distribuidas. Entonces
(Xn )n∈N definido como:

0 n=0
Xn =
Y1 + . . . + Yn n ≥ 1
es proceso de markov.

Representación Gráfica de las Cadenas de Markov
Homogeneas
Una cadena de Markov homogenea se puede representar naturalmente

como un grafo dirigido, donde los nodos del grafo representan los
estados del conjunto E y los arcos representan las posibles transiciones
de la cadena, es decir existe un arco desde el nodo i al nodo j si pij > 0.

Ejemplo
Consideremos E = {1, 2, 3} y la matriz estocástica:
 
0 1/2 1/2
P = 0 1 0 
1/3 1/3 1/3
En este caso el grafo dirigido que representa la cadena es el siguiente:

Propiedad de Markov Simple
Teorema
Un proceso (Xn )n∈N es cadena de Markov si y sólo si ∀ n ∈ N
condicional en {Xn = i} el proceso (Xn+m )m∈N es independiente de
{X0 , . . . , Xn−1 }.
Además si (Xn )n∈N es cadena de Markov homogénea con matriz de
transición P entonces condicional a {Xn = i}, (Xn+m )m∈N es cadena
de Markov homogénea con distribución inicial δi y matriz de transición
P.

Contenidos
1 Introducción

Definición: Probabilidad de Transición en n pasos
Dada una cadena de Markov homogenea (Xn )n∈N la probabilidad de

transición de i a j en n pasos la denotaremos por (P (n) )ij y
corresponde a:
(P (n) )ij = P(Xn = j/X0 = i)
Notemos que por ser la cadena homogenea se tiene que:
(P (n) )ij = P(Xn+m = j/Xm = i)

Proposición: Caracterización de la Probabilidad de
transición en n pasos para una CMH
Sea (Xn )n∈N una cadena de Markov homogenea ∼ (λ, P ) entonces se
tiene que:
i. P (n) = P n . En particular P (n+m) = P (n) P (m) . Luego se satisface la
ecuación de Chapman-Kolmogorov:
(n+m)
X (n) (m)
pij = pik pkj (4)
k∈E
ii. P(Xn = i) = (λt P n )i

iii. Si f : E → R es acotada, entonces:
Ei (f (Xn )) = (P (n) f )i
donde Ei (·) es la esperanza bajo la ley Pi (·) = P(·/X0 = i).

iv. E(f (Xn )) = λt P (n) f
Contenidos
1 Introducción

Estructura de Clases
A veces es posible dividir una cadena de Markov en partes más

pequeñas, en teoría más simples que la cadena completa. Esto se hace
identificando las clases de estados comunicados presentes en la cadena.
Diremos que i lleva a j lo que escribimos como i → j si
Pi (∃n ∈ N : Xn = j) > 0
Diremos que i se comunica con j si i → j ∧ j → i.

Teorema
Consideremos dos estados distintos i, j ∈ E. Entonces son equivalentes:

i. i → j.
ii. ∃ n ∈ N, ∃ i1 , . . . , in−1 ∈ E : pii1 pi1 i2 . . . pin−1 j > 0.
(n)
iii. pij > 0 para algún n ≥ 0.

Definición Estructura de Clases
(0)
Recordemos que ∀ i ∈ E : pii = 1 ⇒ i → i. Además de (ii) es claro
que i → j ∧ j → k ⇒ i → k. Luego ↔ es una relación de equivalencia
en E y entonces particiona E en clases.
Diremos que una clase C es cerrada si:
i ∈ C, i → j ⇒ j ∈ C
Es decir una clase cerrada es una clase desde la que no hay escape. Un
estado i es absorbente si {i} es una clase cerrada. Una cadena en que E
es la única clase se dice irreducible.

Ejemplo I
Encuentre las clases de estados comunicados de la cadena de Markov

homogenea asociada a la siguiente matriz de transición:
 1 1 
2 2 0 0 0 0
 0 0 1 0 0 0 
 1 1 1


3 0 0 3 3 0 

P =
 0 1 1
 0 0 2 2 0 

 0 0 0 0 0 1 
0 0 0 0 1 0
Es fácil encontrar las clases comunicadas observando el diagrama de

estados de la cadena:

Ejemplo II

Contenidos
1 Introducción

Definición: Tiempo de Parada
Una variable aleatoria T : Ω → {0, 1, 2, . . .} ∪ {∞} es un tiempo de

parada del proceso (Xn )n∈N si el evento {T = n} depende sólo de las
variables X1 , X2 , . . . , Xn para n = 0, 1, . . .
Intuitivamente, observando el proceso es posible determinar si T ha
ocurrido.

Ejemplos de Tiempos de parada
Son tiempos de parada:

i. El primer tiempo de pasada por un estado:
Tj = ı́nf{n ≥ 1 : Xn = j}
Pues: {Tj = n} = {X1 6= j, . . . , Xn−1 6= j, Xn = j}

ii. H A tiempo de la primera llegada a A ⊂ E, definido en la sección
anterior, pues:
{H A = n} = {X0 ∈
/ A, X1 ∈
/ A, . . . , Xn−1 ∈
/ A, Xn ∈ A}

Teorema: Propiedad de Markov Fuerte
Sea (Xn )n∈N una cadena de Markov homogénea (λ, P ) y sea T un

tiempo de parada de (Xn )n∈N . Entonces, condicional en {T < ∞} y
{XT = i}, (XT +n )n≥0 es una cadena de Markov homogénea (δi , P )
independiente de X0 , X1 , . . . , XT .

Contenidos
1 Introducción

Transiencia y Recurrencia
Sea (Xn )n∈N una cadena de Markov homogénea con matriz de

transición P decimos que un estado i ∈ E es:
1 Transiente si:
P(Xn = i, para infinitos n) = 0.
2 Recurrente si
P(Xn = i, para infinitos n) = 1.
Luego un estado es recurrente si la cadena vuelve a él infinitas veces
con probabilidad 1, mientras que un estado es transiente si la cadena
eventualmente deja ese estado para siempre.

Teorema
Sea Ti = ı́nf{n ≥ 1 : Xn = i}, el primer tiempo de retorno a i. Se tiene

la siguiente dicotomía:
(n)
i. Si Pi (Ti < ∞) = 1 entonces i es recurrente y ∞
P
i=0 pii = ∞.
(n)
ii. Si Pi (Ti < ∞) < 1 entonces i es transiente y ∞
P
i=0 pii < ∞.
En particular todo estado es transiente o recurrente.

Definición: Tiempos de retorno y largos de excursión
(r)
Se define el r-ésimo tiempo de retorno por i, Ti inductivamente de la
siguiente forma:

 0 r=0
(r)
Ti = T i r=1
(r−1)
ı́nf{n ≥ Ti + 1 : Xn = i} r ≥ 2

(r)
Se define el largo de la r-ésima excursión a i, Si como:
(
(r) (r−1) (r−1)
(r) Ti − Ti Ti <∞
Si = (r−1)
0 Ti =∞

Lema
(r−1) (r)
Para r = 2, 3, . . ., condicional en el evento Ti < ∞, Si es
(r−1)
independiente de {Xm : m ≤ Ti }y
(r) (r−1)
P(Si = n/Ti < ∞) = Pi (Ti = n)

Introduzcamos ahora la variable Vi que representa el número de visitas
a i que realiza el proceso y notemos que:
1Xn =i
X
Vi =
n≥0
Y además:
 
1Xn =i  = Ei (1Xn =i ) =
(n)
X X X X
Ei (Vi ) = Ei  P(Xn = i) = pii
n≥0 n≥0 n≥0 n≥0
Por último notemos, que un estado es recurrente si Pi (Vi = ∞) = 1 y

transiente si Pi (Vi = ∞) = 0.
Lema
Para r = 0, 1, . . ., se tiene que Pi (Vi > r) = fir , donde fi = Pi (Ti < ∞).

En lo que sigue consideramos (Xn )n∈N una cadena de Markov
homogenea de matriz de transición P .
Teorema
Sea C una clase comunicada de (Xn )n∈N entonces, todos los estados de
C son transientes o recurrentes.

Teorema
Teorema
Toda clase recurrente es cerrada.

Teorema
Teorema
Teorema
Toda clase finita cerrada es recurrente.

Teorema
Teorema
Teorema
Toda clase finita cerrada es recurrente.
Teorema
Supongamos que P es irreducible y recurrente. Entonces para todo
j ∈ E se tiene que P(Tj < ∞) = 1.

Medida Invariante
Una medida µ sobre E se dice:
1 Invariante para P : si µP = µ.
2 Excesiva para P : si µP ≤ µ.
Teorema
Sea (Xn )n∈N irreducible y k ∈ E. Consideremos
k −1
TX
!
γik = Ek 1{Xn =i} .
n=0
Entonces
1 γkk = 1.
2 Si µ es una medida excesiva para P con µk = 1, entonces µ ≥ γ k .
3 Si (Xn )n∈N es recurrente, γ k es medida invariante y es la única de
las medidas excesivas que vale 1 en k.
Distribución Invariante
Un estado i ∈ E se dice recurrente positivo si
Ei (Ti ) < ∞.
Un estado recurrente, que no es recurrente positivo se dice recurrente

nulo.
Teorema
Sea (Xn )n∈N irreducible. Son equivalentes:
1 Todo estado en E es recurrente positivo.
2 Existe un estado en E recurrente positivo.
3 Existe una única distribución invariante dada por:
1
πi = .
Ei (Ti )

Ley de los Grandes Números
Teorema
Sea (Xn )n∈N irreducible y recurrente positiva. Sea π su distribución
invariante. Entonces para toda f : E → R acotada se tiene que
n
1X
f (Xk ) → hπ, f i P-c.s.
n
k=1

Convergencia al equilibrio
Un estado i ∈ E se dice aperiódico si para todo n suficientemente
grande se tiene que
(n)
pii > 0.
Se puede probar que ser aperiódico es una propiedad de clase.
Teorema
Sea (Xn )n∈N irreducible y aperiódico. Supongamos además que existe
distribución invariante π. Sea µ cualquier distribución. Entonces
Pµ (Xn = j) → πj , ∀j ∈ E,
es decir
(µP n )j → πj , ∀j ∈ E,
y en particular
(P n )ij → πj , ∀i, j ∈ E.

Velocidad de Convergencia
Se dice que P satisface la condición de Doeblin si existe n0 ∈ N, β > 0

y una medida de probabilidad ν en E tal que
(n0 )
Pij ≥ βνj , ∀i, j ∈ E. (D)
Teorema
Sea (Xn )n∈N irreducible y satisface (D). Entonces es aperiódico,
recurrente positivo y
X (n)
|Pij − πj | ≤ 2(1 − β)bn/n0 c , ∀i ∈ E, n ∈ N.
j∈E
Observación: Si P es irreducible y aperiódica, y E es finito entonces

se satisface (D).

Teorema Central del Límite
Una cadena se dice uniformemente ergódica, si
X (n)
|Pij − πj | ≤ M tn , i ∈ E, n ∈ N,
j∈E
notemos que la condición (D) implica la ergodicidad uniforme.

Teorema
Sea (Xn )n∈N una cadena de Markov a valores en E, irreducible,
aperiódica y uniformemente ergódica. Sea π su única distribución
invariante y f ∈ L2π (E, R) tal que < π, f >= 0. Entonces se tiene que
en distribución
n
1 X
√ f (Xk ) → σf Z, cuando n → ∞,
n
k=1
N (0, 1), σf2 = i∈E πi (Qf )2i − i∈E πi (P Qf )2i , y

P P
con Z ∼ P
(Qf )i = ∞n=1 Ei [f (Xn )] .

Contenidos
1 Introducción

CM con tiempo revertido
Consideremos (Xn )n∈N una CM irreducible y recurrente positiva,
entonces:
1 Para todo N ≥ 1, el proceso X̂ N = {XN −n , n = 0, . . . , N } es CM.
2 Si ley(X0 ) = π la distribución invariante de (Xn )n∈N , entonces X̂ N
es CM homogénea.
Proposición
Sea (Xn )n∈N ∼ M (P, π) irreducible con distribución invariante π.
Entonces la CM de tiempo revertido X̂ N ∼ M (P̂ , π), con
πj P̂ji = πi Pij , ∀i, j ∈ E.
Diremos que (Xn )n∈N es reversible si P̂ = P . Esto es,
πj Pji = πi Pij , ∀i, j ∈ E, (EBD)
donde π es la distribución invariante.

Observaciones
1 Si π satisface (EBD), entonces π es invariante, la recíproca no es

cierta.

Observaciones

cierta.
2 Una cadena puede tener medida invariante y no ser reversible.

Observaciones

cierta.
2 Una cadena puede tener medida invariante y no ser reversible.
3 Dada una medida π positiva, uno podría preguntarse si existe
alguna CM que tenga a π como medida invariante. Una forma de
resolver esto es buscar P tal que la cadena asociada sea reversible
con respecto a π. Es decir, encontrar P tal que
πj Pji = πi Pij , ∀i, j ∈ E,

Convergencia al equilibrio cuantitativa caso reversible
Teorema
Sea (Xn )n∈N una cadena de Markov irreducible, recurrente positiva y
aperiódica, con distribución invariante π. Asumamos que E es finito.
Entonces:
kP n f − < f, π > kπ ≤ (1 − β)n kf − < f, π > kπ ,
donde β es el gap espectral, dado por
β := (1 − λ2 ) ∧ (1 + λd ),
donde λ2 y λd son el segundo y el último valor propio de P , y k · kπ

denota la norma usual en L2 (π).

Estadísticos de Cadenas de Markov
Sean
n
1 X
µ̂nx = 1{Xl =x} ,
n+1
l=0
1{Xl =x,Xl+1 =y}

Pn−1
n l=0
P̂xy = ,
l=0 1{Xl =x}
Pn−1
Proposición
Sea µ la medida invariante asociada a P .
1 Para todo x ∈ E, µ̂nx → µx casi seguramente cuando n → ∞.
n →P
Para todo x, y ∈ E, P̂xy
2
xy casi seguramente cuando n → ∞.

GRACIAS!!!

5 Cadenas de Markov DIM

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

5 Cadenas de Markov DIM

Uploaded by

Copyright:

Available Formats

Procesos de Markov en Tiempo y Estados Discretos

MA4402: Simulación Estocástica Teoría y Laboratorio

Departamento de Ingeniería Matemática

Semestre Primavera 2017

Héctor Olivero Q. (DIM) 2017-2 1 / 44

Héctor Olivero Q. (DIM) 2017-2 2 / 44

2 Algunos Resultados sobre Cadenas de Markov Homogeneas

4 Propiedad de Markov Fuerte

5 Comportamiento en Tiempo Largo de CM

6 Cadenas de Markov Reversibles

Héctor Olivero Q. (DIM) 2017-2 3 / 44

En lo sucesivo consideraremos un conjunto numerable E y un espacio

Diremos que (Xn )n∈N es un proceso estocástico a tiempo discreto a

Héctor Olivero Q. (DIM) 2017-2 4 / 44

Un proceso (Xn )n∈N como el anterior, se dice Cadena de Markov si

P(Xn+1 = in+1 /X0 = i0 , X1 = i1 , . . . , Xn = in ) =

Si además se tiene que ∀ i, j ∈ E, ∀n ∈ N:

P(Xn+1 = i/Xn = j) = P(X1 = i/X0 = j) (2)

Se dice que el proceso es una Cadena de Markov Homogenea.

Héctor Olivero Q. (DIM) 2017-2 5 / 44

En este caso (Xn )n∈N se puede caracterizar por el par

Diremos que λ es la distribución inicial de la cadena y que P es su

P P es una matriz sobre E con entradas no negativas tales que

j∈E Pij = 1, decimos que P es una matriz estocástica.

Héctor Olivero Q. (DIM) 2017-2 6 / 44

1 Si (Xn )n∈N es una sucesión de variables aleatorias independientes.

Xn+1 = f (n, Xn , Yn+1 ),

entonces (Xn )n∈N es cadena de Markov.

Héctor Olivero Q. (DIM) 2017-2 7 / 44

P(X0 = i0 , . . . , Xn = in ) = λi0 pi0 i1 pi1 i2 . . . pin−1 in (3)

Héctor Olivero Q. (DIM) 2017-2 8 / 44

Supongamos que E = Z y consideremos (Yn )n∈N sucesión de variables

Héctor Olivero Q. (DIM) 2017-2 9 / 44

Una cadena de Markov homogenea se puede representar naturalmente

Héctor Olivero Q. (DIM) 2017-2 10 / 44

Héctor Olivero Q. (DIM) 2017-2 11 / 44

Héctor Olivero Q. (DIM) 2017-2 12 / 44

2 Algunos Resultados sobre Cadenas de Markov Homogeneas

4 Propiedad de Markov Fuerte

5 Comportamiento en Tiempo Largo de CM

6 Cadenas de Markov Reversibles

Héctor Olivero Q. (DIM) 2017-2 13 / 44

Dada una cadena de Markov homogenea (Xn )n∈N la probabilidad de

(P (n) )ij = P(Xn+m = j/Xm = i)

Héctor Olivero Q. (DIM) 2017-2 14 / 44

ii. P(Xn = i) = (λt P n )i

donde Ei (·) es la esperanza bajo la ley Pi (·) = P(·/X0 = i).

2 Algunos Resultados sobre Cadenas de Markov Homogeneas

4 Propiedad de Markov Fuerte

5 Comportamiento en Tiempo Largo de CM

6 Cadenas de Markov Reversibles

Héctor Olivero Q. (DIM) 2017-2 16 / 44

A veces es posible dividir una cadena de Markov en partes más

Diremos que i se comunica con j si i → j ∧ j → i.

Héctor Olivero Q. (DIM) 2017-2 17 / 44

Consideremos dos estados distintos i, j ∈ E. Entonces son equivalentes:

Héctor Olivero Q. (DIM) 2017-2 18 / 44

Héctor Olivero Q. (DIM) 2017-2 19 / 44

Encuentre las clases de estados comunicados de la cadena de Markov

Es fácil encontrar las clases comunicadas observando el diagrama de

Héctor Olivero Q. (DIM) 2017-2 20 / 44

Héctor Olivero Q. (DIM) 2017-2 21 / 44

2 Algunos Resultados sobre Cadenas de Markov Homogeneas

4 Propiedad de Markov Fuerte