Procesos Luis Rincón

Introduccin a los
PROCESOS ESTOCASTICOS
Luis Rincn
o
Departamento de Matemticas
a
Facultad de Ciencias UNAM
Circuito Exterior de CU
04510 Mxico DF
e
Versin: Octubre 2008
o
Una versin actualizada del presente texto se encuentra disponible en formato

o
electrnico en la direccin
o
o
http://www.matematicas.unam.mx/lars
ii
Contenido
1. Introduccin
o
2. Caminatas aleatorias
2.1. Caminatas aleatorias . .
2.2. El problema del jugador
Notas y referencias . . . . . .
Ejercicios . . . . . . . . . . .
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
7
. 7
. 16
. 21
. 23
3. Cadenas de Markov
3.1. Propiedad de Markov . . . . . . .
3.2. Ejemplos . . . . . . . . . . . . . .
3.3. Ecuacin de Chapman-Kolmogorov
o
3.4. Comunicacin . . . . . . . . . . . .
o
3.5. Clases cerradas . . . . . . . . . . .
3.6. Periodo . . . . . . . . . . . . . . .
3.7. Primeras visitas . . . . . . . . . . .
3.8. Recurrencia y transitoriedad . . . .
3.9. Tiempo medio de recurrencia . . .
3.10. N mero de visitas . . . . . . . . .
u
3.11. Recurrencia positiva y nula . . . .
3.12. Evolucin de distribuciones . . . .
o
3.13. Distribuciones estacionarias . . . .
3.14. Distribuciones l
mite . . . . . . . .
3.15. Cadenas regulares . . . . . . . . .
3.16. Cadenas reversibles . . . . . . . . .
Resumen de la notacin . . . . . . . . .
o
Notas y referencias . . . . . . . . . . . .
Ejercicios . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
iii
25
25
29
36
40
42
43
46
48
54
55
61
65
66
73
78
80
83
84
86
4. El proceso de Poisson
4.1. Proceso de Poisson . . . . . . . . .
4.2. Deniciones alternativas . . . . . .
4.3. Proceso de Poisson no homogneo
e
4.4. Proceso de Poisson compuesto . . .
Notas y referencias . . . . . . . . . . . .
Ejercicios . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
97
97
105
108
111
112
113
5. Cadenas de Markov a tiempo continuo

5.1. Procesos de saltos . . . . . . . . . . . .
5.2. Propiedades generales . . . . . . . . . .
5.3. Procesos de nacimiento y muerte . . . .
5.4. Proceso de nacimiento puro . . . . . . .
Notas y referencias . . . . . . . . . . . . . . .
Ejercicios . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
117
118
121
127
130
133
134
6. Procesos de renovacin y conabilidad

o
6.1. Procesos de renovacin . . . . . . . . .
o
6.2. Funcin y ecuacin de renovacin . . .
o
o
o
6.3. Tiempos de vida . . . . . . . . . . . .
6.4. Teoremas de renovacin . . . . . . . .
o
6.5. Conabilidad . . . . . . . . . . . . . .
Notas y referencias . . . . . . . . . . . . . .
Ejercicios . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
135
135
138
140
144
149
154
155
7. Martingalas
7.1. Filtraciones . . . . . . . . . . . . . . . .
7.2. Tiempos de paro . . . . . . . . . . . . .
7.3. Martingalas . . . . . . . . . . . . . . . .
7.4. Ejemplos . . . . . . . . . . . . . . . . .
7.5. Una aplicacin: Estrategias de juego . .
o
7.6. Procesos detenidos . . . . . . . . . . . .
7.7. Una aplicacin: La estrategia martingala
o
7.8. Teorema de paro opcional . . . . . . . .
7.9. Algunas desigualdades . . . . . . . . . .
7.10. Convergencia de martingalas . . . . . .
7.11. Representacin de martingalas . . . . .
o
Notas y referencias . . . . . . . . . . . . . . .
Ejercicios . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
157
157
159
161
162
165
165
167
169
172
174
178
182
185
iv
.
.
.
.
.
.
.
.
.
.
.
.
8. Movimiento Browniano
8.1. Denicin . . . . . . . . . . . . . . . . . .
o
8.2. Propiedades bsicas . . . . . . . . . . . .
a
8.3. Propiedades de las trayectorias . . . . . .
8.4. Movimiento Browniano multidimensional
8.5. El principio de reexin . . . . . . . . . .
o
8.6. Recurrencia y transitoriedad . . . . . . . .
Notas y referencias . . . . . . . . . . . . . . . .
Ejercicios . . . . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
191
191
196
200
204
207
210
216
219
9. Clculo estocstico
a
a
9.1. Integracin estocstica . . . . . . . .
o
a
9.2. Frmula de It . . . . . . . . . . . .
o
o
9.3. Ecuaciones diferenciales estocsticas
a
9.4. Simulacin . . . . . . . . . . . . . . .
o
9.5. Algunos modelos particulares . . . .
Notas y referencias . . . . . . . . . . . . .
Ejercicios . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
221
221
234
236
241
242
252
254
A. Conceptos y resultados varios
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
255
vi
Prlogo
o
El presente texto contiene material bsico en temas de procesos estocsticos a nivel
a
a
licenciatura. Est dirigido a estudiantes de las carreras de matemticas, actuar
a
a
a,
matemticas aplicadas y otras carreras anes. Este trabajo es una versin ampliada
a
o
de las notas de clase del curso semestral de procesos estocstico que he impartido
a
en la Facultad de Ciencias de la UNAM a alumnos de las carreras de actuar y
a
matemticas.
a
Los temas tratados en este texto corresponden a ciertos modelos clsicos de la
a
teor de los procesos estocsticos, y a ciertas preguntas o problemas matemticos
a
a
a
que uno puede plantearse al estudiar tales modelos. El texto inicia con una explicacin del concepto de proceso estocstico y con algunas deniciones y ejemplos
o
a
generales de este tipo de modelos. A manera de un acercamiento inicial se presenta
primero una introduccin breve al tema de caminatas aleatorias en una dimensin,
o
o
y particularmente se analiza el problema de la ruina del jugador. En el segundo
cap
tulo se estudian cadenas de Markov a tiempo discreto y despus se estudia el
e
mismo tipo de modelo para tiempos continuos, para ello se presenta primero el
proceso de Poisson. Se estudian despus los procesos de renovacin, y brevemente
e
o
tambin la teor de la conabilidad. Se presenta despus una introduccin a la
e
a
e
o
teor de martingalas a tiempo discreto, en donde se estudian unos pocos de sus
a
muchos resultados y aplicaciones. Se incluye adems una introduccin al movimiena
o
to Browniano. El texto naliza con una exposicin compacta y ligera del clculo
o
a
estocstico de It. El material completo excede lo que regularmente es impartido
a
o
en un curso semestral, y una seleccin adecuada de temas ser necesaria. Cada
o
a
cap
tulo contiene material que puede considerarse como introductorio al tema. Al
nal de cada uno de ellos se proporcionan algunas referencias para que el lector
pueda precisar o profundizar lo que aqu se presenta.
El texto contiene una coleccin de ejercicios que se han colocado al nal de cada
o
cap
tulo, y se han numerado de manera consecutiva a lo largo del libro. Se incluyen
tambin sugerencias o soluciones de algunos de estos ejercicios. A lo largo de la
e
exposicin el lector encontrar tambin algunos otros ejemplos y ejercicios, los
o
a
e
cuales son particularmente utiles para el estudiante autodidacta, o para presentar
en clase si se adopta alguna parte de este texto como material de estudio en alg n
u
curso.
A
Este material fue escrito en L TEX, y las grcas fueron elaboradas usando el exa
vii
viii
celente paquete Pstricks. La mayor parte de este trabajo fue elaborado mientras
realizaba una estancia sabtica en la universidad de Nottingham durante el a o
a
n
2007, y agradezco sinceramente al Prof. Belavkin su amable hospitalidad para llevar a cabo este proyecto, y a la DGAPA-UNAM por el generoso apoyo econmico
o
recibido durante esta agradable estancia.
Luis Rincn
o
Enero 2008
Ciudad Universitaria UNAM
lars@fciencias.unam.mx
Cap
tulo 1
Introduccin
o
Considere un sistema que puede caracterizarse por estar en cualquiera de un conjunto de estados previamente especicado. Suponga que el sistema evoluciona o
cambia de un estado a otro a lo largo del tiempo de acuerdo a una cierta ley de
movimiento, y sea Xt el estado del sistema al tiempo t. Si se considera que la forma en la que el sistema evoluciona no es determinista, sino provocada por alg n
u
mecanismo azaroso, entonces puede considerarse que Xt es una variable aleatoria
para cada valor del
ndice t. Esta coleccin de variables aleatorias es la denicin
o
o
de proceso estocstico, y sirve como modelo para representar la evolucin aleatoa
o
ria de un sistema a lo largo del tiempo. En general, las variables aleatorias que
conforman un proceso no son independientes entre s sino que estn relacionadas
,
a
unas con otras de alguna manera particular. Ms precisamente, la denicin de
a
o
proceso estocstico toma como base un espacio de probabilidad (, F , P ) y puede
a
enunciarse de la siguiente forma.
Denicin. Un proceso estocstico es una coleccin de variables aleatorias
o
a
o
{Xt : t T } parametrizada por un conjunto T , llamado espacio parametral, y
con valores en un conjunto S llamado espacio de estados.
En los casos ms sencillos, y que son los que consideraremos en este texto, se toma
a
como espacio parametral el conjunto T = {0, 1, 2, . . .}, o T = [0, ), y estos n meu
ros se interpretan como tiempos. En el primer caso se dice que el proceso es a tiempo
discreto, y en general este tipo de procesos se denotar por {Xn : n = 0, 1, . . .},
a
mientras que en el segundo caso el proceso es a tiempo continuo, y se denotar por
a
{Xt : t 0}. Es decir, seguiremos la convencin de que si el sub
o
ndice es n, enton1
2
ces los tiempos son discretos, y si el sub
ndice es t, el tiempo se mide de manera
continua. Los posibles espacios de estados que consideraremos son subconjuntos de
Z, y un poco ms generalmente tomaremos como espacio de estados el conjunto
a
de n meros reales R, aunque en algunos pocos casos tambin consideraremos a
u
e
Zn o Rn . Naturalmente espacios ms generales son posibles, tanto para el espacio
a
parametral como para el espacio de estados. En particular, para poder hablar de
variables aleatorias con valores en el espacio de estados S, es necesario asociar a
este conjunto una -lgebra, considerando que S es un subconjunto de R, puede
a
tomarse la -lgebra de Borel de S, es decir, S B(R).
a
Un proceso estocstico puede considerarse como una funcin de dos variables X :
a
o
T S tal que a la pareja (t, ) se le asocia el estado X(t, ), lo cual tambin
e
puede escribirse como Xt (). Para cada valor de t en T , el mapeo Xt ()
es una variable aleatoria, mientras que para cada en jo, la funcin t
o
Xt () es llamada una trayectoria o realizacin del proceso. Es decir, a cada
o
del espacio muestral le corresponde una trayectoria del proceso. Es por ello que
a veces se dene un proceso estocstico como una funcin aleatoria. Una de tales
a
o
trayectorias t
picas que adems cuenta con la propiedad de ser continua se muestra
a
en la Figura 1.1, y corresponde a una trayectoria de un movimiento Browniano,
proceso que deniremos y estudiaremos ms adelante.
a
Espacio
de estados
Xt ()
t
Espacio
parametral
Figura 1.1:
Si A es un conjunto de estados, el evento (Xt A) corresponde a la situacin en
o
donde al tiempo t el proceso toma alg n valor dentro del conjunto A. En particular,
u
(Xt = x) es el evento en donde al tiempo t el proceso se encuentra en el estado x.

Cap
tulo 1. Introduccion
Los diferentes tipos de procesos estocsticos se obtienen al considerar las distintas

a
posibilidades para: el espacio parametral, el espacio de estados, las caracter
sticas de las trayectorias, y principalmente las relaciones de dependencia entre las
variables aleatorias que conforman el proceso. Los siguientes son algunos ejemplos generales de procesos estocsticos. Estos son procesos que cumplen una cierta
a
propiedad particular, no necesariamente excluyentes unas de otras. A lo largo del
texto estudiaremos y especicaremos con mayor detalle algunos de estos tipos de
procesos.
Proceso de ensayos independientes. El proceso a tiempo discreto {Xn : n =
0, 1, . . .} puede estar constituido por variables aleatorias independientes. Este modelo corresponde al experimento de realizar una sucesin de ensayos independientes
o
de un mismo experimento aleatorio, por ejemplo, lanzar un dado o una moneda
repetidas veces. El resultado u observacin del proceso en un momento cualquiera
o
es, por lo tanto, independiente de cualquier otra observacin pasada o futura del
o
proceso.
Procesos de Markov. Estos tipos de procesos son importantes y son modelos en
donde, suponiendo conocido el estado presente del sistema, los estados anteriores no
tienen inuencia en los estados futuros del sistema. Esta condicin se llama propieo
dad de Markov y puede expresarse de la siguiente forma: Para cualesquiera estados
x0 , x1 , . . . , xn1 (pasado), xn (presente), xn+1 (futuro), se cumple la igualdad
P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ).
De esta forma la probabilidad del evento futuro (Xn = xn ) slo depende el evento
o
(Xn1 = xn1 ), mientras que la informacin dada por el evento (X0 = x0 , . . . , Xn2 =
o
xn2 ) es irrelevante. Los procesos de Markov han sido estudiados extensamente y
existe un gran n mero de sistemas que surgen en muy diversas disciplinas del conou
cimiento para los cuales el modelo de proceso estocstico y la propiedad de Markov
a
son razonables. En particular, los sistemas dinmicos deterministas dados por una
a
ecuacin diferencial pueden considerarse procesos de Markov pues su evolucin fuo
o
tura queda determinada por la posicin inicial del sistema y una ley de movimiento
o
especicada.
Procesos con incrementos independientes. Se dice que un proceso {Xt : t
0} tiene incrementos independientes si para cualesquiera tiempos 0 t1 < t2 <
< tn , las variables Xt1 , Xt2 Xt1 , . . . , Xtn Xtn1 son independientes.
Procesos estacionarios. Se dice que un proceso {Xt : t 0} es estacionario (en el
sentido estricto) si para cualesquiera tiempos t1 , . . . , tn , la distribucin del vector
o
4
(Xt1 , . . . , Xtn ) es la misma que la del vector (Xt1 +h , . . . , Xtn +h ) para cualquier
valor de h > 0. En particular, la distribucin de Xt es la misma que la de Xt+h
o
para cualquier h > 0, y entonces esta distribucin es la misma para cualquier valor
o
de t.
Procesos con incrementos estacionarios. Se dice que un proceso {Xt : t 0}
tiene incrementos estacionarios si para cualesquiera tiempos s < t, y para cualquier
h > 0, las variables Xt+h Xs+h y Xt Xs tienen la misma distribucin de
o
probabilidad. Es decir, el incremento que sufre el proceso entre los tiempos s y t
slo depende de estos tiempos a travs de la diferencia t s, y no de los valores
o
e
espec
cos de s y t.
Martingalas. Una martingala a tiempo discreto es, en trminos generales, un
e
proceso {Xn : n = 0, 1, . . .} que cumple la condicin
o
E(Xn+1 | X0 = x0 , . . . , Xn = xn ) = xn .
(1.1)
En palabras, esta igualdad signica que el estado promedio del proceso al tiempo
futuro n + 1 es el valor del proceso en su ultimo momento observado, es decir, xn .
Esto es, se trata de una ley de movimiento aleatoria equilibrada pues en promedio
el sistema no se mueve del ultimo momento observado. A estos procesos tambin se
e
les conoce como procesos de juegos justos pues si se considera una sucesin innita
o
de apuestas sucesivas y si Xn denota el capital de uno de los jugadores al tiempo
n, entonces la propiedad de martingala (1.1) establece que el juego es justo pues
en promedio el jugador no pierde ni gana en cada apuesta.
Procesos de L`vy. Se dice que un proceso a tiempo continuo {Xt : t 0} es
e
un proceso de L`vy si sus incrementos son independientes y estacionarios. Ms
e
a
adelante veremos que tanto el proceso de Poisson como el movimiento Browniano
son ejemplos de este tipo de procesos.
Procesos Gausianos. Se dice que un proceso a tiempo continuo {Xt : t 0} es
un proceso Gausiano si para cualesquiera coleccin nita de tiempos t1 , . . . , tn , el
o
vector (Xt1 , . . . , Xtn ) tiene distribucin normal o Gausiana. Nuevamente, el movio
miento Browniano es un ejemplo de este tipo de procesos.
El objetivo del presente texto es el de proporcionar una introduccin a algunos
o
resultados elementales sobre algunos tipos de procesos estocsticos.
a
Ejercicio. Demuestre que todo proceso a tiempo discreto {Xn : n = 0, 1, . . .} con
incrementos independientes es un proceso de Markov. Este resultado no es vlido
a

Cap
tulo 1. Introduccion
para procesos a tiempo continuo.
Cap
tulo 2
Caminatas aleatorias
En este cap
tulo se presenta una introduccin breve al tema de caminatas aleatorias
o
en una dimensin. Encontraremos la distribucin de probabilidad de la posicin de
o
o
o
una part
cula que efect a una caminata aleatoria en Z, y la probabilidad de retorno
u
a la posicin de origen. Se plantea y resuelve despus el problema de la ruina del
o
e
jugador, y se analizan algunos aspectos de la solucin.
o
2.1.
Una caminata aleatoria simple sobre el conjunto de n meros enteros Z es un proceso

u
estocstico a tiempo discreto {Xn : n = 0, 1, . . .} que evoluciona como se muestra
a
en la Figura 2.1.
Es decir, iniciando en el estado 0, al siguiente tiempo el proceso puede pasar al
estado +1 con probabilidad p, o al estado
2
1
+1
+2
0
1 con probabilidad q, en donde p+q = 1.
Se usa la misma regla para los siguientes
tiempos, es decir, pasa al estado de la deFigura 2.1:
recha con probabilidad p, o al estado de la
izquierda con probabilidad q. El valor de Xn es el estado del proceso al tiempo n.
Este proceso cambia de un estado a otro en dos tiempos consecutivos de acuerdo
a las probabilidades de transicin que se muestran en la Figura 2.1, vlidas para
o
a
q
2.1. Caminatas aleatorias
cualquier n 0, y para cualesquiera enteros i y j.
P (Xn+1
p si j = i + 1,
= j | Xn = i) =
q si j = i 1,
0 otro caso.
Dado que estas probabilidades no dependen de n, se dice que son homogneas en

e
el tiempo, es decir, son las mismas para cualquier valor de n. A partir de estas
consideraciones, es intuitivamente claro que este proceso cumple la propiedad de
Markov, es decir, el estado futuro del proceso depende unicamente del estado pre
sente y no de los estados previamente visitados. Una posible trayectoria de este
proceso se muestra en la Figura 2.2.
Xn ()
Una caminata aleatoria puede tambin dee

nirse de la forma siguiente: Sea 1 , 2 , . . .
una sucesin de variables aleatorias ino
dependientes e idnticamente distribuidas
e
tales que P ( = +1) = p y P ( = 1) = q,
en donde, como antes, p + q = 1. Entonces
para n 1 se dene
Figura 2.2:
Xn = X0 + 1 + + n .
Sin prdida de generalidad supondremos

e
que X0 = 0. Nos interesa encontrar algunas propiedades de la variable Xn , y de su
comportamiento como funcin de n. Por ejemplo, a partir de la expresin anterior,
o
o
es inmediato encontrar su esperanza y varianza.
Proposicin. Para cualquier entero n 0,
o
1. E(Xn ) = n(p q).
2. Var(Xn ) = 4npq.
Demostracin.
o
n
1. E(Xn ) = i=1 E(i ) = n E() = n(p q).
2. Como E( 2 ) = p + q = 1 y E() = p q, se tiene que Var() = 1 (p q)2 = 4pq.
Por lo tanto Var(Xn ) = n Var(i ) = n Var() = 4npq.
i=1
Cap
tulo 2. Caminatas aleatorias
Analicemos estas dos primeras frmulas. Si p > q, es decir, si la caminata toma

o
pasos a la derecha con mayor probabilidad, entonces el estado promedio despus
e
de n pasos es un n mero positivo, es decir, su comportamiento promedio es tender
u
hacia la derecha, lo cual es intuitivamente claro. Anlogamente, si p < q, entonces
a
el estado nal promedio de la caminata despus de n pasos es un n mero negativo,
e
u
es decir, en promedio la caminata tiende a moverse hacia la izquierda. En ambos
casos la varianza crece conforme el n mero de pasos n crece, eso indica que mientras
u
mayor es el n mero de pasos que se dan, mayor es la incertidumbre acerca de la
u
posicin nal del proceso. Cuando p = q se dice que la caminata es asimtrica.
o
e
Cuando p = q = 1/2 se dice que la caminata es simtrica, y en promedio el proceso
e
se queda en su estado inicial pues E(Xn ) = 0, sin embargo para tal valor de p la
varianza es Var(Xn ) = n, y es sencillo demostrar que ese valor es el mximo de la
a
expresin 4npq, para p (0, 1).
o
Ejercicio. Demuestre que la funcin generadora de momentos de la variable Xn
o
es M (t) = (pet + qet )n . A partir de ella encuentre nuevamente la esperanza y
varianza de Xn .
Probabilidades de transicin. Como hemos supuesto que la caminata inicia en
o
cero, es intuitivamente claro que despus de efectuar un nmero par de pasos la
e
u
cadena slo puede terminar en una posicin par, y si se efect an un n mero impar
o
o
u
u
de pasos la posicin nal slo puede ser un n mero impar. Adems, es claro que
o
o
u
a
despus de efectuar n pasos, la caminata slo puede llegar a una distancia mxima
e
o
a
de n unidades, a la izquierda o a la derecha. Teniendo esto en mente, en el siguiente
resultado se presenta la distribucin de probabilidad de la variable Xn .
o
Proposicin. Para cualesquiera n meros enteros x y n tales que n x n, y
o
u
para el caso cuando x y n son ambos pares o ambos impares,
P (Xn = x | X0 = 0) =
1
1
n
p 2 (n+x) q 2 (nx) .
+ x)
1
2 (n
(2.1)
Demostracin. Suponga que se observa la posicin de la caminata despus de efeco

o
e
tuar n pasos. Sean Rn y Ln el n mero de pasos realizados hacia la derecha y hacia
u
la izquierda, respectivamente. Entonces Xn = Rn Ln , y adems n = Rn + Ln .
a
n
Sumando estas dos ecuaciones y substituyendo la expresin Xn = i=1 i se obo
10
tiene
Rn =
1
(n + Xn ) =
2
n
i=1
1
(1 + i ).
2
Esta ecuacin es la identidad clave para obtener el resultado buscado. Observe

o
que esta frmula arroja un valor entero para Rn cuando n y Xn son ambos pares
o
o ambos impares. Como las variables independientes i toman los valores +1 y
1 con probabilidades p y q respectivamente, entonces las variables independientes
1
o
2 (1 + i ) toman los valores 1 y 0 con probabilidades p y q. Esto lleva a la conclusin
de que la variable Rn tiene distribucin binomial(n, p). Por lo tanto, para cualquier
o
valor de x que cumpla las condiciones enunciadas se tiene que
P (Xn = x | X0 = 0) =
=
P (Rn =
1
(n + x))
2
n
+ x)
1
2 (n
p 2 (n+x) q 2 (nx) .
En particular, cuando la caminata es simtrica, es decir, cuando p = 1/2, y con las

e
mismas restricciones para n y x (n x n, ambos pares o ambos impares) se
tiene la expresin
o
P (Xn = x | X0 = 0) =
n
+ x)
1
2 (n
1
.
2n
Esta frmula puede tambin justicarse mediante argumentos de anlisis combinao

e
a
torio de la siguiente forma: En total hay 2n posibles trayectorias que la caminata
puede seguir al efectuar n pasos, todas ellas con la misma probabilidad de ocurrir
debido a la simetr Ahora, Cuntas de estas trayectorias terminan en x 0, por
a.
a
ejemplo? Como se ha argumentado antes, el n mero de pasos a la derecha debe
u
ser 1 (n + x), y el n mero de trayectorias que cumplen la condicin es el n mero
u
o
u
2
de formas en que los 1 (n + x) pasos a la derecha pueden escogerse de los n pasos
2
totales. La respuesta es entonces el cociente que aparece en la expresin anterior.
o
Ejercicio. Demuestre nuevamente la identidad (2.1) analizando ahora la variable
Ln , es decir, demuestre primero las igualdades que aparecen abajo. Concluya que
Ln tiene distribucin binomial(n, q). A partir de aqu obtenga el resultado. Ln =
o
n
1
1
i=1 2 (1 i ).
2 (n Xn ) =
Ejercicio. Demuestre que la probabilidad (2.1) es una funcin simtrica de x si, y
o
e
slo si, la caminata es simtrica.
o
e
11
Cap
La frmula (2.1) puede extenderse fcilmente al caso general de pasar de un estado

o
a
cualquiera y a otro estado x en n pasos.
Proposicin. Si los n meros n y x y son ambos pares o ambos impares,
o
u
entonces para n x y n,
P (Xn = x | X0 = y) =
1
2 (n
n
+ x y)
p 2 (n+xy) q 2 (nx+y) .
(2.2)
Demostracin. Suponga que X0 = 0 y dena Zn = Xn y. Entonces Zn es ahora

o
una caminata aleatoria que inicia en cero como en el caso antes demostrado. El
resultado se obtiene de la identidad P (Xn = x | X0 = y) = P (Zn = x y | Zn =
0).
Probabilidad de regreso a la posicin de origen. Nos plantearemos ahora el
o
problema de encontrar la probabilidad de que una caminata aleatoria que inicia
en el origen, regrese eventualmente al punto de partida. Demostraremos que en el
caso asimtrico, p = 1/2, la probabilidad de tal evento es menor que uno, es decir,
e
no es seguro que ello ocurra, pero en el caso simtrico, p = 1/2, se cumple que con
e
probabilidad uno la caminata regresa eventualmente al origen. Para el ultimo caso
demostraremos adems que el n mero de pasos promedio para regresar al origen

a
u
es, sin embargo, innito. La demostracin es un tanto tcnica y hace uso de las
o
e
funciones generadoras de probabilidad. Dado que este cap
tulo es introductorio, tal
vez sea mejor recomendar al lector, cuando se trate de una primera lectura, omitir
los detalles de esta demostracin.
o
Proposicin. Para una caminata aleatoria sobre Z, la probabilidad de un eveno
tual regreso al punto de partida es
1 |p q| =
1
<1
si p = q,
si p = q.
Es decir, slo en el caso simtrico, p = q, se tiene la certeza de un eventual

o
e
retorno, sin embargo el tiempo promedio de regreso en tal caso es innito.
12
Demostracin. Para demostrar estas armaciones utilizaremos los siguientes eleo

mentos:
a) Para cada n 0 denotaremos por pn a la probabilidad de que la caminata se
encuentre en el estado 0 al tiempo n, es decir, pn = P (Xn = 0 | X0 = 0). Esta
probabilidad es distinta de cero slo cuando n es un n mero par. Naturalmente
o
u
p0 = 1. Denotaremos tambin por fk a la probabilidad de que la caminata visite
e
el estado 0 por primera vez en el paso k 0. El uso de la letra f proviene el
trmino en Ingls rst. Por conveniencia se dene f0 = 0. Observe que en trminos
e
e
e
de las probabilidades fk , la probabilidad de que la caminata regrese eventualmente
al origen es k=0 fk . Esta serie es convergente pues se trata de la suma de probabilidades de eventos disjuntos, y por lo tanto a lo sumo vale uno. Demostraremos
que en el caso simtrico la suma vale uno. Recordemos nuevamente que los valores
e
de fk son estrictamente positivos slo para valores pares de k distintos de cero.
o
b) No es dif comprobar que se cumple la siguiente igualdad
cil
n
pn =
fk pnk .
(2.3)
k=0
En esta expresin simplemente se descompone la probabilidad de regreso al origen,

o
pn , en las distintas posibilidades en donde se efect a el primer regreso al origen.
u
Este primero regreso puede darse en el paso 1, o en el paso 2, ..., o en el ultimo
momento, el paso n. Despus de efectuado el primer regreso se multiplica por la

e
probabilidad de regresar al origen en el n mero de pasos restantes. Observe que el
u
primer sumando es cero. Esta frmula ser demostrada ms adelante en el contexto
o
a
a
de las cadenas de Markov, vase la frmula (3.2) en la pgina 47. Usaremos (2.3)
e
o
a
para encontrar la funcin generadora de probabilidad de la coleccin de n meros
o
o
u
f0 , f1 , f2 , . . . , es decir, encontraremos
G(t) =
k=0
f k tk .
Cap
13
Multiplicando (2.3) por tn , sumando y cambiando el orden de las sumas se obtiene
p n tn
n=1
=
=
fk pnk tn
n=1 k=0

fk pnk tn
k=0 n=k
f k tk
k=0
G(t)
pnk tnk
n=k
p n tn .
n=0
Por lo tanto
(
n=0
pn tn ) 1 = G(t)
p n tn .
(2.4)
n=0
Para encontrar G(t) se necesita encontrar una expresin para la suma que aparece
o
en la ultima ecuacin, y que no es otra cosa sino el funcin generadora de los
o
o
n meros p0 , p1 , p2 , . . . Haremos esto a continuacin.
u
o
c) Para el anlisis que sigue necesitamos recordar que para cualquier n mero real
a
u
a y para cualquier entero n, se tiene el coeciente binomial
a
n
a(a 1) (a (n 1))
.
n!
(2.5)
Observe que en el numerador hay n factores. Este n mero es una generalizacin

u
o
del coeciente binomial usual y aparece en la siguiente expansin binomial innita
o
vlida para |t| < 1,
a
a n
(1 + t)a =
t .
(2.6)
n
n=0
14
En particular y como una aplicacin de (2.5) se tiene que

o
2n
n
=
=
=
=
=
2n(2n 1)(2n 2) 3 2 1
n! n!
n
2 n! (2n 1)(2n 3) 5 3 1
n! n!
2n 2n 2n 1 2n 3
5 3 1
(
)(
) ( )( )( )
n!
2
2
2 2 2
2n 2n
1
3
5
3
1
n
(1) (n + )(n + ) ( )( )( )
n!
2
2
2
2
2
1/2
(4)n
.
n
(2.7)
d) Usando (2.6) y (2.7) podemos ahora encontrar una expresin cerrada para la
o
funcin generadora de la coleccin de n meros p0 , p1 , p2 , . . .
o
o
u
p n tn
n=0
=
=
n=0
n=0
n=0
2n n n 2n
p q t
n
(4)n
1/2 n n 2n
p q t
n
1/2
(4pqt2 )n
n
= (1 4pqt2 )1/2 .
(2.8)
e) Substituyendo (2.8) en (2.4) se llega a la igualdad

(1 4pqt2 )1/2 1 = G(t) (1 4pqt2 )1/2 .
De donde se obtiene nalmente
G(t) = 1 (1 4pqt2 )1/2 .
(2.9)
Usando esta expresin podemos ahora calcular la probabilidad de un eventual reo

greso al estado inicial. En efecto, por el lema de Abel,
n=0
fn = l G(t) = 1 (1 4pq)1/2 = 1 |p q|.

m
t1
15
Cap
En el caso asimtrico, p = 1/2, esta cantidad es estrictamente menor a uno y

e
por lo tanto no hay seguridad de que la caminata sea capaz de regresar al origen.
En cambio, en el caso simtrico, p = 1/2, esta cantidad vale uno, es decir, con
e
probabilidad uno la cadena aleatoria simtrica regresa eventualmente a su posicin
e
o
de origen. Adems, el tiempo promedio de regreso se obtiene derivando la funcin
a
o
generadora G(t) = 1 (1 t)1/2 , es decir,
n=0
n fn = l G (t) = l
m
m
t1
t1
t
= .
1 t2
Puede considerarse tambin el caso de una caminata en donde sea posible permanee
cer en el mismo estado despus de una unidad de tiempo. Esta situacin se ilustra
e
o
en la Figura 2.3(a), en donde p, q y r son probabilidades tales que p + q + r = 1.
Tambin pueden considerarse caminatas aleatorias en Z2 como la que se muestra
e
en la Figura 2.3(b), en donde p + q + r + s = 1, o ms generalmente en Zn o
a
cualquier otro conjunto reticulado.
r
q
1
p
0
p
1
s
1
(a)
(b)
Figura 2.3:
En el siguiente cap
tulo se estudiarn algunas otras propiedades de las caminatas
a
aleatorias en el contexto de las cadenas de Markov.
16
2.2.
El problema del jugador
En esta seccin consideraremos un ejemplo particular de una caminata aleatoria

o
puesta en el contexto de un juego de apuestas.
Planteamiento del problema. Suponga que un jugador A apuesta sucesivamente
una unidad monetaria a un jugador B. Inicialmente el jugador A tiene k unidades,
y B tiene N k unidades, es decir, el capital conjunto entre los dos jugadores es
de N unidades monetarias. En cada apuesta el jugador A tiene probabilidad de
ganar p, y probabilidad de perder q = 1 p, se asume adems que no hay empates.
a
Sea Xn la fortuna del jugador A al tiempo n. Entonces {Xn : n = 0, 1, . . .} es una
caminata aleatoria que inicia en el estado k y eventualmente puede terminar en el
estado 0 cuando el jugador A ha perdido todo su capital, o bien puede terminar en
el estado N que corresponde a la situacin en donde el jugador A ha ganado todo
o
el capital.
Xn
N
Este proceso es entonces una caminata aleatoria sobre el conjunto

{0, 1, . . . , N }, en donde los estados 0
y N son absorbentes, pues una vez que
la cadena llega a alguno de ellos, jams
a
lo abandona. Una posible trayectoria
cuando la caminata se absorbe en el
estado 0 se muestra en la Figura 2.4.
Una de las preguntas que resolveremos para esta caminata es la siguiente:

Cul es la probabilidad de que evena
tualmente el jugador A se arruine? Es
decir, Cul es la probabilidad de que
a
la caminata se absorba en el estado 0 y no en el estado N , u oscile entre estos
dos estados? Este problema se conoce como el problema de la ruina del jugador,
y encontraremos a continuacin su solucin. Usando probabilidad condicional es
o
o
posible transformar este problema en resolver una ecuacin en diferencias.
o
Figura 2.4:
Solucin al problema. Sea es el primer momento en el que la caminata visita

o
alguno de los dos estados absorbentes, es decir, = m
n{n 0 : Xn = 0 Xn =
o
N }. Puede demostrarse que esta variable aleatoria is nita casi seguramente. La
Cap
17
pregunta planteada se traduce en encontrar la probabilidad

uk = P (X = 0 | X0 = k).
Por el teorema de probabilidad total se obtiene la ecuacin en diferencias
o
uk = p uk+1 + q uk1 ,
(2.10)
vlida para k = 1, 2, . . . , N 1. La interpretacin intuitiva de esta identidad es

a
o
sencilla: A partir del estado k se busca la probabilidad de ruina analizando lo que
sucede en la siguiente apuesta. Se tienen dos casos. El jugador gana con probabilidad p y ahora se busca la probabilidad de ruina a partir del estado k + 1, o bien el
jugador pierde con probabilidad q y se busca la probabilidad de ruina ahora a partir
del estado k 1. Las condiciones de frontera son u0 = 1 y uN = 0. Esta ecuacin es
o
una ecuacin en diferencias, lineal, de segundo orden y homognea. Puede encono
e
trarse su solucin de la siguiente forma: Multiplicando el lado izquierdo de (2.10)
o
por (p + q) y agrupando trminos se llega a la expresin equivalente
e
o
uk+1 uk = (q/p) (uk uk1 ).
(2.11)
Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la forma

siguiente
u2 u1
u3 u2
uk uk1
= (q/p) (u1 1)
= (q/p)2 (u1 1)
.
.
.
= (q/p)k1 (u1 1).
Hemos usado aqu la condicin de frontera u0 = 1. Conviene ahora denir Sk =
o
1 + (q/p) + + (q/p)k pues al sumar las k 1 ecuaciones anteriores se obtiene
uk u1 = (Sk1 1) (u1 1). O bien
uk = 1 + Sk1 (u1 1).
(2.12)
De manera anloga pero ahora sumando todas las ecuaciones de (2.11) se obtiene
a
uN = 1 + SN 1 (u1 1). Usando la segunda condicin de frontera uN = 0 se llega
o
a u1 1 = 1/SN 1 . Substituyendo en (2.12) y simplicando se llega a la solucin
o
uk = 1
Sk1
.
SN 1
18
Es necesario ahora distinguir los siguientes dos casos:
k+1
k
k+1
Sk = 1 + (q/p) + + (q/p) =
1 (q/p)
1 (q/p)
Por lo tanto
(N k)/N
k
N
uk =
(q/p) (q/p)
1 (q/p)N
si p = q,
si p = q.
si p = 1/2,
si p = 1/2.
(2.13)
En la Figura 2.5 se muestra la grca de la probabilidad uk como funcin del

a
o
parmetro k para varios valores de p y con N = 50. En el caso simtrico la solucin
a
e
o
es la linea recta que une la probabilidad uno con la probabilidad cero. Naturalmente
la probabilidad de ruina decrece cuando el capital inicial k aumenta. En la seccin
o
de ejercicios se sugiere otra forma de resolver la ecuacin en diferencias (2.10).
o
uk
1
p = 0.01
p = 0.2
p = 0.35
p = 0.5
p = 0.65
p = 0.8
p = 0.99
k
10
20
30
40
50
Figura 2.5:
Anlisis de la solucin. Es interesante analizar la frmula (2.13) en sus varios
a
o
o
aspectos. Por ejemplo, para el caso simtrico p = 1/2, es decir, cuando el juego
e
es justo, la probabilidad de ruina es muy cercana a 1 cuando k es muy peque o
n
comparado con N . Esto sugiere que no conviene jugar esta serie de apuestas contra
adversarios demasiado ricos, a n cuando el juego sea justo. Es tambin un tanto
u
e
inesperado observar que la probabilidad uk es muy sensible a los valores de p
cercanos a 1/2. Esto puede apreciarse en la Figura 2.6. Cuando p es distante de
1/2 la probabilidad uk es casi constante, pero para valores de p cercanos a 1/2
19
Cap
la probabilidad cambia rpidamente de un extremo a otro. Estas grcas fueron

a
a
elaborados tomando N = 50.
uk
uk
uk
k=5
0.5
k = 25
0.5
k = 45
0.5
Figura 2.6:
Ejercicio. (Probabilidad de ruina del otro jugador). Si el juego se considera desde el

punto de vista del jugador B, entonces se trata de la misma caminata aleatoria slo
o
que ahora el capital inicial es N k y la probabilidad de ganar en cada apuesta es q.
Substituya estos parmetros en la solucin (2.13) y compruebe que la probabilidad
a
o
de ruina del jugador B, denotada por vN k , es la que aparece abajo. Verique
adems que uk + vN k = 1, es decir, la probabilidad de que eventualmente el juego
a
termine con la ruina de alguno de los jugadores es uno.
si q = 1/2,
k/N
k
vN k =
(q/p) 1
si q = 1/2.
N 1
(q/p)
N mero esperado de apuestas antes de la ruina. Hemos comprobado que con
u
probabilidad uno ocurre que eventualmente alguno de los dos jugadores se arruina.
Es natural entonces plantearse el problema de encontrar el tiempo promedio que
transcurre antes de observar la eventual ruina de alguna de las partes. Este n mero
u
de apuestas promedio antes de la ruina puede encontrarse expl
citamente, y el
mtodo que usaremos para encontrarlo es nuevamente el planteamiento de una
e
ecuacin en diferencias que resolveremos del modo mostrado antes. Sea entonces
o
mk el n mero esperado de apuesta antes de que termine el juego, en donde el
u
jugador A tiene un capital inicial de k unidades, y B tiene N k.
20
Proposicin. El n mero esperado de apuestas antes de la ruina es

o
u
si p = q,
k (N k)
k
mk =
1 ( k N 1 (q/p) ) si p = q.
N
qp
1 (q/p)
Demostracin. Condicionando sobre el resultado de la primera apuesta se obtiene
o
que mk satisface la ecuacin
o
mk = 1 + p mk+1 + q mk1 ,
vlida para k = 1, 2, . . . , N 1. Esta es una ecuacin en diferencias, de segundo
a
o
orden, lineal y no homognea. Las condiciones de frontera son ahora m0 = 0 y
e
mN = 0. Substituyendo (p + q)mk por mk y agrupando trminos convenientemente
e
la ecuacin anterior puede reescribirse del siguiente modo
o
mk+1 mk =
q
1
(mk mk1 ) .
p
p
(2.14)
Recordando la notacin Sk = 1 + (q/p) + + (q/p)k , y substituyendo iterativao

mente, las primeras k 1 ecuaciones son
m2 m1
m3 m2
1
S0 ,
p
1
(q/p)2 m1 S1 ,
p
(q/p) m1
.
.
.
mk mk1
(q/p)k1 m1
1
Sk2 .
p
Aqu se ha hecho uso de la condicin de frontera m0 = 0. Sumando todas estas
o
ecuaciones se obtiene
mk m1 = m1 (Sk1 1)
1
p
k2
Si .
i=0
Es decir,
mk = m1 Sk1
1
p
k2
Si .
i=0
(2.15)
21
Cap
En particular, sumando todas las ecuaciones de (2.14) se obtiene
mN = m1 SN 1
1
p
N 2
Si .
i=0
Ahora se hace uso de la condicin mN = 0, y se obtiene

o
m1 =
1
SN 1
1
p
k2
Si .
i=0
Substituyendo en (2.15),
mk =
Sk1 1
SN 1 p
N 2
i=0
Si
1
p
k2
Si .
(2.16)
i=0
Nuevamente se deben distinguir los siguientes dos casos:
k+1
k
k+1
Sk = 1 + (q/p) + + (q/p) =
1 (q/p)
1 (q/p)
si p = q,
si p = q.
Substituyendo en (2.16) y simplicando, despus de algunos clculos se llega a la

e
a
respuesta enunciada.
mk
625
p = 0.5
p = 0.1
10
20
p = 0.9
30
40
Figura 2.7:
50
La forma en la que mk cambia al variar el

parmetro k se muestra en la Figura 2.7 cuando
a
N = 50. La duracin mxima promedio del jueo
a
go se obtiene cuando el juego es justo, p = 1/2,
y ambos jugadores tienen el mismo capital inicial, es decir, k = N/2. Esto arroja un promedio
mximo de (N/2)(N N/2) = (N/2)2 apuesa
tas antes del n del juego. En el caso ilustrado,
la duracin mxima promedio del juego es de
o
a
(50/2)2 = 625 apuestas.
Ejercicio. Demuestre que la duracin promedio

o
del juego es siempre menor o igual a (N/2)2 ,
es decir, para cada k = 1, . . . , N , se cumple que mk (N/2)2 , tanto en el caso
simtrico como no simtrico.
e
e
22
Notas y referencias. El tema de caminatas aleatorias puede ser encontrado en la

mayor de los textos sobre procesos estocsticos, ya sea de una manera expl
a
a
cita o
como un ejemplo importante de cadena de Markov. En particular el libro de Jones
y Smith [17], y el de Basu [1] contienen un cap
tulo completo sobre el tema. Como
lectura ms avanzada vase el texto de Resnick [28], y el de Spitzer [34].
a
e
Cap
23
Ejercicios
1. Demuestre que una caminata aleatoria simple sobre Z cumple la propiedad de
Markov, es decir, demuestre que para cualesquiera enteros x0 , x1 , . . . , xn+1 ,
P (Xn+1 = xn+1 | X0 = x0 , . . . , Xn = xn ) = P (Xn+1 = xn+1 | Xn = xn ).
2. Para una caminata aleatoria simple Xn sobre Z demuestre que
P (Xn+1 = x) = p P (Xn = x 1) + q P (Xn = x + 1).
3. Una part
cula realiza una caminata aleatoria simtrica sobre Z empezando en
e
cero. Encuentre la probabilidad de que la part
cula se encuentre nuevamente
en el origen en el sexto paso.
4. Una part
cula realiza una caminata aleatoria simtrica sobre Z empezando
e
en cero. Cul es la probabilidad de que la part
a
cula regrese al estado cero
por primera vez en el sexto paso?
El problema de la ruina del jugador

5. Siguiendo la notacin usada en el problema de la ruina del jugador, demuestre
o
la validez de la ecuacin uk = p uk+1 + q uk1 , para k = 1, 2, . . . , N 1.
o
6. Para resolver el problema del jugador se requiere resolver la ecuacin en difeo
rencias uk = p uk+1 + q uk1 . Resuelva nuevamente esta ecuacin siguiendo
o
los siguientes pasos [18]:
a) Proponga la solucin uk = a mk , con a y m constantes distintas de cero,
o
y que encontraremos a continuacin.
o
b) Substituya la solucin propuesta en la ecuacin en diferencias y encueno
o
tre la ecuacin cuadrtica pm2 m + q = 0. Esta ecuacin se conoce
o
a
o
como la ecuacin caracter
o
stica de la ecuacin en diferencias.
o
c) Suponiendo el caso p = q, esta ecuacin cuadrtica tiene dos soluciones
o
a
distintas: m1 = 1 y m2 = q/p. Dada la linealidad de la ecuacin en
o
diferencias, la solucin general puede escribirse como uk = a1 mk +
o
1
a2 mk = a1 + a2 (q/p)k .
2
24

d ) Use las condiciones de frontera u0 = 1 y uN = 0 para encontrar los valores de las constantes a1 y a2 , y obtener nuevamente la solucin (2.13).
o
e) Cuando p = q la ecuacin caracter
o
stica tiene una unica ra m1 = 1.
z:
Como segundo valor para m se propone k veces el valor de la primera
solucin, es decir, m2 = k. Proceda como en el inciso anterior para
o
encontrar (2.13) en este caso.
7. Siguiendo la notacin usada para encontrar el n mero esperado de apuestas
o
u
antes de la ruina en el problema del jugador, demuestre la igualdad mk =
1 + p mk+1 + q mk1 , para k = 1, 2, . . . , N 1.
8. Considere el problema de la ruina del jugador permitiendo ahora que existan
empates en cada una de las apuestas. Las probabilidades de ganar, perder o
empatar para el jugador A son p, q y r, respectivamente, con p+q+r = 1. Demuestre que la probabilidad de ruina para el jugador A sigue siendo la misma
expresin (2.13). Es decir, la posibilidad de empate en cada apuesta extiende
o
posiblemente la duracin del juego pero no modica las probabilidades de
o
ruina.
Cap
tulo 3
Cadenas de Markov
Las cadenas de Markov fueron inventadas por el matemtico ruso A. A. Markov

a
alrededor de 1905. Su intencin era crear un modelo probabil
o
stico para analizar la
aparicin de vocales en poemas y textos literarios. El xito del modelo propuesto
o
e
por Markov radica en que es lo sucientemente complejo como para describir ciertas
caracter
sticas no triviales de algunos sistemas, pero al mismo tiempo es lo sucientemente sencillo para ser analizado matemticamente. Las cadenas de Markov
a
pueden aplicarse a una amplia gama de fenmenos cient
o
cos y sociales, y se cuenta
con una teor matemtica extensa al respecto. En este cap
a
a
tulo presentaremos una
introduccin a algunos aspectos bsicos de este modelo.
o
a
3.1.
Propiedad de Markov
Vamos a considerar procesos estocsticos a tiempo discreto Xn que cumplen la

a
propiedad de Markov. Para escribir esta propiedad y varias de sus condiciones
equivalentes de una manera simple, a la probabilidad P (Xn = xn ) se le escribe
como p(xn ), es decir, el sub
ndice indica tambin la variable a la que se hace
e
referencia. El signicado de la probabilidad condicional p(xn+1 | xn ) es anlogo.
a
25
26
3.1. Propiedad de Markov
Denicin. Una cadena de Markov es un proceso estocstico a tiempo discreto

o
a
{Xn : n = 0, 1, . . .}, con espacio de estados discreto, y que satisface la propiedad
de Markov, esto es, para cualquier entero n 0, y para cualesquiera estados
x0 , . . . , xn+1 , se cumple
p(xn+1 | x0 , . . . , xn ) = p(xn+1 | xn ).
(3.1)
Si el tiempo n+1 se considera como un tiempo futuro, el tiempo n como el presente

y los tiempos 0, 1, . . . , n1 como el pasado, entonces la condicin (3.1) establece que
o
la distribucin de probabilidad del estado del proceso al tiempo futuro n+1 depende
o
unicamente del estado del proceso al tiempo n, y no depende de los estados en los
tiempos pasados 0, 1, . . . , n 1. Existen otras formas equivalentes de expresar esta

propiedad, algunas de ellas se encuentran enunciadas en la seccin de ejercicios. Por
o
ejemplo, es posible demostrar que la condicin (3.1) es equivalente a poder calcular
o
la distribucin conjunta de las variables X0 , X1 , . . . , Xn de la siguiente forma
o
p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ).
Sin prdida de generalidad tomaremos como espacio de estados de una cadena de
e
Markov al conjunto discreto {0, 1, 2, . . .}, o cualquier subconjunto nito que conste
de los primeros elementos de este conjunto. Cuando el espacio de estados de una
cadena de Markov es un conjunto nito se dice que la cadena es nita.
Probabilidades de transicin. A la probabilidad P (Xn+1 = j | Xn = i) se le
o
denota por pij (n, n + 1), y representa la probabilidad de transicin del estado i en
o
el tiempo n, al estado j en el tiempo n + 1. Estas probabilidades se conocen como
las probabilidades de transicin en un paso. Cuando los n meros pij (n, n + 1) no
o
u
dependen de n se dice que la cadena es estacionaria u homognea en el tiempo. Por
e
simplicidad se asume tal situacin de modo que las probabilidades de transicin en
o
o
un paso se escriben simplemente como pij . Variando los
ndices i y j, por ejemplo
sobre el conjunto de estados {0, 1, 2, . . .}, se obtiene la matriz de probabilidades de
transicin en un paso que aparece en la Figura 3.1.
o
La entrada (i, j) de esta matriz es la probabilidad de transicin pij , es decir, la
o
probabilidad de pasar del estado i al estado j en una unidad de tiempo. En general,
al escribir estas matrices omitiremos escribir la identicacin de los estados en los
o
renglones y columnas como aparece en la Figura 3.1, tal identicacin ser evidente
o
a
a partir de conocer el espacio de estados. El
ndice i se reere al rengln de la matriz
o
Cap
tulo 3. Cadenas de Markov
0
0
P =
2
.
.
.
p00
p10
p20
.
.
.
p01
p11
p21
.
.
.
p02
p12
p22
.
.
.
Figura 3.1:
27
y el
ndice j a la columna.
Proposicin. La matriz de probabilidades de transicin P = (pij ) cumple las
o
o
siguientes dos propiedades.
a) pij 0.
b)
pij = 1.
j
Demostracin. La primera condicin es evidente a partir del hecho de que estos

o
o
n meros son probabilidades. Para la segunda propiedad se tiene que para cualquier
u
estado i y cualquier entero n 0,
1
= P (Xn+1 {0, 1, . . .})

= P (Xn+1 {0, 1, . . .} | Xn = i)
= P(
j
=
j
(Xn+1 = j) | Xn = i)
P (Xn+1 = j | Xn = i)
pij .
Esto ultimo signica que a partir de cualquier estado i con probabilidad uno la
28
3.1. Propiedad de Markov
cadena pasa necesariamente a alg n elemento del espacio de estados al siguiente

u
momento. En general toda matriz cuadrada que cumpla estas dos propiedades se
dice que es una matriz estocstica. Debido a la propiedad de Markov, esta matriz
a
captura la esencia del proceso y determina el comportamiento de la cadena en
cualquier tiempo futuro. Si adems la matriz satisface la condicin i pij = 1,
a
o
es decir, cuando la suma por columnas tambin es uno, entonces se dice que es
e
doblemente estocstica.
a
Distribucin de probabilidad inicial. En general puede considerarse que una
o
cadena de Markov inicia su evolucin partiendo de un estado i cualquiera, o ms
o
a
generalmente considerando una distribucin de probabilidad inicial sobre el espacio
o
de estados. Una distribucin inicial para una cadena de Markov con espacio de
o
estados {0, 1, 2, . . .} es simplemente una distribucin de probabilidad sobre este
o
conjunto, es decir, es una coleccin de n meros p0 , p1 , p2 . . . que son no negativos
o
u
y que suman uno. El n mero pi corresponde a la probabilidad de que la cadena
u
inicie en el estado i. En general, la distribucin inicial juega un papel secundario
o
en el estudio de las cadenas de Markov.
Existencia. Hemos mencionado que la propiedad de Markov es equivalente a la
igualdad p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ). Esta identidad establece que las distribuciones conjuntas p(x0 , x1 , . . . , xn ) se encuentran completamente
especicadas por la matriz de probabilidades de transicin y una distribucin inio
o
cial. En el texto de Chung [7] puede encontrarse una demostracin del hecho de
o
que dada una matriz estocstica y una distribucin de probabilidad inicial, existe
a
o
un espacio de probabilidad y una cadena de Markov con matriz de probabilidades
de transicin y distribucin inicial las especicadas. Es por ello que a la matriz
o
o
misma se le llama a veces cadena de Markov.
Ejercicio. Sea Xn una cadena de Markov con tres estados: 0,1,2, y con matriz de
probabilidades de transicin como aparece abajo. Calcule
o
a) P (X2 = 0, X1 = 0 | X0 = 1).
b) P (X3 = 1, X2 = 1 | X1 = 2).
P =
0.4
0.3
0.7
0.3
0.2
0
0.3
0.5
0.3
Ejercicio. Sea Xn una cadena de Markov con dos estados 0 y 1, con distribucin
o
inicial P (X0 = 0) = 0.5, P (X0 = 1) = 0.5, y con matriz de probabilidades de
Cap
29
transicin
o
P =
0.4
0.9
0.6
0.1
Calcule
a) P (X0 = 0, X1 = 1, X2 = 0).
b) P (X0 = 0 | X1 = 1).
c) P (X1 = 0).
d) P (X2 = 1).
e) P (X0 = 0, X1 = 0, X2 = 1, X3 = 1).
Ejercicio. Sea Xn una cadena de Markov con dos estados: 0,1, con distribucin
o
inicial P (X0 = 0) = 0.2, P (X0 = 1) = 0.8, y con matriz de probabilidades de
transicin como aparece abajo. Encuentre la distribucin de las variables X1 , X2 ,
o
o
X1 y X2 conjuntamente.
P =
1/2
2/3
1/2
1/3
Probabilidades de transicin en n pasos. La probabilidad P (Xn+m = j | Xm =

o
i) corresponde a la probabilidad de pasar del estado i al tiempo m, al estado j al
tiempo m + n. Dado que hemos supuesto la condicin de homogeneidad en el
o
tiempo, esta probabilidad no depende realmente de m, por lo tanto coincide con
P (Xn = j | X0 = i), y se le denota por pij (n). A esta probabilidad tambin se le
e
(n)
denota como pij , en donde el n mero de pasos n se escribe entre parntesis para
u
e
distinguirlo de alg n posible exponente, y se le llama probabilidad de transicin en
u
o
n pasos. Cuando n = 1 simplemente se omite su escritura, a menos que se quiera
hacer nfasis en ello. Tambin cuando n = 0 es natural denir
e
e
0 si i = j,
pij (0) = ij =
1 si i = j.
Es decir, despus de realizar cero pasos la cadena no puede estar en otro estado
e
mas que en su lugar de origen. Esta es la funcin delta de Kronecker.
o
3.2.
Ejemplos
Revisaremos a continuacin algunos ejemplos particulares clsicos de cadenas de

o
a
Markov. Retomaremos ms adelante varios de estos ejemplos para ilustrar otros
a
30
3.2. Ejemplos
conceptos y resultados generales de la teor general.

a
Cadena de dos estados. Considere una cadena de Markov con espacio de estados
{0, 1}, con matriz y diagrama de transicin como aparece en la Figura 3.2, en
o
donde 0 a 1, y 0 b 1. Suponga que la distribucin inicial est dada por
o
a
p0 = P (X0 = 0) y p1 = P (X0 = 1).
0
P =
0
1
1a
b
1
a
1b
1a
1b
Figura 3.2:
Aunque de aspecto sencillo, esta cadena es susceptible de muchas aplicaciones pues
es com n encontrar situaciones en donde se presenta siempre la dualidad de ser o
u
no ser, estar o no estar, tener o no tener, siempre en una constante alternancia entre
un estado y el otro. Cuando a = 1 b, las variables X1 , X2 , . . . son independientes
e idnticamente distribuidas con P (Xn = 0) = 1 a y P (Xn = 1) = a, para cada
e
n 1. Cuando a = 1 b, Xn depende de Xn1 . Mas adelante demostraremos que
las probabilidades de transicin en n pasos son, para a + b > 0,
o
p00 (n) p01 (n)
p10 (n) p11 (n)
1
a+b
b a
b a
(1 a b)n
a+b
a
b
a
b
Ejercicio. Para la cadena de Markov de dos estados, compruebe directamente que

a) P (X0 = 0, X1 = 1, X2 = 0) = ab p0 .
b) P (X0 = 0, X2 = 1) = (ab + (1 a)a) p0 .
c) P (X2 = 0) = ((1 a)2 + ab) p0 + ((1 b)b + b(1 a)) p1 .
Cadena de variables aleatorias independientes. Sea 1 , 2 , . . . una sucesin
o
de variables aleatorias independientes con valores en el conjunto {0, 1, . . .}, y con
Cap
31
idntica distribucin dada por las probabilidades a0 , a1 , . . . Deniremos varias cae

o
denas de Markov a partir de esta sucesin.
o
a) La sucesin Xn = n es una cadena de Markov con probabilidades de trano
sicin pij = P (Xn = j | Xn1 = i) = P (Xn = j) = aj , es decir, la matriz de
o
probabilidades de transicin es de la siguiente forma
o
a0
P = a0
.
.
.
a1
a1
.
.
.
a2
a2
.
.
.
Esta cadena tiene la cualidad de poder pasar a un estado cualquiera siempre con la
misma probabilidad, sin importar el estado de partida. Puede modelar, por ejemplo,
una sucesin de lanzamientos de una moneda.
o
b) El proceso Xn = mx {1 , . . . , n } es una cadena de Markov con matriz
a
a0
0
P = 0
.
.
.
a1
a0 + a1
0
.
.
.
a2
a2
a0 + a1 + a2
.
.
.
a3
a3
a3
.
.
.
c) El proceso Xn = 1 + + n es una cadena de Markov con matriz
a0
0
P = 0
.
.
.
a1
a0
0
.
.
.
a2
a1
a0
.
.
.
Ejercicio. Es el proceso Xn = m {1 , . . . , n } una cadena de Markov? En caso

n
armativo encuentre la matriz de probabilidades de transicin.
o
Cadena de rachas de xitos. Sea 1 , 2 , . . . una sucesin de ensayos indepene
o
dientes Bernoulli con probabilidad de xito p, y probabilidad de fracaso q = 1 p.
e
Sea Xn el n mero de xitos consecutivos previos al tiempo n, incluyendo el tiempo
u
e
n. Se dice que una racha de xitos de longitud r ocurre al tiempo n si en el ensayo
e
n r se obtiene un fracaso y los resultados de los ensayos n r + 1 al n son todos
xitos. Grcamente esta situacin se ilustra en la Figura 3.3.
e
a
o
32
3.2. Ejemplos
r xitos
e
nr
nr+1
Figura 3.3:
La coleccin de variables aleatorias {Xn : n = 1, 2, . . .} es una cadena de Markov
o
con espacio de estados {0, 1, . . .}. Las probabilidades de transicin y la matriz
o
correspondiente se muestran en la Figura 3.4.
q
pij =
si j = i + 1,
si j = 0,
otro caso.
P =
Figura 3.4:
0
1
.
.
.
q
q
q
.
.
.
0 0
p 0
0 p .
.
.
.
p
0
0
.
.
.
Las posibles transiciones de un estado a otro para esta cadena de Markov se pueden
observar en la Figura 3.5.
q
0
p
q
1
q
2
q
3
Figura 3.5:
Cadena de la caminata aleatoria. Una caminata aleatoria simple sobre el con-
Cap
33
junto de n meros enteros constituye una cadena de Markov con espacio de estados
u
el conjunto Z, y con probabilidades de transicin
o
p si j = i + 1,
q si j = i 1,
pij =
0 otro caso,
en donde p+q = 1. Hemos demostrado en el cap

tulo anterior que las probabilidades
de transicin en n pasos son las siguientes: Si n + j i es par con n j i n,
o
entonces
n
pij (n) = 1
p(n+ji)/2 q (nj+i)/2 .
2 (n + j i)
En otro caso pij (n) = 0, excepto cuando n = 0 e i = j. Ms adelante usaremos este
a
modelo para ilustrar algunos conceptos generales de cadenas de Markov.
Cadena del jugador. El modelo usado para el problema del jugador estudiado en
el primer cap
tulo es una caminata aleatoria sobre el conjunto de n meros enteros
u
{0, 1, , . . . , N }, en donde los estados 0 y N son absorbentes. Las probabilidades
de transicin son como las de la caminata aleatoria simple slo que ahora p00 =
o
o
1 y pN N = 1. Este proceso es otro ejemplo de cadena de Markov con espacio
de estados nito. Hemos demostrado antes que con probabilidad uno la cadena
eventualmente se absorbe en alguno de los dos estados absorbentes, hemos calculado
la probabilidad de ruina, es decir, la probabilidad de que la absorcin se observe
o
en el estado 0, y hemos adems encontrado el tiempo medio de absorcin.
a
o
Cadena de Ehrenfest. Sean A y B dos urnas dentro de las cuales se encuentran
distribuidas N bolas de acuerdo a cierta conguracin inicial. En cada unidad de
o
tiempo se escoge una bola al azar y se cambia de urna. Para tal efecto puede
considerarse que las bolas se encuentran numeradas y que se escoge un n mero al
u
azar, se busca la bola con ese n mero y se cambia de urna. Vase la Figura 3.6.
u
e
N i
bolas
bolas
urna A
urna B
Figura 3.6:
Sea Xn el n mero de bolas en la urna

u
A despus de n extracciones. Entonces
e
la coleccin {Xn : n = 0, 1, . . .} constio
tuye una cadena de Markov con espacio de estados nito {0, 1, . . . , N }. Es
claro que a partir del estado i la cadena slo puede pasar al estadio i 1
o
o al estado i + 1 al siguiente momento, de modo que las probabilidades son
34
3.2. Ejemplos
pi,i+1 = i/N , y pi,i+1 = (N i)/N ,

vlidas para i = 1, 2, . . . , N 1. Naa
turalmente p01 = 1 y pN,N 1 = 1. En
este caso se dice que los estados 0 y N son reejantes. La matriz de probabilidades
de transicin aparece ms abajo. Este modelo fue propuesto por Ehrenfest para
o
a
describir el intercambio aleatorio de molculas (bolas) en dos regiones separadas
e
por una membrana porosa. La regin con mayor n mero de molculas tender a
o
u
e
a
liberar mas molculas.
e
P =
0
1/N
0
.
.
.
0
0
1
0
2/N
.
.
.
0
0
0
(N 1)/N
0
.
.
.
0
0
0
0
(N 2)/N
.
.
.
0
0
0
0
0
.
.
.
0
1
0
0
0
.
.
.
1/N
0
Cadena de ramicacin. Considere una part

o
cula u objeto que es capaz de generar otras part
culas del mismo tipo al nal de un periodo establecido de tiempo.
El conjunto de part
culas iniciales constituye la generacin 0. Cada una de estas
o
part
culas simultneamente y de manera independiente genera un n mero de desa
u
cendientes dentro del conjunto {0, 1, . . .}, y el total de estos descendientes pertenece
a la generacin 1, stos a su vez son los progenitores de la generacin 2, y as suo
e
o
cesivamente. Una posible sucesin de generaciones se muestra en la Figura 3.7. El

o
posible evento cuando una part
cula no genera ning n descendiente se interpreta
u
en el sentido de que la part
cula se ha muerto o extinguido.
Generacin
o
0
1
2
3
4
Figura 3.7:
Cap
35
Sea la variable aleatoria que modela el n mero de descendientes de cada part

u
cula,
y para cada n 0 dena Xn como el n mero de part
u
culas en la generacin n.
o
Entonces {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio de estados
{0, 1, . . .}, y probabilidades de transicin pij = P (1 + + i = j), para i 1.
o
Si en alg n momento Xn = 0, entonces se dice que la poblacin de part
u
o
culas se
ha extinguido. Naturalmente el estado 0 es un estado absorbente. Este modelo ha
sido usado para determinar la probabilidad de extincin de la descendencia de una
o
persona.
Cadena de la la de espera. Considere una cola o l
nea de espera de clientes
que solicitan alg n tipo de servicio de un servidor. Suponga que el sistema es
u
observado en los tiempos discretos n = 0, 1, . . ., y que la la funciona del siguiente modo: Cuando hay alg n cliente esperando servicio al inicio de un periodo, el
u
cliente al frente de la la es atendido terminando el servicio al nal del periodo.
Naturalmente si no existiera ning n cliente en la la al inicio de alg n periodo,
u
u
entonces ning n cliente es atendido. Para cada entero n 1 dena n como el
u
n mero de nuevos clientes que se incorporan a la la durante el periodo n. Bajo
u
ciertas condiciones es natural suponer que estas variables aleatorias son independientes, idnticamente distribuidas y con valores enteros no negativos. Suponga
e
P (n = k) = ak , con ak 0 y k=0 ak = 1. Sea X0 el n mero de clientes iniciales,

u
y para cada n 1 dena a Xn como el n mero de clientes en la la al nal del
u
periodo n. Las dos reglas de operacin se pueden escribir de la siguiente forma:
o
Xn+1 =
n+1
Xn + n+1 1
si Xn = 0,
si Xn 1.
Esto puede escribirse como Xn+1 = (Xn 1)+ + n+1 , en donde x+ = mx{x, 0}.
a
Por lo tanto el proceso {Xn : n = 0, 1, . . .} es una cadena de Markov con espacio
de estados {0, 1, . . .}, y probabilidades de transicin
o
pij =
Es decir,
P ( = j)
si i = 0,
P ( = j i + 1) si i 1.
P =
a0
a0
0
0
.
.
.
a1
a1
a0
0
.
.
.
a2
a2
a1
a0
.
.
.
36
3.3. Ecuacion de Chapman-Kolmogorov
Cadena de inventarios. Suponga que se almacena un cierto n mero de bienes

u
en una bodega, y que se requiere una demanda aleatoria n del bien en el periodo
n. Suponga que P (n = k) = ak , para k = 0, 1, . . . con ak 0 y k ak = 1, es
decir, la distribucin de n es la misma para cualquier n. El n mero de bienes en
o
u
el almacn es revisado al nal de cada periodo y se aplica la siguiente pol
e
tica de
reabastecimiento: Si al nal del periodo la cantidad del bien es menor o igual a
un cierto nivel s, entonces se reabastece la bodega inmediatamente hasta un nivel
mximo S. Si al nal del periodo el n mero de bienes es mayor a s, entonces no
a
u
hay ning n reabastecimiento. Naturalmente s < S. Sea Xn el n mero de bienes al
u
u
nal del periodo n y justo antes de aplicar la pol
tica de reabastecimiento. Entonces
Xn es una cadena de Markov con espacio de estados {. . . , 2, 1, 0, 1, 2, . . . , S}. Se
permiten valores negativos para Xn los cuales corresponden a demandas del bien no
satisfechas en su momento pero que sern cubiertas en el siguiente reabastecimiento.
a
El valor de Xn+1 en trminos de Xn se escribe de la forma siguiente:
e
Xn+1 =
Xn n+1
S n+1
si s Xn < S,
si Xn s.
Las probabilidades de transicin para esta cadena son

o
pij = P (Xn+1 = j | Xn = i) =
P (n+1 = i j) = aij
P (n+1 = S j) = aSj
si s < i S,
si i s.
La primera expresin corresponde al caso cuando no hay reabastecimiento, la proo

babilidad de pasar de i a j es la probabilidad de que la demanda al nal de ese
periodo sea de j i pues el nuevo nivel del almacn ser de i (i j) = j. La see
a
gunda expresin corresponde al caso cuando hay reabastecimiento y el nuevo nivel
o
ser de S (S j) = j, cuando la demanda sea S j.
a
3.3.
Ecuacin de Chapman-Kolmogorov
o
Esta ecuacin es una frmula sencilla y muy util que permite descomponer la proo
o
babilidad de pasar del estado i al estado j en n pasos, en la suma de probabilidades

de las trayectorias que van de i a j, y que atraviesan por un estado k cualquiera
en un tiempo intermedio r.
Cap
37
Ecuacin de Chapman-Kolmogorov. Para cualesquiera n meros enteros r

o
u
y n tales que 0 r n, y para cualesquiera estados i y j se cumple
pij (n) =
k
pik (r) pkj (n r).
Demostracin. Por el teorema de probabilidad total y la propiedad de Markov,

o
pij (n)
= P (Xn = j | X0 = i)
=
P (Xn = j, Xr = k, X0 = i)/P (X0 = i)

k
=
k
=
k
P (Xn = j | Xr = k) P (Xr = k | X0 = i)
pkj (n r) pik (r).
Grcamente, las trayectorias que van del estado i al estado j en n pasos se desa
componen como se muestra en la Figura 3.8. Para nes ilustrativos se dibujan las
trayectorias de manera continua pero en realidad no lo son.
k
j
i
r
Figura 3.8:
Esta ecuacin es importante para hao

cer ciertos clculos, y se usa con rea
gularidad en el estudio de las cadenas de Markov. En particular, la siguiente desigualdad ser utilizada ms
a
a
adelante: Para cualquier estado k y
para 0 r n, se tiene que
pij (n) pik (r) pkj (n r). Como una
consecuencia importante de la ecuacin
o
de Chapman-Kolmogorov se tiene el siguiente resultado.
38
3.3. Ecuacion de Chapman-Kolmogorov
Proposicin. La probabilidad de transicin en n pasos, pij (n), est dada por la

o
o
a
entrada (i, j) de la n-sima potencia de la matriz P , es decir,
e
pij (n) = (P n )ij .
Demostracin. Esta identidad es consecuencia de la ecuacin de Chapman-Kolmogorov

o
o
aplicada n 1 veces. La suma que aparece abajo corresponde a la entrada (i, j) de
la matriz resultante de multiplicar P consigo misma n veces.
pij (n) =
i1
=
i1 ,i2
pi,i1 (1) pi1 ,j (n 1)

pi,i1 (1) pi1 ,i2 (1) pi2 ,j (n 2)
.
.
.
=
=
i1 ,...,in1
(P n )ij .
pi,i1 (1) pi1 ,i2 (1) pin1 ,j (1)
En palabras este resultado establece que el problema de calcular las probabilidades

de transicin en n pasos se transforma en obtener la n-sima potencia de la matriz
o
e
de probabilidades de transicin en un paso, es decir,
o
n

p00 (n)
p10 (n)
.
.
.
p01 (n)
p11 (n)
.
.
.
p00
= p10

.
.
.
p01
p11
.
.
.
Si se conoce esta matriz y si pi = P (X0 = i) es una distribucin inicial, entonces

o
la distribucin de Xn es P (Xn = j) = i pi pij (n).
o
Cuando una matriz estocstica P es diagonalizable, es decir, cuando puede ser
a
escrita en la forma QDQ1 en donde D es una matriz diagonal, las potencias de P
se calculan fcilmente pues P n = QDn Q1 . Como D es diagonal, Dn es la matriz
a
con cada elemento de la diagonal elevado a la n-sima potencia.
e
39
Cap
Por ejemplo, vamos a ilustrar el proceso de diagonalizacin de una matriz estocstio

a
ca de dimensin dos. Consideremos nuevamente la cadena general de dos estados
o
1a
b
P =
a
1b
Los eigenvalores de esta matriz estn dados por la ecuacin |P I| = 0, y resultan

a
o
ser 1 = 1 y 2 = 1ab. Los correspondientes eigenvectores escritos como vectores
rengln son (1, 1) y (a, b), respectivamente. La matriz Q esta compuesta por los
o
eigenvectores como columnas, y si se cumple que a + b > 0, entonces es invertible,
es decir,
1 a
1 b
Q=
Q1 =
1
a+b
b a
1 1
La matriz D es la matriz diagonal que contiene a los dos eigenvalores. Puede entonces comprobarse la identidad P = QDQ1 , es decir,
1a
b
a
1b
1
1
a
b
1
0
1
a+b
0
1ab
b
1
a
1
Por lo tanto,
Pn
Q Dn Q1
1
1
1
a+b
a
b
b
b
1
0
0 (1 a b)n
a
a
(1 a b)n
a+b
b
1
1
a+b
a
1
a a
b b
Ejemplo. Toda matriz estocstica P con renglones idnticos es idempotente, es dea

e
cir, para cualquier entero n 1, se cumple que P n = P . Este es el caso de la
cadena de variables aleatorias independientes.
40
3.4. Comunicacion
3.4.
Comunicacin
o
Deniremos a continuacin a la comunicacin entre dos estados de una cadena de

o
o
Markov como la posibilidad de pasar de un estado a otro en algn n mero nito
u u
de transiciones.
Denicin. Se dice que el estado j es accesible desde el estado i si existe un
o
entero n 0 tal que pij (n) > 0, esto se escribe simplemente como i j. Se
dice adems que los estados i y j son comunicantes, y se escribe i j, si se
a
cumple que i j y j i.
Observe que siempre se cumple que i i, pues por denicin pii (0) = 1. Adems
o
a
observe que si ocurre que i j, la accesibilidad de i a j puede darse en un n mero
u
de pasos distinto que la accesibilidad de j a i. Grcamente la accesibilidad y la
a
comunicacin se representan, como lo hemos hecho antes en los ejemplos, mediante
o
echas entre nodos como se muestra en la Figura 3.9.
Accesibilidad
i
Comunicacin
o
i
Figura 3.9:
Es sencillo vericar que la comunicacin es una relacin de

o
o
equivalencia, es decir, cumple las siguientes propiedades.
a) Es reexiva: i i.
b) Es simtrica: si i j, entonces j i.
e
c) Es transitiva: si i j y j k, entonces i k.
En consecuencia, la comunicacin induce una particin del

o
o
espacio de estados de una cadena de Markov dada por los
subconjuntos de estados comunicantes, es decir, dos estados
pertenecen al mismo elemento de la particin si, y slo si,
o
o
tales estados se comunican.
De este modo el espacio de estados de una cadena de Markov se subdivide en clases

de comunicacin. A la clase de comunicacin de un estado i se le denotar por C(i).
o
o
a
Por lo tanto, i j si, y slo si, C(i) = C(j).
o
Ejemplo. La cadena de Markov con espacio de estados {0, 1, 2, 3} y matriz de probabilidades de transicin que se muestra en la Figura 3.11 tiene tres clases de
o
comunicacin que son C(0) = {0}, C(1) = {1, 2} y C(3) = {3}. Es evidente que el
o
estado 0 se comunica consigo mismo pues existe una echa que parte de tal estado
y llega a l mismo. Visualmente tampoco hay duda de que la segunda coleccin de
e
o
41
Cap
C(i)
C(j)
S
Particin de un espacio de estados

o
en clases de comunicacin
o
Figura 3.10:
estados es una clase de comunicacin. Para la clase C(3) no existe una conexin
o
o
f
sica del estado 3 consigo mismo, sin embargo, por denicin p33 (0) = 1, y ello
o
hace que esta clase de unicamente un estado sea de comunicacin. Observe que
o
estas clases de comunicacin conforman una particin del espacio de estados.
o
o
C(0)
1
1/2
P =
0
1/2
0
0
1/2
0
0
1/2
1/2
1/2
0
0
0
0
C(1)
2
C(3)
Figura 3.11:
Ejercicio. Dibuje un diagrama de transicin e identique las clases de comunicacin

o
o
para las siguientes cadenas de Markov.
a) P =
0.3
0.4
0.5
0
0.6
0
0.7
0
0.5
0.2
0.4 0.6
b) P =
0
0
0
0
0
1
0.3
0.8
0
0
0.7
42
3.5. Clases cerradas
Ejercicio. Cul es el n mero mximo y m

a
u
a
nimo de clases de comunicacin que
o
puede existir para una cadena de Markov de n estados? Dibuje un diagrama de
transicin ilustrando cada una de estas dos situaciones.
o
El estado i de una cadena de Markov se llama absorbente si pii (1) = 1. Por ejemplo,
el estado 0 de la cadena de la Figura 3.11 es absorbente.
Denicin. Se dice que una cadena de Markov es irreducible si todos los estao
dos se comunican entre s
.
En otras palabras, una cadena de Markov es irreducible si existe slo una clase de
o
comunicacin, es decir, si la particin generada por la relacin de comunicacin
o
o
o
o
es trivial. Por ejemplo, la cadena de racha de xitos o la cadena de la caminata
e
aleatoria son cadenas irreducibles pues todos los estados se comunican entre s La
.
cadena de la Figura 3.11 no es irreducible pues no se cumple que todos los estados
se comuniquen.
Ejercicio. Dibuje el diagrama de transicin de una cadena de Markov que sea
o
a) nita e irreducible.
b) nita y reducible.
c) innita e irreducible.
d) innita y reducible.
3.5.
Clases cerradas
Las clases cerradas son subconjuntos de estados de una cadena de Markov que
cumplen la propiedad de que partiendo de cualquiera estado de este subconjunto,
no se puede pasar a cualquier otro estado fuera del subconjunto. Esa propiedad
hace a este subconjunto de estados un subsistema propio de la cadena de Markov.
Denicin. Una coleccin de estados no vac C es cerrada si ning n estao
o
a
u
do fuera de C es accesible desde alg n estado dentro de C , es decir, si para
u
cualquier i C y j C , i j.
/
/
Por ejemplo, si i es un estado absorbente, entonces la coleccin {i} es claramente
o
Cap
43
una clase cerrada. Como un ejemplo adicional considere cualquier clase de comunicacin recurrente. Es claro que esta clase es cerrada pues de lo contrario, si i C
o
y j C con C recurrente, e i j, entonces necesariamente j i pues hemos
/
supuesto que i es recurrente. Por lo tanto i j, y entonces j C , contrario a
la hiptesis j C . Por lo tanto no es posible salir de una clase de comunicacin
o
/
o
recurrente. El siguiente resultado es una especie de rec
proco de lo que acabamos
de mencionar.
Proposicin. Toda coleccin de estados que es cerrada e irreducible es una clase
o
o
de comunicacin.
o
Demostracin. Sea C una coleccin no vac de estados que es irreducible y cerrada,
o
o
a
y sea i C . Entonces C C(i) pues como C es irreducible, todos sus estados se
comunican y por lo tanto deben pertenecer a la misma clase de comunicacin.
o
Como C es cerrada, no es posible salir de tal coleccin, de modo que la diferencia
o
C(i) C es vac si existiera j C(i) C , entonces i j, lo cual contradice el
a,
supuesto de que C es cerrada. Por lo tanto C = C(i).
3.6.
Periodo
El periodo es un n mero entero no negativo que se calcula para cada estado de

u
una cadena. Una interpretacin de este n mero ser mencionada ms adelante y
o
u
a
a
aparecer tambin dentro de los enunciados generales sobre el comportamiento
a
e
l
mite de cadenas de Markov.
Denicin. El periodo de un estado i es un n mero entero no negativo denoo
u
tado por d(i), y denido como sigue:
d(i) = m.c.d. {n 1 : pii (n) > 0},
en donde m.c.d. signica mximo comn divisor. Cuando pii (n) = 0 para toda
a
u
n 1, se dene d(i) = 0. En particular, se dice que un estado i es aperidico
o
si d(i) = 1. Cuando d(i) = k 2 se dice que i es peridico de periodo k.
o
Por ejemplo, considere una cadena de Markov con diagrama de transicin como en
o
la Figura 3.12. Es fcil comprobar que d(0) = 1, d(1) = 2, d(2) = 2 y d(3) = 0.
a
44
3.6. Periodo
Figura 3.12:
Ejercicio. Dibuje un diagrama de transicin, determine las clases de comunicacin
o
o
y calcule el periodo de cada uno de los estados de las siguientes cadenas de Markov.
0
0
0
0
1
1/4 1/4 1/4 1/4
0
0
1
0
0
0 1/2 1/2 0
0
0
1/2 1/2
a) P =
b) P = 0
0
0
0
1
0
0
1
0
0
0
1/5
1/5
1/5
1/5
1/5
Demostraremos a continuacin que el periodo es una propiedad de clase, es decir,

o
todos los estados de una misma clase de comunicacin tienen el mismo periodo.
o
De este modo uno puede hablar de clases de comunicacin peridicas, o clases
o
o
aperidicas.
o
Proposicin. Si los estados i y j pertenecen a la misma clase de comunicacin,
o
o
entonces tienen el mismo periodo.
Demostracin. Claramente el resultado es vlido para i = j. Suponga entonces que

o
a
i y j son distintos. Como los estados i y j estn en la misma clase de comunicacin,
a
o
existen enteros n 1 y m 1 tales que pij (n) > 0 y pji (m) > 0. Sea s 1 un entero
cualquiera tal que pii (s) > 0. Tal entero existe pues pii (n + m) pij (n) pji (m) > 0.
Esto quiere decir que d(i)|s. Adems pjj (n + m + s) pji (m) pii (s)pij (n) > 0.
a
Anlogamente, pjj (n + m + 2s) pji (m) pii (2s) pij (n) > 0. Por lo tanto d(j)|(n +
a
m + s) y d(j)|(n + m + 2s). Entonces d(j) divide a la diferencia (n + m + 2s) (n +
m + s) = s. Por lo tanto, todo entero s 1 tal que pii (s) > 0 cumple d(j)|s. Pero
d(i) divide a s de manera mxima, por lo tanto d(i) d(j). De manera anloga,
a
a
escribiendo i por j, y j por i, se obtiene d(j) d(i). Se concluye entonces que
d(i) = d(j).
El rec
proco del resultado anterior es en general falso, es decir, dos estados pueden
tener el mismo periodo y sin embargo no ser comunicantes. Puede usted dar
Cap
45
un ejemplo de tal situacin? El siguiente resultado establece que despus de un

o
e
n mero sucientemente grande de pasos, con probabilidad positiva toda cadena
u
puede regresar a cada estado i cada d(i) pasos. Esta es la razn por la que a tal
o
n mero se le llama periodo.
u
Proposicin. Para cada estado i, existe un entero N tal que para toda n N ,
o
se cumple pii (nd(i)) > 0.
Demostracin. Si pii (n) = 0 para cada n 1, entonces d(i) = 0 y por lo tanto la
o
armacin es vlida pues pii (0) = 1, sin embargo la interpretacin de recurrencia
o
a
o
peridica no se aplica en este caso. Suponga entonces que n1 , . . . , nk son enteros
o
tales que pii (n1 ) > 0, . . ., pii (nk ) > 0. Sea d = m.c.d.{n1 , . . . , nk } d(i). Como
d(i) es divisor de cada entero n1 , . . ., nk , se tiene que d(i)|d, y por lo tanto existe
un entero q tal que qd(i) = d. Ahora se hace uso del siguiente resultado cuya
demostracin puede encontrarse en [19].
o
Sean n1 , . . . , nk enteros no negativos y sea d = m.c.d.{n1 , . . . , nk }. Entonces existe un entero M tal que para cada m M existen enteros no
negativos c1 , . . . , ck tales que md = c1 n1 + + ck nk .
Entonces existe un entero no negativo M tal que para cada m M , md = c1 n1 +
+ ck nk , para algunos enteros c1 , . . . , ck , y por lo tanto
pii (md) = pii (c1 n1 + + ck nk ) pii (c1 n1 ) pii (ck nk ) > 0.
Por lo tanto, para cada m M , pii (md) = pii (mqd(i)) > 0. Dena N = M q. Se
puede entonces concluir que para toda n N , pii (nd(i)) > 0.
Como corolario de la proposicin anterior se tiene el siguiente resultado: Si es
o
posible pasar de i a j en m pasos, entonces tambin es posible tal transicin en
e
o
m + nd(j) pasos con n sucientemente grande, suponiendo d(j) > 0.
Proposicin. Si pij (m) > 0 para alg n entero m, entonces existe un entero N
o
u
tal que para toda n N se cumple pij (m + nd(j)) > 0.
Demostracin. Por el resultado anterior, para n sucientemente grande, se tiene
o
que pij (m + nd(j)) pij (m) pjj (nd(j)) > 0.
46
3.7.
3.7. Primeras visitas
Primeras visitas
En ocasiones interesa estudiar el primer momento en el que una cadena de Markov

visita un estado particular o un conjunto de estados. Deniremos a continuacin
o
este tiempo aleatorio y despus demostraremos una frmula util que lo relaciona
e
o
con las probabilidades de transicin.

o
Denicin. Sea A un subconjunto del espacio de estados de una cadena de
o
Markov Xn . El tiempo de primera visita al conjunto A es la variable aleatoria
A =
m {n 1 : Xn A}
n
si Xn A para alg n n 1,
u
otro caso.
Es decir, A es el primer momento positivo en el cual la cadena toma un valor dentro

de la coleccin de estados A, si ello eventualmente sucede. Estaremos interesados
o
principalmente en el caso cuando el conjunto A consta de un solo estado j, y si
suponemos que la cadena inicia en i, entonces el tiempo de primera visita al estado
j se escribe ij . Cuando i = j se escribe simplemente i . En general no es fcil
a
encontrar la distribucin de probabilidad de esta variable aleatoria, los siguientes
o
ejemplos, sin embargo, son casos particulares sencillos.
Ejemplo. Considere la cadena de Markov de dos estados. Es inmediato comprobar
que
a) P (01 = n) = (1 a)n1 a, para n = 1, 2, . . .
b) P (00 = n) = a(1 b)n2 b, para n = 2, 3, . . .

Ejemplo. Para la cadena de racha de xitos se tiene que
e
a) P (01 = n) = q n1 p para n = 1, 2, . . .
b) P (00 = n) = pn1 q para n = 1, 2, . . .
Ejercicio. Demuestre las siguientes igualdades.
a) P (ij = 1) = pij (1).
Cap
b) P (ij = 2) =
47
pik (1) pkj (1).

k=j
c) P (ij = n + 1) =
pik (1) P (kj = n),

k=j
para n 1.
Denicin. Para cada n 1, el n mero fij (n) denota la probabilidad de que

o
u
una cadena que inicia en el estado i, llegue al estado j por primera vez en
exactamente n pasos, es decir,
fij (n) = P (ij = n).
Adicionalmente se dene fij (0) = 0, incluyendo el caso i = j.
Otra forma equivalente de escribir a la probabilidad de primera visita es a travs
e
de la expresin fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 = i). En particular,
o
observe que fii (n) es la probabilidad de regresar por primera vez al mismo estado
i en el n-simo paso, y que fii (1) es simplemente pii . El uso de la letra f para esta
e
probabilidad proviene el trmino en ingls rst para indicar que es la probabilidad
e
e
de primera visita, saber esto ayuda a recordar su signicado.
El siguiente resultado establece que la probabilidad de visitar el estado j, a partir
de i, en n pasos, puede descomponerse en las probabilidades de los eventos disjuntos
en los que se presenta la primera visita, la cual puede efectuarse en el primer paso,
o en el segundo paso, y as sucesivamente, hasta el ultimo momento posible n.
Proposicin. Para cada n 1,

o
n
pij (n) =
k=1
fij (k) pjj (n k).
(3.2)
Demostracin. La prueba se basa en la siguiente descomposicin que involucra

o
o
48
3.8. Recurrencia y transitoriedad
eventos disjuntos. Se usa adems la propiedad de Markov.

a
pij (n) =
P (Xn = j | X0 = i)
n
=
k=1
n
=
k=1
n
=
k=1
P (Xn = j, Xk = j, Xk1 = j, . . . , X1 = j | X0 = i)
P (Xn = j | Xk = j) P (Xk = j, Xk1 = j, . . . , X1 = j | X0 = i)
pjj (n k) fij (k).
Ejercicio. Use (3.2) para demostrar que para cada n 1, se cumple la desigualdad
pij (n) P (ij n).
3.8.
Recurrencia y transitoriedad
Veremos a continuacin que los estados de una cadena de Markov pueden ser clasio
cados, en una primera instancia, en dos tipos, dependiendo si la cadena es capaz
de regresar con certeza al estado de partida.
Denicin. (I) Se dice que un estado i es recurrente si la probabilidad de
o
eventualmente regresar a i, partiendo de i, es uno, es decir, si
P (Xn = i para alguna n 1 | X0 = i) = 1.
Un estado que no es recurrente se llama transitorio, y en tal caso la probabilidad
anterior es estrictamente menor a uno.
De manera intuitiva, un estado es recurrente si con probabilidad uno la cadena es
capaz de regresar eventualmente a ese estado, y cuando ello ocurre en alg n mou
mento nito, por la propiedad de Markov, se puede regresar a l una y otra vez con
e
probabilidad uno. Debido a este comportamiento es que al estado en cuestin se le
o
llama recurrente. En cambio, el estado se llama transitorio si existe una probabilidad positiva de que la cadena, iniciando en l, ya no regrese nunca a ese estado. En
e
Cap
49
trminos de las probabilidades de primera visita, la probabilidad de una eventual

e
visita al estado j, a partir del estado i, es el n mero
u
fij =
fij (n).
n=1
Recordemos que fij (n) es la probabilidad de que la primera visita al estado j, a

partir de i, se efect e exactamente en el paso n. Siendo estos eventos disjuntos
u
para valores distintos de n, esta suma representa la probabilidad de una posible
visita al estado j. De este modo la denicin de recurrencia y transitoriedad puede
o
enunciarse de manera equivalente de la siguiente forma.
Denicin. (II) Un estado i es recurrente si fii = 1, es decir, si la probabilidad
o
de regresar a l en un tiempo nito es uno. Anlogamente, un estado i es
e
a
transitorio si fii < 1.
Adems de la denicin, tenemos el siguiente criterio util para determinar si un
a
o
estado es recurrente o transitorio.

Proposicin. (Criterio para la recurrencia) El estado i es
o
1. recurrente si, y slo si
o
2. transitorio si, y slo si
o
n=1
n=1
pii (n) = .
pii (n) < .
Demostracin. Sea Ni la variable aleatoria que cuenta el n mero de veces que el

o
u
proceso regresa al estado i, es decir, Ni = n=1 1(Xn =i) , cuando X0 = i. Entonces
50
Ni tiene una distribucin geomtrica pues para k 1,

o
e
P (Ni k | X0 = i) =
=
m=1
m=1
m=1
P (Ni k, Xm = i, Xm1 = i, . . . , X1 = i | X0 = i)
P (Ni k | Xm = i, Xm1 = i, . . . , X1 = i, X0 = i)
P (Xm = i, Xm1 = i, . . . , X1 = i | X0 = i)
P (Ni k 1 | X0 = i) fii (m)
= P (Ni k 1 | X0 = i) fii
.
.
.
= P (Ni 1 | X0 = i) (fii )k1
= (fii )k .
La esperanza de Ni , posiblemente innita, puede calcularse de las siguientes dos
formas. Primero,
E(Ni | X0 = i) =
=
k=1
P (Ni k | X0 = i)
(fii )k
k=1
fii
1 fii
si 0 fii < 1,
si fii = 1.
Por otro lado, por el teorema de convergencia montona,

o
E(Ni | X0 = i) =
=
=
n=1
n=1
E(1(Xn =i) | X0 = i)
P (Xn = i | X0 = i)
pii (n).
n=1
El resultado se sigue de igualar estas dos expresiones.
Cap
51
Siguiendo con la notacin de la demostracin anterior, observe que la esperanza

o
o
E(Ni | X0 = i) es el n mero promedio de retornos al estado i, de modo que un
u
estado i es recurrente si, y slo si, el n mero promedio de retornos a l es innito.
o
u
e
En contraparte, un estado i es transitorio si, y slo si, el n mero promedio de
o
u
retornos a l es nito.
e
Ejemplo. Considere una caminata aleatoria sobre Z. En el primer cap
tulo demos
tramos que n=0 f00 (n) = 1 |p q|. De aqu hemos concluido que el estado 0 es
recurrente en el caso simtrico. Siendo la cadena irreducible, la cadena toda es recue

rrente. Alternativamente, hemos encontrado tambin la frmula pii (n) = 12n 21 ,
e
o
n
2
para n par. Estimando los factoriales mediante la frmula de Stirling, puede como
probarse que p00 (n) = , conrmando nuevamente la recurrencia del estado
n=0
0 y de la cadena, en el caso simtrico. La cadena es transitoria cuando es asimtrica.
e
e
Demostraremos a continuacin que la recurrencia y la transitoriedad son propieo

dades de clase, es decir, si dos estados estn en una misma clase de comunicacin,
a
o
entonces ambos estados son recurrentes o ambos son transitorios.
Proposicin. La recurrencia es una propiedad de clase, es decir,
o
1. Si i es recurrente e i j, entonces j es recurrente.
2. Si i es transitorio e i j, entonces j es transitorio.
Demostracin. Como i j, existen enteros n 1 y m 1 tales que pij (n) > 0

o
y pji (m) > 0. Entonces pjj (m + n + r) pji (m) pii (r) pij (n). De modo que, por la
ecuacin de Chapman-Kolmogorov,
o
r=1
pjj (m + n + r) pji (m)
pii (r) pij (n).
r=1
Si i es recurrente, la suma del lado derecho es innita. Se sigue entonces que la suma
del lado izquierdo tambin lo es, es decir, j es recurrente. La segunda armacin
e
o
se demuestra fcilmente por contradiccin usando el primer resultado.
a
o
En consecuencia, cuando una cadena es irreducible y alg n estado es recurrente,
u
todos los estados lo son, y se dice que la cadena es recurrente. Tambin puede
e
52
presentarse la situacin en donde el espacio de estados conste de varias clases de

o
comunicacin recurrentes, en tal caso la cadena tambin se llama recurrente. En
o
e
contraparte, una cadena es transitoria si todos los estados lo son, ya sea conformando una sola clase de comunicacin de estados transitorios o varias de ellas. De
o
este modo el espacio de estados de una cadena de Markov puede descomponerse
en dos subconjuntos ajenos de estados, aquellos que son transitorios y aquellos que
son recurrentes. Tal particin se muestra en la Figura 3.13. Cada uno de estos
o
subconjuntos puede constar de ninguna, una o varias clases de comunicacin.
o
estados
transitorios
estados
recurrentes
Descomposicin del espacio de estados

o
Figura 3.13:
Ejemplo. La cadena de dos estados es irreducible y recurrente cuando a, b (0, 1).
En efecto, tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por lo
tanto,
f00 =
n=1
f00 (n) = (1 a) + ab
n=2
(1 b)n2 = (1 a) +
ab
= 1.
b
Ejemplo. Considere la cadena de rachas de xitos. En este caso es sencillo demostrar

e
que el estado 0 es recurrente pues
f00 =
n=1
f00 (n) = q(1 + p + p2 + ) =
q
= 1.
1p
Dado que la cadena es irreducible y la recurrencia es una propiedad de clase, cualquier otro estado es recurrente. Por lo tanto, la cadena es recurrente.
Ejercicio. Determine las clases de comunicacin de las siguientes cadenas de Maro
kov y clasique stas como recurrentes o transitorias.
e
53
Cap
a) P =
1/2
0
0
1/2
1/2
1/2
0
1/2
1/2
b)
1/2
0
P =
0
1/4
1/2
1/2
1/2
1/4
0
1/2
1/2
1/4
0
0
0
1/4
Ejercicio. Dibuje un diagrama de transicin de una cadena de Markov tal que:

o
a) todos sus estados sean recurrentes.
b) todos sus estados sean transitorios.
c) tenga igual n mero de estados transitorios y recurrentes.
u
Veremos a continuacin algunos ejemplos de aplicacin del criterio anterior.
o
o
Proposicin. Sea j un estado transitorio. Para cualquier estado inicial i, se
o
cumple que n=1 pij (n) < . En consecuencia, l pij (n) = 0.

m
n
Demostracin. Usando (3.2), por el teorema de Fubini,

o
pij (n)
n=1
n1
n=1 k=0
k=0 m=1
fij (n k) pjj (k) =

fij (m) pjj (k) = fij
k=0 n=k+1
k=0
fij (n k) pjj (k)
pjj (k)
k=0
pjj (k) < .
Proposicin. Toda cadena de Markov nita tiene por lo menos un estado recuo
rrente.
Demostracin. Por contradiccin, suponga que todos los estados son transitorios.
o
o
Entonces para cualesquiera estados i y j, se cumple n=1 pij (n) < . Sumando
sobre el conjunto nito de todos los posibles estados j se obtiene j pij (n) <
n=1
. Por otro lado, intercambiando el orden de las sumas se llega a la armacin
o
contraria, n=1 j pij (n) = n=1 1 = . Por lo tanto es errneo suponer que
o
todos los estados son transitorios, debe existir por lo menos uno que es recurrente.
54
3.9. Tiempo medio de recurrencia
En consecuencia, toda cadena nita e irreducible es recurrente. Ms adelante dea

mostraremos que en tal caso, con probabilidad uno la cadena visita cada uno de
sus estados una innidad de veces.
3.9.
Tiempo medio de recurrencia
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces
regresa a l una innidad de veces con probabilidad uno. Y hemos denido el
e
tiempo de primera visita a un estado j, a partir de cualquier estado i, como la
variable aleatoria discreta ij = m {n 1 : Xn = j | X0 = i}, con la posibilidad
n
de que tome el valor innito. Vamos a denir el tiempo medio de recurrencia como
la esperanza de esta variable aleatoria en el caso cuando el estado a visitar es
recurrente.
Denicin. El tiempo medio de recurrencia de un estado recurrente j, a partir
o
del estado i, se dene como la esperanza de ij , y se denota por ij , es decir,
ij = E(ij ) =
nfij (n).
n=1
Recordemos que cuando el tiempo de primera visita se reere al mismo estado de

inicio y de llegada j, se escribe j en lugar de jj . En este caso el tiempo medio
de recurrencia se escribe simplemente como j . Esta esperanza puede ser nita o
innita, y representa el n mero de pasos promedio que a la cadena le toma regresar
u
al estado recurrente j.
Ejemplo. La cadena de Markov de dos estados es irreducible y recurrente cuando
a, b (0, 1). Vamos a calcular los tiempos medios de recurrencia de estos dos
estados. Tenemos que f00 (1) = 1 a, y f00 (n) = a(1 b)n2 b para n 2. Por lo
Cap
55
tanto,
0 =
nf00 (n) =
n=1
(1 a) + ab
n=2
(1 a) + ab (
n(1 b)n2
b+1
)
b
a+b
.
b
De manera anloga, o bien intercambiando los valores de a y b, se encuentra que

a
1 = (a+b)/a. Observe que 1/0 +1/1 = 1, ms adelante explicaremos la razn de
a
o
ello. Observe tambin que estos dos tiempos medios de recurrencia son, en general,
e
distintos. Esto ejemplica el hecho de que los tiempos medios de recurrencia no son
necesariamente idnticos para cada elemento de una misma clase de comunicacin
e
o
recurrente.
3.10.
N mero de visitas
u
En esta seccin vamos a estudiar la variable aleatoria que registra el n mero de

o
u
visitas que una cadena realiza sobre un estado j a partir del estado i, es decir, para
cualquier tiempo nito n se dene la variable aleatoria
n
Nij (n) =
1(Xk =j) ,
cuando X0 = i.
k=1
Cuando los estados i y j coinciden, se escribe Ni (n) en lugar de Nii (n). Observe que
0 Nij (1) Nij (2) , es decir, se trata de una sucesin montona creciente
o
o
de variables aleatorias no negativas que converge casi seguramente a la variable
Nij =
1(Xk =j) ,
cuando X0 = i.
k=1
Los siguientes resultados acerca de estas variables aleatorias permiten distinguir la

diferencia cualitativa en el comportamiento de los estados transitorios respecto de
los recurrentes.
56
3.10. Numero de visitas
Proposicin. Para cualesquiera estados i y j,

o
1
fij (fjj )k1
1. P (Nij k) =
2. P (Nij = k) =
3. E(Nij ) =
n=1
si k = 0,
si k 1.
1 fij
fij (fjj )k1 (1 fjj )
si
0
fij
si
pij (n) =
1 fjj

si
4. P (Nij = ) =
0
fij
5. P (Nij < ) =
1
1 fij
si k = 0,
si k 1.
fij = 0,
0 fjj < 1,
fij = 0 y fjj = 1.
si j es transitorio,
si j es recurrente.
si j es recurrente.
Demostracin.
o
1. La primera parte de esta igualdad es evidente. Para demostrar el caso k 1
se usa anlisis del primer paso,
a
P (Nij k) =
=
=
n=1
fij (n) P (Njj k 1)
fij P (Njj k 1)
fij (fjj )k1 .
2. Este resultado se sigue de la primera frmula y de la igualdad P (Nij = k) =

o
P (Nij k) P (Nij k + 1).
Cap
57
3. Por el teorema de convergencia montona,

o
E(Nij ) =
E(
n=1
n=1
1(Xn =j) | X0 = i)
E(1(Xn =j) | X0 = i)
pij (n).
n=1
Por otro lado, usando la primera frmula

o
E(Nij ) =
=
k=1
P (Nij k)
fij (fjj )k1
k=1
4. Por la primera frmula,

o
fij
1 fjj
P (Nij = ) =
=
=
si fij = 0,
si 0 fjj < 1,
si fij = 0 y fjj = 1.
l P (Nij k)
m
l fij (fjj )k1 .

m
0
fij
si j es recurrente.
5. Esta probabilidad es el complemento de la anterior.
Distribucin de probabilidad de la variable Nij . La variable aleatoria discreta

o
Nij toma valores en el conjunto {0, 1, . . . , }. La funcin de probabilidad que
o
hemos encontrado para esta variable incluye los siguientes casos:
58
a) Si fij = 0, entonces no es posible visitar j a partir de i, y por lo tanto P (Nij =

0) = 1, es decir la probabilidad se concentra completamente en el valor 0.
b) Si fij > 0 y fjj = 1, es decir, si se puede pasar de i a j y j es recurrente, entonces
para cualquier valor de k 1, P (Nij k) = fij , y por lo tanto P (Nij = ) = fij .
Mientras que P (Nij = 0) = 1fij . Se trata entonces de una medida de probabilidad
concentrada en los valores 0 e .
c) Si fij > 0 y fjj < 1, es decir, si se puede pasar de i a j y j es transitorio,

entonces la probabilidad se distribuye sobre los valores nitos 0, 1, . . . como indica
la frmula 2.
o
Recurrencia, transitoriedad y n mero esperado de visitas. A partir de
u
estas frmulas podemos ahora distinguir el comportamiento del n mero de visitas
o
u
en los casos cuando el estado j es transitorio o recurrente.
a) Si j es transitorio, entonces sin importar el estado inicial i, con probabilidad

uno la cadena realiza slo un n mero nito de visitas al estado j, esto es lo que
o
u
dice la frmula 5, y el n mero esperado de visitas a tal estado es siempre nito
o
u
por la frmula 3 con fjj < 1, es decir, E(Nij ) = pij (n) < . Por lo tanto,
o
n=1
encontramos nuevamente que l pij (n) = 0.
m
n
b) Si j es recurrente, y si se inicia en j, entonces con probabilidad uno la cadena

regresa a j una innidad de veces, esto es lo que dice la frmula 4 con fij = fjj = 1,
o
y el n mero esperado de visitas al estado j es innito. Si la cadena inicia en cualquier
u
otro estado i, entonces existe la posibilidad de que la cadena nunca visite j (fij = 0),
y el n mero esperado de visitas es naturalmente cero (frmula 3 con fij = 0). Pero
u
o
si la cadena visita j alguna vez (fij > 0), entonces regresar a j una innidad de
a
veces, y el n mero esperado de visitas al estado j es innito por la frmula 3 con
u
o
fij > 0 y fjj = 1.
Anteriormente hab
amos demostrado un criterio para la transitoriedad y la recurrencia del estado i en trminos de la convergencia o divergencia de la serie
e
pii (n). En vista de la frmula 3 ahora podemos corroborar que un estado i

o
n=1
es recurrente si, y slo si, el n mero de regresos a l es innito, y es transitorio
o
u
e
si, y slo si, el n mero de regresos es nito. Tambin en particular, la frmula 4
o
u
e
o
demuestra que toda cadena de Markov irreducible y recurrente, visita cada uno de
sus estados una innidad de veces con probabilidad uno.
Ejemplo. La cadena de racha de xitos es irreducible y recurrente. Por lo tanto con
e
probabilidad uno visita cada uno de sus estados una innidad de veces.
59
Cap
Ejemplo: El problema del mono. Suponga que un mono escribe caracteres al azar
en una mquina de escribir. Cul es la probabilidad de que eventualmente el mono
a
a
escriba exactamente, y sin ning n error, las obras completas de Shakespeare? Puede
u
encontrarse la respuesta a esta pregunta de varias formas [30]. Usaremos la teor
a
de cadenas de Markov para demostrar que esta probabilidad es uno. Imaginemos
entonces que un mono escribe caracteres al azar en una mquina de escribir, y que
a
lo hace de manera continua generando una sucesin lineal de caracteres. Cada uno
o
de los caracteres tiene la misma probabilidad de aparecer y se genera un caracter
independientemente de otro. Sea m el total de caracteres disponibles que se pueden
imprimir, y sea N la longitud de caracteres de los cuales consta las obras completas
de Shakespeare. Sea Xn el n mero de caracteres correctos obtenidos inmediatamenu
te antes e incluyendo el ultimo momento observado n, es decir, se trata de un mo
delo de rachas de xitos. Es claro que las variables Xn toman valores en el conjunto
e
{0, 1, 2, . . . , N }, y dado que los caracteres se generan de manera independiente, el
valor de Xn+1 depende unicamente del valor de Xn y no de los anteriores, es decir,
se trata efectivamente de una cadena de Markov. Considerando entonces un conjunto de s

mbolos de m caracteres se tiene que P (Xn+1 = x + 1 | Xn = x) = 1/m,
y P (Xn+1 = 0 | Xn = x) = (m 1)/m. El primer caso corresponde a obtener el
caracter correcto al siguiente tiempo n + 1, y denotaremos a la probabilidad de tal
evento por p. La segunda igualdad reeja la situacin de cometer un error en el
o
siguiente caracter generado cuando ya se hab obtenido x caracteres correctos,
an
tal probabilidad ser denotada por q. Las posibles transiciones de un estado a otro
a
y las correspondientes probabilidades se muestran en la Figura 3.14. Tcnicamente
e
existen algunas otras posibles transiciones de algunos estados en otros, pero ello no
modica substancialmente el comportamiento cualitativo del modelo.
P =
q
q
.
.
.
q
q
p
0
.
.
.
0
p
0
p
.
.
.
0
0
0
0
0
0
0
0
.
.
.
p
0
Figura 3.14:
Como puede observarse, se trata de una matriz nita e irreducible pues todos los
estados se comunican. Por lo tanto es recurrente. Entonces con probabilidad uno
60
la cadena visita cada uno de sus estados una innidad de veces. En particular,
cada vez que la cadena visita el estado N el mono concluye una sucesin exitosa
o
de caracteres, y ello suceder una innidad de veces con probabilidad uno.
a
Teorema ergdico para cadenas de Markov. Para cualesquiera estados i

o
y j de una cadena de Markov irreducible se cumple que
l
m
Nij (n)
1
=
n
j
c.s.
(3.3)
siendo este l
mite cero cuando j = .
Demostracin. Si la cadena es transitoria, entonces ambos lados de la igualdad se
o
anulan. Suponga que la cadena es recurrente. El tiempo de primera visita al estado
j a partir de i es ij = m {n 1 : Xn = j | X0 = i}. Dada la recurrencia e
n
irreducibilidad, P (ij < ) = 1, y entonces para cualquier n 1 se cumple la
identidad
Nij (ij + n) = 1 + Njj (n).
Por lo tanto es suciente demostrar la convergencia para Njj (n)/n pues
Nij (n)
n
n
l
m
=
=
=
=
Nij (ij + n)
n
ij + n
1 + Njj (n)
l
m
n
ij + n
Njj (n)
n
l
m
n
n
ij + n
Njj (n)
l
m
.
n
n
l
m
Sea Y (k) la variable que registra el n mero de pasos que transcurren entre la visita
u
k 1 y la visita k que la cadena realiza al estado j. Sabemos que el tiempo medio
de recurrencia es E(Y (k)) = j , para j = 1, 2, . . ., y usando la propiedad fuerte de
Markov puede demostrarse que las variables Y (1), Y (2), . . . son independientes. Se
tienen entonces las siguientes estimaciones
Y (1) + + Y (Njj (n))
n
Y (1) + + Y (Njj (n) + 1)
.
Njj (n)
Njj (n)
Njj (n)
Cap
61
Por la recurrencia, Njj (n) , cuando n , de modo que por la ley de

los grandes n meros, los dos extremos de esta desigualdad convergen a j casi
u
seguramente. Por lo tanto,
l
m
Njj (n)
1
=
n
j
c.s.
Interpretacin: Para una cadena de Markov irreducible, el n mero j = 1/j

o
u
es el tiempo promedio que la cadena permanece en el estado j a largo plazo.
Tomando esperanza en (3.3), por el teorema de convergencia dominada, y para una
cadena irreducible, se cumple que
E( l
m
Nij (n)
)
n
1
E(Nij (n))
n
n
1
= l
m
pij (k)
n n
=
l
m
k=1
1
.
j
En particular, cuando el tiempo medio de recurrencia j es innito, y a n ms

u
a
particularmente cuando el estado j es transitorio, se tiene que
l
m
3.11.
1
n
pij (k) = 0.
k=1
Recurrencia positiva y nula
Hemos visto que si una cadena de Markov inicia en un estado recurrente, entonces
regresa a l una innidad de veces con probabilidad uno. Sin embargo, esta recue
rrencia puede presentarse de dos formas: cuando el tiempo promedio de retorno
es nito o cuando es innito. Esto lleva a la denicin de recurrencia positiva y
o
recurrencia nula respectivamente. Consideremos entonces que j es un estado recurrente. El tiempo de primera visita a este estado, a partir de cualquier otro estado
62
3.11. Recurrencia positiva y nula
i, es la variable aleatoria discreta ij = m {n 1 : Xn = j | X0 = i}. Recordemos

n
que cuando el tiempo de primera visita se reere al mismo estado recurrente de
inicio y de llegada i, se escribe simplemente como i en lugar de ii . La esperanza
de esta variable aleatoria es naturalmente el tiempo medio de recurrencia.
Denicin. El tiempo medio de recurrencia de un estado recurrente j, a partir
o
del estado i, se dene como la esperanza de ij , y se denota por ij , es decir,
ij = E(ij ) =
nfij (n).
n=1
Nuevamente cuando el tiempo medio de recurrencia se reere al mismo estado

recurrente de inicio y de llegada i, se escribe simplemente como i . Como hemos
mencionado, esta esperanza puede ser nita o innita, y ello lleva a la siguiente
clasicacin de estados recurrentes.
o
Denicin. Se dice que el estado recurrente i es
o
a) recurrente positivo si i < .
b) recurrente nulo si i = .
Demostraremos a continuacin que la recurrencia positiva y la recurrencia nula son
o
propiedades de las clases de comunicacin. Es decir, dos estados en una misma clase
o
de comunicacin recurrente, son ambos recurrentes positivos o recurrente nulos.
o
Proposicin. (La recurrencia positiva o nula es una propiedad de clase).
o
Sea i un estado recurrente. Entonces
a) si i es recurrente positivo e i j, entonces j es recurrente positivo.
b) si i es recurrente nulo e i j, entonces j es recurrente nulo.
Demostracin. Observe que es suciente demostrar cualquiera de estas armacioo
nes. Demostraremos la primera. Suponga que i es un estado recurrente positivo, es
decir, i es recurrente y es tal que i < . Como i j, se tiene que j es tambin un
e
estado recurrente. Adems existen enteros no negativos n y m tales que pij (n) > 0
a
Cap
63
y pji (m) > 0. Entonces para cualquier entero natural k,

pjj (n + m + k) pji (m) pii (k) pij (n).
Sumando para k = 1, . . . , N , y dividiendo entre N ,
1
N
k=1
pjj (n + m + k) pji (m)
1
N
pii (k) pij (n).

k=1
Haciendo N se obtiene
1
1
pji (m)
pij (n) > 0.
j
i
Por lo tanto tambin j es nito, es decir, j es recurrente positivo.

e
De esta forma, el espacio de estados de toda cadena de Markov puede descomponerse en tres grandes subconjuntos de estados: transitorios, recurrentes positivos y
recurrentes nulos. Esto se muestra en la Figura 3.15. Cada una de estas colecciones
de estados puede estar constituida por ninguna, una, o varias clase de comunicacin.
o
estados
transitorios
estados
recurrentes
nulos
estados
recurrentes
positivos
Descomposicin del espacio de estados

o
Figura 3.15:
Ejemplo. En el primer cap
tulo demostramos que para la caminata aleatoria sobre
Z, el tiempo promedio de regreso al estado 0 es
0 =
4pq
.
n f00 (n) =
1 4pq
n=0
En el caso simtrico, es decir, en el caso en el que la cadena es recurrente, este

e
cociente se hace innito. Esto demuestra que el estado 0 es recurrente nulo, y por
lo tanto la cadena entera es recurrente nula.
64
3.11. Recurrencia positiva y nula
Ejemplo. Demostraremos ahora que la cadena de Markov de rachas de xitos es

e
recurrente positiva. Recordemos que dicha cadena es irreducible y recurrente. Comprobaremos que el tiempo medio de recurrencia del estado 0 es nito. En efecto,
0 =
n f00 (n) =
n=1
n=1
n (1 p)pn1 = (1 p)
n pn1 =
n=1
1
< .
1p
Esto demuestra que el estado 0 es recurrente positivo y siendo la cadena irreducible, es recurrente positiva. Por lo tanto el tiempo medio de recurrencia de cada
estado es nito. Hemos aprovechado la facilidad del clculo de las probabilidades
a
de primer regreso al estado 0.
Se ha demostrado antes que toda cadena nita tiene por lo menos un estado recurrente. Demostraremos ahora que para cadenas nitas slo puede haber dos tipos
o
de estados: transitorios o recurrentes positivos.
Proposicin. No existen estados recurrentes nulos en cadenas de Markov nitas.
o
Demostracin. Sea j un estado recurrente y sea C su clase de comunicacin. La
o
o
clase C es cerrada y adems es nita pues la cadena completa lo es. Demostraremos
a
que j < . Para cualquier i C, y k natural,
pij (k) = 1.
jC
Entonces
1
n
pij (k) =
k=1 jC
jC
1
n
pij (k) = 1.
k=1
Haciendo n , por el teorema ergdico aplicado a la clase cerrada C se obtiene

o
jC
1
= 1.
j
Para que esta suma sea uno debe existir por lo menos un valor de j en C tal
que j < , pues de lo contrario cada sumando ser cero y la suma total no
a
podr ser uno. Por lo tanto existe un estado j que es recurrente positivo. Dado
a
que la recurrencia positiva es una propiedad de clase, todos los elementos de C son
recurrentes positivos.
65
Cap
Observe que en particular, todos los estados de una cadena nita e irreducible son
recurrentes positivos.
3.12.
Evolucin de distribuciones
o
Una matriz estocstica establece una dinmica en el conjunto de las distribucioa

a
nes de probabilidad denidas sobre el espacio de estados de la correspondiente
cadena de Markov. Para explicar la situacin de manera simple consideraremos un
o
espacio de estados nito {0, 1, . . . , N }, y una distribucin de probabilidad inicial
o
(0) = (0 (0), 1 (0), . . . , N (0)). Despus de transcurrida la primera unidad de
e
tiempo, la cadena se encuentre en cualquiera de sus posibles estados de acuerdo
a la distribucin (1) = (0 (1), 1 (1), . . . , N (1)), en donde la j-sima entrada de
o
e
este vector es
j (1) =
P (X1 = j)
N
=
i=0
=
=
P (X1 = j | X0 = i)P (X0 = i)
0 (0) p0j + 1 (0) p1j + + N (0) pN j

((0) P )j .
Es decir, (1) se obtiene a partir de (0) y de la matriz de probabilidades de

transicin P a travs de la frmula (1) = (0) P ,
o
e
o
(0 (1), . . . , N (1)) = (0 (0), . . . , N (0))
p00
.
.
.
pN0
p0N
.
. .
.
pNN
A su vez la distribucin (1) se transforma en (2) a travs de la ecuacin (2) =

o
e
o
(1) P = (0) P 2 , y as sucesivamente. En general, (n + 1) = (n) P = (0) P n+1 .
De esta forma se obtiene una sucesin innita de distribuciones de probabilidad

o
(0), (1), (2), . . ., en donde cada una de ellas, excepto la primera, es obtenida de
la anterior multiplicada por la derecha por la matriz de probabilidades de transicin
o
en un paso. Por ejemplo, considere la matriz estocstica
a
P =
0
0
1/2
1
0
1/2
0
1
0
66
3.13. Distribuciones estacionarias
con distribucin inicial (0) = (0.1, 0, 0.9). Las subsecuentes distribuciones se calo
culan a continuacin y las grcas aparecen en la Figura 3.16.
o
a
(1) =
(2) =
(0)
(0) P 2 = (0, 0.45, 0.55)
(3) =
(4) =
.
.
.
(0) P 1 = (0.45, 0.55, 0)

(0) P 3 = (0.275, 0.275, 0.45)
(0) P 4 = (0.225, 0.5, 0.275)
(1)
0 1 2
(2)
0 1 2
(3)
0 1 2
(4)
0 1 2
0 1 2
Figura 3.16:
Es natural preguntarse si existe alg n l
u mite para esta sucesin de distribuciones.
o
En las siguientes secciones estudiaremos tal problema y encontraremos condiciones
bajo las cuales existe un unico l
mite para esta sucesin. Estudiaremos a continuao

cin el caso particular cuando la distribucin inicial no cambia al ser multiplicada
o
o
por la derecha por P . A tales distribuciones se les llama estacionarias o invariantes
en el tiempo.
3.13.
Distribuciones estacionarias
Denicin. Una distribucin de probabilidad = (0 , 1 , . . .) es estacionaria

o
o
o invariante para una cadena de Markov con probabilidades de transicin pij
o
si
j =
i pij .
i
En trminos matriciales, es estacionaria si = P .

e
Cap
67
La condicin = P tiene como consecuencia el hecho de que para cualquier

o
n mero natural n 1, se cumpla que = P n , es decir, es tambin una
u
e
distribucin estacionaria para la matriz P n . Esto signica que si la variable aleatoria
o
inicial X0 tiene esa distribucin , entonces la distribucin de Xn tambin es pues
o
o
e
P (Xn = j) = i i pij (n) = j , es decir, esta distribucin no cambia con el paso
o
del tiempo y por ello que se le llama estacionaria o invariante.
Observe que el vector de ceros cumple la condicin = P , pero no correspono
de a una distribucin de probabilidad. Los siguientes ejemplos muestran que las
o
distribuciones estacionarias pueden no ser unicas y pueden incluso no existir.
Ejemplo: Existencia mltiple. Considere una cadena de Markov sobre el conjunto

u
de estados {0, 1, 2} y con probabilidades de transicin dada por la siguiente matriz
o
P =
1
1/3
0
0
1/3
0
0
1/3
1
Es inmediato comprobar que el vector = (1 , 0, ) satisface el sistema de

ecuaciones = P para cada con [0, 1]. Existen entonces una innidad de
distribuciones estacionarias para esta cadena. Observe que el vector (1 , 0, ) se
puede escribir como la combinacin lineal (1 )(1, 0, 0) + (0, 0, 1).
o
Ejemplo: No existencia. No existe ninguna distribucin estacionaria para la cao
minata aleatoria simtrica simple sobre Z pues la condicin = P se trae
o
duce en el sistema de ecuaciones en diferencias j = j1 /2 + j+1 /2. O bien
j+1 j = j j1 . Sumando estas ecuaciones puede encontrarse que para todo
entero n 1, n+1 0 = n(1 0 ). El lado izquierdo es acotado mientras el
lado derecho crece sin l
mite cuando n es grande, a menos que 1 0 = 0. Esto demuestra que todas estas diferencias son cero, y por lo tanto j es constante
para cualquier valor de j. Es decir, el vector constante es la solucin al sistema
o
de ecuaciones en diferencias planteado, pero ello es incompatible con la restriccin
o
j = 1. Por lo tanto no existe ninguna distribucin de probabilidad que cumo
j
pla la igualdad = P para esta cadena.
Ejemplo: Existencia unica. La cadena de Markov de dos estados dada por la matriz
P =
1a
b
a
1b
68
b
a
tiene una unica distribucin estacionaria dada por = (0 , 1 ) = ( a+b , a+b ), cuan
o
do a + b > 0. Cuando a = b = 0, la matriz resultante es la matriz identidad que
acepta como distribucin estacionaria a cualquier distribucin de probabilidad soo
o
bre {0, 1}.
Observacin 1: Para encontrar una posible distribucin estacionaria de una cadena

o
o
con matriz P , un primer mtodo consiste en resolver el sistema de ecuaciones
e
= P . Ms adelante expondremos una forma alternativa de buscar distribuciones
a
estacionarias para cadenas reversibles.
Observacin 2: Suponga que y son dos distribuciones estacionarias distintas
o
para una matriz P . Entonces la combinacin lineal convexa + (1 ) , para
o
[0, 1], tambin es una distribucin estacionaria pues
e
o
( + (1 ) ) P = P + (1 ) P = + (1 ) .
Por lo tanto, si existen dos distribuciones estacionarias distintas para una cadena,
entonces existen una innidad de ellas.
Observacin 3: Con base en las observaciones anteriores y en los ejemplos moso
trados, slo hay tres situaciones sobre la existencia de distribuciones estacionarias
o
para una cadena de Markov cualquiera:
a) No existe ninguna distribucin estacionaria.
o
b) Existe una distribucin estacionaria y es unica.
o
c) Existen una innidad de distribuciones estacionarias.

Dadas estas consideraciones, es natural plantearse el problema de encontrar condiciones necesarias y sucientes para que una cadena tenga alguna distribucin
o
estacionaria. Primeramente demostraremos que cuando existe una distribucin eso
tacionaria, sta tiene como soporte el conjunto de estados recurrentes positivos.
e
Proposicin. (Soporte de una distribucin estacionaria). Sea una distribucin
o
o
o
estacionaria. Si j es un estado transitorio o recurrente nulo, entonces j = 0.
Demostracin. Usaremos el hecho de que si j es un estado transitorio o recurrente

o
Cap
69
nulo, entonces para cualquier estado i,

l
m
1
n
pij (k) = 0.
k=1
Como es una distribucin estacionaria,

o
j
i pij
i
i pij (k)
i
1
n
i pij (k)
k=1
i (
i
1
n
pij (k) )
k=1
Tomando el l
mite cuando n , por el teorema de convergencia dominada, se
obtiene
n
1
j =
i ( l
m
pij (k) ) = 0.
n n
i
k=1
El resultado anterior nos ayuda a corroborar nuevamente, por ejemplo, que una caminata aleatoria simtrica simple no tiene distribucin estacionaria pues se trata de
e
o
una cadena cuyos estados son todos recurrentes nulos. Ahora se presentan dos condiciones que en su conjunto garantizan la existencia y unicidad de una distribucin
o
estacionaria.
70
Proposicin. (Existencia y unicidad de la distribucin estacionaria). Toda cao

o
dena de Markov que es
a) irreducible y
b) recurrente positiva,
tiene una unica distribucin estacionaria dada por
o
j =
1
> 0.
j
En particular, toda cadena nita e irreducible tiene una unica distribucin
o
estacionaria.
Demostracin. Sea j = 1/j . Demostraremos que

o
(1) j =
i pij .
i
(2)
j = 1.
j
(3) j es unica.
Como la cadena es irreducible y recurrente positiva, j < para cualquier estado

j. Por lo tanto el cociente 1/j es estrictamente positivo. Usaremos el hecho de que
n
l
m
1
1
pij (m) =
.
n m=1
j
(1) Estacionariedad. Para cualquier natural N ,

N
i pij
i=0
( l
m
i=0
l
m
l
m
= j .
1
n
1
n
1
n
pki (m) ) pij

m=1
N
pki (m) pij

m=1 i=0
n
pkj (m + 1)
m=1
71
Cap
Haciendo N ,
i pij j .
(3.4)
Suponga que para alg n valor de j la desigualdad anterior es estricta. Sumando

u
sobre todos los valores j, por el teorema de Fubini,
j >
i pij =
j
pij =
i .
Lo cual es una contradiccin. Por lo tanto (3.4) es una igualdad. Esto demuestra
o
que es estacionaria, y para cualquier m natural,
j =
i pij (m).
(3.5)
(2) Distribucin de probabilidad. Para cualquier natural N ,

o
N
1
n n
( l
m
j=0
j=0
1
= l
m
n n
l
m
1
n
pij (k) )
k=1
N
pij (k)
k=1 j=0
n
1
k=1
= 1.
Por lo tanto
j
j 1.
Por otra parte, por (3.5), para cualquier n natural,

n
j =
i (
i
1
pij (m) ).
n m=1
Haciendo n , por el teorema de convergencia dominada de Lebesgue, y usando

el hecho de que j j 1,
j =
i=0
1
pij (m) ) =
n n
m=1
i ( l
m
i=0
i j .
72
Dado que j > 0, se obtiene
i = 1.
(3) Unicidad. Sean y dos distribuciones estacionarias para la matriz P . Entonces

n
j =
i (
i pij (m) =
i
1
pij (m))
n m=1
Haciendo n ,
i (
i=0
1
pij (m)).
n m=1
i j .
i=0
Ahora hacemos N para obtener
j j .
(3.6)
Si esta desigualdad fuera estricta para alg n valor de j, entonces sumando sobre
u
todos los valores de j se obtiene
j >
1=
j
j = 1.
j
Lo cual es una contradiccin. Por lo tanto (3.6) es una igualdad para cada valor de
o
j, y ello demuestra la unicidad.
Ejemplo. La cadena de Ehrenfest es nita e irreducible, y en consecuencia es recurrente positiva. Por lo tanto tiene una unica distribucin estacionaria. Resolviendo
o
el sistema de ecuaciones = P se encuentra que el vector tiene distribucin
o
bin(N, 1/2), es decir,
j =
N 1
j 2N
para j = 0, 1, . . . , N.
En vista de la proposicin demostrada, los tiempos medios de recurrencia para esta

o
cadena son
1
2N
j =
= N
para j = 0, 1, . . . , N.
j
j
Cap
73
Ejemplo. La cadena de racha de xitos, aunque no es nita, es irreducible y recue

rrente positiva. Por lo tanto tiene una unica distribucin estacionaria dada por la
o
distribucin geo(1 p), es decir, el sistema de ecuaciones = P tiene como unica
o
solucin la distribucin
o
o
j = (1 p) pj
para j = 0, 1, 2 . . .
Como consecuencia de la proposicin anterior, se obtiene que los tiempos medios

o
de recurrencia para cada uno de los estados de esta cadena son
j =
1
1
=
j
(1 p) pj
para j = 0, 1, 2 . . .
En particular, 0 = 1/(1 p). Esto conrma los clculos realizados antes para 0
a
a partir de la frmula 0 = n=1 n f00 (n).

o
3.14.
Distribuciones l
mite
Como hemos mencionado antes, toda matriz de probabilidades de transicin P

o
determina una sucesin de distribuciones de probabilidad 0 , 1 , . . . sobre el espacio
o
de estados en donde
n+1 = n P = 0 P n+1 .
(3.7)
Bajo ciertas condiciones tal sucesin es convergente a una distribucin l
o
o mite .
Imaginemos por ahora que tal es el caso y examinemos algunas propiedades de esta
distribucin l
o mite. Por (3.7) se tiene que
= l n = 0 l P n+1 = 1 l P n .
m
m
m
n
Estas igualdades revelan varias cosas. Primero, la distribucin l

o mite no depende
de la distribucin inicial pues el lado derecho de estas ecuaciones debe ser el mismo.
o
Segundo, la distribucin l
o mite est dada por el l
a
mite de las potencias de P pues si
se toma como distribucin inicial aquella concentrada en el i-simo estado, entono
e
ces el j-simo elemento de la distribucin l
e
o mite es j = l n pij (n). Tercero,
m
el l
mite de las potencias de P es una matriz con todos sus renglones idnticos,
e
siendo este regln la distribucin l
o
o mite. Por ultimo, a partir de (3.7) se obtiene
que l n n+1 = l n n P , esto es, = P , es decir, la distribucin l

m
m
o mite
74
mite
es una distribucin estacionaria, suponiendo un espacio de estados nito. En esta

o
seccin se establecen condiciones para obtener rigurosamente estos resultados.
o
Como se ha visto, toda distribucin l
o mite es estacionaria pero el rec
proco es en
general falso como se ilustra en el siguiente ejemplo.
Ejemplo. Es inmediato comprobar que la distribucin uniforme (1/2, 1/2) es estao
cionaria para la cadena con matriz P = 0 1 , y sin embargo las potencias P n
1
0
no convergen pues para cualquier entero natural n, P 2n+1 = 0 1 , mientras
1
0
que P 2n = 1 0 .
0
1
El siguiente resultado es vlido para espacios de estados nitos o innitos, y esa
tablece que si el l
mite de las probabilidades pij (n), cuando n , existen y no
dependen de i, entonces la distribucin l
o mite podr ser una distribucin estacioa
o
naria. Esto es solamente una posibilidad pues los l
mites podr ser todos cero.
an
En el caso nito, sin embargo, demostraremos que tales l
mites conforman una
distribucin de probabilidad verdadera.
o
Proposicin. Considere una cadena de Markov con probabilidades de transicin
o
o
pij tales que los l
mites j = l n pij (n) existen para cada j, y no dependen
m
del estado i. Entonces
1.
j
j 1.
2. j =
i pij (n).
i
Cuando el espacio de estados es nito se cumple la igualdad en el primer resultado obtenindose una distribucin de probabilidad verdadera.
e
o
Demostracin. Suponga primero el caso cuando el espacio de estados es el conjunto

o
nito {0, 1, . . . , N }. Entonces la primera armacin se cumple con igualdad pues
o
N
j =
j=0
l pij (n) = l
m
m
j=0
pij (n) = 1.
j=0
Cap
75
Para la segunda armacin se tiene que para cualquier n 1,

o
N
i pij (n) =
i=0
l
m pki (m) pij (n)
i=0
m
N
=
=
=
l
m
pki (m) pij (n)
i=0
l pkj (m + n)
m
m
j .
Suponga ahora que el espacio de estados es innito. En este caso no es posible

garantizar la validez del intercambio de l
mite y suma efectuado antes. Para la
primera armacin se tiene que para cualquier n mero natural N 1,
o
u
N
j =
j=0
l pij (n) = l
m
m
j=0
j=0
pij (n) l 1 = 1.
m
n
Haciendo N se obtiene el resultado buscado. Para la segunda armacin,

o
nuevamente para cualquier n mero natural N 1,
u
N
i pij
i=0
l pki (n) pij

m
i=0
n
N
l
m
pki (n) pij

i=0
l pkj (n + 1)
m
n
j .
Si j = 0 para cualquier j, entonces estas desigualdades se convierten en identidades

como dice el enunciado. Suponga que j j > 0. Demostraremos que las desigualdades estrictas no son posibles. Suponga que para alg n estado j, i i pij < j .
u
Entonces
j >
i pij =
i
pij =
i .
j
i,j
Esto es una contradiccin, por lo tanto la igualdad en el prrafo anterior se cumple.

o
a
76
mite
Ahora se establecen condiciones sucientes para que el l

mite de las probabilidades
de transicin existan. Este resultado es una especie de rec
o
proco del resultado anterior pues supone la existencia de una distribucin estacionaria para concluir que
o
los l
mites de las probabilidades existen.
Teorema de convergencia. Considere una cadena de Markov que es
a) irreducible,
b) aperidica, y
o
c) con distribucin estacionaria .
o
Entonces para cualesquiera estados i y j,
l pij (n) = j .
m
Demostracin. El mtodo de esta demostracin se conoce como tcnica de acople.

o
e
o
e
Sea Yn una cadena de Markov independiente de la original Xn pero con la misma
matriz de probabilidades de transicin. Entonces el proceso Zn = (Xn , Yn ) es una
o
cadena de Markov con probabilidades de transicin
o
P (Zn+1 = (xn+1 , yn+1 ) | Zn = (xn , yn )) = pxn ,xn+1 pyn ,yn+1 ,
y tiene distribucin estacionaria xn ,yn = xn yn . Puede comprobarse que la cao
dena Z es recurrente positiva. Adems es irreducible pues como X y Y son apea
ridicas, existe un n mero natural N tal que pij (n) pkl (n) > 0, para toda n > N .
o
u
Sea j cualquier estado. Dena el primer momento en el que la cadena Z visita el
estado (j, j) como j = m
n{n 1 : Zn = (j, j)}. Sea adems = m
a
n{n 1 :
Xn = Yn }. Este es el momento de acople de las dos cadenas. Como Z es recurrente,
77
Cap
P ( < ) = 1. Adems j . Por la propiedad de Markov
a
n
P (Xn = x, n) =
P (Xn = x, Xr = j, = r)
j
r=1
n
r=1
n
r=1
n
r=1
=
=
=
=
P (Xn = x | Xr = j, = r) P (Xr = j, = r)
P (Yn = x | Yr = j, = r) P (Yr = j, = r)
P (Yn = x | Yr = j) P (Yr = j, = r)
P (Yn = x, n),
es decir, sobre el evento ( n), las variables Xn y Yn tienen la misma distribucin

o
de probabilidad. Por otro lado
P (Xn = j) =
=
P (Xn = j, n) + P (Xn = j, > n)

P (Yn = j, n) + P (Xn = j, > n)
P (Yn = j) + P ( > n).
De manera anloga, P (Yn = j) P (Xn = j) + P ( > n). Por lo tanto,

a
|P (Xn = j) P (Yn = j)| P ( > n) 0,
(3.8)
cuando n . Si ahora se toma X0 = i y Y0 con la distribucin estacionaria ,

o
entonces P (Xn = j) = P (X0 = i) pij (n) = pij (n), y por lo tanto (3.8) establece
que |pij (n) j | 0.
El siguiente resultado establece condiciones sucientes para la existencia del l
mite de las probabilidades de transicin, asegurando adems que se trata de una
o
a
distribucin de probabilidad.
o
78
3.15. Cadenas regulares
Teorema de convergencia. Considere una cadena de Markov que es

a) irreducible,
b) recurrente positiva, y
c) aperidica.
o
Entonces las probabilidades l
mite j = l pij (n) =
m
n
1
existen, y constituyen
j
la unica solucin al sistema de ecuaciones
j =
i pij ,
(3.9)
i=0
sujeto a las condiciones j 0, y
j = 1.
j=0
Demostracin. Como la cadena es irreducible y recurrente positiva, tiene una unica

o
distribucin estacionaria dada por j = 1/j . Es decir, es la unica solucin al

o
o
sistema de ecuaciones = P , con j 0 y j j = 1. Adems por ser peridica,
a
o
pij (n) j .
3.15.
Cadenas regulares
Las cadenas de Markov regulares son cadenas nitas que cumplen la propiedad de
que a partir de un cierto momento, con probabilidad positiva se puede pasar de un
estado a otro cualquiera en un paso. Demostraremos que para este tipo de cadenas
existe siempre la distribucin l
o mite.
Denicin. Se dice que una cadena nita o su matriz de probabilidades de
o
transicin es regular si existe un entero natural n tal que pij (n) > 0, para
o
cualesquiera estados i y j.
En palabras, una cadena de Markov nita es regular si alguna potencia de su matriz
de probabilidades de transicin tiene todas sus entradas estrictamente positivas.
o
Otra forma de denir a una cadena regular es a travs del siguiente resultado.
e
Cap
79
Proposicin. Una matriz estocstica es regular si, y slo si, es nita, irreducible
o
a
o
y aperidica.
o
Demostracin. Si la matriz es regular, entonces claramente es nita, irreducible y

o
aperidica. Rec
o
procamente, por la irreducibilidad, para cualesquiera dos estados
i y j, existe un entero m tal que pij (m) > 0. Entonces existe un entero N tal que
pij (m + n d(j)) > 0, para cada n N . Como d(j) = 1 y siendo la matriz nita,
esto implica la regularidad.
Para este tipo particular de cadenas nitas se conocen los siguientes resultados
acerca de su comportamiento l
mite.
Proposicin. Toda cadena nita que adems es
o
a
1. regular, tiene como distribucin l
o mite la unica solucin no negativa del
o
sistema (3.9).
2. regular y doblemente estocstica, tiene como distribucin l
a
o mite la distribucin uniforme.
o
3. irreducible, aperidica y doblemente estocstica, tiene como distribucin
o
a
o
l
mite la distribucin uniforme.
o
Demostracin.
o
1. Como la cadena es regular, es irreducible, aperidica, y es recurrente positiva
o
por ser nita. Por el teorema anterior la distribucin l
o mite existe y est dada
a
por el sistema de ecuaciones (3.9).
2. Como la cadena es regular, es aperidica, irreducible y recurrente positiva
o
por ser nita. Entonces la distribucin l
o mite existe. Por la hiptesis de doble
o
estocasticidad y suponiendo que el espacio de estados es {0, 1, . . . , N }, se
N
tiene que i=0 pij (n) = 1. Tomando el l
mite cuando n tiende a innito se
obtiene N j = 1. Por lo tanto j = 1/(N + 1).
i=0
3. Este resultado es idntico al anterior pues hemos demostrado que la regularie
dad es equivalente a la nitud, irreducibilidad y aperiodicidad conjuntamente.
80
3.16. Cadenas reversibles
Ejemplo. Sea Sn la suma de los resultados que se obtienen al lanzar un dado

equilibrado n veces. Encontraremos
l P (Sn es m ltiplo de 7).
m
u
Dena el proceso Xn = Sn mod. 7 cuyo espacio de estados es {0, 1, . . . , 6}. No es

dif convencerse que Xn es una cadena de Markov con matriz de probabilidades
cil
de transicin
o
P =
0
1/6
1/6
1/6
1/6
1/6
1/6
1/6
0
1/6
1/6
1/6
1/6
1/6
1/6
1/6
0
1/6
1/6
1/6
1/6
1/6
1/6
1/6
0
1/6
1/6
1/6
1/6
1/6
1/6
1/6
0
1/6
1/6
1/6
1/6
1/6
1/6
1/6
0
1/6
1/6
1/6
1/6
1/6
1/6
1/6
0
El evento (Sn es m ltiplo de 7) es idntico al evento (Xn = 0), de modo que la

u
e
probabilidad de que Sn sea m ltiplo de 7 a largo plazo es el tiempo de estancia a
u
largo plazo que la cadena Xn pasa en el estado 0. El problema se reduce a encontrar
la distribucin l
o mite de P . Pero esta matriz es regular, y entonces su distribucin
o
limite es la uniforme. Por lo tanto l P (Xn = 0) = 1/7.
m
n
3.16.
Cadenas reversibles
Sea Xn una cadena de Markov con probabilidades de transicin pij . Sea m 1 un

o
entero jo y dena un nuevo proceso Yn = Xmn para n = 0, . . . , m, es decir, Yn
es la cadena original pero vista en sentido inverso en el tiempo, ahora del tiempo
m al tiempo 0. Este nuevo proceso resulta tambin ser una cadena de Markov
e
pues cumple el criterio de independencia entre pasado y futuro cuando se conoce
el presente, las nociones de pasado y futuro se intercambian debido al cambio en
el sentido del tiempo. En efecto, para 1 r < n m, considere la probabilidad
condicional
P ( y1 , . . . , yr1 , yr+1 , . . . , yn | yr ).
81
Cap
En trminos del proceso X, esta probabilidad es
e
P (Xm1 = y1 , . . . , Xmr+1 = yr1 ,
Xmr1 = yr+1 , . . . , Xmn = yn | Xmr = yr ).
Por la propiedad de Markov del proceso X, esta probabilidad es el producto

P (Xm1 = y1 , . . . , Xmr+1 = yr1 | Xmr = yr )
P (Xmr1 = yr+1 , . . . , Xmn = yn | Xmr = yr ),
que en trminos del proceso Y es la propiedad de Markov para este proceso

e
P (y1 , . . . , yr1 | yr ) P (yr+1 , . . . , yn | yr ).
Sin embargo las probabilidades de transicin del nuevo proceso no son homogneas
o
e
pues para 0 n < m,
P (Yn+1 = j | Yn = i) =
P (Xmn = i, Xmn1 = j)
P (Xmn = i)
= P (Xmn = i | Xmn1 = j)
= pji
P (Xmn1 = j)
P (Xmn = i)
P (Yn+1 = j)
,
P (Yn = i)
es decir, estas probabilidades dependen de n a travs del cociente P (Yn+1 =

e
j)/P (Yn = i). Tal dependencia desaparece cuando se asume que existe una distribucin estacionaria para Xn , pues en tal caso la igualdad anterior se reduce
o
a
j
P (Yn+1 = j | Yn = i) = pji
.
i
Bajo tal hiptesis las probabilidades de transicin de la nueva cadena son ahora
o
o
estacionarias. Si adicionalmente se pide que las probabilidades de transicin sean
o
las mismas para ambas cadenas, entonces de la ecuacin anterior se obtiene que
o
debe cumplirse que pij = pji j , es decir, i pij = j pji . Esto lleva a la siguiente
i
denicin de reversibilidad la cual a ade la hiptesis de irreducibilidad.
o
n
o
Denicin. Se dice que una cadena de Markov irreducible con probabilidades
o
de transicin pij y con distribucin estacionaria es reversible en el tiempo si
o
o
para cualesquiera estados i y j,
i pij = j pji .
(3.10)
82
A la ecuacin (3.10) se llama ecuacin de balance detallado. La utilidad de las

o
o
cadenas reversibles est dada por el siguiente resultado, el cual ejemplicaremos
a
ms adelante con un par de aplicaciones.
a
Proposicin. Considere una cadena irreducible para la cual existe una distrio
bucin que cumple (3.10). Entonces es una distribucin estacionaria y la
o
o
cadena es reversible.
Demostracin. Si cumple (3.10), entonces es una distribucin estacionaria pues

o
o
i pij = i j pji = j . Adems la cadena es reversible por denicin.
a
o
i
Ejemplo. Considere nuevamente la cadena de Ehrenfest. El espacio de estados es
{0, . . . , N }, y las probabilidades de transicin son, para i = 1, . . . , N 1,
o
(N i)/N si j = i + 1,
i/N
si j = i 1,
pij =
0
otro caso,
con p01 = 1 y pN,N 1 = 1. Esta cadena es nita, irreducible y recurrente positiva.
Si se desea encontrar la distribucin estacionaria a travs de la ecuacin = P ,
o
e
o
uno tendr que resolver el sistema
a
0
1 (1/N ),
i1 (i/N ) + i+1 (N i)/N,

N 1 /N.
para i = 1, . . . , N 1,
En lugar de ello se puede buscar una posible solucin al sistema (3.10), el cual se
o
escribe como sigue
i+1 =
N i
i ,
i+1
para i = 0, 1, . . . , N 1.
Resolviendo iterativamente hacia abajo se encuentra que

i =
N
i
0 ,
para i = 1, . . . , N.
Sumando todas estas cantidades,

N
1 = 0
i=0
N
i
= 0 2N .
83
Cap
Por lo tanto 0 = 21 , y i = N 21 es la solucin al sistema. Esta es la distribucin

o
o
N
N
i
bin(N, p) con p = 1/2. Por lo demostrado antes esta distribucin es estacionaria y
o
la cadena es reversible.
Ejemplo. Considere una caminata aleatoria
probabilidades de transicin
o
pi
qi
pij =
1 pi qi
no homognea sobre {0, 1, . . .}, con

e
si j = i + 1,
si j = i 1,
si j = i,
otro caso,
en donde q0 = 0. Esta es una cadena irreducible. Si uno busca una distribucin

o
estacionaria a travs de la ecuacin = P , uno tendr que resolver el sistema
e
o
a
de ecuaciones
0
i
=
=
0 (1 p0 ) + q1 1 ,
i+1 qi+1 + i (1 pi qi ) + i1 pi1 ,
para i 1.
Sin embargo la condicin (3.10) se traduce en el sistema ms simple i pi =

o
a
i+1 qi+1 . Una posible solucin de este sistema (su existencia depender de los
o
a
parmetros pi y qi ), ser la distribucin estacionaria para esta caminata y la cadea
a
o
na ser entonces reversible en el tiempo.
a
Resumen de la notacin utilizada. Como referencia se presenta a continuacin
o
o
una lista de la notacin utilizada en este cap
o
tulo.
pij
probabilidad de pasar del estado i al estado j en un paso, es decir, pij =

P (X1 = j | X0 = i).
pij (n)
probabilidad de pasar del estado i al estado j en exactamente n pasos, es

decir, pij (n) = P (Xn = j | X0 = i). En algunos textos aparece tambin como
e
(n)
pij . En particular, se dene pij (0) = ij , que vale uno cuando i = j, y cero
cuando i = j.
fij (n)
probabilidad de llegar por primera vez al estado j a partir del estado i exactamente en el paso n, es decir, fij (n) = P (Xn = j, Xn1 = j, . . . , X1 = j | X0 =
(n)
i). A veces se escribe tambin como fij . En particular se dene fij (0) = 0
e
para cualesquiera estados i y j, incluyendo el caso i = j.
84
fij
probabilidad de una eventual visita el estado j a partir del estado i. En

trminos de probabilidades de primeras visitas, esta probabilidad es fij =
e
k=0 fij (n).
Nij (n)
variable aleatoria que registra el n mero de visitas realizadas al estado j

u
durante las primeras n transiciones, cuando la cadena inicia en el estado i, es
n
decir, Nij (n) = k=1 1(Xk =j) , cuando X0 = i.
Nij
variable aleatoria que cuenta el n mero total de visitas realizadas al estado j

u
cuando la cadena inicia en el estado i, es decir, Nij = 1(Xk =j) , cuando
k=1
X0 = i. Puede tomar el valor innito.
ij
tiempo en el que se logra la primera visita el estado j a partir del estado i,

es decir, ij = m
n{n 1 : Xn = j}, cuando X0 = i. Toma el valor innito
cuando nunca ocurre tal evento. Cuando i = j se escribe i , y corresponde al
tiempo del primer regreso al estado i.
ij
tiempo medio de primera visita al estado j a partir del estado i, es decir,

ij = E(ij ). Puede ser innito. Cuando i = j se escribe i y se le llama
tiempo medio de recurrencia del estado i.
Notas y referencias. El tema de cadenas de Markov a tiempo discreto aparece en

casi cualquier texto de procesos estocsticos, e incluso puede encontrarse tambin
a
e
en los ultimos cap
tulos de algunos textos de probabilidad. El tema es regularmente

la parte inicial de un curso elemental de procesos estocsticos. Las siguientes refea
rencias son una muestra de algunos textos que contienen cap
tulos sobre el tema de
cadenas de Markov a un nivel similar al presentado: Karlin y Taylor [19], Brzeniak
z
y Zastawniak [4], Jones y Smith [17], Hoel, Port y Stone [16], y Stirzaker [36]. Los
textos de Caballero et al [6] y Norris [25], estn dedicados enteramente al tema de
a
cadenas de Markov.
Cap
85
Andrei Andreyevich Markov (Rusia 18561922).

Markov tuvo una salud muy precaria durante sus primeros
a os de vida, teniendo que caminar con muletas hasta la
n
edad de 10 a os. En 1874 ingres a la facultad de f
n
o
sica y
matemticas de la universidad de San Petersburgo, y asisa
ti a las clases de reconocidos matemticos de la poca, eno
a
e
tre ellos P. L. Chebyshev, quien tuvo una inuencia decisiva
en el quehacer futuro de Markov. Se gradu brillantemente
o
en 1878, y continu con sus estudios de maestr los cuales
o
a,
concluy en 1880. Trabaj como profesor en la universidad
o
o
de San Petersburgo al mismo tiempo que estudiaba para su
Markov
doctorado, el cual concluy en 1884. Continu trabajando
o
o
en la misma universidad por prcticamente el resto de su vida. Despus de 1900, y
a
e
siguiendo los trabajos de P. L. Chebyshev, aplic el mtodo de fracciones continuas
o
e
en la teor de la probabilidad. Markov fue el mejor exponente y continuador de las
a
ideas de Chebyshev y de sus temas de investigacin en probabilidad. Especialmente
o
sobresalientes son sus trabajos sobre la ley de los grandes n meros y el teorema
u
central del l
mite, asi como otros resultados fundamentales de la teor de la probaa
bilidad, y sobre el mtodo de m
e
nimos cuadrados. Fue muy estricto como profesor
pero tambin muy claro en sus exposiciones, y demandaba mucho rigor matemtico
e
a
en los argumentos de sus estudiantes. Markov desarroll su teor de cadenas de
o
a
Markov desde un punto de vista matemtico, aunque tambin aplic su modelo en
a
e
o
el anlisis de estilos de escritura en poemas. Con sus trabajos sobre cadenas de
a
Markov, fund una nueva rama de la probabilidad e inici la teor de los procesos
o
o
a
estocsticos. Fuente: Archivo MacTutor, Universidad de St. Andrews.
a
86
Ejercicios
Propiedad de Markov
Recordemos que para hacer la notacin ms corta, a la probabilidad P (Xn = xn )
o
a
se le ha escrito como p(xn ), es decir, el sub
ndice indica tambin la variable a la
e
que se hace referencia. El signicado de la probabilidad condicional p(xn+1 | xn ) es
anlogo.
a
9. Demuestre que la propiedad de Markov (3.1) es equivalente a cada una de las
siguientes condiciones.
a) Esta condicin establece que la distribucin conjunta queda especicada
o
o
a travs de la distribucin inicial y las probabilidades de transicin en
e
o
o
un paso: Para cualesquiera estados x0 , . . . , xn ,
p(x0 , x1 , . . . , xn ) = p(x0 ) p(x1 | x0 ) p(xn | xn1 ).
b) Esta condicin establece que el futuro, sin importar lo distante que se
o
encuentre, depende slamente del ultimo momento observado: Para cuao
lesquiera enteros n, m 1,
p(xn+m | x0 , . . . , xn ) = p(xn+m | xn ).
c) Esta es la condicin de Markov para tiempos no necesariamente conseo
cutivos: Para cualesquiera enteros 0 n1 < < nm+1 ,
p(xnm+1 | xn1 , . . . , xnm ) = p(xnm+1 | xnm ).
d ) Esta condicin expresa la independencia entre el pasado y el futuro
o
cuando se conoce el presente: Para cualesquiera enteros 0 < k < n,
p(x0 , . . . , xk1 , xk+1 , . . . , xn | xk ) =
p(x0 , . . . , xk1 | xk )
p(xk+1 , . . . , xn | xk ).
e) En esta condicin se consideran varios eventos en el futuro: Para cuao

lesquiera enteros n, m 1,
p(xn+m , . . . , xn+1 | x0 , . . . , xn ) = p(xn+1 | xn ) p(xn+m | xn+m1 ).
Cap
87
Matrices estocsticas
a
10. Demuestre que
a) si P y Q dos matrices estocsticas (o doblemente estocsticas) de la
a
a
misma dimensin, entonces P Q tambin es estocstica (o doblemente
o
e
a
estocstica).
a
b) si P es estocstica (o doblemente estocstica), entonces para cualquier
a
a
entero positivo n, la potencia P n tambin es estocstica (o doblemente
e
a
estocstica).
a
11. Demuestre que una matriz cuadrada P puede ser tal que la potencia P n sea
estocstica para alg n entero n 2, sin ser P misma estocstica.
a
u
a
12. Demuestre que si una matriz estocstica P es simtrica, entonces para cuala
e
quier n 1, la potencia P n tambin es simtrica.
e
e
13. Demuestre que toda matriz estocstica simtrica es doblemente estocstica.
a
e
a
14. Demuestre que toda matriz estocstica nita tiene siempre al n mero uno
a
u
como valor propio.
Probabilidades de transicin
o
15. Considere una cadena de Markov de dos estados: 0 y 1, con matriz de probabilidades de transicin como aparece abajo. Suponga que la cadena tiene
o
una distribucin inicial dada por el vector (0.6, 0.4). Encuentre P (X1 = 0),
o
P (X1 = 1), P (X2 = 0) y P (X2 = 1).
P =
0.2
0.5
0.8
0.5
16. Considere una cadena de Markov de dos estados: 0 y 1, con distribucin

o
inicial (1/2, 1/2), y con matriz de probabilidades de transicin dada como
o
aparece abajo. Encuentre P (X1 = 0), P (X1 = 1), P (X5 = 1 | X4 = 0),
P (X3 = 0 | X1 = 0), P (X100 = 0 | X98 = 0), P (X1 = 0 | X2 = 0), P (X1 =
1 | X2 = 1, X3 = 1), P (X3 = 0, X2 = 0 | X1 = 0).
P =
1/3
3/4
2/3
1/4
88
17. Ecuacin de Chapman-Kolmogorov para cadenas no homogneas. Considere

o
e
una cadena de Markov con probabilidades de transicin no necesariamente
o
homogneas pij (n, m) = P (Xm = j | Xn = i), para n m. Demuestre que
e
para cualquier tiempo u tal que n < u < m,
pij (n, m) =
pik (n, u) pkj (u, m).

k
18. Demuestre o proporcione un contraejemplo.

a) pij (n) pij (1) pjj (n 1).
b) pij (n) = 1 pji (n).
Cadenas de Markov
19. Para la cadena de Markov de dos estados con distribucin inicial (p0 , p1 ),
o
demuestre que para a + b > 0,
P (Xn = 0) =
P (Xn = 1) =
b
b
+ (p0
) (1 a b)n ,
a+b
a+b
a
a
+ (p1
) (1 a b)n .
a+b
a+b
20. Encuentre la matriz de probabilidades de transicin de la cadena de Markov

o
de cuatro estados dada por el diagrama de la Figura 3.17. A partir de cada
posicin slo se permite pasar a los estados como indica el laberinto, con
o o
idntica probabilidad para todas las posibilidades. Suponga que no se permite
e
permanecer en la misma posicin al efectuarse un movimiento.
o
Figura 3.17:
Cap
89
21. Se lanza un dado equilibrado repetidas veces. Sea Xn el n mero de lanzamienu

tos realizados al tiempo n desde la ultima vez que apareci el n mero 6.
o
u
Demuestre que Xn es una cadena de Markov y encuentre las probabilidades
de transicin.
o
22. Sea Xn una cadena de Markov con probabilidades de transicin pij , y sea m
o
1 un entero jo. Demuestre que los siguientes procesos son tambin cadenas
e
de Markov y encuentre las correspondientes probabilidades de transicin.
o
a) Xn+m .
b) Xnm .
23. Demuestre que para cualquier entero n 1,
a) P (Xn = j) =
P (Xn1 = i) pij (1).

i
b) P (Xn = j) =
P (X0 = i) pij (n).

i
24. Considere una cadena de Markov con espacio de estados {0, 1, . . . , N }, y

probabilidades de transicin tales que para cualquier estado i,
o
N
E(Xn+1 | Xn = i) =
j pij = i,
j=0
es decir, el estado promedio despus de una transicin es el estado inicial.

e
o
Demuestre que esta cadena es una martingala y que los estados 0 y N son
absorbentes.
25. Renovaciones discretas. Sea 1 , 2 , . . . una sucesin de variables aleatorias ino
dependientes idnticamente distribuidas, y con valores en el conjunto {1, 2, . . .}.
e
Interpretaremos estas variables discretas como los tiempos de vida de art
culos puestos en operacin uno despus de otro en un proceso de renovacin a
o
e
o
tiempo discreto. Sea X0 = 0 y para cada n 1 sea Xn = 1 + + n . Para
cada k = 1, 2, . . . dena
Nk = mx {n 1 : Xn k}.
a
Si el conjunto indicado es vac entonces el mximo se dene como cero. La
o,
a
variable Nk cuenta el n mero de renovaciones efectuadas hasta el tiempo k.
u
Sea Ak = k XNk , es decir, Ak es la edad del art
culo que se encuentra en
90

operacin al tiempo k, o bien el tiempo transcurrido desde la ultima renoo
vacin. La notacin A proviene del trmino en ingls age. Demuestre que el

o
o
e
e
proceso Ak es una cadena de Markov con espacio de estados {0, 1, . . .}, y con
probabilidades de transicin
o
pi,0 =
P (X = i + 1)
,
P (X i + 1)
pi,i+1 =
P (X i + 2)
.
P (X i + 1)
26. Considere la cadena de inventarios en donde n tiene distribucin uniforme

o
en el conjunto {0, 1, 2, 3}, con s = 1 y S = 4. Encuentre la matriz de probabilidades de transicin de esta cadena.
o
27. Sea Xn la cadena de Markov de dos estados. Demuestre que el proceso Yn =
(Xn1 , Xn ) es una cadena de Markov. Determine el espacio de estados de
este nuevo proceso y encuentre la matriz de probabilidades de transicin.
o
Generalize este resultado para cualquier cadena.
28. Se colocan N bolas negras en una primera urna, y N bolas blancas en una
segunda urna. Se selecciona al azar una bola de cada urna y se intercambian.
Este ensayo se repite varias veces. Sea Xn el n mero de bolas blancas en la
u
primera urna despus del n-simo ensayo. Justique que Xn es una cadena
e
e
de Markov y encuentre la matriz de probabilidades de transicin.
o
29. Sea 0 , 1 , . . . una sucesin de variables independientes con idntica distrio
e
bucin Ber(p). Determine si el proceso Xn denido a continuacin es una
o
o
cadena de Markov. En caso armativo encuentre la matriz de probabilidades
de transicin.
o
a) Xn = n + n1 .
b) Xn = Xn1 + n .
c) Xn = Xn1 + n , mdulo 2.
o
30. Modicacin de la cadena de Ehrenfest. Considere el esquema de dos urnas
o
como en la cadena de Ehrenfest con un total de N bolas. Suponga ahora que
un ensayo consiste en que cada una de las bolas se cambia de urna con una
distribucin de probabilidad especicada p1 , . . . , pN , sin importar la posicin
o
o
de las bolas. Sea Xn el n mero de bolas en una de las urnas despus del nu
e
simo ensayo. Es esta una cadena de Markov? En caso armativo encuentre
e
la matriz de probabilidades de transicin.
o
91
Cap
Comunicacin
o
31. Dibuje un diagrama de transicin y encuentre las clases de comunicacin para

o
o
cada una de las siguientes cadenas de Markov.
a)
c)
1/2
1/2
0
P =
0
0
P =
0
1/2
1/2
0
0
1
0
1
0
0
1/2
1
0
0
0
1/2
1
b) P =
1/2
1/3
0
1
0
0
0
0
1/2
1/3
1
0
0
1/3
0
0
0
0
32. Considere una cadena de Markov con n estados. Demuestre que si i j,

entonces es posible pasar de i a j en a lo sumo n 1 pasos. Suponga i = j.
Clases cerradas
33. Demuestre que toda cadena de Markov tiene por lo menos una clase de comunicacin cerrada.
o
34. Demuestre que la coleccin de estados C es cerrada si, y slo si, alguna de
o
o
las siguientes condiciones se cumple. Para cualesquiera i C y j C ,
/
a) pij (n) = 0, para cada n 1.
b) pij (1) = 0.
35. Demuestre que

a) toda clase de comunicacin recurrente es cerrada.
o
b) la unin de dos clases de comunicacin recurrentes es una clase cerrada.
o
o
c) la unin de todas las clases de comunicacin recurrentes de una cadena de
o
o
Markov es una clase cerrada.
Periodo
36. Dibuje un diagrama de transicin, determine las clases de comunicacin y
o
o
calcule el periodo de cada uno de los estados de las siguientes cadenas de
92

Markov.
a)
c)
1/2
1/2
0
1/2
1/2
1/2
0
0
1/2
1/2
0
P =
1/2
1/4
0
0
0
1/4
1/2
0
1/2
1/4
P =
b)
0
1
0
1/4
1/3
1
P =
1/2
1/3
1/3
0
1/2
1/3
1/3
0
0
1/3
0
0
0
0
37. Hemos demostrado que el periodo es una propiedad de clase, es decir, dos
estados que pertenecen a la misma clase de comunicacin tienen el mismo
o
periodo. El rec
proco de tal armacin es en general falso, es decir, dos eso
tados pueden tener el mismo periodo y sin embargo no ser comunicantes.
Proporcione un ejemplo de tal situacin.
o
Tiempo y probabilidad de primera visita

38. Demuestre que i j, si y slo si, fij > 0.
o
39. Sea j un estado absorbente. Demuestre que para cada n 1, pij (n) =
P (ij n).
Tiempo medio de absorcin
o
40. Se efect a un sucesin de lanzamientos independientes de una moneda equiu
o
librada con resultados A y S. Encuentre el n mero esperado de lanzamientos
u
para que aparezca la secuencia particular
a) S
b) SA
c) SAS
41. Encuentre las clases de comunicacin de la siguiente cadena de Markov. Eno
cuentre adems los periodos, y clasique cada clase de comunicacin como
a
o
93
Cap
transitoria o recurrente.
P =
1/2
1/2
0
0
1/6
1/6
1/2
1/2
0
0
1/6
1/6
0
0
1/2
1/2
1/6
1/6
0
0
1/2
1/2
1/6
1/6
0
0
0
0
1/6
1/6
0
0
0
0
1/6
1/6
42. Demuestre que todo estado absorbente es recurrente.

43. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama de
transicin de la Figura 3.18(a) es transitorio.
o
1/2
0
1/2
1/2
1/2
2
1
0
1
3
1
(a)
(b)
Figura 3.18:
44. Demuestre que el estado 0 de la cadena de Markov dada por el diagrama
de transicin de la Figura 3.18(b) es recurrente. Suponga que 0 < < 1 y
o
0 < < 1. Concluya que todos los estados de esta cadena son recurrentes.
Tiempo medio de recurrencia

45. Considere una sucesin de ensayos independientes Bernoulli con resultados A
o
y B, y con probabilidades P (A) = p y P (B) = q = 1 p. Calcule el n mero
u
promedio de ensayos para la primera ocurrencia de la secuencia AB.
Recurrencia positiva y nula

46. Determine si la cadena de racha de xitos es recurrente positiva o nula.
e
94
Distribuciones estacionarias
47. Encuentre todas las distribuciones estacionarias, si existen, para cada una de
las siguientes cadenas de Markov.
a)
P =
1/2
0
0
1/2
1/2
1/2
1/2
0
1/2
1/2
0
b) P =
0
1/4
1/2
1/2
1/2
1/4
0
1/2
1/2
1/4
0
0
0
1/4
48. Determine si existe alguna distribucin estacionaria para la siguiente matriz

o
estocstica.
a
1p
0 1p
0
P =
1p p
0
0
0
p
0
0
49. Demuestre que la siguiente cadena de Markov tiene un n mero innito de

u
distribuciones estacionarias.
1/2
0
P =
1/2
0
0
1/2
0
1/2
1/2
0
1/2
0
0
1/2
0
1/2
50. Demuestre que la cadena del jugador tiene una innidad de distribuciones
estacionarias.
51. Demuestre que la cadena de variables aleatorias independientes tiene una
unica distribucin estacionaria dada por (0 , 1 , . . .) = (a0 , a1 , . . .).
o
52. Demuestre que toda matriz doblemente estocstica, aperidica, nita e irrea
o
ducible tiene una unica distribucin estacionaria dada por la distribucin
o
o
uniforme.
53. Demuestre que si la distribucin uniforme es una distribucin estacionaria
o
o
para una cadena de Markov nita, entonces la correspondiente matriz de
probabilidades de transicin es doblemente estocstica.
o
a
Distribuciones l
mite
54. Calcule la distribucin l
o mite, cuando existe, de las siguientes cadenas de
Markov.
95
Cap
a)
c)
0
0
1/2
1/3
1
0
1
0
0
1
P =
1/2
1/3
0
0
P =
0
1/2
1
0
0
1/3
0
0
0
1/2
0
0
0
0
0
1
0
0
b)
0
0
P =
0
1/3
1
0
1
0
0
0
0
2/3
0
1
0
0
55. Una persona se traslada todos los d de su casa a la ocina en la ma ana,

as
n
y de la ocina a su casa por la tarde. Esta persona tiene un coche que usa
en cualquiera de estos dos viajes en caso de lluvia, siempre y cuando tenga
el coche disponible. No siempre tiene el coche disponible pues ha decidido
dejarlo en la casa o en la ocina e irse caminando cuando al salir de alguno
de estos lugares no est lloviendo. La probabilidad de lluvia por la ma ana
a
n
o por la tarde es p > 0, independiente un evento del otro.
a) Calcule la proporcin de viajes a largo plazo en los cuales la persona se
o
moja por la lluvia.
b) Conteste la misma pregunta cuando la persona posee r coches.
Cadenas regulares
56. Determine si las siguientes matrices estocsticas son regulares.
a
a)
P =
0
0
1
1
0
0
0
1
0
b) P =
0
0
1/2
1
1/2
1/2
0
1/2
0
57. Cuntas potencias de una matriz se necesitan calcular como mximo para
a
a
vericar que es regular?
58. Sean Xn y Yn dos cadenas de Markov independientes y regulares. Demuestre
que Zn = (Xn , Yn ) es una cadena de Markov regular. Encuentre adems sus
a
probabilidades de transicin.
o
96
Cadenas reversibles
59. Resolviendo la ecuacin de balance detallado (3.10), demuestre que la cadena
o
de dos estados es reversible y encuentre nuevamente la distribucin estacioo
b
a
naria (0 , 1 ) = ( a+b , a+b ), cuando a + b > 0.
Cap
tulo 4
El proceso de Poisson
Estudiaremos ahora el modelo de cadena de Markov a tiempo continuo. Como

una introduccin a la teor general que se expondr ms adelante, en el presente
o
a
a a
cap
tulo estudiaremos uno de los ejemplos ms importantes de este tipo de modelos:
a
el proceso de Poisson. Deniremos este proceso de varias formas equivalentes, y
estudiaremos algunas de sus propiedades y generalizaciones. El proceso de Poisson
es un modelo relevante tanto en las aplicaciones como en la teor general de los
a
procesos estocsticos.
a
4.1.
Proceso de Poisson
Suponga que un cierto evento ocurre repetidas veces de manera aleatoria a lo largo
del tiempo. Tal evento puede ser por ejemplo la llegada de una reclamacin a una
o
compa aseguradora, o la llegada de una llamada a un conmutador, o la llegada
na
de un cliente a una ventanilla para solicitar alg n servicio, etctera. Suponga que
u
e
las variables aleatorias T1 , T2 . . . representan los tiempos que transcurren entre una
ocurrencia del evento y la siguiente ocurrencia. Suponga que estos tiempos son
independientes uno del otro, y que cada uno de ellos tiene distribucin exp(). Se
o
dene el proceso de Poisson al tiempo t como el n mero de ocurrencias del evento
u
observadas hasta ese momento. Esta es una denicin constructiva de este proceso.
o
Ms adelante enunciaremos otras deniciones axiomticas equivalentes.
a
a
97
98
4.1. Proceso de Poisson
Denicin. (I) Sea T1 , T2 , . . . una sucesin de variables aleatorias indepeno

o
dientes cada una con distribucin exp(). El proceso de Poisson de parmetro
o
a
es el proceso a tiempo continuo {Xt : t 0} denido de la siguiente manera:
Xt = mx {n 1 : T1 + + Tn t}.
a
Se postula adems que el proceso inicia en cero y para ello se dene mx = 0.

a
a
En palabras, la variable Xt es el entero n mximo tal que T1 + + Tn es menor
a
o igual a t, y ello equivale a contar el n mero de eventos ocurridos hasta el tiempo
u
t. A este proceso se le llama proceso de Poisson homogneo, tal adjetivo se reere
e
a que el parmetro no cambia con el tiempo, es homogneo en el tiempo.
a
e
Una trayectoria t
pica de este proceso puede observarse en la Figura 4.1.
A los tiempos T1 , T2 , . . . se les llama
3
tiempos de estancia, o tiempos de in2
terarribo, y corresponden a los tiempos que transcurren entre un salto del
1
proceso y el siguiente salto. Hemos
t supuesto que estos tiempos son inW1
W2
W3
dependientes y que todos tienen dis0
tribucin exp(). En consecuencia, la
o
T1
T2
T3
T4
variable Wn = T1 + + Tn tiene
distribucin gama(n, ). Esta variao
Figura 4.1:
ble representa el tiempo real en el que
se observa la ocurrencia del n-simo
e
evento. Observe la igualdad de eventos (Xt n) = (Wn t), esto equivale a decir
que al tiempo t han ocurrido por lo menos n eventos si, y slo si, el n-simo evento
o
e
ocurri antes de t.
o
Xt ()
Una de las caracter

sticas sobresalientes de este proceso es que puede encontrarse
expl
citamente la distribucin de probabilidad de la variable Xt para cualquier
o
valor de t. La respuesta es la distribucin Poisson, y es de all de donde el proceso
o
adquiere su nombre.
Cap
tulo 4. El proceso de Poisson
99
Proposicin. La variable Xt tiene distribucin Poisson(t), es decir, para cualo

o
quier t > 0, y para n = 0, 1, . . .
P (Xt = n) = et
(t)n
.
n!
Demostracin. Como Wn tiene distribucin gama(n, ), su funcin de distribucin

o
o
o
o
es, para t > 0,
n1
(t)k
P (Wn t) = 1 et
.
k!
k=0
Entonces para cualquier t > 0 y para cada n = 0, 1, . . .

P (Xt = n)
= P (Xt n) P (Xt n + 1)
= P (Wn t) P (Wn+1 t)
= et
(t)k
.
k!
Entonces, dado que Xt tiene una distribucin Poisson(t), se tiene que E(Xt ) =
o
t, y Var(Xt ) = t. Por lo tanto t es el promedio de observaciones o registros
del evento de inters en el intervalo [0, t]. As mientras mayor es la longitud del
e
,
intervalo de observacin, mayor es el promedio de observaciones realizadas, y mayor
o
tambin la incertidumbre del n mero de observaciones.
e
u
Prdida de memoria y sus consecuencias. Una de las propiedades que cae
racterizan de manera unica a la distribucin exponencial dentro del conjunto de
o
distribuciones continuas es que satisface la propiedad de prdida de memoria, esto
e
es, si T tiene distribucin exp(), entonces para cualesquiera tiempos s, t > 0 se
o
cumple la igualdad
P (T > t + s | T > s) = P (T > t).
En otras palabras, condicionada al evento (T > s), la variable T s sigue teniendo
distribucin exp(). Esto signica que el proceso de Poisson puede estudiarse a
o
partir de cualquier tiempo s 0, teniendo las mismas propiedades a partir de ese
momento hacia adelante. Esto es, si uno toma cualquier tiempo s 0 y empieza a
100
contar desde cero las ocurrencias de eventos a partir de ese momento, lo que uno
obtiene es nuevamente un proceso de Poisson. Entonces, para cualquier t > 0 y
para n = 0, 1, . . .
P (Xt+s Xs = n) = P (Xt = n) = et
(t)n
.
n!
(4.1)
Esta propiedad caracteriza de manera unica a este proceso y de ella pueden derivar
se todas las propiedades del Proceso de Poisson, incluida la propiedad de Markov.
Proposicin. El proceso de Poisson satisface las siguientes propiedades.
o
a) Es un proceso de Markov.
b) Tiene incrementos independientes.
c) Tiene incrementos estacionarios.
d) Para cualesquiera s, t > 0, Xt+s Xs Poisson(t).
e) Para cualesquiera s, t 0, y enteros 0 i j, sus probabilidades de

transicin son
o
(t)ji
P (Xt+s = j | Xs = i) = et
.
(4.2)
(j i)!
Demostracin.
o
a) Considere la probabilidad condicional P (Xtn = xn | Xt1 = x1 , . . . , Xtn1 =
xn1 ), para cualesquiera n tiempos 0 t1 t2 tn , y estados 0 x1
. . . xn . Entonces al tiempo tn1 ha habido xn1 ocurrencias del evento de inters.
e
A partir de ese momento inicia un nuevo proceso de Poisson y para que al tiempo
tn hayan xn ocurrencias es necesario que en el intervalo de tiempo (tn1 , tn ] hayan
xn xn1 ocurrencias. Esto es exactamente P (Xtn = xn | Xtn1 = xn1 ).
b) Considere cualesquiera n tiempos 0 t1 t2 tn . Por la propiedad de
Cap
101
Markov y por (4.1),

P (Xt2 Xt1 = x1 , . . . , Xtn Xtn1 = xn1 )
=
x
=
x
P (Xt1 = x, Xt2 = x + x1 , . . . , Xtn = x + + xn1 )

P (Xt1 = x) P (Xt2 = x + x1 | Xt1 = x)
P (Xtn = x + x1 + + xn1 | Xtn1 = x + x1 + + xn2 )
=
x
P (Xt1 = x) P (Xt2 Xt1 = x1 ) P (Xtn Xtn1 = xn1 )
= P (Xt2 Xt1 = x1 ) P (Xtn Xtn1 = xn1 ).

Las propiedades c), d) y e) son consecuencia inmediata de (4.1).
La expresin (4.2) establece de manera evidente que las probabilidades de transicin
o
o
son estacionarias en el tiempo, es decir, no dependen del parmetro s, y se escriben
a
simplemente como pij (t). Pero tambin es interesante observar que (4.2) dice que
e
estas probabilidades son estacionarias en el espacio, es decir, dependen de los estados i y j unicamente a travs de la diferencia j i. En s
e
mbolos, pij (t) = p0,ji (t),
para j i.
Ejemplo. (Paradoja del autob s). Suponga que la llegada de autobuses a una estau
cin se modela mediante un proceso de Poisson de parmetro , es decir, el tiempo
o
a
que transcurre entre la llegada de un autob s y el siguiente es una variable aleau
toria con distribucin exp(). Suponga que el tiempo es medido en minutos. La
o
propiedad de prdida de memoria en este contexto puede interpretarse de la sie
guiente forma: Un persona ha llegado a la estacin y ha esperado s minutos sin que
o
un autob s aparezca. La probabilidad de que tenga que esperar ms de t minutos
u
a
adicionales es la misma que la probabilidad de espera de ms de t minutos para
a
una persona que acaba de llegar a la estacin!
o
Ejemplo. (Suma de dos procesos de Poisson independientes es un proceso de Poisson). Sean X1 (t) y X2 (t) dos procesos de Poisson independientes de parmetros 1
a
y 2 respectivamente. Demostraremos que X1 (t) + X2 (t) es un proceso de Poisson
de parmetro 1 + 2 . Sea T un tiempo de estancia cualquiera con distribucin
a
o
exp(1 ) para el primer proceso, y sea S otro tiempo de estancia cualquiera con
distribucin exp(2 ) para el segundo proceso. Debido a la propiedad de prdida
o
e
de memoria, los tiempos de estancia para el proceso X1 (t) + X2 (t) estn dados
a
102
por U = m
n{T, S}. Comprobaremos que U tiene distribucin exp(1 + 2 ). Por la
o
independencia, para u > 0,
P (U > u) =
P ( m
n{T, S} > u )
P (T > u, S > u)
=
=
P (T > u) P (S > u)
e1 u e2 u
e(1 +2 )u .
Distribuciones asociadas al proceso de Poisson. Adems de las distribuciones

a
exponencial y gama ya mencionadas, existen otras distribuciones de probabilidad
que surgen al estudiar ciertas caracter
sticas del proceso de Poisson. Mencionaremos
a continuacin algunas de ellas.
o
Proposicin. Dado el evento (Xt = n), el vector de tiempos reales (W1 , . . . , Wn )
o
tiene la misma distribucin que el vector de las estad
o
sticas de orden
(Y(1) , . . . , Y(n) ) de una muestra aleatoria Y1 , . . . , Yn de la distribucin uniforme
o
en el intervalo [0, t], es decir,
n! si 0 < w1 < < wn < t,

tn
fW1 ,...,Wn |Xt (w1 , . . . , wn | n) =
0
otro caso.
Demostracin. La frmula general para la funcin de densidad conjunta de las
o
o
o
estad
sticas de orden Y(1) , . . . , Y(n) de una muestra aleatoria Y1 , . . . , Yn de una
distribucin con funcin de densidad f (y) es, para y1 < < yn ,
o
o
fY(1) ,...,Y(n) (y1 , . . . , yn ) = n! f (y1 ) f (yn ).
Cuando la funcin de densidad f (y) es la uniforme en el intervalo [0, t], esta funcin
o
o
de densidad conjunta es la que aparece en el enunciado. Demostraremos que la
distribucin conjunta de las variables W1 , . . . , Wn , condicionada al evento (Xt = n)
o
tambin tiene esta misma funcin de densidad. Usaremos nuevamente la identidad
e
o
Cap
103
de eventos (Xt n) = (Wn t). Para tiempos 0 < w1 < < wn < t, se tiene
que
fW1 ,...,Wn |Xt (w1 , . . . , wn | n)
n
=
P (W1 w1 , W2 w2 , . . . , Wn wn | Xt = n)
w1 wn
n
=
P (Xw1 1, Xw2 2, . . . , Xwn n | Xt = n)
w1 wn
n
=
P (Xt Xwn = 0, Xwn Xwn1 = 1, . . .
w1 wn
. . . , Xw2 Xw1 = 1, Xw1 = 1)/P (Xt = n)
n
=
e(twn ) e(wn wn1 ) (wn wn1 )
w1 wn
e(w2 w1 ) (w2 w1 ) ew1 w1 /[ et (t)n /n! ]
n
=
n! (wn wn1 ) (w2 w1 )w1 /tn
w1 wn
= n!/tn .
Observe que bajo el signo de derivada, la probabilidad del evento (Xw1 1, Xw2
2, . . . , Xwn n, Xt = n), que aparece en la segunda igualdad, es idntica a la
e
probabilidad de (Xt Xwn = 0, Xwn Xwn1 = 1, . . . , Xw2 Xw1 = 1, Xw1 = 1),
pues si alguna de estas identidades (exceptuando la primera) fuera distinta de uno,
la derivada se anula.
La frmula anterior nos provee de un mecanismo para obtener simulaciones por
o
computadora de las trayectorias del proceso Poisson. El procedimiento es el siguiente: Fije un valor t > 0 y asigne un valor para > 0. Genere un valor al azar
de la variable Xt con distribucin Poisson(t). Suponga Xt = n. A continuacin
o
o
genere n valores u1 , . . . , un de la distribucin unif(0, t), y ordene estos valores de
o
menor a mayor u(1) u(n) . Estos son los tiempos en donde la trayectoria
tiene saltos. De esta forma pueden obtenerse trayectorias como la que se muestra
en la Figura 4.1.
El siguiente resultado establece una forma de obtener la distribucin binomial a
o
partir del proceso de Poisson. Suponga que durante el intervalo de tiempo [0, t] se
han observado n ocurrencias del evento de inters, es decir, el evento (Xt = n) ha
e
ocurrido. La pregunta es Cuntos de estos eventos ocurrieron en el subintervalo
a
104
[0, s]? Demostraremos a continuacin que esta variable aleatoria tiene distribucin
o
o
binomial(n, s/t).
Proposicin. Sean s y t tiempos tales que 0 < s < t, y sean k y n enteros tales
o
que 0 k n. Entonces
P (Xs = k | Xt = n) =
n s k
s
( ) (1 )nk .
t
t
k
Demostracin. Por la propiedad de incrementos independientes,

o
P (Xu = k | Xt = n) =
=
=
=
P (Xu = k, Xt = n)/P (Xt = n)

P (Xu = k, Xt Xu = n k)/P (Xt = n)
P (Xu = k)P (Xt Xu = n k)/P (Xt = n)

P (Xu = k)P (Xtu = n k)/P (Xt = n).
Substituyendo estas probabilidades y simplicando se obtiene el resultado.

Recordando que la suma de dos procesos de Poisson independientes es nuevamente
un proceso de Poisson, se puede comprobar fcilmente el siguiente resultado.
a
Proposicin. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con
o
parmetros 1 y 2 respectivamente, y sean k y n enteros tales que 0 k n.
a
Entonces
P (X1 (t) = k | X1 (t) + X2 (t) = n) =
n
1
1
(
)k (1
)nk .
k 1 + 2
1 + 2
Demostracin. Por la hiptesis de independencia entre los procesos,

o
o
P (X1 (t) = k | X1 (t) + X2 (t) = n)
= P (X1 (t) = k, X1 (t) + X2 (t) = n)/P (X1 (t) + X2 (t) = n)
=
=
P (X1 (t) = k, X2 (t) = n k)/P (X1 (t) + X2 (t) = n)

P (X1 (t) = k) P (X2 (t) = n k)/P (X1 (t) + X2 (t) = n).
Cap
105
Substituyendo estas probabilidades se obtiene el resultado.
4.2.
Deniciones alternativas
La denicin (I) de proceso de Poisson es constructiva pues a partir de los tiempos

o
de interarribo se construye el proceso de conteo correspondiente. Existen otras
formas equivalentes y un tanto axiomticas de denir a este proceso. Revisaremos
a
y comentaremos a continuacin dos de ellas. Una de las ventajas de contar con
o
estas deniciones alternativas es que para demostrar que un cierto proceso es de
Poisson se puede tomar cualquiera de las deniciones a conveniencia.
Denicin. (II) Un proceso de Poisson de parmetro > 0 es un proceso a
o
a
tiempo continuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, y que cumple
las siguientes propiedades:
a) X0 = 0.
b) Tiene incrementos independientes y estacionarios.
c) Para cualquier t 0, y cuando h 0,
i) P (Xt+h Xt 1) = h + o(h).
ii) P (Xt+h Xt 2) = o(h).
Esta denicin hace uso de las probabilidades innitesimales del proceso y ello tiene
o
algunas ventajas desde el punto de vista de la interpretacin de lo que sucede en
o
un intervalo innitesimal de tiempo (t, t + h]. El proceso empieza en cero y por el
tercer postulado la probabilidad de que pase al estado uno al nal de un intervalo
de tiempo peque o [0, h] es h + o(h), la probabilidad de que el proceso no sufra
n
ning n cambio en dicho intervalo es 1 h + o(h), y nalmente la probabilidad de
u
que el proceso tenga dos o ms incrementos en tal intervalo es o(h). Es decir, en un
a
intervalo cualquiera de longitud innitesimal h slo pueden ocurrir dos situaciones:
o
que haya un incremento o que no lo haya.
Ejemplo. (Demostracin de que la variable Xt+s Xs tiene distribucin Poisson(t)
o
o
a partir de los postulados de la denicin (II)). Se dene pn (t) = P (Xt = n)
o
106
4.2. Definiciones alternativas
y se considera cualquier h > 0. Denotaremos por pn (t, t + h] a la probabilidad

P (Xt+h Xt = n). Por la hiptesis de independencia, para t 0 y cuando h 0,
o
p0 (t + h) =
=
p0 (t) p0 (t, t + h]
p0 (t) (1 h + o(h)).
Haciendo h 0 se obtiene la ecuacin diferencial p0 (t) = p0 (t), cuya solucin

o
o
es p0 (t) = c et , en donde la constante c es uno por la condicin inicial p0 (0) = 1.
o
Ahora encontraremos pn (t) para n 1. Nuevamente por independencia,
pn (t + h)
= pn (t) p0 (t, t + h] + pn1 (t) p1 (t, t + h] + o(h)

= pn (t) (1 h + o(h)) + pn1 (t) (h + o(h)) + o(h).
Entonces pn (t) = pn (t) + pn1 (t), con condicin inicial pn (0) = 0 para
o
n 1. Deniendo qn (t) = et pn (t) la ecuacin diferencial se transforma en qn (t) =

o
qn1 (t), con condiciones qn (0) = 0 y q0 (t) = 1. Esta ecuacin se resuelve iterao
tivamente primero para q1 (t), despus para q2 (t), y as sucesivamente, en general
e
qn (t) = (t)n /n! Por lo tanto pn (t) = et (t)n /n! Esto signica que Xt tiene
distribucin Poisson(t). Debido al postulado de incrementos estacionarios, la vao
riable Xt+s Xs tiene la misma distribucin que Xt .
o
Denicin. (III) Un proceso de Poisson de parmetro > 0 es un proceso a
o
a
tiempo continuo {Xt : t 0} con espacio de estados {0, 1, . . .}, con trayectorias
no decrecientes y que cumple las siguientes propiedades:
a) X0 = 0.
b) Tiene incrementos independientes.
c) Xt+s Xs Poisson(t), para cualesquiera s 0, t > 0.
Esta es posiblemente la denicin mas frecuente del proceso de Poisson. A partir de
o
ella inmediatamente sabemos que Xt tiene distribucin Poisson(t). La indepeno
dencia de los incrementos es expl
cita, y la estacionariedad de los mismos aparece
de manera impl
cita en el tercer postulado. Para demostrar la equivalencia con la
denicin (I), el reto consiste en denir los tiempos de interarribo y demostrar que
o
stos son variables aleatorias independientes con distribucin exponencial().
e
o
Ejercicio. Usando la denicin (III), demuestre que la suma de dos procesos de
o
Poisson independientes es nuevamente un proceso Poisson.
Cap
107
Proposicin. Las deniciones (I), (II) y (III) son equivalentes.

o
Demostracin. Hemos demostrado que (II) (III). El rec

o
proco es inmediato
pues la propiedad de incrementos independientes y estacionarios aparecen en ambas
deniciones, y para cualquier t 0 y h > 0,
P (Xt+h Xt 1) =
=
=
1 P (Xt+h Xt = 0)
1 eh
1 (1 h + o(h))
h + o(h).
Anlogamente
a
P (Xt+h Xt 2) =
=
=
=
1 P (Xt+h Xt = 0) P (Xt+h Xt = 1)
1 eh eh h
1 (1 h + o(h)) (h + o(h))
o(h).
Estos clculos y lo desarrollado antes demuestra que (II) (III). Tambin antes
a
e
hemos demostrado que (I) (III). Para demostrar el rec
proco es necesario comprobar que los tiempos de interarribo T1 , T2 , . . . son independientes con distribucin
o
exp(). Daremos una demostracin no completamente rigurosa de este resultado.
o
Sean t1 , . . . , tn > 0 tiempos cualesquiera y sean t1 , . . . , tn las longitudes que se
muestran en la Figura 4.2.
t1
t1
t2
t2
tn
tn
Figura 4.2:
La probabilidad de que T1 tome un valor en el intervalo t1 , T2 tome un valor en
el intervalo t2 , etctera, es
e
fT1 ,...,Tn (t1 , . . . , tn )t1 tn
=
=
(et1 et1 t1 ) (et2 et2 t2 ) (etn etn tn )

et1 et2 etn t1 tn e(t1 ++tn )
108

e
Al hacer t1 , . . . , tn 0 se obtiene
fT1 ,...,Tn (t1 , . . . , tn ) = et1 et2 etn .
Esto demuestra que las variables T1 , . . . , Tn son independientes y cada una de ellas
tiene distribucin exp(). En conjunto esto demuestra que (I) (III) (II).
o
Observe que la pregunta acerca de la existencia de un proceso estocstico que
a
cumpla los postulados de la denicin (II) o (III) queda resuelta al vericar la
o
equivalencia de tales postulados con la denicin constructiva (I).
o
Presentaremos a continuacin algunas generalizaciones del proceso de Poisson. Una
o
de tales generalizaciones que estudiaremos con mayor detalle en un cap
tulo ms
a
adelante es aquella en la que se considera que las variables T1 , T2 , . . . no son necesariamente exponenciales, en tal caso se pierde la propiedad de Markov del proceso.
A este tipo de procesos se les llama procesos de renovacin.
o
4.3.
Proceso de Poisson no homogneo

e
Se considera ahora que el parmetro del proceso de Poisson no es necesariamente

a
una constante sino una funcin del tiempo. A veces a este proceso se le llama
o
tambin proceso de Poisson con parmetro dependiente del tiempo. Este modelo
e
a
puede ser naturalmente ms adecuado para algunas situaciones reales aunque deja
a
de cumplir la propiedad de Markov.
Denicin. Un proceso de Poisson no homogneo es un proceso a tiempo cono
e
tinuo {Xt : t 0}, con espacio de estados {0, 1, . . .}, con parmetro la funcin
a
o
positiva y localmente integrable (t), y que cumple las siguientes propiedades:
a) X0 = 0.
b) Los incrementos son independientes.
c) Para cualquier t 0, y cuando h 0,
i) P (Xt+h Xt 1) = (t) h + o(h).
ii) P (Xt+h Xt 2) = o(h).
Cap
109
Comparando esta denicin con la denicin (II) de proceso de Poisson se observa

o
o
mucha similaridad excepto por dos aspectos: En lugar de la constante se escribe
ahora la funcin (t), y la hiptesis de incrementos estacionarios ya no aparece. Ello
o
o
es consecuencia de que el parmetro var con el tiempo, generalmente de manera
a
a
decreciente. Es decir, la distribucin de probabilidad de la variable incremento
o
Xt+s Xs depende de los valores de la funcin en el intervalo (s, s + t]. Sin
o
embargo, y en completa analog con el caso homogneo, la variable Xt contin a
a
e
u
teniendo distribucin Poisson como a continuacin demostraremos.
o
o
Proposicin. La variable Xt en un proceso de Poisson no homogneo de parmeo
e
a
t
tro (t) tiene distribucin Poisson((t)), en donde (t) = 0 (s) ds, es decir,
o
para n = 0, 1, . . .
[(t)]n
.
P (Xt = n) = e(t)
n!
Demostracin. La prueba es anloga a una de las realizadas en el caso homogneo.

o
a
e
Se dene nuevamente pn (t) = P (Xt = n) y se considera cualquier h > 0. Denotaremos por pn (t, t + h] a la probabilidad P (Xt+h Xt = n). Por la hiptesis de
o
independencia, para t 0 y cuando h 0,
p0 (t + h) = p0 (t) p0 (t, t + h]
= p0 (t) (1 (t)h + o(h)).
Calculando la derivada se obtiene la ecuacin diferencial p0 (t) = (t) p0 (t), cuya

o
solucin es p0 (t) = c e(t) , en donde la constante c es uno por la condicin inicial
o
o
p0 (0) = 1. Ahora encontraremos pn (t) para n 1. Nuevamente por independencia,
pn (t + h) =
=
pn (t) p0 (t, t + h] + pn1 (t) p1 (t, t + h] + o(h)

pn (t) (1 (t)h + o(h)) + pn1 (t) ((t)h + o(h)) + o(h).
Entonces pn (t) = (t) pn (t) + (t) pn1 (t), con condicin inicial pn (0) = 0 pao
ra n 1. Deniendo qn (t) = e(t) pn (t) la ecuacin diferencial se transforma en
o
qn (t) = (t) qn1 (t), con condiciones qn (0) = 0 y q0 (t) = 1. Esta ecuacin se reo
suelve iterativamente primero para q1 (t), despus para q2 (t), y as sucesivamente,
e
en general qn (t) = ((t))n /n! y de aqu se obtiene pn (t).
Las trayectorias de un proceso de Poisson no homogneo son semejantes a las

e
trayectorias de un proceso de Poisson, es decir, son trayectorias no decrecientes y
110

e
con saltos unitarios hacia arriba, pero la frecuencia promedio con la que aparecen
los saltos cambia a lo largo del tiempo. De manera anloga al caso homogneo, los
a
e
incrementos de este proceso tambin tienen distribucin Poisson.
e
o
Proposicin. Xt+s Xs tiene distribucin Poisson((t + s) (s)).
o
o
Demostracin. Se escribe Xt+s = Xs + (Xt+s Xs ), en donde, por el axioma de
o
incrementos independientes, en el lado derecho aparece la suma de dos variables
aleatorias independientes. Recordando que la funcin generadora de momentos de
o
la distribucin Poisson() es M (r) = exp [(er 1)], al aplicar este resultado a la
o
ecuacin anterior se obtiene
o
exp [(t + s) (er 1)] = exp [(s) (er 1)] MXt+s Xs (r).
Por lo tanto MXt+s Xs (r) = exp [((t + s) (s)) (er 1)].
Si la funcin (t) es constante igual a , entonces (t) = t, y se recupera el
o
proceso de Poisson homogneo. Cuando (t) es continua, (t) es diferenciable y
e
por lo tanto (t) = (t). A la funcin (t) se le llama funcin de intensidad y a (t)
o
o
se le conoce como funcin de valor medio. Un proceso de Poisson no homogneo
o
e
en donde {(t) : t 0} es un proceso estocstico se le llama proceso de Cox.
a
El siguiente resultado establece que bajo una transformacin del parmetro tiempo,
o
a
un proceso de Poisson no homogneo puede ser llevado a un proceso de Poisson
e
homogneo de parmetro uno. Antes de demostrar este resultado observemos que
e
a
como la funcin t (t) es positiva, la funcin de intensidad (t) es continua y no
o
o
decreciente, y en general no es invertible. Puede denirse, sin embargo, la inversa
por la derecha
1 (t) =
nf{u 0 : (u) = t},
que cumple la identidad (1 (t)) = t, y que es una funcin continua y creciente.
o
Proposicin. Sea Xt un proceso de Poisson no homogneo de parmetro (t),
o
e
a
t
y funcin de intensidad (t) = 0 (s) ds. Dena la funcin
o
o
1 (t) = nf{u 0 : (u) = t}.
Entonces el proceso X1 (t) es un proceso de Poisson homogneo de parmetro

e
a
= 1.
Cap
111
Demostracin. Usaremos la denicin (III) de proceso de Poisson. El proceso X1 (t)

o
o
empieza en cero y tiene incrementos independientes pues si se consideran cualesquiera tiempos 0 t1 < t2 < < tn , bajo la funcin creciente 1 (t) estos
o
tiempos se transforman en una nueva coleccin montona de tiempos
o
o
0 1 (t1 ) < 1 (t2 ) < < 1 (tn ).
Por lo tanto las variables X1 (t1 ) , X1 (t2 ) X1 (t1 ) ,. . ., X1 (tn ) X1 (tn1 )
son independientes. Finalmente, para cualesquiera tiempos s, t 0 el incremento X1 (t+s) X1 (s) tiene distribucin Poisson de parmetro (1 (t + s))
o
a
(1 (s)) = (t + s) s = t.
Pueden denirse los tiempos de interarribo T1 , T2 , . . ., y los tiempos de saltos
W1 , W2 , . . . para un proceso de Poisson no homogneo de manera anloga al caso
e
a
homogneo. Por hiptesis los incrementos de este procesos son independientes, sin
e
o
embargo, debido a que el parmetro (t) es una funcin del tiempo, los tiempos
a
o
de interarribo T1 , T2 , . . . no son independientes pues, por ejemplo, T2 depende de
(t) para valores de t mayores a T1 . Y por las mismas razones las distribuciones de
estas variables no son idnticas.
e
4.4.
Proceso de Poisson compuesto
Esta es una de las generalizaciones del proceso de Poisson ms conocidas y de

a
amplia aplicacin.
o
Denicin. Sea {Nt : t 0} un proceso de Poisson y sea Y1 , Y2 , . . . una suceo
sin de variables aleatorias independientes, idnticamente distribuidas e indeo
e
pendientes del proceso Poisson. Sea Y0 = 0. El proceso de Poisson compuesto
se dene de la siguiente forma
Nt
Xt =
Yn .
n=0
La variable Xt es una suma de variables aleatorias en donde el n mero de suu

mandos es aleatorio. Tal tipo de modelos encuentra aplicacin natural en distintos
o
112
4.4. Proceso de Poisson compuesto
contextos, por ejemplo, la variable Xt puede interpretarse como el monto total

de reclamaciones recibidas por una compa aseguradora al tiempo t. El proceso
na
de Poisson determina el n mero de siniestros o reclamaciones efectuadas hasta un
u
momento cualquiera. La variable Yn representa el monto de la n-sima reclamacin
e
o
y es natural suponer Yn > 0.
Xt ()
Y3
Y2
Y1
t
Figura 4.3:
En la Figura 4.3 se muestra una trayectoria de este proceso y en los siguientes ejercicios se presentan algunas de sus
propiedades bsicas. Cuando las variables
a
Y1 , Y2 , . . . toman valores en el conjunto
{1, 2, . . .} se dice que este proceso es un
proceso de Poisson generalizado pues los
saltos ya no son necesariamente unitarios.
Observe que si las variables Y1 , Y2 , . . . son
todas idnticamente uno, este proceso se
e
reduce al proceso de Poisson.
Ejercicio. Demuestre que la funcin generadora del proceso Poisson compuesto es

o
MXt (u) = exp [ t (MY (u) 1) ].
Ejercicio. Demuestre que el proceso de Poisson compuesto satisface las siguientes
propiedades.
a) E(Xt ) = t E(Y ).
b) Var(Xt ) = t E(Y 2 ).
c) Cov(Xt , Xs ) = E(Y 2 ) m
n{s, t}.
d) Tiene incrementos independientes y estacionarios.
Notas y referencias. El proceso de Poisson es otro de los temas clsicos que
a
se estudia en los cursos bsicos de procesos estocsticos. La mayor de los textos
a
a
a
sobre procesos que aparecen en la bibliograf cuentan por lo menos con una seccin
a
o
sobre este tema. Algunos textos espec
cos que dedican un cap
tulo entero para el
proceso de Poisson son: Basu [1], Taylor y Karlin [37], y Jones y Smith [17].
Cap
113
Ejercicios
Proceso de Poisson
60. Sean T1 , . . . , Tn variables aleatorias independientes cada una con distribucin exp(). Demuestre que la suma Wn = T1 + + Tn tiene distribucin
o
o
gama(n, ) y que la correspondiente funcin de distribucin puede escribirse
o
o
de la siguiente forma. Para cada t > 0,
n1
P (Wn t) = 1 et
k=0
(t)k
.
k!
Para los ejercicios restantes de esta seccin suponga que Xt es un proceso de Poisson
o
homogneo de parmetro > 0.
e
a
61. Sean s y t dos tiempos tales que 0 s < t. Demuestre que
a) P (Xs = 0, Xt = 1) = (t s)et .
b) P (Xs = Xt ) = e(ts) .
62. Demuestre que Cov(Xt , Xs ) = m

n{s, t}.
63. Las funciones seno y coseno hiperblico se denen de la siguiente forma:
o
senh(x) = (ex ex )/2, y cosh(x) = (ex + ex )/2. Demuestre que
a) P (Xt sea impar) = et senh(t).
b) P (Xt sea par) = et cosh(t).
64. Sea s > 0 un tiempo jo. Demuestre que el proceso Yt = Xt+s Xs tambin es
e
un proceso de Poisson de parmetro . En la Figura 4.4 se ilustra grcamente
a
a
la denicin de este nuevo proceso.
o
65. Demuestre que
a) fW1 ,W2 (w1 , w2 ) =
2 ew2
0
b) fW1 | W2 (w1 | w2 ) =
1/w2
0
si 0 < w1 < w2 ,
otro caso.
si w1 (0, w2 ),
otro caso.
114
Yt
Xt
t
t
s
Figura 4.4:
c) fW2 | W1 (w2 | w1 ) =
e(w2 w1 )
0
si w2 (w1 , ),
otro caso.
66. Sea T una variable aleatoria con distribucin exp() e independiente del proo
ceso de Poisson. Encuentre la funcin de densidad de la variable XT .
o
67. Sean r y n dos enteros tales que 1 r n, y sea t > 0. Suponga que el
evento (Xt = n) ocurre. Encuentre la densidad condicional de Wr .
68. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con parmetros
a
1 y 2 respectivamente. Calcule la probabilidad de que
a) X1 (t) = 1 antes que X2 (t) = 1.
b) X1 (t) = 2 antes que X2 (t) = 2.
69. Suponga que un cierto aparato elctrico sufre desperfectos a lo largo del
e
tiempo de acuerdo a un proceso de Poisson de parmetro . Suponga que
a
cada vez que el aparato se descompone es enviado a reparacin y despus
o
e
es puesto en funcionamiento nuevamente. Suponga adems que el aparato se
a
reemplaza completamente por uno nuevo cuando el tiempo que transcurre
entre dos descomposturas sucesivas es menor o igual a una cierta constate
a > 0, incluyendo el tiempo antes de la primera reparacin. Encuentre la
o
funcin de densidad del
o
a) tiempo de vida util del equipo antes de ser reemplazado.
b) n mero de reparaciones antes de realizar el reemplazo.

u
115
Cap
70. Suponga que un cierto circuito recibe impulsos elctricos de acuerdo a un

e
proceso de Poisson de parmetro . Suponga adems que el circuito se desa
a
compone al recibir el k-simo impulso. Encuentre la funcin de densidad del
e
o
tiempo de vida del circuito.
71. Sean X1 (t), . . . , Xn (t) procesos de Poisson independientes, todos de parmea
tro > 0. Encuentre la distribucin de probabilidad del primer momento en
o
el cual
a) ha ocurrido en cada uno de los procesos al menos un evento.
b) ocurre el primer evento en cualquiera de los procesos.
72. Sean X1 (t) y X2 (t) dos procesos de Poisson independientes con parmetros
a
1 > 0 y 2 > 0, respectivamente. Sea n cualquier n mero natural, y dena
u
el tiempo aleatorio = {t 0 : X1 (t) = n}. Demuestre que X2 ( ) tiene
nf
distribucin binomial negativa, es decir, para k = 0, 1, . . .
o
P (X2 ( ) = k) =
n+k1
k
1
1 + 2
2
1 + 2
73. Sea Xt un proceso de Poisson de parmetro > 0, y sea a > 0 una constante.
a
Demuestre que Xat es un proceso de Poisson de parmetro a.
a
Distribuciones asociadas al proceso de Poisson

74. Sea t0 un tiempo positivo jo y suponga que hasta ese momento se ha observado un solo evento de un proceso de Poisson, es decir, Xt0 = 1. La pregunta
es Cundo ocurri tal evento? Demuestre que la distribucin condicional del
a
o
o
momento en el que se ha registrado el evento, es decir T1 , es uniforme en el
intervalo [0, t0 ].
75. Sea Xt un proceso Poisson de tasa y sean dos tiempos 0 < s < t. Dena la
variable X(s,t] como el n mero de eventos del proceso de Poisson que ocurren
u
en el intervalo (s, t]. Demuestre que, condicionada a la ocurrencia del evento
(Xt = n), la variable X(s,t] tiene distribucin binomial(n, 1 s/t).
o
116
Proceso de Poisson no homogneo

e
76. Sea Xt un proceso Poisson no homogneo de intensidad (t), sean T1 , T2 , . . .
e
los tiempos de interarribo, y sean W1 , W2 , . . . los tiempos reales de ocurrencia.
Demuestre que para cualquier t > 0,
a) fT1 (t) = e(t) (t).
b)fT2 |T1 (t|s) = e(t+s)+(s) (t + s).
c) fT2 (t) =
e(t+s) (t + s) (s) ds.
d) fWn (t) = e(t)
[(t)]n1
(t).
(n 1)!
e) FTk |Wk1 (t|s) = 1 e(t+s)+(s) .

f) FTk (t) = 1
e(t+s)
Proceso de Poisson compuesto

77.
[(s)]k2
(s) ds, k 2.
(k 2)!
Cap
tulo 5
Cadenas de Markov
a tiempo continuo
Vamos a considerar ahora cadenas de Markov {Xt : t 0} en donde el tiempo

es continuo y las variables toman valores enteros. Varios de los conceptos que
mencionaremos para este tipo de procesos son anlogos al caso de tiempo discreto,
a
pero existen diferencias en el comportamiento y desarrollo matemtico entre los
a
dos modelos, y no pretendemos presentar y justicar la teor completa.
a
Usando la misma notacin que en el caso de tiempos discretos, recordemos que el
o
trmino p(xt ) signica P (Xt = xt ). La propiedad de Markov que consideraremos
e
tiene la siguiente forma: Para cualesquiera tiempos 0 t1 < t2 < < tn ,
p(xtn | xt1 , . . . , xtn1 ) = p(xtn | xtn1 ).
Observe que no estamos suponiendo que se conoce la historia del proceso en todo el
pasado a tiempo continuo, sino unicamente en una coleccin arbitraria pero nita de
o
tiempos pasados t1 , . . . , tn1 . Supondremos nuevamente que estas probabilidades
de transicin son estacionarias en el tiempo, esto signica que para cada s 0 y
o
t 0, la probabilidad P (Xt+s = j | Xs = i) es idntica a P (Xt = j | X0 = i), es
e
decir, no hay dependencia del valor de s. Esta probabilidad se escribe de manera
breve mediante la expresin pij (t), para i y j enteros no negativos. En particular
o
para t = 0 se dene nuevamente pij (0) como la funcin delta de Kronecker, es decir,
o
pij (0) = ij =
117
1
0
si i = j,
si i = j.
118
5.1. Procesos de saltos
Haciendo variar los

ndices i y j en el espacio de estados, se obtiene la matriz de
probabilidades de transicin al tiempo t:
o
p00 (t) p01 (t)
Pt = p10 (t) p11 (t) .

.
.
.
.
.
.
Plantearemos a continuacin el modelo general de cadena de Markov a tiempo
o
continuo, estudiaremos algunas de sus propiedades, y despus revisaremos algunos
e
modelos particulares.
5.1.
Procesos de saltos
Considere un proceso a tiempo continuo {Xt : t 0} que inicia en el estado i1 al

tiempo cero. El proceso permanece en ese estado un tiempo aleatorio Ti1 , y despus
e
salta a un nuevo estado i2 distinto del anterior. El sistema permanece ahora en el
estado i2 un tiempo aleatorio Ti2 al cabo del cual brinca a otro estado i3 distinto
del inmediato anterior, y as sucesivamente. Esta sucesin de saltos se muestra
o
grcamente en la Figura 5.1.
a
Xt ()
i4
i2
i1
i3
t
Ti1
Ti2
Ti3
Ti4
Figura 5.1:
Los tiempos aleatorios T son los tiempos en los que el proceso permanece constante
en alguno de sus estados, y se llaman tiempos de estancia (passage times). Los
momentos en donde el proceso tiene saltos son los tiempos Wn = Ti1 + + Tin ,
Cap
tulo 5. Cadenas de Markov a tiempo continuo
119
para n 1. El proceso puede entonces escribirse de la forma siguiente:
i1 si 0 t < W1 ,
i2 si W1 t < W2 ,
Xt =
i3 si W2 t < W3 ,
.
.
.
Un proceso de estas caracter
sticas se llama proceso de saltos, y parece ser una
buena versin continua de las cadenas de Markov a tiempo discreto. Sin embargo
o
puede comprobarse que un proceso con estas caracter
sticas pudiera no estar denido para todo t 0, y tampoco hay garant de que se cumpla la propiedad de
a
Markov. A n de evitar situaciones demasiado complicadas, los procesos de saltos
que consideraremos estarn restringidos por las siguientes condiciones:
a
No explosin. Puede suceder que los tiempos de estancia T sean cada vez ms
o
a
peque os de tal forma que l n Wn < , es decir, existe la posibilidad de que
n
m
el proceso efect e un n mero innito de saltos durante un intervalo de tiempo
u
u
acotado. En tal situacin el proceso no estar bien denido para todo t 0, y se
o
a
dice que el proceso explota en un tiempo nito. Para evitar tal comportamiento
supondremos que l n Wn = , y por lo tanto, para cada t 0, el valor de Xt
m
es nito.
Probabilidades de transicin. Supondremos que el espacio de estados es {0, 1, . . .}
o
y que el tiempo de estancia asociado el estado i es la variable aleatoria Ti , la
cual supondremos positiva con funcin de distribucin Fi (t). Como en el caso de
o
o
cadenas a tiempos discreto, se denotar por pij a la probabilidad de que la cadena
a
salte del estado i al estado j. Adicionalmente impondremos la condicin pii = 0, y
o
con ello se inhibe, por ahora, que la cadena salte al mismo estado de partida. Las
probabilidades de transicin cumplen entonces las siguientes condiciones:
o
a) pij 0.
b) pii = 0.
c)
pij = 1.
Independencia. Supondremos que los tiempos de estancia Ti1 , Ti2 , . . . son independientes entre s y tambin son independientes del mecanismo mediante el cual se
,
e
120
5.1. Procesos de saltos
escoge el estado j al cual la cadena brinca despus de estar en cualquier otro estado
e
i.
Estados absorbentes o no absorbentes. Supondremos que cada variable Ti es nita
con probabilidad uno, o bien es innita con probabilidad uno. En el primer caso
se dice que el estado i es no absorbente, y en el segundo caso que es absorbente.
El hecho de que Ti = se interpreta en el sentido de que el proceso deja de
saltar y permanece en el estado i el resto del tiempo, es decir, es absorbente.
Estamos entonces suponiendo que slo hay dos tipos de estados: absorbentes o no
o
absorbentes, en otras palabras, con probabilidad uno el tiempo de estancia es nito
o con probabilidad uno es innito.
Propiedad de Markov. Puede demostrarse que el proceso de saltos descrito arriba
satisface la propiedad de Markov si, y slo si, los tiempos de estancia de estados
o
no absorbentes tienen distribucin exponencial. Este es un resultado importante
o
cuya demostracin omitiremos y que simplica el modelo general planteado antes.
o
Supondremos entonces que el tiempo de estancia en un estado no absorbente i tiene
distribucin exp(i ), con i > 0, es decir, Fi (t) = 1 ei t , para t 0. Cuando
o
Ti = puede considerarse que i = 0.
Denicin. A un proceso de saltos con las caracter
o
sticas arriba se aladas se
n
le llama cadena de Markov a tiempo continuo.
Observe que un proceso de Markov a tiempo continuo queda completamente especicado por los siguientes tres elementos: una distribucin de probabilidad inicial,
o
los parmetros i , y las probabilidades pij .
a
Ejemplo. (Cadena de primera ocurrencia). Sea Xt el estado de un sistema tal que
en cualquier instante se encuentra en alguno de los dos posibles estados: 0 y 1.
Suponga que X0 = 0 y que el proceso cambia al estado 1 despus de un tiempo
e
aleatorio con distribucin exp(), y permanece all el resto del tiempo. Una posible
o
trayectoria de este proceso se muestra en la Figura 5.2(a). Este proceso modela

la situacin de espera para la primera ocurrencia de un evento de inters. Las
o
e
probabilidades de transicin son
o
Pt =
p00 (t)
p10 (t)
p01 (t)
p11 (t)
et
0
1 et
1
121
Cap
Xt ()
Xt ()
1
t
(a)
(b)
Figura 5.2:
Ejemplo. (Cadena de dos estados). Considere el proceso Xt con dos posibles estados:
0 y 1, denido por la siguiente dinmica: Cuando el proceso entra al estado 0
a
permanece en l un tiempo exp(), y luego va al estado 1, entonces permanece en
e
el estado 1 un tiempo exp() y despus regresa a 0, y as sucesivamente. Se postula
e
que los tiempos de estancia en cada estado son variables aleatorias independientes.
Una trayectoria de este proceso se muestra en la Figura 5.2(b). Puede demostrarse
que las probabilidades de transicin son
o
Pt =
p00 (t)
p10 (t)
p01 (t)
p11 (t)
1
+
1
+
e(+)t .
Ejemplo. El proceso de Poisson es una cadena de Markov a tiempo continuo que

empieza en cero, los tiempos de estancia son exponenciales de parmetro , y las
a
probabilidades de transicin de un estado a otro son pi,i+1 = 1.
o
5.2.
Propiedades generales
Mencionaremos ahora algunos conceptos y propiedades generales de procesos de

Markov a tiempo continuo. Varios de estos resultados son similares a los desarrollados antes para el caso de tiempos discretos.
Cadena a tiempo discreto asociada. Toda cadena de Markov a tiempo continuo
{Xt : t 0} tiene asociada una cadena a tiempo discreto que denotaremos por el
122
5.2. Propiedades generales
mismo s
mbolo {Xn : n = 0, 1, . . .}, y que est dada por la primera pero observada
a
en los tiempos en donde se efect an los saltos. Algunas caracter
u
sticas de la cadena
a tiempo discreto se trasladan a su versin continua. Inversamente, a partir de
o
una cadena a tiempo discreto puede construirse su versin continua en el tiempo
o
tomando tiempos exponenciales independientes entre salto y salto.
Probabilidades de transicin. Para una cadena de Markov a tiempo continuo
o
las probabilidades de transicin son los n meros pij (t) = P (Xt = j | X0 = i), para
o
u
cualesquiera estados i y j, y para cualquier tiempo t 0. Cuando el espacio de
estados es nito, los elementos de cada rengln de esta matriz suman uno, pero
o
para espacios de estados innito esta suma puede ser estrictamente menor a uno,
es decir, en general, j pij (t) 1. Esta es una diferencia inesperada respecto del
modelo a tiempo discreto.
Intentar encontrar pij (t) para cada par de estados i y j, y para cada t 0, es un
problema demasiado general, y slo en algunos casos es posible encontrar expl
o
citamente tales probabilidades. El siguiente resultado nos permitir obtener algunas
a
conclusiones generales acerca de pij (t).
Proposicin. Sean i y j dos estados. Para cualquier t 0,
o
t
pij (t) = ij ei t + i ei t
ei s (
pik pkj (s) ) ds.
(5.1)
k=i
Demostracin. Si i es un estado absorbente, i.e. i = 0, entonces la frmula se

o
o
reduce a pij (t) = ij , lo cual es correcto. Si i es un estado no absorbente, entonces
pij (t) =
=
=
P (Xt = j | X0 = i)
P (Xt = j, Ti > t | X0 = i) + P (Xt = j, Ti t | X0 = i)
ij ei t +
k=i
ij ei t +
0
P (Xt = j, Ti t, XTi = k | X0 = i)
i ei u (
k=i
pik pkj (t u) ) du.
Haciendo el cambio de variable s = t u en la integral se obtiene el resultado.
Cap
123
Las probabilidades de transicin satisfacen tambin una versin continua de la

o
e
o
ecuacin de Chapman-Kolmogorov, y que en este caso se conoce como la propiedad
o
de semigrupo.
Proposicin. (Ecuacin de Chapman-Kolmogorov). Para cualquiera estados i y
o
o
j, y para todo t 0 y s 0,
pij (t + s) =
pik (t) pkj (s).

k
En notacin matricial, Pt+s = Pt Ps .

o
Demostracin. Por la propiedad de Markov,

o
pij (t + s) =
P (Xt+s = j | X0 = i)
=
k
=
k
P (Xt+s = j, Xt = k | X0 = i)
P (Xt+s = j | Xt = k) P (Xt = k | X0 = i)
pik (t) pkj (s).
La coleccin {Pt : t 0} constituye un semigrupo de matrices estocsticas, esto

o
a
quiere decir que cumple las siguientes propiedades:
a) P0 = I, en donde I es la matriz identidad.
b) Pt es una matriz estocstica.
a
c) Pt+s = Pt Ps , para cualesquiera t, s 0.
La ecuacin de Chapman-Kolmogorov es interesante pues permite expresar a la
o
probabilidad pij (t), para cualquier tiempo t > 0, en trminos de probabilidades
e
innitesimales, es decir, probabilidades de transicin en intervalos de tiempo de
o
longitud muy peque a. Por ejemplo, para cualquier n natural, tomando t = t/n,
n
pij (t) =
k1 ,...,kn1
pi,k1 (t) pk1 ,k2 (t) pkn1 ,j (t).
124
Esto quiere decir que es suciente conocer el comportamiento de pij (t) en tiempos
t peque os para conocer su comportamiento para cualquier t > 0. Especicaremos
n
con detalle este resultado ms adelante.
a
Parmetros innitesimales. De la frmula (5.1) es inmediato observar que las
a
o
probabilidades pij (t) son funciones continuas en t, y en particular el integrando
en (5.1) es una funcin continua. Esto implica que la integral es diferenciable y por
o
lo tanto tambin pij (t). Derivando entonces (5.1) se obtiene el siguiente resultado.
e
Proposicin. Para cualquier t > 0,
o
p (t) = i pij (t) + i
ij
pik pkj (t).
(5.2)
k=i
Tomando ahora el l
mite cuando t 0, se tiene que
p (0) =
ij
=
i ij + i
pik kj
k=i
i ij + i pij
i
i pij
si i = j,
si i = j.
Denicin. A las cantidades p (0) se les denota por gij , y se les conoce con el
o
ij
nombre de parmetros innitesimales del proceso. Es decir, estos parmetros
a
a
son
i
si i = j,
gij =
(5.3)
i pij si i = j.
Variando los
ndices i y j, estos nuevos parmetros se escriben en notacin matricial
a
o
de la forma siguiente:
1 p10
G = 2 p20
.
.
.
0 p01
1
2 p21
.
.
.
0 p02
1 p12
2
.
.
.
Cap
125
Esta matriz determina de manera unica el comportamiento de la cadena de Markov
a tiempo continuo, y es el concepto equivalente a la matriz de probabilidades de

transicin en un paso para cadenas a tiempo discreto. Se trata de una matriz con
o
las siguientes propiedades:
a) gii 0.
b) gij 0, si i = j.
c)
gij = 0.
j
Observe que gii = 0 cuando el estado i es absorbente, es decir, cuando i = 0.

Cuando i > 0 la ultima propiedad se obtiene a partir del hecho de que pii = 0
pues
gij = i +
i pij = i + i (1 pii ) = 0.
j
j=i
Proposicin. Los parmetros innitesimales determinan de manera unica a la

o
a
cadena de Markov a tiempo continuo.

Este resultado es consecuencia de (5.3) pues a partir de gij se obtiene
i
pij
gii ,
0
gij /gii
si i = j,
si i = j.
(5.4)
Probabilidades innitesimales. Un proceso de Markov a tiempo continuo puede

ser tambin denido a partir del comportamiento de las probabilidades de trane
sicin pij (t) cuando t 0. Tales probabilidades se llaman a veces probabilidades
o
innitesimales, y pueden expresarse en trminos de los parmetros innitesimales
e
a
como establece el siguiente resultado y del cual omitiremos su demostracin.
o
Proposicin. Cuando t 0,
o
1. pii (t) = 1 + gii t + o(t).
2. pij (t) = gij t + o(t),
para i = j.
126
Ecuaciones de Kolmogorov. En trminos de los parmetros innitesimales, la

e
a
ecuacin (5.2) puede escribirse en la forma
o
p (t) =
ij
gik pkj (t).
(5.5)
En trminos de matrices esta igualdad se escribe como P (t) = G P (t), es decir,

e
p00 (t)
p10 (t)
.
.
.
p01 (t)
p11 (t)
.
.
.
0
= 1 p10

.
.
.
0 p01
1
.
.
.
p00 (t)
p10 (t)
.
.
.
p01 (t)
p11 (t)
.
.
.
Este sistema de ecuaciones se conoce como las ecuaciones hacia atrs de Kolmoa
gorov.
Comunicacin. Se dice que el estado j es accesible desde el estado i si pij (t) > 0
o
para alg n t 0, y se escribe i j. Se dice que los estados i y j se comunican
u
si i j y j i, y en tal caso se escribe i j. Nuevamente puede demostrarse
que la comunicacin es una relacin de equivalencia, y eso lleva a una particin del
o
o
o
espacio de estados en clases de comunicacin. Se dice que la cadena es irreducible
o
cuando todos los estados pertenecen a la misma clase de comunicacin.
o
Tiempos de primera visita. Para cualesquiera estados i y j, se dene
Tij = nf {t > W1 : Xt = j},
cuando X0 = i.
El tiempo medio de primera visita es entonces ij = E(Tij ). Cuando los estados i

y j coinciden se escribe Ti , y i = E(Ti ) respectivamente. A i se le llama tiempo
medio de recurrencia.
Recurrencia y transitoriedad. Se dice que el estado i es transitorio si, partiendo
de i, con probabilidad uno el conjunto de tiempos {t 0 : Xt = i} es acotado.
En cambio, se dice que es recurrente si, partiendo de i, con probabilidad uno el
conjunto {t 0 : Xt = i} es no acotado. Cuando E(Ti ) = se dice que el estado
i es recurrente nulo, y cuando E(Ti ) < se dice que es recurrente positivo.
Distribuciones estacionarias. Una distribucin de probabilidad = {0 , 1 , . . .}
o
sobre el espacio de estados {0, 1, . . .} es estacionaria para la cadena con matriz de
Cap
127
probabilidades de transicin Pt si para cualquier t 0,

o
i i pij (t) = j . En
notacin matricial, Pt = . Si X0 tiene como distribucin inicial una distribucin
o
o
o
estacionaria , entonces P (Xt = j) = i i pij (t) = j , es decir, la variable Xt
tiene la misma distribucin de probabilidad para cualquier valor de t.
o
5.3.
Procesos de nacimiento y muerte
Un proceso de nacimiento y muerte es una cadena de Markov a tiempo continuo

con espacio de estados {0, 1, . . .} tal que en cada salto la cadena unicamente puede
brincar una unidad hacia arriba o una unidad hacia abajo. Un salto hacia arriba se
interpreta como un nacimiento mientras que un salto hacia abajo representa una
muerte. La matriz de parmetros innitesimales es de la siguiente forma
a
1
G= 0
.
.
.
0
(1 + 1 )
2
.
.
.
0
1
(2 + 2 )
.
.
.
0
0
2
en donde 0 , 1 , . . . y 1 , 2 , . . . son constantes positivas conocidas como las tasas

instantneas de nacimiento y muerte, respectivamente. De acuerdo a (5.4), el tiema
po de estancia en el estado i tiene distribucin exp(i + i ), en donde se dene
o
0 = 0. Las probabilidades de saltos son
+ si j = i + 1,
i
i
i
pij =
+ si j = i 1,
i
i
0
otro caso.
Una posible trayectoria de este proceso se muestra en la Figura 5.3 con X0 = 0, los
saltos son unitarios, hacia arriba o hacia abajo. La variable Xt puede interpretarse
como el n mero de individuos en una poblacin al tiempo t, en donde pueden preu
o
sentarse nacimientos y muertes de individuos. Como 0 > 0 y 0 = 0, la poblacin
o
puede crecer cuando se encuentre en el estado cero, pero nunca decrecer por abajo
de ese nivel.
Se pueden tomar las siguientes probabilidades innitesimales como postulados para
denir a este proceso. Para cualquier t 0, y cuando h 0,
128
5.3. Procesos de nacimiento y muerte
Xt ()
3
2
1
t
Figura 5.3:
a) P (Xt+h Xt = 1 | Xt = k) = k h + o(h).
b) P (Xt+h Xt = 1 | Xt = k) = k h + o(h).
c) P (Xt+h Xt = 0 | Xt = k) = 1 (k + k ) h + o(h).
Para cualquier t 0 y h > 0 peque o consideremos el intervalo [0, t + h] visto
n
como [0, h] + (h, t + h]. Haciendo un anlisis sobre estos intervalos puede encona
trarse nuevamente que las probabilidades pij (t) satisfacen el sistema de ecuaciones
diferenciales hacia atrs de Kolmogorov:
a
p (t)
0j
p (t)
ij
=
=
0 p0j (t) + 0 p1j (t),

i pi1,j (t) (i + i ) pij (t) + i pi+1,j (t).
De manera anloga, considerando [0, t + h] = [0, t] + (t, t + h], es posible comprobar

a
que se cumple el sistema de ecuaciones diferenciales hacia adelante de Kolmogorov:
p (t) =
i0
p (t) =
ij
0 pi0 (t) + 1 pi1 (t),
j1 pi,j1 (t) (j + j ) pij (t) + j+1 pi,j+1 (t).
Ejemplo. Un proceso de Poisson es una cadena de nacimiento y muerte en donde

las tasas instantneas de muerte 0 , 1 , . . . son cero, y las tasas instantneas de
a
a
nacimiento 0 , 1 , . . . son todas ellas iguales a una constante > 0. La matriz de
parmetros innitesimales es entonces de la forma
a
Cap
0
G= 0
.
.
.
0
.
.
.
.
.
.
129
0
0
Ejemplo. Las ecuaciones hacia adelante de Kolmogorov del proceso de Poisson son
p (t) =
0
p (t)
n
p0 (t).
pn1 (t) pn (t),
para n 1,
en donde pn (t) = p0n (t). Usaremos estas ecuaciones para comprobar nuevamente que Xt tiene distribucin Poisson(). Usando la condicin inicial p0 (0) = 1, la
o
o
primera ecuacin tiene solucin p0 (t) = et . Deniendo qn (t) = et pn (t), la seo
o
gunda ecuacin se transforma en qn (t) = qn1 (t), con condiciones qn (0) = 0n

o
y q0 (t) = 1. Esta nueva ecuacin se resuelve iterativamente, primero para q1 (t),
o
despus para q2 (t), y as sucesivamente. En general, qn (t) = (t)n /n! para n 0.
e
De aqu se obtiene pn (t) = et (t)n /n!
Ejemplo. Esta es otra derivacin mas de la distribucin Poisson en el proceso de

o
o
Poisson, ahora usando las ecuaciones hacia adelante de Kolmogorov y la funcin geo
neradora de probabilidad. La variable aleatoria Xt puede tomar los valores 0, 1, . . .
de modo que su funcin generadora de probabilidad es
o
GXt (u) = E(uXt ) =
pn (t) un ,
n=0
para valores reales de u tales que |u| < 1, y en donde pn (t) = P (Xt = n). Consideraremos a esta funcin tambin como funcin del tiempo t y por comodidad
o
e
o
en los siguientes clculos la llamaremos G(t, u). Derivando respecto de t, para el
a
mismo radio de convergencia |u| < 1, y usando las ecuaciones hacia adelante de
130
5.4. Proceso de nacimiento puro
Kolmogorov para el proceso de Poisson se tiene que

G (t, u) =
=
p (t) un
n
n=0
(pn1 (t) pn (t))un
n=0
=
=
uG(t, u) G(t, u)
(u 1)G(u),
de donde se obtiene la ecuacin diferencial G /G = (u 1). Integrando de 0 a t y

o
usando la condicin G(0, u) = 1 se llega a
o
G(t, u) = G(0, u) e
(u1)t
=e
t tu
et
n=0
(t)n n
u .
n!
Esta es la funcin generadora de la distribucin Poisson(t). Por la propiedad de

o
o
unicidad se obtiene que Xt tiene distribucin Poisson(t).
o
5.4.
Proceso de nacimiento puro
Cuando en un proceso de nacimiento y muerte los parmetros 0 , 1 , . . . son todos

a
cero, se obtiene un proceso de nacimiento puro. La matriz de parmetros innitea
simales tiene la siguiente forma.
0
0
G= 0
.
.
.
0
1
0
.
.
.
0
1
2
.
.
.
0
0
2
en donde, como antes, los parmetros 0 , 1 , . . . se conocen como las tasas insa
tantneas de nacimiento. En la Figura 5.4 se muestra una trayectoria de este proa
ceso cuando inicia en el estado cero. Por construccin, el tiempo de estancia en
o
el estado i tiene distribucin exponencial con parmetro i . Las probabilidades de
o
a
saltos son evidentemente pij = 1 cuando j = i + 1, y cero en caso contrario. Puede
Cap
131
demostrarse que los incrementos de un proceso de nacimiento puro son independientes pero no son necesariamente estacionarios.
Xt ()
3
2
1
t
exp(0 )
exp(1 )
exp(2 )
exp(3 )
Figura 5.4:
Un proceso de nacimiento puro puede tambin denirse mediante las siguientes
e
probabilidades innitesimales: Cuando h 0,
a) P (Xt+h Xt = 1 | Xt = k) = k h + o(h).
b) P (Xt+h Xt = 0 | Xt = k) = 1 k h + o(h).
En general no es fcil encontrar una frmula para las probabilidades de transicin
a
o
o
pij (t), sin embargo cuando el estado inicial es el cero se conoce la siguiente frmula
o
recursiva.
Proposicin. Para cualquier t 0 y cualquier entero n 1,
o
t
p0n (t) = n1 en t
en s p0,n1 (s) ds.
(5.6)
Demostracin. El sistema de ecuaciones diferenciales hacia adelante de Kolmogoo

rov para este proceso es
p (t) = j1 pi,j1 (t) j pij (t).
ij
132
En particular, partiendo de cero,
p00 (t) =
p0n (t) =
0 p00 (t),
n1 p0,n1 (t) n p0n (t),
n 1,
con las condiciones de frontera p00 (0) = 1 y p0n (0) = 0, para n 1. La primera
ecuacin tiene solucin p00 (t) = e0 t , mientras que para el caso n 1, multiplicano
o
do por el factor integrante en t y resolviendo se obtiene la frmula enunciada.
o
De manera anloga puede denirse un proceso de muerte como un proceso de
a
nacimiento y muerte en donde los parmetros de nacimiento 0 , 1 , . . . son todos
a
cero. El proceso puede iniciar con una poblacin de tama o k 1, y presentar
o
n
fallecimientos sucesivos hasta una posible extincin completa de la poblacin.
o
o
El proceso de Yule. Este es un tipo particular de proceso de nacimiento puro,
y para el cual es posible encontrar expl
citamente las probabilidades de transicin.
o
Este proceso puede denirse a travs de los siguientes postulados:
e
a. El estado inicial es X0 = k 1.
b. Si Xt = n, entonces cada uno de estos elementos puede dar nacimiento a un
nuevo elemento durante un periodo de longitud innitesimal h > 0 con probabilidad
h + o(h), en donde > 0, es decir,
P (Xt+h Xt = 1 | Xt = n) =
=
n
[ h + o(h)] [1 h + o(h)]n1
1
nh + o(h).
Es decir, las tasas instantneas de nacimiento son n = n, que crecen de manera

a
lineal conforme la poblacin crece. El tiempo de estancia en el estado n tiene
o
distribucin exp(n), en consecuencia el tiempo medio de estancia en ese estado es
o
1/(n), cada vez menor conforme n crece. El sistema de ecuaciones hacia adelante
para pkn (t), con n k, se reduce a
p (t) =
kk
p (t)
kn
k pkk (t),
(n 1) pk,n1 (t) n pkn (t),
n k + 1.
La frmula recursiva (5.6) es, para n k + 1,

o
pkn (t) = (n 1) ent
t
0
ens pk,n1 (s) ds.
(5.7)
Cap
133
Demostraremos a continuacin que el incremento Xt X0 tiene distribucin binoo

o
mial negativa de parmetros (r, p), con r = k y p = et .
a
Proposicin.
o
pkn (t) =
n 1 kt
e
(1 et )nk , para n k.
nk
Demostracin. Usaremos induccin sobre n. Para n = k se tiene la ecuacin dio

o
o
ferencial p (t) = k pkk (t), con condicin inicial pkk (0) = 1. Esto produce la
o
kk
solucin pkk (t) = ekt , que es de la forma enunciada. Para valores de n k + 1
o
usaremos la frmula recursiva (5.7),
o
pkn (t) =
=
=
=
=
=
=
(n 1) ent
t
0
ens
n2
eks (1 es )n1k ds
n1k
n2
(n 1)
ent
n1k
(n 1)
(n 1)
n2
ent
n1k
n2
ent
n1k
0
t
0
t
0
(es )(nk) (1 es )n1k ds

(1 es )1 (es 1)nk ds
es (es 1)n1k ds
t
n2
1
d s
ent
(e 1)nk ds
n1k
(n k) ds
0
n2
nt
t
e
(e 1)nk
n1k
(n 1)
n1
nk
n 1 kt
e
(1 et )nk .
k1
Notas y referencias. Una exposicin ms completa del tema de cadenas de Maro

a
kov a tiempo continuo puede encontrarse en Basu [1], Karlin y Taylor [19], o Stirzaker [36].
134
Ejercicios
Procesos de nacimiento y muerte
78. Para la cadena de Markov a tiempo continuo de dos estados en donde la
estancia en el estado 0 tiene distribucin exp(), y la estancia en el estado 1
o
es exp(), demuestre que
a) p00 (t) =
1
+
( + e(+)t ).
b) p01 (t) =
1
+
( e(+)t ).
c) p10 (t) =
1
+
( e(+)t ).
d) p11 (t) =
1
+
( + e(+)t ).
79. Considere una cadena de Markov a tiempo continuo de dos estados en donde
el tiempo de estancia en cada uno de ellos tiene distribucin exp(). Dena Nt
o
como el n mero de veces que la cadena de Markov ha efectuado saltos hasta
u
un tiempo t 0 cualquiera. Demuestre que Nt es un proceso de Poisson de
parmetro .
a
Procesos de nacimiento puro

80. Sea Xt un proceso de Yule con estado inicial X0 = k 1. Demuestre que
a) E(Xt ) = k et .
b) Var(Xt ) = k e2t (1 et ).
Cap
tulo 6
Procesos de renovacin
o
y conabilidad
En este cap
tulo se presenta otra generalizacin del proceso de Poisson. Se consio
dera ahora que los tiempos de interarribo no son necesariamente exponenciales. A
tales procesos de saltos unitarios se les conoce como procesos de renovacin, y en
o
general dejan de cumplir la propiedad de Markov. Adems de estudiar algunas proa
piedades generales de los procesos de renovacin, estudiaremos tambin el concepto
o
e
de conabilidad para sistemas conformados por varios componentes los cuales son
susceptibles de sufrir fallas en tiempos aleatorios.
6.1.
o
Suponga que se pone en operacin un cierto componente o art

o
culo cuya duracin de
o
vida util se modela mediante una variable aleatoria T1 . Una vez que el componente
falla, se reemplaza o renueva con otro componente cuyo tiempo de vida es T2 ,

y as sucesivamente. La coleccin de variables aleatorias T1 , T2 , . . . representa la
o
sucesin de tiempos de vida de componentes puestos en operacin uno tras otro.
o
o
Esto se ilustra en la Figura 6.1.
En este contexto es natural suponer que las variables que modelan los tiempos
de vida son no negativas, independientes y con la misma distribucin de probabio
lidad. Un proceso de estas caracter
sticas se conoce con el nombre de proceso de
135
136
6.1. Procesos de renovacion
T1
T2
T3
T4
Figura 6.1:
renovacin. Observe que exactamente en los tiempos en los que se efect an las renoo
u
vaciones, el proceso reinicia probabil
sticamente. Empezaremos por dar un primera
denicin formal de un proceso de renovacin basada en lo recin mencionado.
o
o
e
Denicin. Un proceso de renovacin es una sucesin innita de variables
o
o
o
aleatorias T1 , T2 , . . . que son no negativas, independientes e idnticamente dise
tribuidas.
Otra forma equivalente de denir a este proceso es a travs del registro de los
e
tiempos reales en los que se observan las renovaciones, o bien a travs del cone
teo de renovaciones observadas hasta un tiempo cualquiera. Estos puntos de vista
alternativos se denen a continuacin.
o
Denicin. Dado un proceso de renovacin {T1 , T2 , . . .}, se denen los tiempos
o
o
reales de renovacin como W0 = 0 y Wn = T1 + + Tn , para n 1. El proceso
o
de conteo de renovaciones es
Nt = mx {n 0 : Wn t},
a
para cada t 0.
La variable aleatoria Wn representa el tiempo real en el que se realiza la n-sima

e
renovacin, mientras que Nt indica el n mero de renovaciones observadas hasta el
o
u
tiempo t. En la literatura se le denomina proceso de renovacin a cualquiera de
o
los procesos {Tn : n = 1, 2, . . .}, {Wn : n = 0, 1, . . .}, o {Nt : t 0}, pues por
construccin existe una correspondencia biun
o
voca entre cualesquiera dos de estos
tres procesos. Denotaremos por F (t) a la funcin de distribucin de los tiempos de
o
o
vida. Por lo tanto, la funcin de distribucin de Wn es la convolucin de F (t) consigo
o
o
o
misma n veces, es decir, FWn (t) = P (T1 + + Tn t) = F n (t) = (F F )(t).

Cap
tulo 6. Procesos de renovacion y confiabilidad
137
En particular, cuando n = 0 se dene

F 0 (t) =
0
1
si t < 0,
si t 0.
Una de las primeras preguntas que uno puede hacerse acerca de un proceso de
renovacin es la de conocer la distribucin de la variable Nt . La respuesta no es
o
o
fcil de encontrar pues la distribucin de esta variable depende de la distribucin
a
o
o
de los tiempos de vida como indica la siguiente frmula.
o
Proposicin. Para cualquier n 0,
o
P (Nt = n) = F n (t) F (n+1) (t).
Demostracin. Se usa el hecho de que las variables Wn y Tn+1 son independientes.

o
P (Wn t, Wn+1 > t)
P (Nt = n) =
P (Wn t, Wn + Tn+1 > t)

P (t Tn+1 < Wn t)
=
=
=
FWn (t) FWn (t Tn+1 )
F n (t)
F n (t)
F n (t u) dF (u)
0
(n+1)
F n (t) F
FWn | Tn+1 (t u | u) dF (u)
(t).
Por ejemplo, un proceso de Poisson homogneo de tasa es un proceso de renovae

cin en donde los tiempos de vida tienen distribucin exp(). En consecuencia, los
o
o
tiempos reales de renovacin Wn tienen distribucin gama(n, ), cuya funcin de
o
o
o
distribucin es, para t > 0,
o
t
FWn (t) =
0
(x)n1
ex dx =
(n)
k=n
et
(t)k
.
k!
138
6.2. Funcion y ecuacion de renovacion
A partir de esta expresin puede recuperarse la distribucin Poisson pues por la

o
o
proposicin anterior,
o
P (Nt = n) = F n (t) F (n+1) (t) = et
(t)n
.
n!
Observe la igualdad de eventos (Nt n) = (Wn t), la cual es vlida para t 0

a
y para cada n = 0, 1, . . . Esta identidad ser de utilidad ms adelante.
a
a
6.2.
Funcin y ecuacin de renovacin

o
o
o
Otra de las funciones que es natural desear conocer en un proceso de renovacin

o
es el n mero promedio de renovaciones efectuadas hasta un tiempo t cualquiera.
u
A tal funcin se le llama funcin de renovacin, y se le denota por (t), es decir,
o
o
o
(t) = E(Nt ). En general no es fcil encontrar una expresin expl
a
o
cita para esta
funcin. Se cuenta, sin embargo, con la siguiente ecuacin integral.
o
o
Proposicin. La funcin de renovacin (t) satisface la ecuacin
o
o
o
o
t
(t) = F (t) +
0
(t s) dF (s).
(6.1)
Demostracin. Condicionando sobre el valor del primer tiempo de vida T1 se obo
tiene (t) = 0 E(Nt | T1 = s) dF (s), en donde

E(Nt | T1 = s) =
0
1 + (t s)
si s > t,
si s t.
Por lo tanto
t
(t) =
0
(1 + (t s)) dF (s) = F (t) +
(t s) dF (s).

Cap
139
Observe quela ecuacin (6.1) puede escribirse como (t) = F (t) + ( F )(t).
o
Debido a que se condiciona sobre el valor del primer tiempo de renovacin, a la
o
tcnica de la demostracin de este resultado se le llama a veces anlisis del primer
e
o
a
paso. Para el proceso de Poisson, el promedio de renovaciones o saltos al tiempo
t es (t) = t. Puede comprobarse directamente que esta funcin satisface (6.1)
o
con F (t) = 1 et . A una ecuacin integral del tipo (6.1) se le llama ecuacin
o
o
de renovacin, pues algunas funciones de inters en la teor de la renovacin la
o
e
a
o
cumplen. La denicin general aparece a continuacin.
o
o
Denicin. Sean F (t), g(t) y h(t) funciones denidas para t 0. Suponga que
o
F (t) y h(t) son conocidas, y g(t) es desconocida. Se dice que g(t) satisface una
ecuacin de renovacin si cumple la ecuacin integral
o
o
o
t
g(t) = h(t) +
0
g(t s) dF (s).
En general no es fcil resolver este tipo de ecuaciones aunque se conocen condiciones

a
para la existencia y unicidad de la solucin. He aqu otra expresin general para el
o
o
promedio de renovaciones (t).
Proposicin. (t) =
o
F n (t), para cualquier t > 0.
n=1
Demostracin.
o
(t)
n P (Nt = n)
n=0
= P (Nt = 1) + 2 P (Nt = 2) +
= [ F 1 (t) F 2 (t) ] + 2 [ F 2 (t) F 3 (t) ] +

= F 1 (t) + F 2 (t) +
=
n=1
F n (t).
140
6.3. Tiempos de vida
Por ejemplo, cuando los tiempos de interarribo tienen distribucin exp() se tiene
o
que
t
(x)n1
(t)k
F n (t) =
ex dx =
et
.
(n)
k!
0
k=n
Usando esta expresin y la frmula recin demostrada puede corroborarse que en

o
o
e
este caso (t) = t.
Es posible demostrar que para un proceso de renovacin la variable Nt tiene moo
mentos nitos de cualquier orden, y entonces en particular la suma anterior es
siempre convergente. Otros resultados generales son los siguientes: Existe una correspondencia biun
voca entre las funciones (t) y F (t), y adems el proceso de
a
renovacin Nt queda completamente especicado por la funcin promedio (t). La
o
o
demostracin de estos resultados pueden consultarse en [1].
o
6.3.
Tiempos de vida
Junto a todo proceso de renovacin y para cada tiempo jo, pueden considerarse
o
tres variables aleatorias no negativas, t , t y t , cuyo signicado geomtrico se
e
muestra en la Figura 6.2, y que deniremos con mayor precisin a continuacin.
o
o
Nt + 1
Nt
t
Nt 1
WNt
Figura 6.2:
WNt +1

Cap
141
Tiempo de vida restante. Este es el tiempo de vida util que le resta al elemento
que se encuentra en operacin al tiempo t, y est dado por la variable

o
a
t = WNt +1 t.
Esta longitud aleatoria se muestra en la Figura 6.2. Usando un argumento de
renovacin demostraremos que para cada x > 0 la funcin t g(t) = P (t > x)
o
o
satisface una ecuacin de renovacin.
o
o
Proposicin. La funcin g(t) = P (t > x) satisface la ecuacin de renovacin
o
o
o
o
t
g(t) = 1 F (t + x) +
g(t s) dF (s).
Demostracin. Se condiciona sobre el valor de T1 . Se tienen los tres posibles casos

o
que se muestran en la Figura 6.3.
T1
T1
T1
t+x
Figura 6.3:
Puesto que un proceso de renovacin puede considerarse que inicia nuevamente a
o
partir del momento en que se observa una renovacin, se tiene que
o
si s > t + x,
1
0
si t < s t + x,
P (t > x | T1 = s) =
P (ts > x) si 0 < s t.
Por lo tanto
g(t) =
0
P (t > x | T1 = s) dF (s)
t
dF (s) +
t+x
P (ts > x) dF (s)

0
t
= 1 F (t + x) +
g(t s) dF (s).
142
6.3. Tiempos de vida
En particular, cuando los tiempos de vida son exponenciales de parmetro , la

a
unica solucin de esta ecuacin es la funcin constante g(t) = ex , que equivale a
o
o
o
decir que la variable t tiene distribucin exp(). Esta es nuevamente la propiedad
o
de prdida de memoria de la distribucin exponencial.
e
o
Tiempo de vida transcurrido. Este es el tiempo que ha estado en uso el elemento
que se encuentra en operacin al tiempo t, y est dado por la variable
o
a
t = t WNt .
Vase nuevamente la Figura 6.2. Es claro que esta variable est acotada superiore
a
mente por el valor t, pues el elemento en uso al tiempo t no puede tener hasta ese
momento un tiempo de uso mayor a t. Sea nuevamente x > 0 y dena la funcin
o
t g(t) = P (t > x). Por las consideraciones anteriores, tenemos que g(t) = 0
para t (0, x]. Usando un argumento de renovacin demostraremos que la funcin
o
o
g(t) satisface una ecuacin de renovacin.
o
o
Proposicin. Para t (x, ), la funcin g(t) = P (t > x) satisface la ecuacin
o
o
o
de renovacin
o
tx
g(t) = 1 F (t) +
g(t s) dF (s).
Demostracin. Nuevamente se condiciona sobre el valor de T1 . Los tres posibles

o
casos se muestran en la Figura 6.4.
T1
T1
tx
T1
Figura 6.4:
Por lo tanto,
1
0
P (t > x | T1 = s) =
P (ts > x)
si s t,
si 0 < t x s < t,
si 0 < s < t x.

Cap
143
Entonces
g(t) =
0
P (t > x | T1 = s) dF (s)
tx
dF (s) +
P (ts > x) dF (s)

0
tx
1 F (t) +
g(t s) dF (s).
En resumen,
g(t) =
1 F (t) +
si t (0, x],
tx
0
g(t s) dF (s)
si t (x, ).
Considerando otra vez el caso de tiempos de vida exponencial de parmetro ,

a
puede demostrarse que el tiempo de vida transcurrido tiene funcin de distribucin
o
o
.......
Tiempo de vida total. Este es el tiempo completo de vida util que tiene el
elemento que se encuentra en operacin al tiempo t, y est dado por la variable

o
a
t = t + t = WNt +1 WNt = TNt +1 .
Nuevamente, para x > 0 se dene la funcin t g(t) = P (t > x). Demostrareo
mos que esta funcin satisface una ecuacin de renovacin, en la cual aparecer el
o
o
o
a
trmino x y, que signica mx{x, y}.
e
a
Proposicin. La funcin g(t) = P (t > x) satisface la ecuacin de renovacin
o
o
o
o
t
g(t) = 1 F (t x) +
g(t s) dF (s),
Demostracin. Nuevamente condicionaremos sobre un posible valor de T1 . Los poo

sibles casos se muestran en la Figura 6.5.
144
6.4. Teoremas de renovacion

T1
T2
T3
t+x
Figura 6.5:
El caso s (t, t + x) se debe subdividir en dos casos: s x s > x. De este modo
o
se obtienen los siguientes resultados
1
P (t > x | T1 = s) =
1
P (ts > x)
si
si
si
si
t < s < t + x, y s x,
t < s < t + x, y s > x,
s t + x,
0 < s t.
El segundo y tercer rengln se conjuntan en las condiciones t x < s < t + x

o
s t + x, lo cual se reduce a la condicin t x < s < . Por lo tanto,
o
o
g(t) =
0
P (t > x | T1 = s) dF (s)
t
dF (s) +
tx
P (ts > x) dF (s)

0
t
= 1 F (t x) +
g(t s) dF (s).
En el caso de tiempos de interarribo exponenciales de parmetro puede demosa

trarse que el tiempo de vida total tiene funcin de distribucin
o
o
P (t x) =
6.4.
1 (1 + (t x)) ex
0
si x > 0,
otro caso.
Teoremas de renovacin
o
En esta seccin se estudian algunos resultados sobre del comportamiento l

o
mite
de un proceso de renovacin. Primeramente se demuestra que todo proceso de
o
renovacin de conteo crece a innito con probabilidad uno cuando el tiempo crece.
o

Cap
145
Proposicin. Para todo proceso de renovacin, l Nt = c.s.

o
o
m
t
Demostracin. Recordemos la igualdad de eventos (Nt n) = (Wn t). Entonces

o
para cualquier n natural,
1 =
=
=
=
l FWn (t)
m
l P (Wn t)
m
l P (Nt n)
m
P ( l Nt n).
m
t
Para la ultima igualdad se ha utilizado el hecho de que la funcin t Nt es
o
montona no decreciente. Como el resultado demostrado vale para cualquier n
o
natural, se tiene que P ( l Nt = ) = 1.
m
t
Proposicin. Para un proceso de renovacin Nt en donde E(T ) = con 0 <

o
o
< ,
WNt
l
m
= , c.s.
t Nt
Demostracin. Para valores enteros de n, por la ley fuerte de los grandes n meros,
o
u
Wn /n casi seguramente cuando n . Ahora observe la contencin de
o
eventos
WNt
Wn
(
) (Nt ) (
).
n
Nt
Los dos eventos del lado izquierdo tienen probabilidad uno, por lo tanto la interseccin tambin, y ello implica que el lado derecho tambin tiene probabilidad
o
e
e
uno.
146
Teorema elemental de renovacin (J. L. Doob, 1948). Para un proceso

o
de renovacin Nt en donde E(T ) = con 0 < < ,
o
l
m
Nt
1
= , c.s.
t
Demostracin. Para cualquier t > 0 se cumple WNt t < WNt +1 . Por lo tanto
o
WNt
t
WNt +1 Nt + 1
<
.
Nt
Nt
Nt + 1 Nt
Cuando t tiende a innito ambos extremos de estas desigualdades convergen a
c.s. Por lo tanto Nt /t 1/ c.s.
Teorema elemental de renovacin (W. Feller, 1941). Considere un proo
ceso de renovacin en donde E(T ) = , con 0 < < . Entonces
o
l
m
(t)
1
= .
t
Demostracin. Por la identidad de Wald,

o
E(WNt +1 ) = E(Nt + 1) E(T ) = ((t) + 1).
Despejando (t), dividiendo entre t y arreglando trminos adecuadamente se obe
tiene
(t)
1
1
1
= E(WNt +1 t) + .
t
t
t
Como WNt +1 > t, se tiene que E(WNt +1 t) 0. Por lo tanto
l inf
m
t
(t)
1
.
t

Cap
147
Ahora estimaremos el l
mite superior del mismo cociente. Como WNt +1 t
WNt +1 WNt = TNt +1 , se tiene que E(WNt +1 t) E(TNt +1 ) y por lo tanto
(t)
1
1
+
E(TNt +1 ).
t
t
Consideremos primero el caso particular cuando las variables T son uniformemente
acotadas, es decir, supongamos que existe un entero k > 0 tal que para cada n 1,
P (Tn k) = 1. Entonces E(TNt +1 ) k y por lo tanto
l sup
m
t
(t)
1
.
t
Esto concluye la demostracin en el caso particular mencionado. Ahora considereo

mos que las variables T no son necesariamente acotadas de la forma anterior. En
este caso se denen los tiempos recortados
k
Tn =
Tn
k
si Tn k,
si Tn > k.
k
Observe que Tn Tn cuando k . A partir de estos tiempos se considera
un nuevo proceso de renovacin Ntk con funcin de renovacin k . Se cumple que
o
o
o
t
(t) k y por lo tanto
t
(t)
1
l sup
m
.
t
E(T k )
t
Ahora se hace k tender a innito. Por el teorema de convergencia montona,

o
E(T k ) E(T ), y ello prueba la desigualdad faltante.
El cociente (t)/t es el n mero de renovaciones promedio por unidad de tiempo.
u
El resultado recin demostrado establece que a largo plazo habr en promedio
e
a
1/E(T ) renovaciones por unidad de tiempo. Por ejemplo, para el proceso Poisson,
E(T ) = 1/ y (t) = t. Por lo tanto (t)/t = .
Los siguientes dos resultados se enuncian sin demostracin.
o
148
Teorema de renovacin. (D. Blackwell, 1948). Si F (t) es no aritmtica,

o
e
entonces para cualquier h > 0,
l (t + h) (t) =
m
h
.
Si F (t) es aritmtica con base d, entonces para cualquier natural n,

e
l (t + nd) (t) =
m
nd
.
Por ejemplo, para el proceso de Poisson se tiene que (t+h)(t) = (t+h)t =

h = h/(1/) = h/E(T ).
Teorema clave de renovacin. (W. L. Smith, 1953). Sea A(t) la solucin
o
o
a la ecuacin de renovacin
o
o
t
A(t) = H(t) +
0
A(t s) dF (s),
en donde H : [0, ) R es una funcin directamente Riemann integrable. Si

o
F (t) es no aritmtica,
e
l A(t) =
m
H(t) dt.
Si F (t) es aritmtica con base d, entonces

e
l A(t + nd) =
m
H(t + kd).
k=0
Puede demostrarse que los teoremas de Smith y Blackwell son equivalentes, y que
cualquiera de ellos implica el teorema elemental de Feller.

Cap
6.5.
149
Conabilidad
Suponga que T > 0 es una variable aleatoria continua que registra el tiempo de falla
de un cierto componente que se encuentra en operacin al tiempo cero. Nuevamente
o
denotaremos por F (t) y f (t) a la funcin de distribucin y de densidad de esta
o
o
variable aleatoria. En la teor de la conabilidad interesa conocer la probabilidad
a
de que el componente funcione correctamente por lo menos hasta un tiempo t
cualquiera, o la probabilidad de que deje de funcionar en el siguiente instante de
tiempo, dado que el componente ha funcionado bien hasta un cierto momento. Es
por ello que se denen las siguientes dos funciones.
Denicin. La funcin de conabilidad se dene como R(t) = P (T > t),
o
o
mientras que la funcin de tasa de falla es r(t) = f (t)/(1 F (t)).
o
A la funcin de conabilidad se le llama tambin funcin de supervivencia, y a la
o
e
o
funcin de tasa de falla se le conoce tambin como funcin hazard, y se le llama
o
e
o
as pues un componente que ha sobrevivido al tiempo t, fallar en el intervalo
a
(t, t + t] con probabilidad condicional r(t) t + o(t), en efecto,
P (t < T t + t | T > t)
P (t < T t + t)
P (t > t)
f (t)
=
t + o(t)
1 F (t)
= r(t) t + o(t).
=
Despus de algunos clculos sencillos es inmediato comprobar que estas dos fune
a
ciones estn relacionadas de la siguiente forma.
a
r(t)
f (t)
d
= ln R(t).
R(t)
dt
t
R(t) =
exp (
r(s) ds).
0
Adems, el tiempo promedio de falla E(T ) puede escribirse en trminos de la

a
e
funcin R(t) como
o
E(T ) =
0
R(t) dt.
150
6.5. Confiabilidad
Ejemplo. Suponga que el tiempo de falla T de un componente tiene una distribucin exponencial de parmetro . La funcin de conabilidad es R(t) = et , y
o
a
o
la funcin de tasa de falla es constante r(t) = . El hecho de que la funcin de
o
o
tasa de falla sea constante signica que la probabilidad de falla en un intervalo de
tiempo peque o t, dado que el componente se encuentra operando al tiempo t, es
n
aproximadamente t, independiente del valor de t. Esta es otra manifestacin de
o
la propiedad de prdida de memoria de la distribucin exponencial, y es la unica
e
o
distribucin continua con tasa de falla constante. Por otro lado, el tiempo medio
o
de falla es E(T ) = 1/.
Ejercicio. Demuestre que la funcin R(t) es decreciente, es decir, si t1 t2 , entonces
o
R(t1 ) R(t2 ). Puede decirse algo sobre la monoton de r(t)?
a
Confiabilidad para sistemas en serie. Considere un sistema de n componentes puestos en serie como se muestra en la Figura 6.6. Supondremos que cada uno
de estos componentes funciona de manera independiente uno del otro. Es intuitivamente claro que tal sistema en su conjunto funciona si todos y cada uno de los
componentes se encuentra en buen estado. Nos interesa encontrar las funciones de
conabilidad y de tasa de falla de este tipo de sistemas.
C1
C2
Cn
Figura 6.6:
Observe que el tiempo de falla T de un sistema de este tipo es el tiempo de falla ms
a
peque o de cada uno de los componentes, es decir, T = m
n
n{T1 , . . . , Tn }. Esquemas
f
sicos de este tipo ayudan a justicar el plantearse la pregunta de encontrar la
distribucin de probabilidad del m
o
nimo de n variables aleatorias independientes.
Ejercicio. Suponga que los tiempos de falla T1 , . . . , Tn de los componentes del
sistema en serie de la Figura 6.6 son idnticamente distribuidos con funcin de
e
o
distribucin F (t), y funcin de densidad f (t). Demuestre que el tiempo de falla
o
o
T del sistema tiene funcin de distribucin y densidad dada por las siguientes
o
o
expresiones:
a) FT (t) = 1 (1 F (t))n .
b) fT (t) = n(1 F (t))n1 f (t).

Cap
151
Calcularemos a continuacin las funciones de conabilidad y de tasa de falla pao

ra sistemas en serie. Denotaremos por R1 (t), . . . , Rn (t) las funciones de conabilidad de cada componente en el sistema, y las funciones de tasa de falla sern
a
r1 (t), . . . , rn (t).
Proposicin. Las funciones de conabilidad y de tasa de falla del sistema en
o
serie de la Figura 6.6 son
1. R(t) = R1 (t) Rn (t).
2. r(t) = r1 (t) + + rn (t).
Demostracin.
o
1. R(t) = P (T1 > t, . . . , Tn > t) = P (T1 > t) P (Tn > t) = R1 (t) Rn (t).
d
d
2. r(t) = dt ln R(t) = dt
n
k=1
ln Rk (t) =
n
k=1 rk (t).
Ejemplo. La funcin de conabilidad y la funcin de tasa de falla de un sistema

o
o
de n componentes puestos en serie en donde cada uno de ellos tiene un tiempo de
falla exponencial de parmetro son, respectivamente, R(t) = ent , y r(t) = nt.
a
La distribucin del tiempo de falla T es exponencial de parmetro n. El tiempo
o
a
medio de falla es E(T ) = 1/(n), naturalmente decreciente conforme mayor es el
n mero de componentes en el sistema, es decir, mientras mas componentes haya
u
en el sistema en serie, menor es el tiempo de vida operacional del sistema en su
conjunto pues una falla de cualesquiera de los componentes provoca que el sistema
completo deje de funcionar.
Ejercicio. En el contexto de sistemas de n componentes en serie, demuestre que la
funcin de conabilidad R(t) = R1 (t) Rn (t) es una funcin decreciente de n, y
o
o
en consecuencia el tiempo medio de falla tambin es una funcin decreciente de n.
e
o
Confiabilidad para sistemas en paralelo. Considere ahora sistemas de n
componentes puestos en paralelo como se muestra en la Figura 6.7, en donde cada
uno de estos componentes funciona de manera independiente uno del otro. Tales
tipos de sistemas funcionan en su conjunto si por lo menos uno de los componentes
152
6.5. Confiabilidad
se encuentra en buen estado. Sistemas de este tipo se utilizan cuando se desea

mantener un nivel alto de conabilidad de funcionamiento, como por ejemplo los
sistemas de vuelo de los aviones, o los sistemas de manejo de reactores nucleares.
C1
C2
Cn
Figura 6.7:
El tiempo de falla T de un sistema de este tipo es el tiempo de falla ms grande
a
de los componentes, es decir, T = mx {T1 , . . . , Tn }, y que el evento (T t) es
a
equivalente a que todos los componentes fallen antes del tiempo t.
Proposicin. La funcin de conabilidad del sistema en paralelo de la Figura 6.7
o
o
es R(t) = 1 (1 R1 (t)) (1 Rn (t)).
Demostracin. Primeramente se tiene que
o
F (t) = P (T t) = P (T1 t, . . . , Tn t) = F1 (t) Fn (t).
Por lo tanto
R(t) = 1 F (t) = 1 F1 (t) Fn (t) = 1 (1 R1 (t)) (1 Rn (t)).
Ejercicio. Demuestre que la funcin de conabilidad R(t) para sistemas en paralelo

o
recin encontrada es una funcin creciente de n. Es decir, mientras mas compoe
o
nentes haya en el sistema ms seguro es ste. En consecuencia, demuestre que el
a
e
tiempo medio de falla es una funcin creciente de n.
o

Cap
153
Ejercicio. Demuestre que las funciones de distribucin y de densidad del tiempo de

o
falla T del sistema en paralelo de la Figura 6.7 son
a) FT (t) = F n (t).
b) fT (t) = n F n1 (t) f (t).
Puede calcularse la funcin de tasa de falla del sistema r(t) en trminos de las
o
e
funciones r1 (t), . . . , rn (t) pero la expresin no resulta ser simple.
o
Ejemplo. Para un sistema de n componentes puestos en paralelo en donde cada
uno de ellos tiene un tiempo de falla exponencial de parmetro se tiene que
a
R(t) = 1 (1 et )n .
r(t) = n(1 et )n1 et /(1 (1 et )n ).

Confiabilidad para sistemas mezcla serie/paralelo. Pueden tambin cone
siderarse sistemas que son una combinacin de sistemas en serie y en paralelo como
o
el que se muestra en la parte izquierda de la Figura 6.8. Sistemas de este tipo pueden ser representados de manera equivalente como se muestra en la parte derecha
de la misma gura.
Ejercicio. Demuestre que la funcin de conabilidad del sistema de la Figura 6.8
o
es R(t) = R1 (t)(1 (1 R2 (t))(1 R3 (t)).
C2
C1
C2
C3
C1
C3
C1
Figura 6.8:
Ejercicio. Encuentre la funcin de conabilidad para cada uno de los sistemas de
o
componentes que aparecen en la Figura 6.9.
154
6.5. Confiabilidad
C1
C2
C1
C2
C3
C3
C4
Figura 6.9:
Notas y referencias
En los textos de Karlin y Taylor [19], Basu [1], y Lawler [23] el lector puede encontrar algunos otros resultados y aplicaciones de los procesos de renovacin.
o

Cap
155
Ejercicios
o
81. Demuestre que F n (t) F m (t), para n m.
82. Respecto de las varias deniciones de proceso de renovacin, demuestre que
o
los procesos Tn , Wn y Nt pueden escribirse cada uno en trminos de cualquier
e
otro.
83. Demuestre o proporcione un contraejemplo: La suma de dos procesos de renovacin independientes y con la misma funcin de distribucin de interarribo
o
o
o
es un proceso de renovacin.
o
84. Considere el proceso de Poisson visto como un proceso de renovacin, es
o
decir, los tiempos de vida tienen distribucin exponencial con parmetro .
o
a
Demuestre que la funcin de renovacin (t) = t satisface la ecuacin de
o
o
o
renovacin
o
(t) = 1 et +
(t s)es ds.
85. Sea Nt un proceso de Poisson de parmetro > 0. Demuestre que el tiempo

a
de vida total t tiene funcin de distribucin
o
o
P (t x) =
1 (1 + (t x)) ex
0
si x > 0,
otro caso.
1
Demuestre adems que E(t ) = (2 et ).
a
86. Sea Nt el proceso de conteo de un proceso de renovacin. Dena (t) =

o
E(Nt ), y 2 (t) = E(Nt2 ). Demuestre que
t
2 (t) = (t) + 2
0
(t s) d(s).
Encuentre 2 (t) cuando Nt es un proceso de Poisson.
156
6.5. Confiabilidad
Conabilidad
87. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos
en serie como en la Figura 6.6. Suponga que las correspondientes funciones de
distribucin y de densidad son F1 (t), . . . , Fn (t), y f1 (t), . . . , fn (t), respectivao
mente. Demuestre que las funciones de distribucin y de densidad del tiempo
o
de falla del sistema dado por T = m {T1 , . . . , Tn } son
n
a) F (t) = 1 (1 F1 (t)) (1 Fn (t)).
n
b) f (t) =
k=1
fk (t) (1 F1 (t) 1(k=1) ) (1 Fn (t) 1(k=n) ).
88. Sean T1 , . . . , Tn los tiempos de falla de cada uno de los n componentes puestos
en paralelo como en la Figura 6.7. Suponga que las correspondientes funciones
de distribucin y de densidad son F1 (t), . . . , Fn (t), y f1 (t), . . . , fn (t), respeco
tivamente. Demuestre que las funciones de distribucin y de densidad del
o
tiempo de falla del sistema dado por T = mx {T1 , . . . , Tn } son
a
a) F (t) = F1 (t) Fn (t).
n
b) f (t) =
k=1
fk (t) (1 (1 F1 (t)) 1(k=1) ) (1 (1 Fn (t)) 1(k=n) ).
Cap
tulo 7
Martingalas
Existen varias acepciones para el trmino martingala. Una de ellas hace referencia a
e
un tipo de proceso estocstico que bsicamente cumple la identidad E(Xn+1 | X0 =
a
a
x0 , . . . , Xn = xn ) = xn . Hemos mencionado antes que este tipo de modelo corresponde a un proceso que representa la evolucin del capital de un jugador que realiza
o
una sucesin de apuestas justas. Parte de la motivacin para el estudio de este tipo
o
o
de procesos fue el buscar demostrar la inexistencia de estrategias ventajosas en
este juego de apuestas. El concepto de martingala fue incorporado a la teor de
a
la probabilidad por Paul L`vy, y buena parte de su desarrollo inicial fue realizado
e
por Joseph Doob.
En este cap
tulo se presenta una introduccin a la teor de martingalas a tiempo
o
a
discreto, aunque tambin se mencionan algunas deniciones generales a tiempo
e
continuo.
7.1.
Filtraciones
Sea (, F , P ) un espacio de probabilidad para modelar un cierto experimento aleatorio. La -lgebra F es la estructura que agrupa a los eventos del experimento
a
aleatorio a los cuales se les puede calcular su probabilidad. Suponga ahora que se
consideran dos sub -lgebras F1 y F2 tales que F1 F2 . Entonces F2 contiene
a
ms informacin que F1 en el sentido de que, en general, un mayor n mero de
a
o
u
conjuntos son considerados como eventos. Ms generalmente, puede considerarse
a
157
158
7.1. Filtraciones
una sucesin no decreciente de sub -lgebras F1 F2 Este tipo de estruco

a
turas surgen de manera natural, por ejemplo, para un proceso estocstico a tiempo
a
discreto X1 , X2 , . . ., pues puede construirse la sucesin
o
F1
F2
F3
=
=
.
.
.
{X1 },
{X1 , X2 },
{X1 , X2 , X3 },
en donde efectivamente se cumple que F1 F2 En este caso la -lgebra

a
Fn contiene los eventos para los cuales puede determinarse su ocurrencia o no
ocurrencia, slo con la informacin del proceso disponible hasta el tiempo n.
o
o
Ejemplo. Si las variables X1 , X2 , . . . representan los resultados de lanzar sucesivamente un dado, y si se dene el evento A como La suma de los dos primeros
resultados es mayor a 3, entonces es claro que A F1 , sin embargo A F2 . Por
/
supuesto, si sucede por ejemplo que X1 = 4, entonces sabemos que el evento A
ocurre, pero sin esta informacin adicional la ocurrencia o no ocurrencia del evento
o
A no puede determinarse sino hasta el segundo lanzamiento del dado.
Estas consideraciones sobre sucesiones no decrecientes de -lgebras llevan a la
a
denicin de ltracin.
o
o
Denicin. Una ltracin es una coleccin de -lgebras {Fn }n1 tal que
o
o
o
a
Fn Fm , cuando n m. En particular, la ltracin natural o cannio
o
ca de un proceso Xn es aquella sucesin de -lgebras denidas por Fn =
o
a
{X1 , . . . , Xn }, n 1.
A tiempo continuo las deniciones de estos conceptos son anlogas: Una ltracin
a
o
es una coleccin no numerable de sub -lgebras {Ft }t0 tal que Fs Ft , cuando
o
a
0 s t. La ltracin natural o cannica de un proceso a tiempo continuo {Xt :
o
o
t 0} es la coleccin de -lgebras {Ft }t0 dadas por Ft = {Xs : 0 s t},
o
a
esto es, Ft es la m
nima -lgebra que hace que cada una de las variables Xs , para
a
valores de s en el intervalo [0, t], sean medibles. A la -lgebra Ft se le denomina
a
la historia del proceso al tiempo t. Regresemos al caso de tiempo discreto.
Cap
tulo 7. Martingalas
159
Denicin. Se dice que un proceso Xn es adaptado a una ltracin Fn si la

o
o
variable Xn es Fn -medible, para cada n 1.
Sabemos que cada Xn es F -medible por ser variable aleatoria. La condicin de
o
adaptabilidad requiere que Xn sea tambin una variable aleatoria respecto de la
e
sub -lgebra Fn . Naturalmente todo proceso es adaptado a su ltracin natural,
a
o
y puede demostrarse que la ltracin natural es la ltracin ms peque a respecto
o
o
a
n
de la cual el proceso es adaptado. El siguiente caso particular es necesario de
considerar.
Denicin. Se dice que el proceso {Xn : n 1} es predecible respecto de la
o
ltracin {Fn }n0 si para cada n 1, la variable Xn es Fn1 -medible.
o
Evidentemente todo proceso predecible es adaptado. La denicin de adaptabilidad
o
es la misma en el caso de procesos a tiempo continuo, y se pueden denir adems
a
las siguientes dos -lgebras:
a
F
Ft+
Ft ),
t0
Fs .
s>t
Se dice entonces que una ltracin es continua por la derecha si Ft+ = Ft . Si Ft

o
es una ltracin continua por la derecha y la -lgebra inicial F0 contiene a todos
o
a
los subconjuntos insignicantes de F , entonces la ltracin se llama estndar, o
o
a
bien que satisface las condiciones usuales. Algunos clculos requieren suponer estas
a
hiptesis.
o
7.2.
Tiempos de paro
Sea Xn un proceso adaptado a la ltracin Fn . Un tiempo de paro es una variable

o
aleatoria con valores en el espacio parametral de este proceso, que registra la ocurrencia de un cierto evento del proceso de tal forma que puede determinarse si ha
ocurrido o no ha ocurrido tal evento al tiempo n slo con la informacin de Fn .
o
o
Esta variable aleatoria puede tomar el valor innito cuando el evento de inters
e
nunca ocurre.
160
7.2. Tiempos de paro
Denicin. Una variable aleatoria con valores en {1, 2, . . .} {} es un

o
tiempo de paro respecto de una ltracin Fn si ( n) Fn , para cada
o
n 1.
Bajo la interpretacin de que es un tiempo aleatorio en el cual ocurre un cierto
o
evento de inters, la condicin ( n) Fn puede interpretarse del siguiente
e
o
modo: la pregunta de si el tiempo el evento ha ocurrido en el tiempo n, o antes,
debe poder ser respondida con la informacin dada por la ltracin al tiempo n.
o
o
No es dif comprobar que la condicin que aparece en la denicin es equivalente
cil
o
o
a la condicin ( = n) Fn , para cada n 1.
o
Ejemplo: Tiempo de primer arribo. Sea X1 , X2 , . . . una sucesin de variables aleao
torias adaptada a la ltracin Fn . Sea A un conjunto de Borel de R, y dena
o
= m {n 1 : Xn A}, en donde conviene denir m = . Es decir, es
n
n
el primer momento en el que la sucesin toma un valor dentro del conjunto A, si
o
acaso ello sucede. La variable aleatoria es un tiempo de paro pues para cualquier
valor entero de n,
( = n) = (X1 A) (Xn1 A) (Xn A) Fn .
/
/
En particular, y recordando el problema de la ruina del jugador, tomando A como
el conjunto {0, N }, el primer momento en el que la variable Xn = 1 + + n
toma uno de los dos valores del conjunto A es un tiempo de paro, y es el tiempo
aleatorio en el cual el juego naliza, ya sea porque el jugador se arruina o porque
gana todo el capital.
Ejemplo: Tiempo de segundo arribo. Sea nuevamente X1 , X2 , . . . una sucesin de
o
variables aleatorias adaptada a la ltracin Fn , y sea A un conjunto de Borel de
o
R. Dado un tiempo de paro cualquiera 1 , dena ahora un segundo tiempo de
paro de la siguiente forma 2 = m {n > 1 : Xn A}. Es decir 2 es el primer
n
momento, despus de 1 , en el que el proceso toma un valor dentro del conjunto
e
A. Naturalmente se cumple 1 2 . Esta nueva variable resulta tambin ser un
e
tiempo de paro pues el siguiente conjunto es un elemento de Fn .
n1
(2 = n) =
k=1
(1 = k) (Xk+1 A) (Xn1 A) (Xn A).

/
/
Cap
tulo 7. Martingalas
161
Ejercicio. Sea n un entero positivo. Demuestre que la variable aleatoria constante

= n es un tiempo de paro. Este es un tiempo de paro determinista. Compruebe
adems que = es tambin un tiempo de paro.
a
e
Ejercicio. Sea un tiempo de paro con valores en {1, 2, . . .}{}, y sea n un entero
positivo. Demuestre que las siguientes variables tambin son tiempos de paro.
e
a) n.
b) n.
c) + n.
En el caso de tiempos continuos, la denicin de tiempo de paro es la siguiente.
o
Una variable aleatoria : [0, ) {} es un tiempo de paro respecto de una
ltracin Ft si se cumple que ( t) Ft , para cada t 0.
o
7.3.
Martingalas
Denicin. Se dice que un proceso Xn es una martingala respecto de una

o
ltracin Fn si cumple las siguiente tres condiciones:
o
a) Es integrable.
b) Es adaptado a la ltracin.
o
c) Para cada n m,
E(Xm | Fn ) = Xn .
(7.1)
Cuando en lugar de (7.1) se cumple la desigualdad E(Xm | Fn ) Xn , entonces

el proceso es una submartingala, y si E(Xm | Fs n) Xs , entonces es una
supermartingala.
Las martingalas tienen una interpretacin sencilla en trminos de juegos justos que
o
e
ya hemos mencionado antes: Si Xn denota el capital de un jugador al tiempo n,
entonces la igualdad (7.1) establece que la fortuna promedio al tiempo futuro m,
dado que se conoce la historia del juego hasta el tiempo n, es su capital al tiempo
n, es decir, el juego es justo pues en promedio el jugador no pierde ni gana. En
este sentido, la desigualdad E(Xm | Fn ) Xn , correspondiente a la denicin de
o
submartingala, equivale a un juego favorable al jugador. La desigualdad contraria,
162
7.4. Ejemplos
el caso de submartingala, corresponde a un juego desfavorable al jugador.

Puede comprobarse que la condicin (7.1) es equivalente a la igualdad aparenteo
mente ms dbil E(Xn+1 | Fn ) = Xn . Esta ultima condicin es la que a menudo
a e
o
usaremos para vericar la propiedad de martingala de un proceso a tiempo discreto.
Adems, cuando la ltracin es la natural, es decir, cuando Fn = {X1 , . . . , Xn }, la
a
o
condicin de martingala puede escribirse en la forma E(Xn+1 | X1 , . . . , Xn ) = Xn .
o
Observe que toda martingala es al mismo tiempo una submartingala y una supermartingala, y que si Xn es una submartingala, entonces Xn es una supermartingala. Por lo tanto, toda propiedad para submartingalas puede ser escrita
tambin para supermartingalas bajo este cambio de signo. Por otro lado, tomando
e
esperanza en (7.1) con n = 1 se obtiene la igualdad E(Xm ) = E(X1 ), para cada
m 1, esto quiere decir que todas las variables aleatorias que conforman una martingala tienen la misma esperanza. Anlogamente, tomando esperanza ahora en la
a
condicin de submartingala se obtiene que para cualesquiera tiempos 1 n m,
o
E(Xm ) E(Xn ), esto puede interpretarse en el sentido de que, en promedio, las
submartingalas son procesos que tienden a crecer. Ms adelante demostraremos que
a
cuando la submartingala es acotada superiormente, es convergente. Este interesante resultado es el anlogo estocstico al hecho de que toda sucesin de n meros
a
a
o
u
reales creciente y acotada es convergente.
Para procesos a tiempos continuos, la condicin de martingala se escribe E(Xt | Fs ) =
o
Xs , para cualesquiera tiempos s y t tales que 0 s t, sin olvidar la condiciones
de adaptabilidad e integrabilidad para poder llamar a tal proceso una martingala.
7.4.
Ejemplos
Veremos a continuacin algunos ejemplos de martingalas.

o
Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesin de variables
o
aleatorias independientes idnticamente distribuidas y con esperanza nita. Dena
e
Xn = 1 + + n , y considere la ltracin Fn = {1 , . . . , n }. La variable
o
aleatoria Xn puede interpretarse como la fortuna de un jugador despus de n
e
apuestas sucesivas en donde la ganancia o prdida en la k-sima apuesta es k .
e
e
Cap
tulo 7. Martingalas
163
Claramente el proceso Xn es integrable y es adaptado. Adems

a
E(Xn+1 | Fn ) =
=
=
E(Xn + n+1 | Fn )
Xn + E(n+1 | Fn )
Xn + E(n+1 ).
Cuando el resultado promedio de cualquiera de las apuestas es cero, el segundo

sumando se anula y se tiene un ejemplo de martingala, es decir, un juego justo.
En particular, una caminata aleatoria simtrica es una martingala. Si el resultado
e
promedio de las apuestas es mayor o igual a cero, entonces E(Xn+1 |Fn ) Xn ,
y por lo tanto el proceso es una submartingala, un juego favorable al jugador.
Finalmente cuando el resultado promedio de cualquier apuesta es menor o igual a
cero, el proceso es una supermartingala pues E(Xn+1 |Fn ) Xn , correspondiente
a un juego desfavorable al jugador.
Ejercicio. Para la martingala del juego de apuestas justas Xn = 1 + + n ,
2
demuestre que el proceso Xn n es una martingala si, y slo si, Var() = 1.
o
Martingala del proceso de Poisson centrado. Sea Xt un proceso de Poisson
de parmetro . Entonces el proceso centrado Xt t es una martingala. En efecto,
a
este nuevo proceso es integrable y adaptado. Adems, para cada 0 s t,
a
E(Xt t | Fs ) =
=
=
=
=
=
E(Xt | Fs ) t
E(Xt Xs + Xs | Fs ) t
E(Xt Xs | Fs ) + Xs t
E(Xt Xs ) + Xs t
(t s) + Xs t
Xs s.
Este ejemplo es un caso particular del siguiente resultado que el lector puede fcila
mente vericar siguiendo el clculo anterior: Si un proceso integrable Xt tiene
a
incrementos independientes, entonces el proceso centrado Xt E(Xt ) es una martingala.
Martingala de la esperanza condicional. Sea X una variable aleatoria integrable, y sean F1 y F2 dos sub -lgebras tales que F1 F2 . No es dif coma
cil
probar la siguiente propiedad de la esperanza condicional: E( E(X | F2 ) | F1 ) =
E(X | F1 ). Sea Fn una ltracin dada. Usando la identidad anterior demostrao
remos que la sucesin de variables aleatorias dada por Xn = E(X | Fn ) es una
o
164
7.4. Ejemplos
martingala. Es claro que cada una de estas variables es integrable y por denicin
o
de esperanza condicional el proceso es adaptado a la ltracin. Adems
o
a
E(Xn+1 | Fn ) = E(E(X | Fn+1 ) | Fn ) = E(X | Fn ) = Xn .
Martingala de la urna de Polya. Suponga que una urna contiene inicialmente
una bola blanca y una bola negra. Un experimento consiste en escoger una bola al
azar y regresarla a la urna junto con otra bola del mismo color. Este experimento
se repite varias veces.
Sea Xn el n mero de bolas blancas en la urna despus
u
e
del n-simo ensayo. Es claro que X0 = 1, y que dese
pus del n-simo ensayo hay n + 2 bolas en la urna.
e
e
Adems 1 Xn n + 1, y por lo tanto E|Xn | < .
a
Las probabilidades de transicin son
o
k
,
n+2
n+2k
= k | Xn = k) =
.
n+2
P (Xn+1 = k + 1 | Xn = k) =
Figura 7.1:
P (Xn+1
Observe que se puede escribir Xn+1 = Xn + Yn+1 , en

donde Yn+1 es una variable aleatoria que toma el valor +1 cuando se escoge una
bola blanca en la extraccin n + 1, y el valor 0 cuando la bola escogida es negra,
o
por lo tanto
E(Xn+1 | Xn ) = Xn + (0)
n + 2 Xn
Xn
n+3
+ (1)
=
Xn .
n+2
n+2
n+2
Este clculo demuestra que el proceso Xn no es una martingala. Sin embargo, si se

a
dene Mn = Xn /(n + 2), lo cual representa la fraccin de bolas blancas en la urna
o
despus de la n-sima extraccin, entonces se tiene que
e
e
o
E(Mn+1 | Fn ) = E(
Xn+1
Xn
| Fn ) =
= Mn .
n+3
n+2
Es decir, hemos comprobado que el proceso Mn es una martingala. Se modica

el resultado si la conguracin inicial de la urna es distinta a la considerada? Se
o
modica el resultado si en lugar de agregar una bola adicional se agregan r bolas
del mismo color?
Cap
tulo 7. Martingalas
7.5.
165
Una aplicacin: Estrategias de juego

o
Considere nuevamente una sucesin de variables aleatorias independientes 1 , 2 , . . .

o
que adems son idnticamente distribuidas y tales que P ( = +1) = 1/2 y P ( =
a
e
1) = 1/2, y con ltracin natural {Fn }n1 . Considere la suma Xn = 1 + + n ,
o
es decir, Xn es una martingala que representa el total de ganancias en una serie de
n apuestas justas de una unidad monetaria. Suponga ahora que el monto de cada
apuesta no es uno, sino una cantidad an para la n-sima apuesta. Supondremos que
e
an es una variable aleatoria que el jugador determina a partir de la informacin
o
de las n 1 apuestas previas, y por lo tanto es una variable Fn1 -medible, es
decir, se trata de un proceso predecible. A la coleccin de variables aleatorias
o
{a1 , a2 , . . .} con esta caracter
stica se le llama una estrategia de juego. Bajo una
de estas estrategias, el capital del jugador despus de la n-sima apuesta es ahora
e
e
An = a1 1 + + an n , que es Fn -medible. Bajo la hiptesis de que la estrategia
o
de juego consta de variables aleatorias acotadas, se cumple que el proceso An es
integrable y cumple adems la propiedad de martingala pues
a
E(An+1 | Fn ) =
=
=
=
=
E(An + an+1 n+1 | Fn )

An + an+1 E(n+1 | Fn )
An + an+1 E(Xn+1 Xn | Fn )
An + an+1 (E(Xn+1 | Fn ) Xn )
An .
Esto quiere decir que bajo cualquier estrategia de juego, el proceso de ganancias An
es una martingala siempre y cuando el proceso original Xn lo sea. Este resultado
es importante saber para los apostadores pues quiere decir que no existe una estrategia de juego que convierta un juego justo en un juego favorable o desfavorable al
jugador. El mismo anlisis demuestra que si el proceso original Xn es una submara
tingala o supermartingala y la estrategia de juego consta de variables aleatorias
no negativas y acotadas, entonces el proceso An sigue siendo una submartingala o
supermartingala.
7.6.
Procesos detenidos
Sea Xn un proceso estocstico adaptado a una ltracin Fn , y sea un tiempo

a
o
de paro respecto de la misma ltracin. En ocasiones es necesario considerar un
o
166
7.6. Procesos detenidos
proceso de la forma X n , en donde n = m

n{, n}. A este tipo de procesos se
les llama procesos detenidos, por ejemplo, suponga que = k, entonces
X n =
Xn
Xk
si n k,
si n > k.
Es decir, como funcin del parmetro n el proceso se vuelve constante a partir del
o
a
tiempo aleatorio . No es dif comprobar que n es tambin un tiempo de paro.
cil
e
Medibilidad y adaptabilidad de X n . Las variables del proceso detenido son
efectivamente variables aleatorias y el proceso mismo es adaptado a la misma ltracin pues para cualquier n mero real x, y para cada n mero natural n,
o
u
u
n
(X n x) =
k=1
( = k) (Xk x) ( > n) (Xn x).
La expresin del lado derecho es claramente un elemento de Fn . Si el proceso

o
original es integrable, entonces el proceso detenido es tambin integrable pues
e
E|X n |
= E( |X | 1( n) ) + E( |Xn | 1( >n) )
n
k=1
n
k=1
E( |Xk | 1( =k) ) + E( |Xn | 1( >n) )

E|Xk | + E|Xn | < .
Por ejemplo, considere que Xn es la martingala del juego de apuestas. Suponga que
el jugador decide dejar de jugar cuando pierda todo su capital o cuando consigue
ganar el doble de su capital inicial. El momento aleatorio en el que ocurre alguno
de estos dos eventos es un tiempo de paro . El capital del jugador en cualquier
tiempo n puede expresarse como X n .
Ejercicio. Sea Xn un proceso adaptado a la ltracin Fn , y sea un tiempo de
o
paro a tiempo discreto que adems es nito, es decir, P ( < ) = 1. Demuestre
a
que X es una variable aleatoria.
Demostraremos a continuacin que una martingala detenida sigue siendo martino
gala.
Proposicin. Si Xn es una martingala, submartingala o supermartingala, y es
o
un tiempo de paro respecto de la misma ltracin, entonces el proceso detenido
o
X n tambin lo es.
e
Cap
tulo 7. Martingalas
167
Demostracin. Hemos demostrado antes que el proceso detenido es adaptado e

o
integrable. Resta demostrar la propiedad de martingala. El caso submartingala y
supermartingala se obtienen modicando adecuadamente la pen ltima igualdad en
u
el siguiente anlisis.
a
n
E(X (n+1) | Fn ) =
k=1
n
=
k=1
n
E(Xk 1( =k) | Fn ) + E(Xn+1 1( >n) | Fn )

Xk 1( =k) + E(Xn+1 | Fn ) 1( >n)
Xk 1( =k) + Xn 1( >n)
k=1
7.7.
X n
Una aplicacin: La estrategia martingala

o
Uno de los varios signicados del tmino martingala, y que parece ser el original,
e
establece que una martingala es una estrategia de juego en la cual un jugador
apuesta sucesivamente en cada lanzamiento de una moneda honesta del siguiente
modo: Inicialmente apuesta una unidad monetaria. En caso de perder, dobla el
monto de la apuesta para el siguiente lanzamiento. En caso de ganar, vuelve a
apostar una unidad monetaria en el siguiente lanzamiento. En la Figura 7.2 se
muestra una tabla con algunos resultados siguiendo esta estrategia de juego.
Bajo esta estrategia de juego resulta que, cada vez que el jugador acierta, se recupera de las prdidas anteriores e incluso incrementa su fortuna en una unidad
e
monetaria. En efecto, si el jugador pierde las primeras n apuestas y gana la apuesta
168
7.7. Una aplicacion: La estrategia martingala
Monto de la apuesta
Resultado del lanzamiento
Capital
1
x
-1
2
x
-3
4
x
-7
1
x
1
2
3
1
x
2
Figura 7.2:
n + 1, entonces su capital al tiempo n + 1 es
n1
1 21 22 2n1 +
n apuestas perdidas
2n
apuesta n + 1 ganada
=
=
=
2k + 2n
k=0
1 2n
+ 2n
12
(1 2n ) + 2n
1.
De esta manera si el jugador pudiera mantener esta estrategia de juego tendr una
a
unidad ganada por cada acierto que haya conseguido. Parece ser una estrategia
segura de ganar, sin embargo, veamos cunto, en promedio, podr ser su dcit
a
a
e
justo antes de recuperarse, es decir, calcularemos E(X 1 ), en donde es el tiempo
de paro en el que el jugador acierta por primera vez. Puede comprobarse que este
tiempo de paro es nito casi seguramente, es decir, P ( < ) = 1. De hecho, con
probabilidad uno, el jugador tendr eventualmente un xito a n cuando sus proa
e
u
babilidades de acertar fueran peque as. Como hemos visto, despus de n apuestas
n
e
consecutivas perdidas el capital empe ado es 1 21 22 2n1 = 1 2n , y
n
la probabilidad de perder n apuestas sucesivas y ganar la apuesta n + 1 es 1/2n+1 .
Cap
tulo 7. Martingalas
169
Por lo tanto
E(X 1 ) =
=
=
n=1
E(X 1 | = n) P ( = n)
E(Xn1 ) P ( = n)
n=1
(1 2n1 )
n=1
1
2n
Es decir, se requerir de un capital promedio innito y poder apostar una innidad

a
de veces para llevar a cabo con xito esta estrategia, algo no muy factible en
e
trminos de dinero y tiempo.
e
7.8.
Teorema de paro opcional
Hemos observado antes que para una martingala Xn se cumple que E(Xn ) =
E(X1 ), para cualquier valor de n. Si adems se tiene un tiempo de paro , no
a
necesariamente es cierto que E(X ) = E(X1 ), e incluso el n mero E(X ) podr no
u
a
ser nito como en la estrategia de juego llamada martingala analizada en la seccin
o
anterior. El siguiente resultado establece condiciones bajo las cuales la variable X
tiene la misma esperanza que la martingala.
Teorema de paro opcional. Sea Xn una martingala y sea un tiempo de paro,
ambos respecto de una ltracin Fn . Suponga que
o
a) < c.s.
b) X es integrable.
c) l E(Xn 1( >n) ) = 0.
m
n
Entonces E(X ) = E(Xn ), para cualquier n 1.

Demostracin. La observacin importante es que para cualquier n 1,
o
o
X = X n + (X Xn ) 1( >n) .
170
7.8. Teorema de paro opcional
Tomando esperanza y usando el hecho de que X n es una martingala,

E(X ) =
=
E(X n ) + E((X Xn ) 1( >n) )

E(X1 ) + E(X 1( >n) ) E(Xn 1( >n) ).
Como el proceso original es una martingala, el primer sumando es E(Xn ). Haciendo n , el tercer sumando se anula por hiptesis. Usando la hiptesis de
o
o
integrabilidad de X y el teorema de convergencia dominada, el segundo sumando
converge tambin a cero pues es la cola de la serie convergente
e
E(X ) = E(
k=1
Xk 1( =k) ) =
E(Xk 1( =k) ).
k=1
Aplicacin: Tiempos medios de arribo en caminatas aleatorias.

o
Sea Xn una caminata aleatoria simtrica
e
Xn ()
simple sobre Z que inicia en cero, y sea
b
b 1 un entero cualquiera. Dena el tiempo de paro = m {n 1 : |Xn | = b},
n
es decir, es el primer momento en el
n
que la caminata alcanza, en valor absolu
to, el nivel b. Vase la Figura 7.3. Sabemos
e
2
que tanto el proceso Xn como Xn n son
martingalas. Suponiendo de manera preFigura 7.3:
liminar que las condiciones del teorema
de paro opcional se cumplen, se tiene que
2
2
2
E(X ) = E(X1 1) = E(X1 ) 1 = 0.
2
Por lo tanto, E( ) = E(X ) = b2 . La ultima igualdad se obtiene al observar
que |X | = b. En palabras, este resultado dice que la caminata aleatoria simtrie

ca simple que inicia en cero necesita, en promedio, b2 pasos para alcanzar, en
valor absoluto, el nivel b. Este resultado puede generalizarse del siguiente modo. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia
en el origen. Consideraremos el caso no simtrico, suponga P ( = +1) = p y
e
P ( = 1) = q = 1 p. Sean a y b dos enteros positivos jos. Dena el tiempo
de paro = m
n{n 1 : Xn = a Xn = b}. Usando una tcnica similar a la
o
e
171
Cap
tulo 7. Martingalas
presentada puede demostrarse que
ab
b
a+b
1 (p/q)b
E( ) =
pq
p q 1 (p/q)a+b
si p = q,
si p = q.
Vericaremos a continuacin la validez de las tres condiciones del teorema de paro

o
opcional para esta aplicacin.
o
a) Demostraremos que < c.s. El estrategia consiste en considerar bloques

sucesivos de 2N pasos en la caminata aleatoria. Observe que el evento ( = )
es el l
mite de la sucesin decreciente de eventos ( > 2N k), para k = 1, 2, . . ., y
o
que el evento ( > 2N k) est contenido en el evento Ninguno de los primeros k
a
bloques contiene unicamente valores +1. La utilidad de este evento mayor radica
en que es fcil calcular su probabilidad. Tenemos que

a
P ( = ) =
l P ( > 2N k)
m
l P (Ninguno de los primeros k bloques

m
contiene unicamente valores +1)
=
=
l (1 (1/2)2N )k
m
0.
2
2
b) Demostraremos ahora que E(|X |) < . Como X = N 2 , se tiene que
2
E(|X |)
N 2 + E( )
N2 +
k P ( = k)
k=0
N2 +
2N
(2N k + j) P ( = 2N k + j)
k=0 j=1
2N
N2 +
N 2 + (2N )
<
(2N (k + 1)) P ( > 2N k)
k=0 j=1
2
k=0
(k + 1) (1 (1/2)2N )k
172
7.9. Algunas desigualdades
2
c) Finalmente vericaremos que E((Xn n)1( >n) ) 0, cuando .
2
E(|Xn n|1( >n))
2
E(Xn 1( >n) ) + E(n1( >n) )
N 2 P ( > n) + E( 1( >n) ).
La sucesin de eventos ( > n) es montona decreciente y por lo tanto convergente,

o
o
su l
mite es el evento ( = ) que tiene probabilidad cero. El primer sumando por
lo tanto se hace peque o cuando n crece. Como E( ) < , la sucesin de variables
n
o
1( >n) es tambin decreciente y consta de variables aleatorias integrables cuyo
e
l
mite es cero c.s. El segundo sumando por tanto tambin converge a cero.
e
7.9.
Algunas desigualdades
Proposicin. (Desigualdad maximal de Doob.) Sea Xn una submartingala

o
no negativa y dena Xn = mx{X1 , . . . , Xn }. Entonces para cualquier > 0,

a
P (Xn ) E(Xn 1(Xn ) ).
Demostracin. Para cada n natural dena el tiempo de paro

o
= n m
n{1 k n : Xk }.
Es decir, es el primer momento hasta n en el que el proceso alcanza o rebasa el
valor . Si tal evento nunca ocurre, entonces = n. Como Xn es una submartingala
y 1 n, se tiene que E(Xn ) E(X ). Observe que si ocurre el evento
(Xn ), entonces X , y si ocurre (Xn < ), entonces = n. Por lo tanto

E(Xn )
E(X )
= E(X 1(Xn ) ) + E(X 1(Xn <) )
P (Xn ) + E(Xn 1(Xn <) ).
Es decir,
P (Xn )
E(Xn ) E(Xn 1(Xn <) )
= E(Xn 1(Xn ) ).
Cap
tulo 7. Martingalas
173
Proposicin. (Desigualdad maximal de Doob en L2 .) Sea Xn una subo
martingala no negativa y cuadrado integrable. Para Xn = mx{X1 , . . . , Xn } se

a
tiene que
2
E(|Xn |2 ) 4 E(Xn ).
Demostracin. El segundo momento de una variable aleatoria no negativa X puede

o
expresarse, cuando existe, de la siguiente forma
E(X 2 ) = 2
x P (X > x) dx.
Usando esta expresin, la primera desigualdad maximal, el teorema de Fubini y

o
despus la desigualdad de Cauchy-Schwarz se tiene que
e
E(|Xn |2 )
= 2
0
= 2
x P (Xn > x) dx
E(Xn 1(Xn x) ) dx.
Xn dP ) dx
(Xn x)
Xn
= 2
Xn
= 2
dx dP
0
Xn Xn dP
= 2E(Xn Xn )
2
Por lo tanto,
E(|Xn |2 )
E|Xn |2
E|Xn |2
2
Elevando al cuadrado se obtiene el resultado.
E|Xn |2 .
E|Xn |2 .
174
7.10.
7.10. Convergencia de martingalas
Convergencia de martingalas
Sea Xk un proceso adaptado a la ltracin Fk , y sean a < b dos n meros reales.

o
u
Consideraremos que n es un n mero natural cualquiera. Dena la sucesin creciente
u
o
de tiempos de paro
1
2
3
4
= m {k 1 : Xk > b},
n
= m {k > 1 : Xk < a},

n
= m {k > 2 : Xk > b},
n
= m {k > 3 : Xk < a},
n
.
.
.
Si alguno de los conjunXk ()

tos se alados es vac o
n
o
bien cuando k n, para
b
alguna k, se dene k =
n. De esta forma se tiea
ne la sucesin 1 2
o
n. Una de tales sucesiones se muestra en la
k
Figura 7.4, en donde se
1
2
3
4
5
6
presenta una trayectoria
Figura 7.4:
del proceso con sus valores unidos por una l
nea
continua para una mejor visualizacin. Nos interesa contar el n mero de cruces
o
u
de arriba hacia abajo, que las trayectorias del proceso realizan sobre el intervalo
[a, b]. En la grca se muestran tres cruces de este tipo, los cuales se encuentran
a
remarcados en la trayectoria.
Observe que antes del valor n y para valores impares en el sub
ndice de , el
proceso se encuentra arriba de b en ese momento, mientras que para valores pares
del sub
ndice, el proceso se encuentra por abajo del nivel a, es decir, entre los
tiempos 2k1 y 2k el proceso realiza un cruce de arriba hacia abajo.
El n mero de cruces completos, de arriba hacia abajo, que el proceso realiza sobre
u
el intervalo [a, b] antes del tiempo n es el mximo entero k tal que 2k < n, y se
a
175
Cap
tulo 7. Martingalas
denota por Dn [a, b], es decir,
Dn [a, b] = mx {k 1 : 2k < n}.
a
Si el conjunto de cruces es vac se dene Dn [a, b] = 0. La letra D usada para

o,
denotar este n mero proviene del trmino en ingls downcrossing. Observe que para
u
e
e
cada n, la funcin Dn [a, b] : {0, 1, . . .} es una variable aleatoria pues para cada
o
entero k, el conjunto (Dn [a, b] k) = (2k < n) es medible. De esta manera se tiene
la sucesin montona de variables aleatorias D1 [a, b] D2 [a, b] , y tomando
o
o
n , es convergente al n mero total de cruces
u
D[a, b] = sup {k 1 : 2k < }.
En la demostracin que se presenta a continuacin sobre la convergencia de subo
o
martingalas se hace uso de este n mero de cruces.
u
Proposicin. Sea Xn una submartingala. Entonces
o
E(Dn [a, b])
1
1
E(Xn b)+
( sup E|Xn | + |b| ).
ba
ba n
Demostracin. Dena la sucesin de eventos Ak = (k < n). Por la monoton de

o
o
a
los tiempos de paro denidos antes se tiene que A1 A2 Eventualmente
los elementos de esta sucesin son el conjunto vac pues no pueden efectuarse
o
o
demasiados cruces en un tiempo limitado n. Observe adems que cuando ocurre
a
el evento A2k1 el proceso al tiempo 2k1 se encuentra por arriba de b, mientras
que cuando ocurre A2k , el proceso al tiempo 2k se encuentra por abajo de a. A
continuacin usaremos la propiedad de submartingala aplicada a los tiempos de
o
paro 2k1 2k . Tenemos entonces que E(X2k1 ) E(X2k ), es decir,
X2k1 dP
X2k dP.
Separando ambas regiones de integracin como = A2k1 Ac

o
2k1 ,
X2k1 dP +
A2k1
Ac
2k1
X2k1 dP
X2k dP +
A2k1
Ac
2k1
X2k dP.
176
7.10. Convergencia de martingalas
Ahora observe que sobre el conjunto Ac

2k1 , se cumple que 2k1 = 2k = N .
Por lo tanto, la segunda y cuarta integral coinciden y podemos omitirlas de esta
desigualdad. A adiendo la constante b, esto lleva al siguiente resultado:
n
A2k1
(X2k1 b) dP
A2k1
(X2k b) dP
=
A2k
(X2k b) dP +
(a b)P (A2k ) +
A2k1 \A2k
A2k1 \A2k
(X2k b) dP
(Xn b) dP.
Por lo tanto
P (A2k )
1
ba
1
ba
A2k1 \A2k
A2k1 \A2k
(Xn b) dP
(Xn b)+ dP
Como P (A2k ) = P (2k < n) = P (Dn [a, b] k),

n
E(Dn [a, b]) =

k=1
n
P (Dn [a, b] k)
P (A2k )
k=1
1
ba
k=1
A2k1 \A2k
(Xn b)+ dP
1
E(Xn b)+ .
ba
Para la ultima desigualdad se hace uso del hecho de que las diferencias A2k1 \A2k
son conjuntos ajenos. La segunda desigualdad se sigue de las estimaciones (Xn

b)+ |Xn b| |Xn | + |b|.
Ahora estamos en condiciones de probar que toda submartingala acotada en media
es convergente.
177
Cap
tulo 7. Martingalas
Teorema de convergencia de submartingalas de Doob. Sea Xn una

submartingala tal que supn E|Xn | < . Entonces existe una variable aleatoria
integrable X tal que
l Xn = X c.s.
m
n
Demostracin. Vericaremos primero que la convergencia de tal sucesin de vao

o
riables aleatorias es equivalente a la condicin: D[a, b] < casi seguramente,
o
para cualesquiera n meros a < b. Sea y considere la sucesin numrica
u
o
e
X1 (), X2 (), . . . cuyo n mero de cruces es denotado por D[a, b](). Demostrareu
mos que esta sucesin es convergente si, y slo si, D[a, b]() < , para cualesquiera
o
o
a < b.
() Suponga que la sucesin es convergente pero que D[a, b]() = para alg n
o
u
par de n meros a y b tales que a < b. Entonces
u
l inf Xn () a < b l sup Xn ().
m
m
n
Esto contradice la hiptesis de que la sucesin es convergente.

o
o
() Suponga ahora que D[a, b]() < para cualesquiera a < b. Suponga que la
sucesin no es convergente. Entonces existen a1 < b1 tales que
o
l inf Xn () a1 < b1 l sup Xn ().
m
m
n
Entonces, en particular, para este par de n meros reales se tiene que U [a1 , b1 ]() =
u
, lo cual contradice la hiptesis inicial.
o
Resta demostrar que con probabilidad uno, D[a, b] < . Para llegar a esta conclusin es suciente probar que E(D[a, b]) < , pero ello es consecuencia del teorema
o
de convergencia montona y la ultima proposicin pues
o
o
E(D[a, b])
l E(Dn [a, b])

m
1
(sup E|Xn | + |b|) < .
ba n
La integrabilidad del l
mite X se sigue del lema de Fatou,
E|X| = E(l inf |Xn |) l inf E|Xn | sup E|Xn | < .

m
m
n
178
7.11. Representacion de martingalas
Como toda martingala es una submartingala, y toda supermartingala se convierte en una submartingala a travs de un cambio de signo, se tiene que el teorema
e
anterior es vlido en cualquiera de los tres casos. Es decir, toda martingala, suba
martingala o supermartingala acotada en media es convergente casi seguramente,
y su l
mite es una variable aleatoria integrable.
La demostracin presentada sobre la convergencia de submartingalas es la prueba
o
original de Doob de 1940. En [14] pueden encontrarse algunos otros mtodos altere
nativos de demostracin. Como hemos mencionado antes, las submartingalas son
o
procesos que en promedio tienden a crecer, de modo que en este caso hemos encontrado una cota superior para el n mero promedio de cruces hacia abajo, E(Dn [a, b]).
u
En algunos textos, por ejemplo [4], se enuncia y prueba el mismo resultado para
supermartingalas, procesos que, en promedio, tienden a decrecer.
7.11.
Representacin de martingalas
o
En esta seccin demostraremos que toda martingala que cumple la condicin de

o
o
ser uniformemente integrable puede escribirse en trminos de una esperanza condie
cional. Antes de enunciar el resultado explicaremos la condicin de integrabilidad
o
uniforme para un proceso.
Integrabilidad uniforme. Puede comprobarse que una variable aleatoria X es
integrable si, y slo si, para cada > 0 puede encontrarse un n mero M > 0 tal
o
u
que
(|X|>M)
|X| dP < .
Considere ahora una sucesin innita de variables aleatorias integrables X1 , X2 , . . .

o
Para cada > 0 puede encontrarse entonces una sucesin de n meros reales Mn > 0
o
u
tales que
(|Xn |>Mn )
|Xn | dP < .
Cuando la sucesin Mn no depende de n, es decir, cuando sea una sucesin constano

o
te, se dice que la sucesin de variables aleatorias es uniformemente integrable. Es
o
evidente que la integrabilidad uniforme es ms fuerte que la simple integrabilidad
a
Cap
tulo 7. Martingalas
179
de las variables de un proceso. Tenemos entonces la siguiente denicin, la cual

o
ilustraremos despus con un par de ejemplos.
e
Denicin. Se dice que una sucesin de variables aleatorias integrables
o
o
X1 , X2 , . . . es uniformemente integrable si para cada > 0 existe un n meu
ro M > 0 tal que para toda n 1,
(|Xn |>M)
|Xn | dP < .
Ejemplo. Considere el espacio muestral = (0, 1) con la -lgebra los subconjuntos

a
de Borel de (0, 1), y como medida de probabilidad la medida de Lebesgue sobre
dicho intervalo. La sucesin de variables aleatorias dada por Xn = n 1(0,1/n) no es
o
uniformemente integrable pues para cualquier M > 0,
(|Xn |>M)
|Xn | dP =
1
0
si n > M,
si n M.
Ejemplo. Sea X una variable aleatoria integrable y sea Fn un ltracin. Demoso

traremos que la martingala Xn = E(X | Fn ) es uniformemente integrable. Como
|X| es integrable, tenemos que para cada > 0 existe > 0 tal que si P (A) < ,
entonces A |X| dP < . Adems, como |Xn | E(|X| | Fn ), tomando esperanzas y
a
para cualquier M > 0 se tiene que
E|X|
E|Xn |
(|Xn |>M)
|Xn | dP
M P (|Xn | > M ).
De modo que si se toma M > E(|X|)/, con > 0 arbitrario, entonces P (|Xn | >
180
M ) E(|X|)/M < . Por lo tanto

(|Xn |>M)
|Xn | dP
(|Xn |>M)
=
(|Xn |>M)
E(|X| | Fn ) dP
|X| dP
< .
La siguiente proposicin establece que la convergencia en media es una condicin

o
o
suciente para que se cumpla la propiedad de integrabilidad uniforme en un proceso.
Proposicin. Todo proceso que consta de variables aleatorias integrables y que
o
es convergente en media, es uniformemente integrable.
Demostracin. Suponga que X1 , X2 , . . . es una sucesin de variables aleatorias

o
o
integrables convergente en media a la variable aleatoria integrable X, es decir,
E|Xn X| 0. Esto es, para cada > 0 existe un natural N tal que para cualquier n > N , E|Xn X| < /2. Dado que el l
mite X es integrable, para cada > 0
existe > 0 tal que si P (A) < , entonces A |X| dP < /2. Tomando un valor de
> 0 ms peque o si es necesario se tiene adems que A |Xn | dP < , para cada
a
n
a
n = 1, . . . , N , cuando P (A) < . Por otro lado, para cualquier n 1,
E(|Xn |)
(|Xn |>M)
|Xn | dP M P (|Xn | > M ).
1
Es decir, P (|Xn | > M ) M E(|Xn |) si se toma M = 1 supn E((|Xn |). Tal
valor de M es nito pues como la sucesin converge en media, es acotada en media.

o
En particular y con el valor de M mencionado, lo anterior demuestra la integrabilidad uniforme de las variables Xn para valores de n menores o iguales a N . Para
el caso n > N se tiene que
(|Xn |>M)
|Xn | dP
(|Xn |>M)
(|Xn |>M)
|X| dP +
(|Xn |>M)
|Xn X| dP
|X| dP + E(|Xn X|)
+ = .
2 2
181
Cap
tulo 7. Martingalas
El siguiente resultado es un rec

proco de la proposicin anterior, slo que hay que
o
o
a adir la condicin de que el proceso sea una submartingala, en particular, una
n
o
martingala.
Proposicin. Toda submartingala uniformemente integrable es convergente en
o
media.
Demostracin. Sea {Xn : n 1} una submartingala uniformemente integrable. Heo

mos demostrado antes que en tales condiciones la submartingala es necesariamente
acotada en L1 , y por lo tanto satisface las condiciones del teorema de convergencia
de martingalas de Doob. Existe entonces una variable aleatoria integrable X tal que
Xn X c.s. Demostraremos que Xn X en media, es decir, que E|Xn X| 0.
Sea > 0 arbitrario. Debido a la hiptesis de integrabilidad uniforme, existe M > 0
o
tal que para toda n 1,
(|Xn X|>M)
|Xn X| dP <
.
3
Por otro lado, como la convergencia casi segura implica la convergencia en probabilidad se tiene que P (|Xn X| > /3) 0, cuando n , es decir, existe un
entero N tal que para n > N ,
P (|Xn X| > /3) <

,
3M
en donde M > 0 es la constante de la estimacin anterior. Entonces
o
E(|Xn X|) =
(|Xn X|>M)
|Xn X| dP
+
(/3<|Xn X|M)
+
(|Xn X|/3)
<
<
|Xn X| dP
|Xn X| dP
+ M P (|Xn X| > /3) + P (|Xn X| /3)

3
3
.
182
Finalmente se presenta el resultado que establece que toda martingala uniformemente integrable se puede escribir como una esperanza condicional.
Teorema de representacin de martingalas. Sea Xn una martingala unio
formemente integrable, con ltracin natural Fn , y teniendo a la variable X
o
como su l
mite en media. Entonces
Xn = E(X | Fn ).
Demostracin. Para cualquier m > n, E(Xm | Fn ) = Xn . Esto quiere decir que

o
para cualquier evento A en Fn ,
Xm dP =
A
Xn dP.
A
Entonces
|
Xn X dP | = |
Xm X dP |
|Xm X| dP
|Xm X| dP.
Por lo demostrado antes, el ultimo trmino converge a cero cuando m . Es
e
decir, para cualquier A en Fn , A Xn dP = A X dP . Esto signica que Xn =
E(X | Fn ) c.s.
La variable Xn = E(X | Fn ) puede interpretarse como una aproximacin de la
o
variable desconocida X cuando se cuenta con la informacin dada por la -lgebra
o
a
Fn . Conforme n crece, la informacin acerca de X aumenta a travs de la ltracin,
o
e
o
y en el l
mite se obtiene o reconstruye X.
Notas y referencias. El lector puede encontrar otras exposiciones introductorias
al tema de martingalas a tiempo discreto en Karlin y Taylor [19], y Lawler [23].
Para lecturas ms avanzadas pueden consultarse Revuz y Yor [29] y Tudor [38].
a
Cap
tulo 7. Martingalas
183
Joseph L. Doob (Estados Unidos 19102004).

Doob empez a tener inters por la ciencia desde peque o
o
e
n
cuando cursaba la escuela secundaria. Estuvo muy interesado en el funcionamiento del radio e incluso construy l
oe
mismo su propio equipo. Este inters suyo por la electrnie
o
ca y las comunicaciones se increment durante la prepao
ratoria obteniendo incluso una licencia para llevar a cabo
transmisiones por radio. Dado este inters en la electrnie
o
ca, Doob pens que la f
o
sica era el rea que deb estudiar
a
a
al ingresar a la universidad. Y as lo hizo al ingresar a la
universidad de Harvard en 1926. Sin embargo, despus de

e
Doob
un a o de estudios, se convenci que el curso que verdan
o
deramente disfrut fue el de clculo y sus aplicaciones. Para el segundo a o se
o
a
n
registr en cursos de matemticas. En 1930 obtuvo el grado de licenciatura de la
o
a
universidad de Harvard, y en 1931 obtuvo el grado de maestr bajo la supervisin
a
o
de J. L. Walsh en la misma universidad. En Junio de ese mismo ao se cas con
n
o
Elsie Field con quien tuvo tres ni os. Al a o siguiente, en 1932, obtuvo el grado
n
n
de doctorado con un trabajo de tesis sobre las funciones anal
ticas y sus valores de
frontera. Tiempo despus obtuvo un beca para trabajar en la teor de la probabie
a
lidad con H. Hotelling en la universidad de Columbia de 1934 a 1935. Al nal de
ese periodo fue contratado como profesor asociado en la universidad de Illinois en
1935, all fue donde desarroll su carrera como profesor hasta el a o de 1978 cuando
o
n
se jubil. Dentro de sus estudiantes de doctorado guran, entre otros, Paul Halmos
o
(1938), David Blackwell (1941), J. Laurie Snell (1951) y John Walsh (1966). El
trabajo de Doob se centra principalmente en la teor de la medida, la teor de la
a
a
probabilidad y las relaciones de sta ultima con la teor del potencial. En partie
a
cular, y profundizando parte del trabajo de Paul L`vy, durante los a os cuarentas
e
n
y cincuentas Doob desarroll la teor bsica de las martingalas y algunas de sus
o
a a
aplicaciones. En 1953 public su libro clsico Stochastic Processes, el cual fue reo
a
editado en 1990. En 1984 public Classical Potential Theory and its Probabilistic
o
Counterparts, reimpreso en 2001. En 1994, a la edad de 84 a os, public su ultimo
n
o
texto titulado Measure Theory. Doob fue miembro de las Academias de Ciencias
de los Estados Unidos y de Francia, presidi el Instituto de Estad
o
stica Matemtica
a
(IMS) en 1950, y la Sociedad Matemtica Norteamericana (AMS) de 1963 a 1964.
a
Recibi varios premios prestigiosos de su pa por la trascendencia y profundidad
o
s
de sus trabajos. Durante muchos a os de su vida Doob mantuvo la costumbre y el
n
gusto por organizar y realizar las famosas caminatas de los sbados por la tarde
a
junto a profesores universitarios, colegas y amigos, de la universidad de Illinois. A
peticin propia, las cenizas de los restos mortales de Doob fueron esparcidas por
o
184
sus compa eros en uno de sus sitios favoritos donde acostumbraba caminar junto
n
a sus amigos.
Fuente: Archivo MacTutor, Universidad de St. Andrews. Para una informacin
o
ms amplia sobre la vida y el trabajo de Doob vanse los trabajos de Bingham [2],
a
e
Burkholder y Protter [5], y Snell [32], [33].
Cap
tulo 7. Martingalas
185
Ejercicios
Filtraciones
89. Sea Xt un proceso adaptado a la ltracin Ft , y sea Gt la ltracin natural
o
o
del proceso. Demuestre que para cada t 0 se cumple Gt Ft . Esto signica
que la ltracin natural es la ltracin ms peque a respecto de la cual un
o
o
a
n
proceso es adaptado.
Tiempos de paro
90. Demuestre que la condicin en la denicin de tiempo de paro a tiempo
o
o
discreto ( n) Fn es equivalente a la condicin ( = n) Fn .
o
91. Sea un tiempo de paro con valores en {1, 2, . . . , } y sea n un n mero
u
natural. Demuestre que n es tambin un tiempo de paro respecto de la
e
misma ltracin.
o
92. Sean 1 y 2 dos tiempos de paro respecto de la misma ltracin. Demuestre
o
que las siguientes variables aleatorias tambin son tiempos de paro.
e
a) 1 2
b) 1 2 .
93. Sean 1 y 2 dos tiempos de paro respecto de la misma ltracin. Demuestre
o
que 1 + 2 es tambin un tiempo de paro.
e
94. Sea Xn un proceso a tiempo discreto, y sea x un n mero real cualquiera
u
dentro del espacio de estados del proceso. Dena las variables aleatorias: 1
como el primer momento en el que el proceso toma el valor x, 2 como el
segundo momento en el que el proceso toma el valor x, etc. Demuestre que
1 2 son tiempos de paro.
95. Sea un tiempo de paro y sea c 1 una constante. Demuestre que c es
tiempo de paro.
96. Sea 1 , 2 , . . . una sucesin innita de tiempos de paro. Demuestre que tanto
o
supn n como n n son tiempos de paro.
nf
186
Martingalas
97. Sea Xn una martingala a tiempo discreto. Demuestre que la propiedad de
martingala E(Xm | Fn ) = Xn , para cualquier m n, es equivalente a la
condicin E(Xn+1 | Fn ) = Xn , para cada n 1. Enuncie y demuestre la
o
equivalencia anloga al caso submartingala y supermartingala.
a
98. Demuestre que
a) toda martingala es una submartingala y una supermartingala.
b) todo proceso que es al mismo tiempo una submartingala y una supermartingala es una martingala.
99. Demuestre que si Xt es una martingala, submartingala o supermartingala,
entonces para cualquier t > s 0, se cumple que E(Xt ) = E(Xs ), E(Xt )
E(Xs ) E(Xt ) E(Xs ), respectivamente.
o
100. Sea X una variable aleatoria integrable, y sea {Ft }t0 una ltracin a tiempo
o
continuo. Demuestre que Xt = E(X | Ft ) es una martingala.
101. Sea {Xn : n 1} un proceso adaptado a la ltracin {Fn }n1 . Demuestre
o
que si A es un evento F1 -medible, entonces el proceso Xn 1A es una martingala, submartingala o supermartingala cuando Xn lo es.
102. Sea M una constante. Demuestre que
a) si Xn es una submartingala, entonces mx {Xn , M } es una submartingala.
a
b) si Xn es una supermartingala, entonces m {Xn , M } es una supermartinn
gala.
103. Sean Xt and Yt dos martingalas, submartingalas o supermartingalas respecto
de la misma ltracin. Demuestre que el proceso aXt + bYt + c es tambin una
o
e
martingala, submartingala o supermartingala, respectivamente, en donde a, b
y c son constantes. Para el caso submartingala y supermartingala se necesita
suponer adems que a y b son no negativos. En particular esto demuestra
a
que la suma de dos martingalas es una martingala, y que el conjunto de
martingalas respecto de la misma ltracin y denidas en un mismo espacio
o
de probabilidad es un espacio vectorial.
104. Sea Xn un proceso integrable. Demuestre que el proceso dado por Xn =

mx{X1 , . . . , Xn } es una submartingala.
a
Cap
tulo 7. Martingalas
187
105. Sean Xt y Yt dos martingalas o submartingalas respecto de la misma ltracin. Demuestre que el proceso mx {Xt , Yt } es una submartingala.
o
a
106. Sean Xt y Yt dos martingalas o supermartingalas respecto de la misma ltracin. Demuestre que el proceso m {Xt , Yt } es una supermartingala.
o
n
107. Martingala de de Moivre. Sea 1 , 2 , . . . una sucesin de variables aleatorias
o
independientes cada una de ellas con la misma distribucin dada por P ( =
o
+1) = p y P ( = 1) = q = 1 p. Sea Xn = 1 + + n . Demuestre
que Yn = (q/p)Xn es una martingala respecto de la ltracin generada por el
o
proceso Xn .
108. Sea Xt una martingala respecto de una ltracin Ft . Demuestre que el proo
ceso tambin es una martingala respecto de su ltracin natural. En general
e
o
el rec
proco es falso.
109. Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes con esperano
za cero. Dena X0 = 0 y Xn = 1 + +n , para n 1. Se ha demostrado que
el proceso Xn es una martingala respecto de la ltracin Fn = {1 , . . . , n }.
o
Suponga ahora que las variables tienen segundo momento nito. Demues2
tre que el proceso Xn n es tambin una martingala respecto de la misma
e
ltracin si, y slo si, las variables tienen varianza uno.
o
o
110. Martingala producto. Sean 1 , 2 , . . . variables aleatorias independientes con
esperanza unitaria. Demuestre que el proceso Xn = 1 n es una martingala respecto de su ltracin natural.
o
111. Sea Xn una submartingala. Demuestre que los siguientes procesos tambin
e
son submartingalas.
+
a) Xn = mx {Xn , 0}.
a
b) Xn = m {Xn , 0}.
n
c) |Xn |. Suponga, en este caso, que Xn es una martingala.

112. Martingala del juego de apuestas. Sea 1 , 2 , . . . una sucesin de variables
o
aleatorias independientes e idnticamente distribuidas. Dena Xn = 1 +
e
+ n . Demuestre que el proceso
a) Xn nE() es una martingala, suponiendo E() < .
2
b) Xn nE( 2 ) es una martingala, suponiendo E( 2 ) < .
188
2
113. Sea Xt una martingala cuadrado integrable. Demuestre que Xt es una submartingala respecto de la misma ltracin. Vea el siguiente ejercicio para una
o
generalizacin de este resultado.
o
114. Sea Xt una martingala tal que E|Xt |p < para cada t 0, con p
1. Demuestre que |Xt |p es tambin una submartingala. Sugerencia: Use la
e
desigualdad de Jensen. En el siguiente ejercicio se generaliza este resultado.
115. Sea Xt un proceso integrable, y sea g una funcin convexa tal que g(Xt ) es
o
integrable. Demuestre que bajo cualquiera de las siguientes condiciones se
cumple que el proceso g(Xt ) es una submartingala.
a) cuando Xt es una martingala.
b) cuando Xt es una submartingala y g es una funcin no decreciente.
o
116. Sea 1 , 2 , . . . una sucesin de variables aleatorias independientes tales que
o
2
E() = k , Var() = k < , y con ltracin natural Fn . Demuestre que el
o
siguiente proceso es una martingala respecto de esta ltracin.
o
n
2
Xn = (
k=1
(k k ) )2
2
k .
k=1
117. Sea {n : n 0} un proceso integrable y adaptado a la ltracin Fn . Deo

muestre que el siguiente proceso es una martingala.
n
Xn =
k=1
( k E(k | Fk1 ) ).
118. Sea Xt un proceso de Poisson de parmetro > 0. Demuestre que los sia
guientes procesos son martingalas.
a) Yt = (Xt t)2 t.
b) Yt = exp( Xt + t (1 e ) ), en donde R.
Teorema de paro opcional
119. Sea Xn = 1 + + n una caminata aleatoria simple sobre Z y que inicia
en el origen. Suponga P ( = +1) = p y P ( = 1) = q = 1 p. Sean a y b
Cap
tulo 7. Martingalas
189
dos enteros positivos jos. Dena el tiempo de paro = m

n{n 1 : Xn =
a Xn = b}. Demuestre que
o
si p = q,
ab
b
a + b 1 (p/q)b
E( ) =
si p = q.
pq
p q 1 (p/q)a+b
Integrabilidad uniforme
120. Demuestre que una variable aleatoria X es integrable si, y slo si, para cada
o
> 0 existe M > 0 tal que
(|X|>M)
|X| dP < .
Cap
tulo 8
Movimiento Browniano
El fenmeno natural que ahora se conoce como movimiento Browniano tiene una
o
interesante historia. El primer registro, aunque no as la primera observacin de l,
o
e
data de 1828 cuando el botnico Robert Brown [3] report en una revista cient
a
o
ca
que granos de polen suspendidos en una cierta substancia y vistos a travs de un
e
microscopio, realizaban un movimiento irregular e inexplicable. Este extra o mon
vimiento fue objeto de mucha discusin y controversias a partir de su divulgacin
o
o
en la comunidad cient
ca. Se llevaron a cabo diversos experimentos y se formularon muy diversas hiptesis con la intencin de dar una explicacin satisfactoria
o
o
o
al fenmeno observado [10]. Hoy en d este movimiento es entendido y explicado
o
a
a travs de las m ltiples colisiones aleatorias de las molculas del l
e
u
e
quido con los
granos de polen. Llegar a tal aseveracin tom muchos a os pues debi aceptarse
o
o
n
o
la teor cintico molecular de la materia, y el seminal trabajo de Einstein de 1905
a
e
sobre este fenmeno [10] contribuy decididamente a tal tarea.
o
o
En este cap
tulo se presenta una introduccin al modelo matemtico para el movio
a
miento Browniano. Se trata del ejemplo ms importante de un proceso de Markov
a
a tiempo continuo y espacio de estados tambin continuo.
e
8.1.
Denicin
o
Las observaciones reales del movimiento de granos de polen a travs del microscoe
pio sugieren que el fenmeno satisface las siguientes propiedades:
o
191
192
8.1. Definicion
Movimiento irregular
de un grano de polen.
Robert Brown
(Escocia 17731858)
Figura 8.1:
a) Es continuo.
b) Parece tener desplazamientos independientes en intervalos de tiempo disjuntos.
c) Debido al gran n mero de colisiones del grano de polen con las molculas ciru
e
cundantes en longitudes de tiempo no peque os, y teniendo en cuenta el teorema
n
central del l
mite, los incrementos pueden modelarse como variables aleatorias Gausianas.
La estructura matemtica de un proceso estocstico a tiempo continuo {Bt : t 0},
a
a
ha resultado adecuada para modelar este tipo de fenmenos. La variable Bt puede
o
representar la posicin de la part
o
cula al tiempo t. La denicin matemtica, en el
o
a
caso unidimensional, es la siguiente.
193
Cap
tulo 8. Movimiento Browniano
Denicin. Un movimiento Browniano unidimensional de parmetro 2 es

o
a
un proceso estocstico {Bt : t 0} con valores en R que cumple las siguientes
a
propiedades.
1. B0 = 0 c.s.
2. Las trayectorias t Bt son continuas.
3. El proceso tiene incrementos independientes.
4. La variable Bt Bs tiene distribucin N (0, 2 (t s)), para cualesquiera
o
tiempos 0 s < t.
Las condiciones que aparecen en esta denicin son consecuencia directa de las
o
observaciones del fenmeno f
o
sico, pero eso no garantiza que tal objeto matemtico
a
exista. En 1923 el matemtico norteamericano Norbert Wiener demostr la existena
o
cia y unicidad de un proceso con tales condiciones. Es por esta razn que a menudo
o
a este proceso tambin se le llama proceso de Wiener y se le denota tambin por
e
e
{Wt : t 0}. En sentido estricto, el movimiento Browniano es el fenmeno f
o
sico,
mientras que su modelo matemtico es el proceso de Wiener, aunque es com n
a
u
llamar a ambas cosas por el mismo nombre: movimiento Browniano.
Demostraremos a continuacin que las condiciones (3) y (4) de la denicin anterior
o
o
son equivalentes a solicitar que las distribuciones nito dimensionales del proceso
sean las siguientes.
5. Para cualesquiera tiempos 0 < t1 < < tn , y para cualesquiera conjuntos de Borel A1 , . . . , An de R, se cumple que
P (Bt1 A1 , . . . , Btn An ) =
A1
An
p(t1 , 0, x1 )
p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) dxn dx1 ,

en donde
2
2
1
p(t, x, y) =
e(yx) /2 t .
2t
2
(8.1)
194
8.1. Definicion
Demostracin. ( (3),(4) (5) )

o
() Dada la funcin de densidad del vector (X1 , . . . , Xn ), la funcin del densidad
o
o
del vector de sumas parciales (X1 , X2 + X1 , . . . , Xn + + X1 ) es
fX1 ,X2 +X1 ,...,Xn ++X1 (x1 , x2 , . . . , xn )
= fX1 ,X2 ,...,Xn (x1 , x2 x1 , . . . , xn xn1 ).
Aplicaremos esta frmula cuando las variables X son los incrementos del
o
movimiento Browniano. Es decir, si X1 = Bt1 y Xk = Btk Btk1 , entonces
Btk = Xk + + X1 . Por lo tanto,
fBt1 ,Bt2 ,...,Btn (x1 , x2 , . . . , xn )
= fBt1 ,Bt2 Bt1 ,...,Btn Btn1 (x1 , x2 x1 , . . . , xn xn1 )
= fBt1 (x1 ) fBt2 Bt1 (x2 x1 ) fBtn Btn1 (xn xn1 )
= p(t1 , 0, x1 ) p(t2 t1 , 0, x2 x1 ) p(tn tn1 , 0, xn xn1 )

= p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ).
() De acuerdo a la propiedad (5), para 0 s < t, la funcin de densidad del

o
vector (Bs , Bt ) es fBs ,Bt (x, y) = p(s, 0, x) p(t s, x, y). Aplicando la frmula
o
general para la funcin de densidad de la diferencia de dos variables aleatorias,
o
fY X (u) = fX,Y (x, u + x) dx, se obtiene
fBt Bs (u) =
=
=
=
p(s, 0, x) p(t s, x, u + x) dx
2
2
2
1
1
ex /2s
eu /2 (ts) dx
2 2 (t s)
2 2 s
2
2
1
eu /2 (ts)
2 2 (t s)
p(t s, 0, u),
es decir, Bt Bs tiene distribucin N(0, ts). Ahora, dado un vector (X1 , . . . , Xn )

o
con funcin de densidad absolutamente continua fX1 ,...,Xn (x1 , . . . , xn ), la funo
cin de densidad del vector de las diferencias (X1 , X2 X1 , . . . , Xn Xn1 )
o
es
fX1 ,X2 X1 ,...,Xn Xn1 (x1 , x2 , . . . , xn )
= fX1 ,X2 ,...,Xn (x1 , x2 + x1 , . . . , xn + xn1 + + x1 ).
Cap
195
Aplicando esta frmula se tiene que

o
fBt1 ,Bt2 Bt1 ,...,Btn Btn1 (x1 , x2 , . . . , xn )
= fBt1 ,Bt2 ,...,Btn (x1 , x2 + x1 , . . . , xn + xn1 + + x1 )
= p(t1 , 0, x1 )p(t2 t1 , x1 , x2 + x1 )
. . . p(tn tn1 , x1 + + xn1 , x1 + + xn )
= p(t1 , 0, x1 )p(t2 t1 , 0, x2 ) p(tn tn1 , 0, xn )
= fBt1 (x1 )fBt2 Bt1 (x2 ) fBtn Btn1 (xn ).
Esto demuestre que las variables Bt1 , Bt2 Bt1 , . . . , Btn Btn1 son independientes cada una de ellas con distribucin normal con los parmetros
o
a
mencionados.
A la funcin p(t, x, y) denida por (8.1) se le llama funcin de probabilidad de trano

o
sicin del movimiento Browniano de parmetro 2 . En particular, la probabilidad
o
a
de que un movimiento Browniano que inicia en x se encuentre en el conjunto A
despus de t unidades de tiempo es
e
p(t, x, A) =
p(t, x, y) dy.
A
Hemos hecho nfasis en la propiedad (5) pues sta tiene la ventaja de que proe
e
porciona una expresin expl
o
cita para la probabilidad del conjunto de trayectorias
Brownianas que cumplen las condiciones de encontrarse en el conjunto A1 al tiempo
t1 , estar en el conjunto A2 al tiempo posterior t2 , etctera.
e
La condicin de que el movimiento Browniano inicie en el origen no es absolutao
mente necesaria. Pueden considerarse trayectorias Brownianas que inicien en un
x
punto x cualquiera a travs del proceso x + Bt , el cual se denota a veces por Bt
e
para recordar la posicin de origen.
o
Ejercicio. Demuestre que para cualquier t = s, P (Bt > Bs ) = 1/2.
Ejercicio. Sea Bt un movimiento Browniano. Demuestre que los siguientes procesos
tambin son movimientos Brownianos.
e
a) Wt = Bt .
196
8.2. Propiedades basicas
b) Wt = 1 Bc2 t , con c constante positiva.

c
c) Wt = t B1/t , con W0 = 0.
d) Wt = Bt+t0 Bt0 , con t0 0 jo.
Se dice que un movimiento Browniano es estndar cuando 2 = 1. A travs del
a
e
cambio de variable = 2 t un movimiento Browniano no estndar puede convertira
se en uno estndar. Entonces, a menos que se especique lo contrario y sin prdida
a
e
de generalidad, a partir de ahora supondremos que el movimiento Browniano es
estndar, es decir, Bt Bs tiene distribucin N (0, t s).
a
o
8.2.
Propiedades bsicas
a
Tenemos entonces que para el movimiento Browniano estndar cada variable aleaa
2
toria Bt tiene distribucin N (0, t) y por lo tanto E(Bt ) = 0 y Var(Bt ) = E(Bt ) = t.
o
2
En particular E(Bt Bs ) = t s, para 0 s < t. El movimiento Browniano f
sico
real se presenta en tres dimensiones y es completamente errtico. En la Figura 8.2
a
puede apreciarse una posible trayectoria Browniana cuando sta se proyecta sobre
e
una de sus coordenadas. Esta grca fue generada en computadora y es slo una
a
o
aproximacin del modelo matemtico. En la grca pueden apreciarse algunas peo
a
a
que as partes en donde aparentemente el comportamiento es lineal y suave, ello no
n
sucede en el modelo terico.
o
Bt ()
Figura 8.2:
Integrando directamente puede comprobarse que la probabilidad de transicin
o
Cap
197
p(t, x, y) cumple la ecuacin de Chapman-Kolmogorov,

o
p(t + s, x, y) =
p(t, x, u) p(s, u, y) du,
y tambin cumple la ecuacin de difusin, o ecuacin de calor,

e
o
o
o
p
1 2p
=
.
t
2 x2
Usando esta probabilidad de transicin demostraremos a continuacin que el moo
o
vimiento Browniano cumple la propiedad de Markov en el sentido dbil.
e
Proposicin. El movimiento Browniano es un proceso de Markov.
o
Demostracin. Para cualesquiera tiempos 0 t1 < t2 < < tn < tn+1 , y para
o
cualquier evento A en R,
P (Btn+1 A | Bt1 = x1 , . . . , Btn = xn )
p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn ) p(tn+1 tn , xn , A)
=
p(t1 , 0, x1 ) p(t2 t1 , x1 , x2 ) p(tn tn1 , xn1 , xn )
= p(tn+1 tn , xn , A)
p(tn , 0, xn )
= p(tn+1 tn , xn , A)
p(tn , 0, xn )
= P (Btn+1 A | Btn = xn ).
Puede demostrarse que cumple adems la propiedad fuerte de Markov: Si es un

a
tiempo de paro respecto de la ltracin del movimiento Browniano, entonces el
o
proceso Bt+ B es tambin un movimiento Browniano y es independiente de la
e
-lgebra F = {A F : A ( t) Ft para cada t 0}. En particular,
a
tomando = t0 constante, el proceso Bt+t0 Bt0 es un movimiento Browniano.
Como una consecuencia del hecho de que los incrementos de este proceso son independientes, demostraremos a continuacin la propiedad de martingala.
o
198
8.2. Propiedades basicas
Proposicin. El movimiento Browniano es una martingala continua.

o
Demostracin. Claramente cada variable aleatoria Bt es integrable y el proceso es

o
adaptado a su ltracin natural. Para cualesquiera tiempos s, t 0 tales que s < t,
o
E(Bt | Fs ) =
=
=
=
E(Bt Bs + Bs | Fs )
E(Bt Bs | Fs ) + E(Bs | Fs )
E(Bt Bs ) + Bs
Bs .
El siguiente resultado no trivial se debe a Paul L`vy y establece condiciones que

e
caracterizan de manera unica al movimiento Browniano en trminos de la propiedad
e
de martingala.
Teorema de caracterizacin de Paul L`vy. Un proceso {Xt : t 0} es un
o
e
movimiento Browniano si, y slo si, tiene trayectorias continuas, empieza en
o
2
cero, y tanto Xt como Xt t son martingalas.
El movimiento Browniano Bt cumple claramente cada una de las condiciones men2
cionadas, aunque posiblemente no sea tan evidente que el proceso Bt t sea tambin
e
una martingala, ello no es dif de vericar y se deja como ejercicio. La parte fuercil
te de esta caracterizacin radica en que estas condiciones denen a un movimiento
o
Browniano.
Ejercicio. Use la caracterizacin de Paul L`vy para demostrar nuevamente que los
o
e
siguientes procesos son movimientos Brownianos.
a) Wt = Bt .
b) Wt = 1 Bc2 t , con c > 0 constante.
c
c) Wt = t B1/t , con W0 = 0.
d) Wt = Bt+t0 Bt0 ,
con t0 0 jo.
Cap
199
El movimiento Browniano como l

mite de una caminata aleatoria. Considere una caminata aleatoria simtrica simple sobre Z que inicia en el origen, es
e
decir, sea Xn = 1 + + n , en donde 1 , 2 , . . . son variables aleatorias independientes e idnticamente distribuidas tales que P ( = +1) = P ( = 1) = 1/2.
e
Es decir, E() = 0 y Var() = E( 2 ) = 1. Suponga que la unidad en la variable
tiempo es ahora de longitud t = 1/N , con N entero. El objetivo es hacer t cada
vez ms peque o. Para lograr una versin discreta del movimiento Browniano es
a
n
o
necesario hacer tambin un cambio la escala en el tama o de los saltos, ahora
e
en
n
no sern unitarios sino de longitud t, ms adelante explicaremos las razones de
a
a
esta eleccin. Para cada n mero natural n dena ahora la caminata aleatoria
o
u
Wnt = t 1 + + t n ,
una de cuyas trayectorias aparece en la Figura 8.3. Dada la simetr de la caminata
a
sigue cumplindose que E(Wnt ) = 0. La razn por la que se ha tomado esa
e
o
nueva escala en el tama o de los saltos es que con ello se logra similitud con
n
el movimiento Browniano al cumplirse tambin que para cualquier valor de n,
e
Var(Wnt ) = nt Var() = nt. Puede demostrarse que cuando t 0 esta
caminata tiende a un proceso a tiempo continuo con trayectorias continuas. El
proceso l
mite resultante es el movimiento Browniano estndar.
a
3 t
2 t
2t
3t
4t
5t
6t
7t
8t
2 t
Figura 8.3:
Esta aproximacin del movimiento Browniano como l
o
mite de una caminata aleatoria sugiere un mecanismo para simular trayectorias Brownianas por computadora:
Se escoge t peque o y N el n mero de puntos que se deseen gracar. Se genen
u
ran entonces N valores independientes de la variable con distribucin uniforme
o
en el conjunto {1, +1}, y se graca la sucesin de puntos (kt, Wkt ), para
o
k = 0, 1, . . . , N . En la prctica suelen generarse valores continuos para Y con disa
200
8.3. Propiedades de las trayectorias
tribucin normal estndar. Este es el mecanismo seguido para generar la grca de

o
a
a
la Figura 8.2 y las otras trayectorias Brownianas que aparecen en este cap
tulo.
Difusin. Suponga que se coloca una part
o
cula al azar en la recta real de acuerdo
a una densidad de probabilidad f (y). Suponga ahora que esta part
cula se mueve
siguiendo un movimiento Browniano estndar unidimensional. Entonces la densidad
a
de probabilidad de la posicin de la part
o
cula despus de t unidades de tiempo es
e
la funcin f (t, x) dada por
o
f (t, x) =
f (y) p(t, y, x) dx =
f (y) p(t, x, y) dx,
en donde para la segunda igualdad se ha hecho uso de la identidad p(t, y, x) =

p(t, x, y), pero ahora esta ultima expresin adquiere una interpretacin interesante
o
o
pues corresponde a la esperanza de la variable f (Bt ) para un movimiento Browx
niano que inicia en x, es decir, f (t, x) = E(f (Bt )). A esta funcin tambin se le
o
e
x
denota por E (f (Bt )), y puede demostrarse que satisface la ecuacin
o
1 2
f (t, x) =
f (t, x).
t
2 x2
8.3.
Propiedades de las trayectorias
Antes de establecer las siguientes propiedades, recordemos la denicin de variacin

o
o
de una funcin. Sea a = t0 < t1 < < tn = b una particin del intervalo [a, b],
o
o
y dena t = mx {|ti+1 ti | : i = 0, . . . , n 1}. La variacin de una funcin
a
o
o
g : [a, b] R es el n mero
u
n1
l sup
m
t0
i=0
|g(ti+1 ) g(ti )|.
Cuando este n mero es nito se dice que la funcin tiene variacin nita en dicho
u
o
o
intervalo. Anlogamente, la variacin cuadrtica es
a
o
a
n1
l sup
m
t0
i=0
|g(ti+1 ) g(ti )|2 .
Variacin y variacin cuadrtica. Demostraremos a continuacin que sobre

o
o
a
o
un intervalo de tiempo acotado [a, b], casi todas las trayectorias del movimiento
Cap
201
Browniano tienen variacin no acotada, esto es,

o
n1
l sup
m
t0
i=1
|Bti+1 Bti | = ,
c.s.
Esta propiedad es particularmente importante pues tiene como consecuencia el

hecho de que no se pueden usar las trayectorias Brownianas como funciones integradoras en el sentido de Riemann-Stieltjes. El hecho de que se desee denir
alg n tipo de integral respecto del movimiento Browniano ser claro en el siguiente
u
a
cap
tulo cuando se estudian ecuaciones diferenciales estocsticas. Por otro lado dea
mostraremos tambin que la variacin cuadrtica del movimiento Browniano sobre
e
o
a
[a, b] es nita, de hecho, es la longitud del intervalo en cuestin.
o
Proposicin. (Variacin cuadrtica del movimiento Browniano). La variacin
o
o
a
o
cuadrtica de una trayectoria del movimiento Browniano sobre el intervalo
a
[a, b] es la longitud del intervalo, casi seguramente, es decir,
n1
l sup
m
t0
i=1
|Bti+1 Bti |2 = b a,
c.s.
Demostracin. (Convergencia en media cuadrtica). Si ti denota el incremento

o
a
202
8.3. Propiedades de las trayectorias
ti+1 ti , y Bi es la diferencia Bti+1 Bti , entonces

E|
i
(Bi )2 (b a)|2
= E(
i
=E
i,j
(Bi )2 (b a))2
(Bi )2 (Bj )2 2(b a)E
4
E(Bi ) +
i
i=j
3(ti )2 +
=
i
i=j
2(ti ) + (
i
E(Bi ) E(Bj )2 2(b a)
(ti ) + (b a)2
ti tj (b a)2
(Bi )2 + (b a)2
ti )2 (b a)2
2(ti )
i
2(b a) mx ti 0.
a
0i<n
Proposicin. (Variacin del movimiento Browniano). La variacin de una trao

o
o
yectoria del movimiento Browniano sobre el intervalo [a, b] es innita, casi seguramente, es decir,
n1
l sup
m
t0
i=1
|Bti+1 Bti | = ,
c.s.
Demostracin. Para cada n natural sea Pn la particin uniforme del intervalo [a, b]
o
o
en n subintervalos, es decir cada incremento ti = ti+1 ti tiene longitud (ba)/n.
Sea nuevamente Bi = Bti+1 Bti . Entonces se tiene la estimacin
o
n1
i=0
n1
|Bi |2 ( mx |Bi | )
a
i
i=0
|Bi |.
(8.2)
Cap
203
Usando el hecho de que toda sucesin de variables aleatorias convergente en el

o
sentido L2 tiene una subsucesin convergente casi seguramente, existe entonces
o
una subsucesin de particiones uniformes Pnk tales que
o
l
m
nk 1
i=0
|Bi |2 = b a,
c.s.
Por otro lado, como las trayectorias del movimiento Browniano son continuas casi
seguramente, se tiene que
l ( mx |Bi | ) = 0,
m
a
c.s.
Substituyendo los ultimos dos resultados en (8.2) se obtiene que, respecto de la
subsucesin de particiones,
o
l
m
nk 1
i=0
|Bi | = ,
c.s.
De donde se sigue que el l

mite superior es innito c.s.
No diferenciabilidad. Demostraremos a continuacin que para cualquier tiempo
o
t0 0 jo, con probabilidad uno la trayectoria t Bt no es diferenciable en t0 .
Ms adelante se enuncia sin demostracin un resultado ms fuerte acerca de esta
a
o
a
no diferenciabilidad.
Proposicin. Sea t0 0 jo. Con probabilidad uno, el movimiento Browniano
o
Bt no es diferenciable en t0 .
Demostracin. Debido a que Bt+t0 Bt0 es tambin un movimiento Browniano,

o
e
es suciente demostrar la no diferenciabilidad de Bt en t = 0. Demostraremos que
con probabilidad uno, para cada n mero natural n existe t en el intervalo [0, 1/n2]
u
tal que | 1 Bt | > n. Esta propiedad implica que Bt no es diferenciable en t = 0. Para
t
cada n mero natural n dena el evento
u
1
An = { | Bt | > n,
t
para alg n t [0, 1/n2] },

u
204
y observe que A1 A2 Entonces

P (An )
=
=
=
1
B1/n4 | > n )
1/n4
1
P ( |B1/n4 | > 3 )
n
1
2
P ( |n B(1/n4 )(1) | > )
n
1
P ( |B1 | > ) 1 cuando n .
n
P( |
Hemos usado el hecho de que 1 Bc2 t es tambin un movimiento Browniano para

e
c
cualquier c > 0 constante. Por lo tanto P (A1 ) P (A2 ) 1. Es decir,
P (An ) = 1 para cualquier n 1.
Es decir, para cada t0 0, el conjunto de trayectorias t Bt que no son diferenciables en t0 tiene probabilidad uno. Este conjunto de trayectorias puede cambiar
para cada valor de t0 , aunque cada una de ellas tenga probabilidad uno. El siguiente
resultado, ms fuerte y que se enuncia sin demostracin, asegura que con probaa
o
bilidad uno no hay diferenciabilidad en ning n punto. Observe que el conjunto de
u
tiempos t0 0 no es numerable y por lo tanto la armacin no se sigue de manera
o
obvia del resultado anterior.
Proposicin. Con probabilidad uno, el movimiento Browniano Bt no es difereno
ciable en ning n t 0.
u
Las trayectorias Brownianas son entonces ejemplos de funciones, otrora consideradas extra as, que son continuas pero no diferenciables en ning n punto. La grca
n
u
a
de la Figura 8.2 muestra una de tales trayectorias, el zigzagueo incesante del movimiento de la part
cula no permite la diferenciabilidad de su trayectoria en ning n
u
punto. Este tipo de resultados son los que justican el buscar desarrollar una teor
a
de la diferenciabilidad de funciones un poco ms amplia que la proporcionada por
a
el clculo diferencial tradicional.
a
8.4.
Movimiento Browniano multidimensional
El movimiento Browniano en R puede extenderse a Rn de la siguiente forma.
205
Cap
Denicin. Sean B1 (t), . . . , Bn (t) n movimientos Brownianos independientes

o
unidimensionales. El movimiento Browniano en Rn es el proceso
B(t) = (B1 (t), . . . , Bn (t)).
En la Figura 8.4 puede apreciarse una simulacin de una trayectoria Browniana

o
en R2 . Este proceso puede denirse de manera alternativa mediante los siguientes
postulados:
1. B(0) = 0 casi seguramente.
2. Las trayectorias t B(t) son continuas.
3. El proceso tiene incrementos independientes.
4. Para cualesquiera tiempos 0 s < t, el vector B(t) B(s) tiene distribucin
o
normal con media cero y matriz de covarianzas la matriz diagonal
2
(t s)1
0
..
Var(B(t) B(s)) =
.
.
2
(t s)n
Es decir, la funcin de densidad del vector B(t) B(s) es

o
f (x1 , . . . , xn )
1
2(t
2
s)1
ex1 /2(ts)1
1
2(t
2
s)n
exn /2(ts)n .
Cuando los valores de los parmetros son todos uno, se dice nuevamente que
a
el movimiento Browniano es estndar, y la funcin de densidad de B(t) B(s)
a
o
adquiere la expresin compacta
o
f (x1 , . . . , xn ) =
2
1
e||x|| /2(ts) ,
n/2
(2(t s))
en donde ||x|| = x2 + + x2 . Como en el caso unidimensional, puede considen

1
rarse un movimiento Browniano que inicie en x Rn , y entonces para cualquier
206
t > 0 la probabilidad de transicin o densidad de B(t) es

o
2
1
e||yx|| /2t ,
n/2
(2t)
p(t, x, y) =
que nuevamente cumple al ecuacin de Chapman-Kolmogorov

o
p(t + s, x, y) =
p(t, x, u) p(s, u, y) du.

Rn
B2 (t)
B1 (t)
Figura 8.4:
El proceso de Bessel. Sea B(t) un movimiento Browniano en Rn . El proceso
2
2
de Bessel es el proceso dado por R(t) = ||B(t)|| = (B1 (t) + + Bn (t))1/2 . Es
decir, R(t) es la distancia Euclideana que guarda un movimiento Browniano ndimensional respecto al origen al tiempo t. Se trata de un proceso con valores
en [0, ), y que evidentemente tiene trayectorias continuas. Se le llama a veces
movimiento Browniano radial. Puede demostrarse [1] que es un proceso de Markov y
que la funcin de probabilidades de transicin p(t, x, y) puede escribirse en trminos
o
o
e
de las funciones de Bessel.
Ecuacin de calor en dominios acotados. Vamos a enunciar sin demostracin
o
o
un resultado que nos llevar a una aplicacin del movimiento Browniano. Considere
a
o
una regin abierta y acotada D de Rn con frontera D, y suponga que la funcin
o
o
u(t, x) representa la temperatura en el punto x D al tiempo t 0. La evolucin
o
en el tiempo de esta funcin est dada por la ecuacin de calor
o
a
o
d
u(t, x) = u(t, x),
t
2
en donde es el operador Laplaciano, y d es una constante positiva. Suponga
adems que se tiene una temperatura inicial u(0, x) = f (x) para x D, y la
a
Cap
207
condicin de frontera u(t, x) = g(x) para x D. Sea x un punto cualquiera en

o
x
x
D y dena el tiempo = {t > 0 : Bt D}, en donde Bt es un movimiento
nf
Browniano de parmetro 2 = d, y que inicia en x. La solucin a esta ecuacin de
a
o
o
x
calor con las condiciones mencionadas se puede expresar en trminos de Bt de la
e
siguiente forma
x
x
u(t, x) = E( f (Bt )1( >t) + g(B )1( t) ).
(8.3)
Conforme t la estructura de la ecuacin de calor hace que la solucin u(t, x)
o
o
se aproxime a una funcin u(x), la solucin estacionaria de la ecuacin de calor,
o
o
o
que satisface
u(x) = 0,
para x D, y conservando la condicin de frontera u(x) = g(x) para x D, es
o
decir,
x
E( g(B ) ) si x D,
u(x) = l u(t, x) =
m
t
g(x)
si x D.
Aplicacin: El problema de la ruina del jugador con trayectorias Brownianas. Suo
ponga que un movimiento Browniano unidimensional inicia en el punto x dentro
del intervalo (a, b), con 0 a < b < . Cul es la probabilidad de que el proceso
a
tome el valor a antes que b? Una trayectoria Browniana que cumple tal condicin
o
se muestra en la Figura 8.5(a). Este es el problema de la ruina del jugador estudiado antes slo que ahora el capital del jugador cambia continuamente siguiendo
o
un movimiento Browniano. Llegar primero al valor a se interpreta como ruina, y
el juego es justo pues los saltos del movimiento Browniano tienen esperanza nula.
x
Dena nuevamente el tiempo de paro = {t > 0 : Bt = a Bt = b}. Nos
nf
o x
interesa encontrar
x
x
u(x) = P (B = a) = E(1{a} (B )).
Por lo anterior, esta funcin cumple la ecuacin u (x) = 0, para a < x < b, con
o
o
condiciones de frontera u(a) = 1 y u(b) = 0. La solucin es u(x) = (b x)/(b a),
o
cuya grca se muestra en la Figura 8.5(b).
a
8.5.
El principio de reexin
o
Este resultado tiene una interpretacin geomtrica fcil de entender. Considere

o
e
a
un movimiento Browniano que inicia en a, y sea b otro n mero tal que b > a.
u
208
8.5. El principio de reflexion
u(x)
Bt
1
b
x
a
t
(a)
(b)
Figura 8.5:
El conjunto de trayectorias que tocan la l

nea horizontal y = b en alg n tiempo
u
s [0, t], se descompone en dos conjuntos ajenos que son simtricos uno del otro y
e
tienen idntica probabilidad: aquel conjunto de trayectorias que nalizan en alg n
e
u
punto arriba de b, y el conjunto de trayectorias que terminan por abajo de b. En
la Figura 8.6 se ilustra esta situacin. Una vez que una trayectoria toca el punto
o
b, es igualmente probable que nalice al tiempo t arriba de b o abajo de b. Este
resultado adquiere su nombre debido a esta propiedad de reexin y facilita el
o
clculo de algunas probabilidades, en particular, lo usaremos para demostrar la
a
propiedad de recurrencia puntual del movimiento Browniano unidimensional.
a
Proposicin. (Principio de reexin). Sea Bt un movimiento Browniano que
o
o
empieza en a, y sea b > a. Para cualquier t > 0,
a
a
P ( Bs b para alg n s [0, t] ) = 2 P (Bt b).
u
(8.4)
Demostracin. Sea el primer momento en el que el movimiento Browniano es

o
a
igual a b, es decir, sea = {t 0 : Bt = b}. Esta variable aleatoria puede
nf
Cap
209
Xt ()
b
a
Figura 8.6:
tomar el valor innito si el evento mencionado nunca ocurre. Entonces
a
P ( Bs b para alg n s [0, t] ) =
u
=
P ( t)
P ( < t) + P ( = t)
P ( < t).
a
a
La ultima igualdad se debe a que P ( = t) P (Bt = b) = 0, por ser Bt una
variable aleatoria continua. Por otro lado,

a
P (Bt b) =
=
a
P (Bt b | t) P ( t)
a
P (Bt b 0 | < t) P ( < t),
(8.5)
en donde, por la propiedad de Markov, y condicionada a la ocurrencia del evento

a
a
a
( < t), la variable Bt b = Bt B tiene distribucin N(0, (t ) 2 ). Por lo
o
a
tanto P (Bt b 0 | < t) = 1/2. Substituyendo en (8.5) se obtiene
a
P ( < t) = 2 P (Bt b).
210
8.6.
En esta seccin encontraremos la probabilidad de que el movimiento Browniano

o
eventualmente regrese a su posicin de origen. Veremos que la respuesta depende
o
de la dimensin del proceso. Empezaremos estudiando una propiedad general en el
o
caso unidimensional.
Proposicin. Sea Bt un movimiento Browniano unidimensional que inicia en
o
cero y considere dos tiempos t1 y t2 tales que 0 < t1 < t2 . Entonces
2
t1
P ( Bt = 0 para alg n t [t1 , t2 ] ) = 1 arctan
u
.
t2 t1
Demostracin. Para cualquier u > 0, mediante argumentos de traslacin y por el

o
o
principio de reexin se tiene que
o
P ( Bt = 0 para alg n t [t1 , t2 ] | Bt1 = u )
u
= P ( Bt u para alg n t [0, t2 t1 ] )
u
= P ( Bt u para alg n t [0, t2 t1 ] )
u
= 2 P (Bt2 t1 u).
Por simetr se tiene la misma probabilidad para el caso u < 0. Entonces

a
P ( Bt = 0 para alg n t [t1 , t2 ] )
u
=
=
=4
P ( Bt = 0 para alg n t [t1 , t2 ] | Bt1 = u ) p(t1 , 0, u) du

u
2 P ( Bt2 t1 u ) p(t1 , 0, u) du
=4
0
=4
0
P ( Bt2 t1 u ) p(t1 , 0, u) du
p(t2 t1 , 0, v) dv) p(t1 , 0, u) du

1
2(t2 t1 )
ev
/2(t2 t1 )
2
1
eu /2t1 dv du.
2t1
211
Cap
Haciendo el cambio de variable (x, y) = (u/ t1 , v/ t2 t1 ) se obtiene la expresin

o
equivalente
4
0
x t1 / t2 t1
1 (x2 +y2 )/2

e
dy dx.
2
Ahora se resuelve esta integral usando coordenadas polares. La regin de inteo

gracin {(x, y) : x 0 y y x t1 / t2 t1 } que se muestra en la Figura 8.7,
o
corresponde a la regin polar {(r, ) : r > 0 y (arctan t2t1 1 , /2)}. Por lo

o
t
tanto la probabilidad buscada es
/2
1 r2 /2
e
r dr d
2
0
t2 t1
t1
1
= 4 ( arctan
)
2
t2 t1 2
2
t1
= 1 arctan
.
t2 t1
t
arctan 1
y=
er
/2
dr
t1
x
t2 t1
= arctan
t1
t2 t1
Figura 8.7:
Con ayuda de este resultado demostramos ahora la recurrencia puntual del movimiento Browniano unidimensional.
212
Proposicin. (Recurrencia puntual del mov. Browniano unidimensional). Con

o
probabilidad uno el movimiento Browniano unidimensional es recurrente puntual, es decir, regresa a su posicin de origen una innidad de veces casi seguo
ramente.
Demostracin. Haciendo t2 tender a innito en la frmula recin demostrada e

o
o
e
intercambiando el l
mite con la probabilidad, lo cual es vlido pues la sucesin de
a
o
eventos es creciente, se obtiene que para cualquier valor positivo de t1 ,
2
t1
P ( Bt = 0 para alg n t [t1 , ) ) = l (1 arctan
u
m
) = 1.
t2
t2 t1
Esto es, la probabilidad de que el movimiento Browniano unidimensional regrese
al cero para alg n tiempo t dentro del intervalo [t1 , ) es uno, sin importar la
u
magnitud de t1 . Ahora, una vez que regresa a cero, por la propiedad fuerte de
Markov, inicia en ese momento otro movimiento Browniano que eventualmente
regresar nuevamente a cero con probabilidad uno. De esta manera regresar a
a
a
cero una innidad de veces con probabilidad uno.
Esta propiedad de recurrencia signica que una trayectoria como la de la Figura 8.2
cruzar una innidad de veces el eje horizontal, casi seguramente. Puede uno tama
bin considerar que el movimiento inicia en un punto cualquiera x obtenindose
e
e
la misma propiedad de recurrencia al punto x. La siguiente conclusin es tambin
o
e
muy interesante: Hemos mencionado antes que el proceso Wt = tB1/t , con W0 = 0,
es tambin un movimiento Browniano. Ahora, dado que Bt es cero para una ine
nidad de valores de t en cualquier intervalo de la forma [t1 , ), se tiene entonces
que Wt es cero una innidad de veces dentro del intervalo (0, 1/t1 ). Es decir, en
cualquier vecindad de t = 0, las trayectorias del movimiento Browniano cruzan
el eje horizontal una innidad de veces, casi seguramente. Esta misma conclusin
o
puede obtenerse directamente de la frmula recin demostrada tomando t2 > 0 jo
o
e
y haciendo t1 0, es decir,
2
t1
P ( Bt = 0 para alg n t (0, t2 ] ) = l (1 arctan
u
m
) = 1.
t1 0
t2 t1
En el caso de dimensiones mayores la situacin es distinta.
o
Cap
213
Proposicin. Sea B(t) un movimiento Browniano n-dimensional que inicia en

o
el origen, y sea el disco D = {x Rn : ||x|| < r}, para alg n r > 0.
u
1. Cuando n = 2, con probabilidad uno el movimiento Browniano visita la
vecindad D en una innidad de tiempos no acotados. Esto es, el proceso
es recurrente por vecindades. Sin embargo no es recurrente puntual pues
la probabilidad de que regrese exactamente al punto de partida es cero.
2. Cuando n 3, el proceso es transitorio por vecindades, es decir, existe
una probabilidad positiva de que el proceso nunca regrese a la vecindad
del punto de partida.
Demostracin. Sean r1 y r2 dos radios tales que 0 < r1 < r2 , y dena la regin
o
o
A = {x Rn : r1 < ||x|| < r2 } como se muestra en la Figura 8.8. La frontera de A
es A = {x Rn : ||x|| = r1 o ||x|| = r2 }, y ||x|| = x2 + x2 .
1
2
r1
r2
Figura 8.8:
Suponga que el movimiento Browniano inicia en el origen y que en alg n tiempo
u
posterior se encuentra en un punto x dentro de la regin A. Dena la funcin f (x)
o
o
como la probabilidad de que el movimiento Browniano que parte de x llegue a la
circunferencia exterior {x Rn : ||x|| = r2 } antes que a la circunferencia interior
{x Rn : ||x|| = r1 }. Es decir, si se dene el tiempo de paro
= {t > 0 : B(t) D},
nf
214
entonces f (x) = P ( ||B( )|| = r2 | B(0) = x ). Esta funcin puede tambin escribirse
o
e
como
f (x) = E( g(B( )) | B(0) = x ),
en donde g(x) : A R es la funcin indicadora
o
g(y) =
si ||x|| = r2 ,
si ||x|| = r1 .
La funcin f (x) satisface

o
f (x) = 0,
(8.6)
con condiciones de frontera

1
si ||y|| = r2 ,
f (y) = g(y) =
si ||y|| = r1 .
Dada la simetr del movimiento Browniano, la funcin f (x) depende de x slo a

a
o
o
travs de la magnitud ||x||. Sea entonces f (x) = (||x||) para alguna funcin (r)
e
o
con r = ||x||. En este caso particular, conviene escribir al operador de Laplace en
coordenadas esfricas adquiriendo la expresin
e
o
=
=
d n1 d
(r
)
dr
dr
n1 d
d2
+
.
dr2
r dr
rn1
Por lo tanto, la ecuacin (8.6) se escribe

o
(r) +
n1
(r) = 0,
r
para r (r1 , r2 ),
y las nuevas condiciones de frontera son (r2 ) = 1 y (r1 ) = 0. La solucin general

o
de esta ecuacin es
o
c1 ln r + c2
si n = 2,
c1 r2n + c2
(r) =
si n 3,
con c1 y c2 constantes. Usando ahora las condiciones de frontera se obtiene

(||x||)
(||x||)
ln ||x|| ln r1
ln r2 ln r1
2n
r1 ||x||2n
2n
2n
r1 r2
si n = 2,
si n 3.
(8.7)
(8.8)
Cap
215
Estos resultados nos permitirn encontrar las probabilidades buscadas tomando

a
algunos l
mites sobre los radios r1 y r2 . Para el caso n = 2, la probabilidad de que
el movimiento Browniano que inicia en x nunca visite la bola de radio r1 alrededor
del cero es, por (8.7),
l
m P ( ||B( )|| = r2 antes que ||B( )|| = r1 | B(0) = x )
r2
= l
m
r2
= 0.
ln ||x|| ln r1
ln r2 ln r1
Es decir, la probabilidad de que el movimiento Browniano en R2 visite el disco de

radio r1 alrededor del origen es uno. Y regresar a dicho disco en una innidad de
a
tiempos no acotados. Este comportamiento se conoce con el nombre de recurrencia
por vecindades. Sin embargo, no se presenta la recurrencia puntual, es decir, la
probabilidad de que el movimiento Browniano en R2 regrese exactamente al punto
de origen es cero. Esto es consecuencia nuevamente de (8.7) al tomar el l
mite
cuando r1 0. Es decir, la probabilidad de que el proceso tome el valor (0, 0)
antes de que toque el c
rculo de radio r2 es
l P ( ||B( )|| = r1 antes que ||B( )|| = r2 | B(0) = x )
m
r1 0
= l ( 1
m
r1 0
= 0.
ln ||x|| ln r1
)
ln r2 ln r1
Ahora consideremos el caso n 3. La probabilidad de que el proceso que inicia en

x nunca visite el disco de radio r1 alrededor del cero es, por (8.8),
l
m P ( ||B( )|| = r2 antes que ||B( )|| = r1 | B(0) = x )
r2
2n
r1 ||x||2n
2n
2n
r2
r1 r2
r1 n2
=1(
)
||x||
> 0.
= l
m
Es decir, existe una probabilidad estrictamente positiva de que el proceso nunca

visite el disco de radio r1 alrededor del origen, cuando inicia en x. Este es el comportamiento transitorio del movimiento Browniano para dimensiones n 3. Expl
citamente, la probabilidad de un retorno exacto al origen es cero pues por (8.8), esta
216
probabilidad es
l P ( ||B( )|| = r1 antes que ||B( )|| = r2 | B(0) = x )
m
r1 0
= l (1
m
r1 0
= 0.
2n
r1 ||x||2n
2n
2n )
r1 r2
Notas y referencias
El lector puede encontrar una muy interesante y motivadora exposicin histrica
o
o
sobre el descubrimiento del movimiento Browniano en el excelente libro de Edward
Nelson [24]. Este libro se encuentra disponible en formato electrnico en la pgina
o
a
web del autor. Para otras primeras lecturas y mas resultados sobre el movimiento
Browniano pueden consultarse, por ejemplo, los textos de Karlin y Taylor [19],
Lawler [23], Nelson [24], y Tudor [38].
Cap
217
Norbert Wiener (USA 18941964).

Norbert Wiener fue ante todo un ni o prodigio. En 1903 a
n
la edad de 9 a os ingres a la preparatoria Ayer en Massan
o
chusetts, la cual concluy en 1906 para ingresar despus al
o
e
colegio Tufts en donde estudi matemticas con el apoyo y
o
a
asesor de su padre. En 1909 se gradu del colegio Tufts
a
o
a la edad 14 a os e ingres a la universidad de Harvard
n
o
para realizar estudios de posgrado en Zoolog Con ayuda
a.
de una beca ingres despus a la universidad de Cornell en
o
e
1910 en donde tom cursos de posgrado en matemticas y
o
a
losof pero su desempe o all no fue del todo satisfaca,
n
torio y su padre lo regres a Harvard para continuar sus

o
Wiener
estudios de losof Se gradu en Harvard a la edad de
a.
o
18 a os con una tesis sobre lgica matemtica bajo la direccin de Karl Schmidt.
n
o
a
o
Despus de Harvard viaj a Cambridge, Inglaterra, para estudiar junto a Bertrand
e
o
Russell y en donde asisti a algunos cursos dictados por G. H. Hardy. En 1914
o
viaj a Gottingen para estudiar ecuaciones diferenciales con David Hilbert. Reo
gres a los Estados Unidos dos d antes del inicio de la primera guerra mundial.
o
as
Muri en Estocolmo a la edad de 69 a os despus de sufrir un segundo ataque al
o
n
e
corazn. Una universidad en el Per lleva ahora su nombre.
o
u
Fuente: Archivo MacTutor, Universidad de St. Andrews.
218
Paul Pierre L`vy (Francia 18861971).

e
Paul L`vy naci dentro de una familia con tradicin mae
o
o
temtica. Su abuelo fue profesor de matemticas y su padre
a
a
estudi geometr y trabaj en la Ecole Polytechnique. De

o
a
o
peque o, L`vy asisti al Lyce Saint Louis en Paris, en
n
e
o
e
donde mostr ser un excelente estudiante, sobresaliendo y
o
ganando premios no slo en matemticas sino tambin en
o
a
e
Griego, f
sica y qu
mica. Ingres despus a la Ecole Polyo
e
technique y siendo all a n estudiante public su primer
u
o
art
culo en matemticas en 1905, el cual tocaba temas de
a
series convergentes. Despus de un a o de servicio militar,
e
n
L`vy
e
ingres en 1907 a la Ecole des Mines, y asisti a cursos de

o
o
matemticas en la Sorbonne. En 1910 concluy sus estudios en la Ecole des Mines,

a
o
y realiz a partir de entonces trabajos de investigacin en anlisis funcional que
o
o
a
le llevaron a obtener el grado de Docteur s Sciences en 1912 bajo el escrutinio
e
de E. Picard, H. Poincar y J. Hadamard. Trabaj como profesor en la Ecole des

e
o
Mines de Saint-Etienne en Paris de 1910 a 1913, y en la Ecole Nationale Suprieure

e
de Mines de 1914 a 1951. Tambin imparti clases en la Ecole Polytechnique de

e
o
1920 a 1959, a o en el que se jubil. En 1963 fue nombrado miembro honorario
n
o
de la London Mathematical Society, y en 1964 fue elegido miembro de la Acadmie
e
des Sciences. Paul L`vy realiz contribuciones importantes en la teor de la proe
o
a
babilidad, el anlisis funcional y las ecuaciones diferenciales parciales. Dentro de
a
sus textos publicados se encuentran Leons danalyse funtionelle (1922), Calcul des
c
probabilits (1925), Theorie de laddition des variables alatoires (1937), y Procese
e
sus stochastiques et mouvement Brownien (1948). Paul L`vy fue uno de los ms
e
a
grandes matemticos de su tiempo. Como cient
a
co fue un ejemplo de individualismo absoluto, era un investigador solitario que slo se preocupaba por plantearse
o
problemas matemticos de su inters y buscaba su solucin a travs de la reexin
a
e
o
e
o
interior. No participaba mayormente en los congresos internacionales excepto posiblemente hacia el nal de su vida. A menudo encontraba por si mismo resultados ya
conocidos, y otras veces descubr resultados importantes nuevos sin darles mucha
a
publicidad pues los cre ya conocidos. Paul L`vy fue un ejemplo de un hombre de
a
e
pensamiento de originalidad profunda, indiferente a las escuelas y mtodos establee
cidos, y quien no dudaba en lanzarse sobre nuevos caminos de pensamiento pues
no tem de ninguna manera a la soledad intelectual.
a
Cap
219
Ejercicios
Movimiento Browniano unidimensional
121. Sea Bt un movimiento Browniano de parmetro 2 . Demuestre que Wt =
a
Bt/2 es un movimiento Browniano estndar.
a
122. Sea = 0 una constante. Demuestre que si Bt es un movimiento Browniano
estndar, entonces los siguientes procesos son movimientos Brownianos de
a
parmetro 2 .
a
a) Wt = Bt .
b) Wt = B2 t .
123. Sea t0 > 0 jo y sea Bt es un movimiento Browniano estndar. Demuestre
a
que el proceso {Bt0 Bt0 t : 0 t t0 } es un movimiento Browniano en el
intervalo [0, t0 ]. Este es un movimiento Browniano con tiempo invertido.
124. Demuestre que la probabilidad de transicin p(t, x, y) del movimiento Browo
niano satisface la ecuacin de difusin
o
o
p
1 2p
=
.
t
2 y 2
125. Demuestre que la probabilidad de transicin p(t, x, y) del movimiento Browo
niano cumple la ecuacin de Chapman- Kolmogorov
o
p(t + s, x, y) =
p(t, x, u) p(s, u, y) du.
126. Sea Bt un movimiento Browniano estndar. Demuestre que

a
2|t s|
.
b) E(Bt Bs )2 = |t s|.
a) E|Bt Bs | =
c) E(Bs Bt ) = m
n{s, t}.
d ) (Bt , Bs ) =
s
, para 0 s < t.
t
220
127. Demuestre que el movimiento Browniano es una martingala respecto de su

ltracin natural.
o
2
128. Sea Bt un movimiento Browniano. Demuestre que Bt t es tambin una
e
martingala.
129. La martingala exponencial. Sea c una constante. Demuestre que el siguiente

proceso es una martingala,
Xt = exp ( cBt
c2
t ).
2
130. El puente Browniano en (0, 1). Sea Bt un movimiento Browniano unidimensional estndar. Demuestre que la distribucin condicional de la variable Bt ,
a
o
con t (0, 1), dado que B0 = 0 y B1 = 0, es
f (x) =
1
2 t(1 t)
ex
/2t(1t)
para < x < , es decir, Bt tiene distribucin condicional N(0, t(1 t)).
o
A este proceso condicionado se le conoce con el nombre de puente Browniano
en el intervalo (0, 1). El siguiente ejercicio generaliza este resultado.
131. Sea Bt un movimiento Browniano unidimensional estndar, y sean t1 y t2 dos
a
tiempos jos tales que 0 t1 < t2 . Demuestre que la distribucin condicional
o
de la variable Bt , con t (t1 , t2 ), dado que Bt1 = a y Bt2 = b, es N(, 2 )
con
t t1
= a+
(b a),
t2 t1
(t2 t)(t t1 )
2 =
.
t2 t1
132. Sea B(t) = (B1 (t), . . . , Bn (t)) un movimiento Browniano estndar en Rn , y
a
sea r > 0. Sea ||x|| = (x2 + +x2 )1/2 la norma Euclideana en Rn . Demuestre
1
n
que la funcin de densidad de ||B(t)|| es, para x > 0,
o
f (x) =
1
(n/2)
1
2
n/2
x2
t
n/21
2x x2 /2t
e
.
t
En particular, demuestre que para n = 2,

P ( ||B(t)|| x ) = 1 ex
/2t
Cap
tulo 9
Clculo estocstico
a
a
En este ultimo cap
tulo se presenta una peque a introduccin al clculo estocstico

n
o
a
a
de It. Vamos a denir la integral de It de un proceso estocstico respecto del
o
o
a
movimiento Browniano. Mostraremos adems el uso y aplicacin de la frmula de
a
o
o
It, y resolveremos algunos modelos sencillos de ecuaciones estocsticas.
o
a
9.1.
Integracin estocstica
o
a
El objetivo de esta seccin es presentar la denicin de la integral de It de un

o
o
o
proceso Xt respecto del movimiento Browniano, es decir, una integral de la forma
T
Xt dBt .
(9.1)
Este tipo de integrales no pueden denirse trayectoria por trayectoria, es decir,

como si fuera una integral de Riemann-Stieltjes de una funcin respecto de otra
o
funcin, pues en este caso la funcin integradora es una trayectoria del movimiento
o
o
Browniano que, como hemos visto antes, no tiene variacin nita. La justicacin
o
o
para desear denir este tipo de integrales ser evidente ms adelante cuando estua
a
diemos ecuaciones estocsticas basadas en este tipo de integrales. Denir la integral
a
de It a un nivel elemental nos conducir necesariamente a dejar sin demostracin
o
a
o
algunos resultados tcnicos. Daremos la denicin de integral estocstica en varios
e
o
a
pasos, primero para procesos simples y despus, por aproximacin, para procesos
e
o
ms generales.
a
221
222
9.1. Integracin estocstica

o
a
Hiptesis iniciales. Consideraremos como elementos iniciales un espacio de proo

babilidad (, F , P ), y un movimiento Browniano estndar unidimensional Bt , juna
to con su ltracin natural Ft . Consideraremos procesos con espacio parametral
o
el intervalo [0, T ], con T > 0 jo, y supondremos que el proceso Xt , visto como funcin X : [0, T ] R, es FT B[0, T ]-medible, en donde el trmino
o
e
FT B[0, T ] corresponde a la m
nima -lgebra generada por el espacio producto
a
FT B[0, T ]. Supondremos adems que el proceso es adaptado, es decir, para cada
a
t en el intervalo [0, T ], la variable aleatoria Xt es medible respecto de Ft .
El espacio L2 (P ) de variables aleatorias. Denotaremos por L2 (P ) al espacio vectorial de variables aleatorias X que son cuadrado integrables, es decir, que
cumplen la condicin
o
||X||L2 (P ) = (E |X|2 )1/2 < .
La funcin || ||L2 (P ) dene una norma en L2 (P ), es decir, es una funcin real

o
o
denida sobre este espacio lineal que cumple las siguientes cuatro condiciones:
a) ||X|| 0.
b) ||X|| = 0 X = 0 c.s.
c) ||X + Y || ||X|| + ||Y ||.
d) ||X|| = || ||X||, constante.
Se puede vericar que el espacio lineal L2 (P ) es completo respecto de esta norma,
es decir, es un espacio de Banach. Esto quiere decir que toda sucesin de Cauchy
o
en este espacio tiene l
mite en l. A la convergencia usando esta norma se le llama
e
convergencia en L2 (P ), o tambin convergencia en media cuadrtica, por ejemplo,
e
a
la variable aleatoria Bt del movimiento Browniano pertenece a este espacio pues
||Bt ||L2 (P ) = (E |Bt |2 )1/2 = t < .
El espacio L2 (P dt) de procesos estocsticos. Denotaremos tambin por

a
e
L2 (P dt) al espacio de todos los procesos X = {Xt : 0 t T }, que cumplen la
condicin
o
T
||X||L2 (P dt) = (E
|Xt |2 dt)1/2 < .
Puede demostrarse que la funcin || ||L2 (P dt) es efectivamente una norma y que
o
este espacio es completo respecto de esta norma, es decir, es un espacio de Banach.
Cap
tulo 9. Calculo estocastico
223
Por ejemplo, el movimiento Browniano B = {Bt : 0 t T } pertenece a este

espacio pues
T
||B||L2 (P dt)
= (E
0
T
= (
0
T
= (
|Bt |2 dt )1/2
E |Bt |2 dt )1/2
t dt )1/2
T
< .
2
2
El espacio H0 de procesos simples. Deniremos primero la integral de It para
o
procesos que tienen la forma indicada a continuacin.
o
Denicin. Sea 0 = t0 < t1 < < tn = T una particin nita del intervalo
o
o
[0, T ]. Un proceso estocstico simple es un proceso de la forma
a
n1
X tk 1[tk ,tk+1 ) (t),
Xt =
(9.2)
k=0
en donde X t0 , . . . , X tn1 es una coleccin de variables aleatorias adaptadas a

o
la ltracin {Ftk }n1 , y que son cuadrado integrables.
o
k=0
La expresin 1[a,b) (t) denota a la funcin indicadora del intervalo [a, b). Un proo
o
ceso simple es entonces un proceso constante por pedazos con trayectorias c`dl`g
a a
(continuas por la derecha, con l
mite por la izquierda), y las condiciones solicitadas
garantizan que el proceso es adaptado y tiene trayectorias cuadrado integrables.
Una trayectoria de este tipo de procesos se muestra en la Figura 9.1. Denotaremos
2
por H0 al espacio vectorial de todos los procesos simples.
Ejercicio. Demuestre que dos procesos simples pueden siempre expresarse en trmie
nos de una particin com n. Con ayuda de este resultado demuestre ahora que el
o
u
espacio de procesos simples es un espacio vectorial.
Integral para procesos simples. Esta es la denicin intuitiva de integral y estao
blece simplemente que si el integrando es constante en alguna parte del intervalo de
224

o
a
Xt ()
X tn1
X t1
X t0
t
t1
t2
tn1
tn
Figura 9.1:
tiempo, entonces la integral debe ser esa constante multiplicada por el incremento
del movimiento Browniano en dicho intervalo.
Denicin. (Integral para procesos simples.) La integral estocstica de It de
o
a
o
un proceso simple X de la forma (9.2), respecto del movimiento Browniano,
denotada por I(X), se dene como la variable aleatoria
n1
I(X) =
Xs dBs =
0
k=0
X tk (Btk+1 Btk ).
Observe que esta integral es una variable aleatoria integrable pues siendo X tk y
(Btk+1 Btk ) independientes, cada sumando tiene esperanza cero, y por lo tanto
T
E( 0 Xs dBs ) = 0. Ms a n, la variable I(X) es cuadrado integrable y de hecho
a u
se cumple la siguiente igualdad fundamental.
Proposicin. (Isometr de It para procesos simples). Para cualquier proceso
o
a
o
simple X se cumple
||I(X)||L2 (P ) = ||X||L2 (P dt) .
(9.3)
Demostracin. Denotemos nuevamente por Bk a la diferencia Btk+1 Btk , y sea

o
Cap
225
tk = tk+1 tk . Usaremos el hecho de que Xtk es Ftk -medible, y recordando que el

movimiento Browniano tiene incrementos independientes, las variables Xk y Bk
resultan ser independientes. Tenemos entonces que
n1
||I(X)||2 2 (P )
L
= E( |
k=0
X tk (Btk+1 Btk )|2 )
n1
E( X tj X tk Bj Bk )
=
j,k=0
n1
E( (X tk )2 (Bk )2 )
=
k=0
n1
E(X tk )2 tk
=
k=0
|Xt |2 dt)
0
||X||2 2 (P dt) .
L
= E(
=
Esta identidad establece que tanto el proceso simple X como la variable aleatoria
I(X) tienen la misma norma en sus respectivos espacios. Como se ver ms adea a
lante, esta igualdad juega un papel primordial en la denicin general de integral
o
2
estocstica. La integral estocstica asigna entonces a cada elemento del espacio H0
a
a
2
una variable aleatoria dentro del espacio L (P ). De esta forma se tiene la trans2
formacin lineal I : H0 L2 (P ), que resulta ser continua por la isometr de
o
a
It.
o
2
Ejercicio. Demuestre que la integral estocstica para procesos simples I : H0
a
2
L (P ) es lineal y continua.
Observe que se puede tomar como ejemplo de proceso simple el movimiento Browniano discretizado, es decir, se puede tomar como proceso simple X tk = Btk , y de
esta forma tener la integral estocstica discreta del movimiento Browniano respecto
a
de s mismo,
n1
k=0
Btk (Btk+1 Btk ).
226

o
a
Extensin por aproximacin. Ahora extenderemos la integral estocstica a proo

o
a
cesos un poco ms generales. Sea H2 el espacio de todos los procesos Xt medibles
a
y adaptados, tales que
T
E
0
|Xt |2 dt < .
El espacio H2 resulta ser un subespacio lineal cerrado de L2 (P dt). Observe que

la unica diferencia entre estos dos espacios es que a los elementos de H2 se les pide
adems que sean medibles y adaptados. En particular, todo proceso simple es un

a
2
elemento de H2 . Tenemos entonces la contencin de espacios H0 H2 L2 (P dt),
o
2
2
en donde puede probarse que H0 es denso en H respecto de la norma en L2 (P dt).
Esto signica que para cualquier proceso X en H2 existe un sucesin de procesos
o
2
X k en H0 tales que
l ||X X k ||L2 (P dt) = 0.
m
(9.4)
k
Este procedimiento de aproximacin puede llevarse a cabo de la siguiente forma:

o
Mediante la tcnica de truncacin todo proceso en H2 puede ser aproximado por un
e
o
proceso acotado. A su vez todo proceso en H2 que es acotado se puede aproximar
por procesos acotados y continuos. Y stos a su vez se aproximan por procesos
e
simples de la forma (9.2). Los detalles completos de esta sucesin de aproximaciones
o
pueden encontrarse en [26]. Usando la isometr de It es sencillo comprobar que
a
o
la sucesin I(X k ) es una sucesin de Cauchy en el espacio L2 (P ), en efecto,
o
o
||I(X k ) I(X l )||L2 (P )
= ||I(X k X l )||L2 (P )
= ||X k X l ||L2 (P dt)
||X X k ||L2 (P dt) + ||X X l ||L2 (P dt) .
Debido a (9.4) la ultima expresin puede hacerse tan peque a como se desee, to
o
n
mando
ndices k y l sucientemente grandes.
Denicin. Sea X un proceso en H2 , y sea X k una sucesin de procesos en
o
o
2
H0 aproximante a X. Se dene la integral estocstica de X como
a
I(X) = l I(X k ),
m
k
en donde el l
mite debe entenderse dentro del espacio L2 (P ), es decir, se trata
de la convergencia en media cuadrtica de una sucesin de variables aleatorias.
a
o
227
Cap
Esto signica que la variable aleatoria I(X) es un elemento de L2 (P ) y es tal

que l n ||I(X) I(X k )||L2 (P ) = 0. No es dif vericar que tal denicin
m
cil
o
es correcta en el sentido de que el l
mite no depende de la sucesin aproximante.
o
En este punto empieza a perderse nuestra concepcin tradicional de integral pues
o
ahora sta se encuentra denida a travs de una sucesin aproximante del proceso
e
e
o
a integrar. De manera grca esta extensin se ilustra en la Figura 9.2.
a
o
H2
0
H2
L2 (P dt)
L2 (P )
Figura 9.2:
La isometr de It se cumple tambin para procesos en H2 como se muestra a
a
o
e
continuacin.
o
Proposicin. (Isometr de It). Para cualquier proceso X en H2 se cumple
o
a
o
||I(X)||L2 (P ) = ||X||L2 (P dt) .
(9.5)
2
Demostracin. Sea X en H2 y sea Xn en H0 tal que ||X Xn ||L2 (P dt) 0. Esta
o
convergencia y la desigualdad | ||a|| ||b|| | ||a b|| implican que ||Xn ||L2 (P dt)
||X||L2 (P dt) . Anlogamente, como ||I(X)I(Xn )||L2 (P ) 0 se tiene que ||I(Xn )||L2 (P )
a
||I(X)||L2 (P ) . El resultado buscado se obtiene al tomar el l
mite en la isometr de
a
It como se muestra en el siguiente diagrama:
o
||I(Xn )||L2 (P )
||I(X)||L2 (P )
= ||Xn ||L2 (P dt)
||X||L2 (P dt) .
228

o
a
La propiedad de esperanza nula se cumple tambin para procesos en H2 , pues

e
usando probabilidad elemental, o por la desigualdad de Jensen,
0 E 2 ( I(X) I(X k ) ) E( I(X) I(X k ) )2 0.
De donde se obtiene E( I(X) I(X k ) ) 0, es decir,
E(I(X)) = l E(I(X k )) = 0.
m
k
De esta forma se tiene ahora la transformacin lineal y continua I : H2 L2 (P ).

o
Observe nuevamente que el movimiento Browniano Bt es un ejemplo de un proceso
en el espacio H2 , y es posible demostrar que tal proceso puede ser aproximado en
el sentido de la norma del espacio L2 (P dt) por el proceso simple
n1
Xt =
Btk 1[tk ,tk+1 ) (t),

k=0
en donde 0 = t0 < t1 < < tn = T es una particin de [0, T ]. Se tiene entonces la

o
siguiente integral estocstica particular, y su aproximacin como l
a
o
mite en media
cuadrtica
a
n1
Bt dBt = l
m
k=0
Btk (Btk+1 Btk ),
en donde el l
mite debe entenderse en el sentido de que la distancia mxima entre
a
dos puntos sucesivos de la particin tiende a cero. Ms adelante calcularemos esta
o
a
integral estocstica de dos maneras, primero usando esta representacin como l
a
o
mite
en el espacio L2 (P ), y despus usando la frmula de It.
e
o
o
La integral como un proceso. Haremos ahora una peque a extensin. Para cada
n
o
t en [0, T ] y para cualquier X en H2 se dene el proceso
T
It (X) =
Xs 1[0,t] (s) dBs =

0
Xs dBs .
0
Este peque o articio permite ver a la integral estocstica no como una variable
n
a
aleatoria sino como un proceso. Es claro que tal proceso no es necesariamente
continuo, sin embargo puede demostrarse que existe una versin continua de l, y
o
e
que esa versin es una martingala respecto de la ltracin natural del movimiento
o
o
Browniano. Denotaremos por el mismo s
mbolo a tal martingala continua.
Cap
229
Extensin por localizacin. Mediante un procedimiento llamado de localizacin

o
o
o
es posible extender la denicin de integral de It a procesos medibles y adaptados
o
o
que cumplen la condicin menos restrictiva
o
T
P(
0
|Xt |2 dt < ) = 1.
(9.6)
Denotaremos por L2 el espacio de todos estos procesos. Este nuevo espacio conloc
tiene a H2 y es tal que para cada proceso X en L2 existe una sucesin creciente
o
loc
de tiempos de paro 0 1 2 tales que n T cuando n , y para
cada n 1 el proceso Xt 1(n t) pertenece al espacio H2 . Se dene entonces la
integral estocstica como el siguiente l
a
mite en el espacio L2 (P ),
t
Xs 1(n t) () 1[0,t] (s) dBs .
Xs dBs = l
m
Nuevamente es posible demostrar que tal l

mite existe, que existe una versin cono
tinua de l, y que es independiente de la sucesin de tiempos de paro localizante.
e
o
En este caso la integral ya no es una martingala sino una martingala local, esto
quiere decir que el proceso detenido Itn (X) es una martingala para cada natural
n. En general, la isometr de It ya no se cumple cuando la integral estocstica
a
o
a
tiene como dominio de denicin el espacio L2 .
o
loc
Ejemplo. Para el movimiento Browniano unidimensional Bt y para cualquier funcin continua f , el proceso f (Bt ) tiene trayectorias continuas y acotadas, por lo
o
tanto se cumplen las condiciones de adaptabilidad y medibilidad y se cumple tambin (9.6), por lo tanto este proceso es un elemento de L2 , y tiene sentido la
e
loc
expresin
o
t
f (Bs ) dBs .
0
Se puede demostrar que esta integral puede ser calculada mediante el siguiente
l
mite en el espacio L2 (P ), aunque tambin se verica la convergencia en probabie
lidad:
n1
f (Bs ) dBs = l
m
0
k=0
f (Btk ) (Btk+1 Btk ),
(9.7)
en donde 0 = t0 < t1 < . . . < tn = t es una particin de [0, t], y nuevamente el

o
l
mite debe entenderse en el sentido de que la distancia mxima entre dos puntos
a
sucesivos de la particin tiende a cero.
o
230

o
a
Con esto concluimos la serie de ideas generales bajo las cuales puede construirse la integral de It. Las demostraciones de algunos detalles tcnicos que hemos
o
e
simplemente mencionado se pueden encontrar en [35]. El esquema simplicado del
procedimiento seguido para denir la integral estocstica se ilustra la Figura 9.3.
a
Denicin
o
H2
0
Aproximacin
o
H2
Localizacin
o
L2
loc
L2 (P )
Figura 9.3:
Ejemplo. Con la ayuda de (9.7) calcularemos la integral estocstica
a
t
Bs dBs .
0
Sea 0 = t0 < t1 < < tn = t una particin uniforme de [0, t], es decir ti+1 ti =
o
1/n. Usando la identidad
a(b a) =
1 2
1
(b a2 ) (a b)2
2
2
se obtiene
n1
Bs dBs
l
m
j=0
Btk (Btk+1 Btk )
n1
=
=
l
m
1 2
1
2
[ (Btk+1 Btk ) (Btk+1 Btk )2 ]
2
2
j=0
1 2 1
B t.
2 t
2
La primera suma es telescpica mientras que la segunda suma corresponde a la

o
variacin cuadrtica del movimiento Browniano. Los l
o
a
mites indicados son vlidos
a
Cap
231
2
en el sentido de media cuadrtica. Observe que aparece el trmino 1 Bt como si
a
e
2
1
se siguieran las reglas de integracin usual, pero aparece tambin el trmino 2 t,
o
e
e
conocido como la correccin de It.
o
o
Ahora veamos el cambio en la solucin cuando se modica ligeramente la forma

o
de calcular la integral. El cambio consiste en evaluar el integrando en el extremo
derecho de cada subintervalo. Observe que en este caso el proceso a integrar ya no
es adaptado y por lo tanto queda fuera de la teor desarrollada antes. Usando la
a
identidad
1
1
b(b a) = (b2 a2 ) + (a b)2
2
2
se obtiene, nuevamente en el sentido de media cuadrtica,
a
n1
Bs dBs
l
m
j=0
Btk+1 (Btk+1 Btk )
n1
=
=
l
m
1 2
1
2
[ (Btk+1 Btk ) + (Btk+1 Btk )2 ]
2
2
j=0
1 2 1
B + t.
2 t
2
El signo del segundo trmino cambi de negativo a positivo. Esto muestra que, a
e
o
diferencia de la integral de Riemann, la integral estocstica es sensible al punto
a
donde se eval a el integrando. Al considerar el promedio de las dos evaluaciones
u
en los extremos se obtiene la as llamada integral de Stratonovich, denotada de la
forma siguiente
t
1 2
Bs dBs = Bt .
2
0
Observe que el trmino adicional de la integral de It ha desaparecido. La intee
o
gral de Stratonovich tiene algunas ventajas operacionales pues sigue algunas reglas
usuales del clculo integral, pero vista como proceso deja de ser una martingala.
a
Ejemplo. calcularemos ahora la esperanza y varianza del proceso
t
Bs dBs .
0
La esperanza es cero pues la integral estocstica en este caso es una martingala.

a
232

o
a
Para la varianza se tiene que

t
Var(
Bs dBs )
Bs dBs )2
= E(
0
t
= E(
0
t
=
0
2
Bs ds)
2
E(Bs ) ds
s ds
0
1 2
t .
2
2
Alternativamente, como 0 Bs dBs = 1 Bt 1 t, las cantidades anteriores pueden
2
2
1 2
calcularse usando el lado derecho de esta igualdad. Claramente E( 2 Bt 1 t) = 0.
2
Adems
a
1 2 1
Var( Bt t)
2
2
=
=
=
=
1
2
Var(Bt )
4
1
4
2
(E(Bt ) E 2 (Bt ))
4
1 2
(3t t2 )
4
1 2
t .
2
Ejemplo. Sean Xt y Yt dos procesos en H2 . Entonces

t
E(
Xs dBs
0
Ys dBs ) =
0
E(Xs Ys ) ds.
0
Esta frmula es fcil de comprobar usando la isometr de It y la igualdad ab =

o
a
a
o
233
Cap
1
2 (a
+ b)2 1 (a2 + b2 ). En efecto,

2
t
E(
Xs dBs
0
Ys dBs )
0
t
t
t
1
1
(Xs + Ys ) dBs |2 ) (E|
Xs dBs |2 + E|
Ys dBs |2 )
= E( |
2 0
2
0
0
t
t
1 t
1
=
E|Xs + Ys |2 ds (
E|Xs |2 ds +
E|Ys |2 ds)
2 0
2 0
0
t
E(Xs Ys ) ds.
0
Propiedades de la integral. La integral estocstica de It cumple varias propiea

o
dades aunque slo mencionaremos algunas de ellas aqu a manera de resumen de
o
,
las caracter
sticas se aladas antes.
n
a) La integral It : L2 L2 (P ) es lineal, es decir, para c constante y para
loc
cualesquiera procesos Xs y Ys en L2 , se cumple que
loc
t
(cXs + Ys ) dBs = c
0
Xs dBs +
0
Ys dBs ,
c.s.
b) Tiene esperanza es cero, es decir, para cualquier proceso Xs en L2 ,

loc
t
E(
Xs dBs ) = 0,
c.s.
c) Cuando la integral se restringe al espacio H2 , se cumple la isometra de It,
o
es decir,
t
E|
Xs dBs |2 = E
|Xs |2 ds.
d) Nuevamente restringida al espacio H2 , la integral es una martingala, es decir,

es integrable, adaptada y para 0 s t, se cumple
t
E(
0
Xu dBu | Fs ) =
Xu dBu .
0
En general, para procesos en L2 , la integral ya no es una martingala sino

loc
una martingala local.
234
9.2. Formula de Ito
e) Existe una versin continua de la integral estocstica.

o
a
9.2.
Frmula de It
o
o
Usualmente una integral de Riemann no se calcula a partir la denicin, en lugar de

o
ello existen frmulas bien conocidas para calcular integrales. La misma situacin se
o
o
presenta para integrales estocsticas: en muy raros casos se calculan stas a travs
a
e
e
de su denicin. La famosa frmula de It es la herramienta fundamental para este
o
o
o
tipo de integrales. Se enuncia a continuacin este resultado en una versin simple
o
o
y se ejemplica su uso. Ms adelante se presenta una versin un poco ms general.
a
o
a
En lo sucesivo haremos referencia a las siguientes espacios de funciones. Una funcin
o
real de variable real es de clase C 1 , cuando es diferenciable y su derivada es
continua. Anlogamente, una funcin es de clase C 2 , si es dos veces diferenciable
a
o
y su segunda derivada es una funcin continua.
o
Teorema. (Frmula de It I). Sea f (x) es un funcin de clase C 2 . Entonces
o
o
o
t
f (Bt ) f (B0 ) =
f (Bs ) dBs +
1
2
f (Bs ) ds.
Explicaremos una forma de obtener este resultado usando el teorema de Taylor

pero sin dar una justicacin rigurosa de la prueba. Para una funcin f (x) suo
o
cientemente suave, se tiene que
f (x) = f (x0 ) + f (x0 )(x x0 ) + R(x),
en donde el residuo R(x) puede escribirse como sigue
x
R(x) =
x0
1
=
0
f (t)(x t) dt
(1 )f (x0 + (x x0 ))(x x0 )2 d.
La segunda igualdad se obtiene despus de un evidente cambio de variable. Por lo

e
235
Cap
tanto, si 0 = t0 < t1 < < tn = t es una particin de [0, t], entonces
o
n
f (Bt ) f (B0 )
[ f (Btk ) f (Btk1 ) ]
=
k=1
n
f (Btk1 )Bk
=
k=1
+
0
(1 )
f (Btk1 + Bk )(Bk )2 d.
k=1
Puede comprobarse que al tomar el l

mite cuando n las sumas convergen casi
seguramente y entonces se obtiene la igualdad
t
f (Bt ) f (B0 ) =
f (Bs ) dBs +
0
t
f (Bs ) dBs +
1
2
(1 )
t
f (Bs ) ds d
f (Bs ) ds.
Esta frmula es una versin estocstica de la regla de la cadena del clculo difeo
o
a
a
rencial usual, y es com n escribirla en su forma diferencial del siguiente modo
u
1
df (Bt ) = f (Bt ) dBt + f (Bt ) dt.
2
Esta expresin debe entenderse en el sentido de su forma integral arriba enunciado.
o
Ilustraremos su uso mediante algunos ejemplos.
Ejemplo. Sea f (x) = 1 x2 . Entonces la frmula de It establece que
o
o
2
1 2 1 2
B B0 =
2 t
2
Es decir,
Bs dBs +
0
Bs dBs =
0
1
2
1 ds.
0
1 2 1
B t.
2 t
2
Este resultado hab sido encontrado antes, ahora lo hemos obtenido de manera
a
inmediata de la frmula de It. De manera anloga, para la funcin f (x) = 1 x3 se
o
o
a
o
3
obtiene
t
t
1 3
2
Bs dBs = Bt
Bs ds.
3
0
0
236

a
Ms generalmente, para f (x) =

a
t
0
n
Bs dBs =
1
n+1
n+1 x
se obtiene
1
1
B n+1
n+1 t
2
t
0
n1
nBs ds.
Ejemplo. Usaremos la frmula de It para encontrar una expresin de los momentos

o
o
o
pares de una distribucin normal centrada. Demostraremos que
o
2n
E(Bt ) =
(2n)! n
t .
2n n!
Los momentos impares de dicha distribucin se anulan pues en tal caso el integrando
o
1
resulta ser una funcin impar. Consideremos entonces la funcin f (x) = 2n x2n ,
o
o
para cualquier entero natural n. De la frmula de It se sigue que
o
o
1 2n
1 2n
Bt
B =
2n
2n 0
t
0
2n1
Bs
dBs +
1
2
t
0
2n2
(2n 1)Bs
ds.
Tomando esperanza y resolviendo de manera iterada se obtiene

2n
E(Bt ) =
2n(2n 1) t
2n2
E(Bs
) ds
2
0
2n(2n 1) (2n 2)(2n 3)
2
2
t
0
t1
0
2n4
E(Bs
) ds dt1
.
.
.
=
(2n)!
2n
t
0
t1
0
tn1
1 ds dtn1 dt1 .
No es dif vericar que los resultados sucesivos de estas integrales son: tn1 ,
cil
t2 /2!, t3 /3!, . . ., tn /n! De esta forma se obtiene la frmula enunciada.
o
n2
n3
9.3.
Ecuaciones diferenciales estocsticas

a
Sea (, F , P ) un espacio de probabilidad, y sea Bt un movimiento Browniano

unidimensional adaptado a la ltracin Ft .
o
Cap
237
Denicin. (Proceso de It). Sean b(t, x) y (t, x) dos funciones de [0, T ] R

o
o
en R. Una ecuacin estocstica es una ecuacin de la forma
o
a
o
dXt = b(t, Xt ) dt + (t, Xt ) dBt ,
(9.8)
denida para valores de t en el intervalo [0, T ], y con condicin inicial la variable

o
aleatoria X0 que se presupone F0 -medible e independiente del movimiento
Browniano. La ecuacin (9.8) se interpreta como la ecuacin integral
o
o
t
b(s, Xs ) ds +
Xt = X0 +
0
(s, Xs ) dBs ,
(9.9)
en donde la primera es una integral de Riemann, mientras que la segunda es

una integral estocstica de It. Al proceso Xt se le llama proceso de It.
a
o
o
Los elementos conocidos de esta ecuacin son los coecientes b(t, x) y (t, x), y la
o
variable aleatoria inicial X0 . La incgnita es el proceso Xt . A la funcin b(t, x) se le
o
o
conoce como coeciente de tendencia (drift en ingls o tambin deriva en espa ol).
e
e
n
A la funcin (t, x) se le llama coeciente de difusin. El proceso solucin puede
o
o
o
interpretarse como el estado de un sistema que evoluciona de manera determinista
gobernado por la parte no aleatoria de la ecuacin (la tendencia), pero alterado
o
por un ruido aditivo dado por la integral estocstica (la difusin).
a
o
Para que una ecuacin estocstica tenga solucin se deben imponer condiciones en
o
a
o
los coecientes. De manera anloga al caso de ecuaciones diferenciales determinisa
tas, existen teoremas bsicos de existencia y unicidad para ecuaciones estocsticas
a
a
que establecen condiciones de regularidad para los coecientes b(t, x) y (t, x), bajo las cuales la ecuacin (9.8) tiene solucin unica. El siguiente es uno de tales
o
o
resultados.
238

a
Teorema de existencia y unicidad. Si los coecientes b(t, x) y (t, x) de la

ecuacin (9.8) satisfacen la condicin de Lipschitz en la variable x,
o
o
|b(t, x) b(t, y)|2 + |(t, x) (t, y)|2 K|x y|2 ,
y la condicin de crecimiento en x,
o
|b(t, x)|2 + |(t, x)|2 K(1 + |x|2 ),
para alguna constante K > 0, entonces existe un proceso estocstico Xt solua
cin de (9.8) que es
o
a) adaptado.
b) continuo.
2
c) uniformemente acotado en L2 (P ), es decir, sup0tT E(Xt ) < , y es
adems
a
d) unico en el sentido de indistinguibilidad.
En este caso a tal solucin se le llama solucin fuerte de la ecuacin estocstica. No

o
o
o
a
presentaremos la demostracin de este resultado, simplemente comentaremos alguo
nos aspectos de los que consta la prueba completa. La demostracin es semejante
o
al caso determinista, y hace uso del mtodo de iteraciones de Picard. Mediante este
e
mtodo se dene la sucesin de procesos
e
o
Xt
(0)
X0 ,
(n+1)
X0 +
Xt
t
0
(n)
b(s, Xs ) ds +
t
0
(n)
(s, Xs ) dBs .
Para que estas iteraciones tengan sentido es necesario vericar que los integrandos involucrados son efectivamente susceptibles de ser integrados respecto de la
diferencial respectiva. Para comprobar que tal sucesin de procesos es convergente
o
se demuestra que, con probabilidad uno, esta sucesin constituye una sucesin de
o
o
Cauchy en el espacio de funciones continuas C[0, T ], respecto de la norma uniforme
||X|| = sup0tT |Xt |. Dado lo anterior, existe entonces un proceso continuo X,
(n)
tal que con probabilidad uno, Xt converge a Xt de manera uniforme en el intervalo [0, T ]. Adicionalmente puede demostrarse que el proceso l
mite es L2 -acotado
(n)
en [0, T ], y que la convergencia Xt Xt tambin es vlida en L2 (P ). Tambin
e
a
e
debe demostrarse que el proceso l
mite es efectivamente solucin de la ecuacin
o
o
Cap
239
estocstica. Para ello se toma el l

a
mite en la ecuacin que dene las iteraciones,
o
y se verica la convergencia uniforme en [0, T ] con probabilidad uno, trmino a
e
trmino. Los detalles de esta demostracin pueden encontrarse por ejemplo en [35].
e
o
El teorema anterior no establece la forma de encontrar la solucin a una ecuacin
o
o
estocstica dada. La siguiente versin de la frmula de It es el resultado bastante
a
o
o
o
util para realizar algunos de estos clculos, y generaliza la versin anteriormente
a
o
enunciada.
Teorema.(Frmula de It II). Si Xt es un proceso de It dado por (9.8) y
o
o
o
f (t, x) es un funcin de clase C 1 en t y de clase C 2 en x, entonces el proceso
o
Yt = f (t, Xt ) es tambin un proceso de It y satisface la ecuacin estocstica
e
o
o
a
1
dYt = ft (t, Xt )dt + fx (t, Xt )dXt + fxx (t, Xt )(dXt )2 .
2
(9.10)
Los sub
ndices indican derivada y (9.8) se substituye en (9.10) usando la siguiente
tabla de multiplicacin de McKean:
o
dt
dBt
dt
0
0
dBt
0
dt
Observe que como las derivadas involucradas son funciones continuas, las integrales
estocsticas resultantes estn bien denidas. La demostracin de este resultado
a
a
o
sigue las mismas l
neas que la versin ms simple. Ilustraremos a continuacin el
o
a
o
uso de esta frmula con varios ejemplos.
o
t
Ejemplo. Demostraremos que

0
s dBs = tBt
Bs ds.
0
Para vericar esta frmula puede tomarse el proceso Xt = Bt y la funcin f (t, x) =

o
o
tx. Entonces
d(f (t, Bt ))
d(tBt )
1
= ft (t, Bt ) dt + fx (t, Bt ) dBt + fxx (t, Bt ) (dBt )2
2
= Bt dt + t dBt .
Esta es la forma diferencial de la frmula enunciada.

o
240

a
Ejemplo. Considere la funcin f (x) = ex . Por la frmula de It,

o
o
o
eBt eB0 =
t
0
eBs dBs +
1
2
eBs ds,
es decir, el proceso Xt = eBt satisface la ecuacin diferencial

o
1
dXt = Xt dBt + Xt dt,
2
con condicin inicial X0 = 1. A este proceso se le llama movimiento Browniano
o
geomtrico.
e
Ejemplo. Demostraremos que el proceso Xt = Bt /(1 + t) es solucin de la ecuacin
o
o
estocstica
a
Xt
1
dXt =
dt +
dBt ,
1+t
1+t
con condicin inicial X0 = 0. Sea f (t, x) = x/(1 + t). El proceso Xt = f (t, Bt )
o
cumple la condicin inicial y por la frmula de It satisface la ecuacin
o
o
o
o
dXt
1
= ft (t, Bt )dt + fx (t, Bt ) dBt + fxx (t, Bt ) dt
2
Bt
1
=
dt +
dBt
(1 + t)2
1+t
Xt
1
=
dt +
dBt .
1+t
1+t
Ejemplo. Usando el mtodo de igualacin de coecientes resolveremos la ecuacin

e
o
o
dXt = Xt dt + et dBt ,
con condicin inicial X0 = 0. Se busca un funcin f (t, x) tal que el proceso solucin
o
o
o
pueda escribirse como Xt = f (t, Bt ). Igualando los coecientes de esta ecuacin con
o
los de la frmula de It
o
o
1
dXt = ft (t, Bt )dt + fx (t, Bt ) dBt + fxx (t, Bt ) dt,
2
Cap
241
se obtiene el sistema de ecuaciones

fx (t, x)
et
1
ft (t, x) + fxx (t, x)
2
f (t, x).
De la primera ecuacin se obtiene f (t, x) = et x+c(t). Substituyendo en la segunda

o
ecuacin y simplicando se obtiene c (t) = c(t), cuya solucin es c(t) = cet , en
o
o
donde c es una constante. Por lo tanto f (t, x) = et (x + c). Para que el proceso
Xt = f (t, Bt ) = et (Bt + c) cumpla la condicin inicial X0 = 0 forzosamente la
o
constante c debe ser cero. De esta forma la funcin buscada es f (t, x) = et x. En
o
tal caso la frmula de It asegura que efectivamente
o
o
dXt
9.4.
=
=
et Bt dt + et dBt
Xt dt + et dBt .
Simulacin
o
Una ecuacin estocstica ha resultado muy util para modelar sistemas que preseno
a
tan alg n tipo de ruido o perturbacin aleatoria. Aplicaciones de tales modelos se

u
o
estudian en ingenier nanzas y f
a,
sica entre muchas otras reas del conocimiento.
a
Debido a la imposibilidad de encontrar soluciones expl
citas a ciertas ecuaciones
de inters, los mtodos numricos del caso determinista se han extendido al caso
e
e
e
estocstico. En las siguientes secciones presentaremos algunos modelos particulares
a
de ecuaciones estocsticas, y explicaremos un mecanismo para simular las trayeca
torias del proceso solucin.
o
Una trayectoria de un proceso Xt que sigue la ley de movimiento de una ecuacin
o
estocstica de la forma
a
dXt
X0
= b(t, Xt ) dt + (t, Xt ) dBt ,

= x0 ,
puede obtenerse mediante el mtodo de discretizacin de Euler-Maruyama. En este

e
o
procedimiento se divide el intervalo [0, t] de manera uniforme en n subintervalos de
242
9.5. Algunos modelos particulares
idntica longitud t = t/n, y se dene tj = jt para j = 0, 1, 2, . . . , N . Suponiendo

e
que Yj es un valor al azar de la distribucin normal estndar, se denen los valores
o
a
sucesivos de la trayectoria solucin de la ecuacin estocstica como sigue
o
o
a
X0
Xtj+1
= x0 ,
= Xtj + b(tj , Xtj )t + (tj , Xtj )
t Yj .
Ms adelante se presentar una implementacin de este procedimiento en MATLAB

a
a
o
para simular trayectorias de soluciones de ecuaciones particulares.
9.5.
Algunos modelos particulares
Movimiento Browniano geomtrico. Este modelo es de amplio uso en nanzas

e
y sirve para representar el precio de algunos bienes que uct an siguiendo los
u
vaivenes de los mercados nancieros
Denicin. Sean y > 0 dos constantes, y x0 > 0. El movimiento Browo
niano geomtrico es el proceso solucin de la ecuacin estocstica
e
o
o
a
dXt
Xt dt + Xt dBt ,
X0
(9.11)
x0 .
Esta ecuacin puede interpretarse de la siguiente forma. En ausencia del trmino

o
e
estocstico, la ecuacin se reduce a dXt = Xt dt, cuya solucin es Xt = x0 et . Esta
a
o
o
funcin representa el comportamiento en el tiempo de un capital inicial positivo
o
x0 que crece de manera continua y determinista a una tasa efectiva del 100 %,
suponiendo > 0. Por otro lado la parte estocstica corresponde a la volatilidad
a
de una inversin con riesgo sujeta a las uctuaciones de los mercados nancieros.
o
El modelo supone que dicha variabilidad es proporcional al valor de la inversin.
o
Observe que los coecientes de esta ecuacin satisfacen las condiciones para la
o
existencia y unicidad de la solucin. Resolveremos esta ecuacin usando el mtodo
o
o
e
de igualacin de coecientes.
o
Cap
243
Proposicin. La solucin a la ecuacin (9.11) es

o
o
o
1
Xt = x0 exp [ ( 2 )t + Bt ].
2
(9.12)
Demostracin. Encontraremos una funcin f (t, x) tal que al aplicar la frmula de

o
o
o
It al proceso Xt = f (t, Bt ) se obtenga la ecuacin (9.11). Comparando entonces
o
o
los coecientes de la frmula general
o
1
dXt = ft (t, Xt ) dt + fx (t, Xt ) dBt + fxx (t, Xt ) dt
2
con los de (9.11), se obtienen las igualdades
f (t, x) =
f (t, x)
1
ft (t, x) + fxx (t, x),
2
fx (t, x).
De la segunda ecuacin se obtiene que f (t, x) = exp [x+g(t)], para alguna funcin
o
o
g(t). Substituyendo en la primera ecuacin se obtiene g (t) = 1 2 , cuya solucin
o
o
2
es g(t) = ( 1 2 )t. De donde Xt = f (t, Bt ) adquiere la expresin indicada.
o
2
A este proceso se le llama tambin se le conoce con el nombre de movimiento
e
Browniano exponencial. En la Figura 9.4 puede apreciarse una trayectoria de este
proceso con una inversin inicial x0 de una unidad monetaria, y con parmetros
o
a
= 1, y = 1/3. La curva creciente corresponde al crecimiento determinista de
la inversin cuando no hay aleatoriedad, es decir, cuando el coeciente de difusin
o
o
es cero. El valor de en la simulacin es peque o y por esa razn la trayectoria
o
n
o
aleatoria mostrada se mantiene cerca de la trayectoria determinista. Cuando se
incrementa el valor de las trayectorias pueden diferir considerablemente.
En el programa de computadora de la Figura 9.5 se muestra una manera de simular trayectorias de este proceso. El cdigo es una traduccin a MATLAB de la
o
o
discretizacin de la ecuacin estocstica, y es una adaptacin del cdigo que apao
o
a
o
o
rece en [15]. Este programa puede ser encontrado en la pgina web de Desmond
a
J. Higham, junto con la implementacin de otros modelos y otras tcnicas de diso
e
cretizacin. La funcin randn produce un valor al azar de la distribucin normal
o
o
o
estndar.
a
244
Xt ()
E(Xt )
x0
t
Figura 9.4:
0
randn(state,100)
T=2; N=300; dt=T/N; xcero=1; mu=1; sigma=1/3;
-1 dW=zeros(1,N); MBG=zeros(1,N);
dW(1)=sqrt(dt)*randn;
MBG(1)=xcero+mu*dt+sigma*xcero*dW(1);
-2 for j=2:N
dW(j)=sqrt(dt)*randn
MBG(j)=MBG(j-1)+mu*MBG(j-1)*dt+sigma*MBG(j-1)*dW(j)
-3
end
0
1
2
3
4
5
6
7
8
9
plot([0:dt:T],[xcero,MBG],r-)
10
Figura 9.5:
Demostraremos ahora algunas caracter
sticas numricas de este proceso.
e
Proposicin. Para el movimiento Browniano geomtrico se cumple lo siguiente.
o
e
1. E(Xt ) = x0 et .
2
2. Var(Xt ) = x2 e2t (e t 1).

0
3. Cov(Xt , Xs ) = x2 e(s+t) (e
0
1), para 0 s t.
Demostracin. Usaremos el hecho de que la funcin generadora de momentos de

o
o
Cap
245
la distribucin N(, 2 ) es M (s) = exp(s + 1 2 s2 ).

o
2
1. Para la esperanza se tiene que
E(Xt )
1
= E(x0 exp[( 2 )t + Bt ])
2
1 2
= x0 exp[( )t] E(exp[Bt ])
2
1
1
= x0 exp[( 2 )t] exp[ t 2 ]
2
2
= x0 et .
2. Ahora calcularemos la varianza.

Var(Xt ) =
=
=
=
=
1
Var(x0 exp[( 2 )t + Bt ])
2
1 2
2
x0 exp[2( )t] Var(exp[Bt ])
2
1
2
x0 exp[2( 2 )t] (E(exp[2Bt ]) E 2 (exp[Bt ]))
2
1 2
1
1
2
x0 exp[2( )t] (exp[ t(2)2 ] exp[2( t 2 )])
2
2
2
2
x2 e2t (e t 1).
0
3. Calcularemos primero E(Xt Xs ). Observe que Bt + Bs se puede escribir como

2Bs + (Bt Bs ), siendo estos sumandos independientes. Entonces
E(Xt Xs )
1
= E(x2 exp[( 2 )(t + s) + (Bt + Bs )])
0
2
1 2
2
= x0 exp[( )(t + s) E(exp[(Bt + Bs )])
2
1
2
= x0 exp[( 2 )(t + s) E(e2Bs ) E(e(Bt Bs ) )
2
2
2
1
1
2
= x0 exp[( 2 )(t + s)e2s e 2 (ts)
2
= x2 exp[(t + s) + s 2 ].
0
Por lo tanto,
Cov(Xt , Xs )
= E(Xt Xs ) E(Xt )E(Xs )

2
= x2 e(t+s)+s x2 e(t+s)
0
0
2
= x2 e(t+s) (es 1)
0
246
Proceso de Ornstein-Uhlenbeck. Este modelo fue propuesto por Ornstein y

Uhlenbeck para modelar la velocidad del movimiento difuso de una part
cula en
intervalos de tiempo peque os.
n
Denicin. Sean y dos constantes positivas. El proceso de Ornsteino
Uhlenbeck es aquel proceso Xt solucin de la ecuacin estocstica
o
o
a
dXt
X0
Xt dt + dBt ,
(9.13)
x0 .
La variable Xt se interpreta como la velocidad de la part

cula al tiempo t. La parte
determinista Xt corresponde a la fuerza de friccin, y el sumando dBt es un
o
ruido aleatorio. Encontraremos la solucin de esta ecuacin.
o
o
Proposicin. La solucin a la ecuacin (9.13) est dada por
o
o
o
a
t
Xt = x0 et +
e(ts) dBs .
(9.14)
Demostracin. Considere una solucin de la forma

o
o
t
Xt = a(t) [x0 +
b(s) dBs ],
(9.15)
en donde a(t) y b(t) son funciones diferenciables. Derivando (9.15) y usando la

frmula de It (9.10) se obtiene
o
o
dXt
a (t) [x0 +
b(s) dBs ] dt + a(t) b(t) dBt

0
a (t)
Xt dt + a(t) b(t) dBt .
a(t)
247
Cap
Comparando con (9.13), las funciones a(t) y b(t) deben cumplir las ecuaciones
a (t)
= ,
a(t)
a(t) b(t) = .
Suponiendo a(0) = 1 se obtiene a(t) = exp(t), y b(t) = exp(t). Substituyendo

en (9.15) se obtiene (9.14).
En la Figura 9.6 se muestra la simulacin de una trayectoria de este proceso y se
o
compara con E(Xt ). El proceso muestra un decaimiento conforme el tiempo avanza
y ello es debido al factor de friccin del modelo. Calcularemos a continuacin la
o
o
esperanza y varianza de este proceso.
Xt ()
x0 = 3
=1
=1
3
2
1
E(Xt )
t
Figura 9.6:
Proposicin. Para el proceso de Ornstein-Uhlenbeck se cumple lo siguiente.
o
1. E(Xt ) = x0 et .
2. Var(Xt ) =
2
(1 e2t ).
2
3. Cov(Xt , Xs ) =
2
n{s,t}
(1 e2 m
).
2
Demostracin.
o
1. Este resultado se obtiene al tomar esperanza en (9.14), y observar que la integral
248
estocstica es una martingala que inicia en cero.

a
2. El clculo de la varianza de Xt es una aplicacin de la isometr de It,
a
o
a
o
t
2 Var(
Var(Xt ) =
e(ts) dBs )
0
t
2 E(
2 (
e(ts) dBs )2
0
t
e2(ts) ds)
1 2s
e
2
2 e2t
2
(1 e2t ).
2
2. Nuevamente usaremos la isometr de It. Para 0 s t,

a
o
Cov(Xt , Xs ) =
=
E(Xt Xs ) E(Xt )E(Xs )

t
E[(x0 et +
e(ts) dBs )
0
s
(x0 es +
0
2 E(
e(su) dBu )] x2 e(t+s)

0
s
e(ts) dBs
e(su) dBu ).
La primera integral puede descomponerse en la suma de dos integrales, una sobre el

intervalo [0, s] y otra sobre (s, t]. Dada la propiedad de incrementos independientes
del movimiento Browniano, el segundo sumando desaparece. De modo que, por la
isometr de It,
a
o
Cov(Xt , Xs ) =
2 E(
e(su) dBu )2
e2(su) du
0
2
(1 e2s ).
2
249
Cap
Puente Browniano. El puente Browniano sobre el intervalo unitario [0, 1] es un

movimiento Browniano con espacio parametral dicho intervalo y es tal que en los
extremos de este intervalo el proceso se hace cero. Una trayectoria de tal proceso
se muestra en la Figura 9.7. Existen varias formas equivalentes de denir a este
proceso.
Xt ()
Figura 9.7:
Denicin. El puente Browniano en el intervalo [0, 1] es aquel proceso Xt
o
solucin de la ecuacin estocstica
o
o
a
dXt
X0
= 0.
Xt
dt + dBt ,
1t
t [0, 1),
(9.16)
Proposicin. La solucin a la ecuacin (9.16) es

o
o
o
t
Xt = (1 t)
1
dBs .
1s
(9.17)
Demostracin. Puede resolverse (9.16) proponiendo nuevamente una solucin de

o
o
la forma
t
Xt = a(t) [x0 +
b(s) dBs ],
0
(9.18)
250
en donde a(t) y b(t) son dos funciones diferenciables, y x0 = 0. Derivando se obtiene

nuevamente
dXt
a (t) [x0 +
b(s) dBs ] dt + a(t) b(t) dBt

0
a (t)
Xt dt + a(t) b(t) dBt .
a(t)
Igualando coecientes se obtienen las ecuaciones a (t)/a(t) = 1/(1t), y a(t)b(t) =

1. Suponiendo a(0) = 1 se obtiene a(t) = 1 t, y por lo tanto b(t) = 1/(1 t).
Substituyendo en (9.18) se obtiene (9.17).
Ejercicio. Sea Xt un puente Browniano en [0, 1]. Demuestre que efectivamente
l Xt = 0.
m
t1
Vamos a calcular a continuacin la esperanza, varianza y covarianza de este proceso.

o
Proposicin. Para el puente Browniano (9.17) se cumple
o
1. E(Xt ) = 0.
2. Var(Xt ) = t(1 t).
3. Cov(Xt , Xs ) = s(1 t),
para 0 s t.
Demostracin.
o
1. La integral es una martingala continua que inicia en cero, por lo tanto E(Xt ) = 0.
251
Cap
2. Por la isometr de It,
a
o
t
Var(Xt )
1
dBs )
1s
0
t
1
= (1 t)2 E(
dBs )2
1s
0
t
1 2
) ds
= (1 t)2 E
(
0 1s
= (1 t)2 Var(
= (1 t)2
= t(1 t).
1
1s
3. Para 0 s t,
Cov(Xs , Xt ) =
E(Xs Xt )
s
(1 s)(1 t)E(
1
dBu
1u
t
0
1
dBu ).
1u
Nuevamente la segunda integral puede descomponerse en la suma de dos integrales,

una sobre el intervalo [0, s] y otra sobre (s, t]. Dada la propiedad de incrementos
independientes del movimiento Browniano, el segundo sumando desaparece. De
modo que, por la isometr de It,
a
o
s
Cov(Xs , Xt ) =
=
=
=
1
dBu )2
1u
0
s
1 2
(1 s)(1 t)
(
) du
0 1u
s
1
(1 s)(1 t)
1u 0
s(1 t).
(1 s)(1 t)E(
Como era de esperarse, la varianza se anula en los extremos del intervalo pues
all el proceso es cero con probabilidad uno. Observe adems que la varianza se
a
hace mxima exactamente en la mitad de dicho intervalo. El puente Browniano en
a
[0, 1] puede representarse de varias formas como se muestra en el siguiente resultado.
252
Ejercicio. Demuestre que los siguientes procesos son puentes Brownianos.

a) Xt = Bt tB1 ,
para t [0, 1].
b) Xt = B1t (1 t)B1 ,
para t [0, 1].
Notas y referencias
Para el desarrollo de la denicin de integral estocstica respecto del movimiento
o
a
Browniano hemos seguido el lineamiento general presentado en el texto de Steele [35]. All pueden encontrarse las demostraciones completas de varios de los resul
tados que hemos solamente enunciado. Otros trabajos en donde pueden encontrarse
exposiciones elementales sobre integracin estocstica son ksendal [26], Kuo [22],
o
a
o Klebaner [20]. Para una exposicin ms completa y general puede consultarse
o
a
por ejemplo Protter [27], o Revuz y Yor [29]. En los trabajos de D. J Higham
como [15] pueden encontrarse algunas primeras lecturas sobre los mtodos para
e
simular ecuaciones estocsticas. En el texto de Kloeden y Platen [21] se expone
a
la teor general, varios mtodos numricos, y diversas aplicaciones de ecuaciones
a
e
e
estocsticas.
a
Cap
Kiyosi It (Japn 1915)

o
o
253
254
Ejercicios
Integral de It
o
133. A partir de la denicin de integral estocstica demuestre que
o
a
t
0
t
b)
0
s dBs = tBt
a)
2
Bs dBs =
Bs ds.
0
t
1 3
B
3 t
Bs ds.
0
Para el segundo inciso use la identidad

x2 (y x) + x(y x)2 =
1 3
(y x3 (y x)3 ).
3
Frmula de It
o
o
134. Use la frmula de It para demostrar que el proceso Xt es una solucin de la
o
o
o
ecuacin estocstica indicada.
o
a
2
a) Xt = Bt , dXt = dt + 2Bt dBt .
1/3
2/3
3
b) Xt = Bt , dXt = 3Xt dt + 3Xt
Xt
dt + t dBt .
c) Xt = tBt , dXt =
t
dBt .
135. Use la frmula de It para demostrar que

o
o
t
0
2
Bs ds =
1 3
B
3 t
Bs ds.
0
Apndice A
e
Conceptos y resultados varios
Igualdad de procesos. Se dice que dos procesos {Xt : t 0} y {Yt : t 0}

son equivalentes, o tambin se dice que uno es una versin o modicacin del otro,
e
o
o
si para cada valor de t 0 jo se cumple que P (Xt = Yt ) = 1, es decir, si
las variables Xt y Yt son iguales c.s. Un tipo de igualdad ms fuerte establece
a
que los procesos son indistinguibles si P (Xt = Yt para cada t 0) = 1. Esto
signica que con probabilidad uno las trayectorias de los dos procesos son idnticas.
e
Claramente la indistinguibilidad es ms fuerte que la equivalencia. Sin embargo,
a
puede demostrarse que cuando los procesos son continuos, es decir, cuando sus
trayectorias son funciones continuas del parmetro, ambas nociones de igualdad
a
coinciden. Cuando el parmetro es discreto, nuevamente los dos tipos de igualdad
a
son equivalentes.
Distribuciones nito dimensionales. Las distribuciones nito dimensionales
de un proceso {Xt : t 0} es la coleccin de todas las funciones de distribucin
o
o
conjuntas FXt1 ,...,Xtn (x1 , . . . , xn ), para cualesquiera tiempos 0 t1 < < tn , y
cualquier n natural.
Independencia de procesos. Se dice que una variable aleatoria X es independiente de un proceso {Xt : t 0} si para cualesquiera tiempos 0 t1 < t2 < <
tn , n N, la distribucin conjunta de la variable X y el vector (Xt1 , . . . , Xtn ) es
o
el producto de las distribuciones marginales, es decir,
FX,Xt1 ,...,Xtn (x, x1 , . . . , xn ) = FX (x) FXt1 ,...,Xtn (x1 , . . . , xn ),
255
256
o en trminos de conjuntos de Borel A, A1 , . . . , An ,
e
P (X A, Xt1 A1 , . . . , Xtn An ) =
P (X A)
P (Xt1 A1 , . . . , Xtn An ).
Ms generalmente, dos procesos estocsticos {Xt : t 0} y {Yt : t 0} son

a
a
independientes si para cualesquiera dos enteros naturales n y m, y tiempos 0
t1 < t2 < < tn y 0 s1 < s2 < < sm , se cumple que
FXt1 ,...,Xtn ,Ys1 ,...,Ysm (x1 , . . . , xn , y1 , . . . , ym ) =
FXt1 ,...,Xtn (x1 , . . . , xn )

FYs1 ,...,Ysm (y1 , . . . , ym ).
En palabras, esta condicin signica que las distribuciones nito dimensionales cono
juntas son el producto de las distribuciones nito dimensionales marginales.
Lema de Abel
a. Si la serie
k=0
ak es convergente, entonces l t1
m
b. Inversamente, si ak 0 y l t1
m
k=0
k=0
ak tk , entonces
a k tk =
k=0
k=0
ak .
ak = l t1
m
En Karlin y Taylor [19] puede encontrarse una demostracin de estos resultados.

o
Lema de Fatou
a. Sea {anm : n, m N} una coleccin de n meros reales. Entonces
o
u
m
l inf anm l inf

m
m
n
b. Adems, si anm bm con

a
l sup
m
n
anm .
m
bm < , entonces
anm
l sup anm .
m
n
Teorema de convergencia montona. Sea X1 , X2 , . . . una sucesin de variables

o
o
aleatorias tales que 0 X1 X2 y l Xn = X casi seguramente. Entonces
m
n
l E(Xn ) = E( l Xn ).
m
m
k=0
a k tk .
257
Apndice A. Conceptos y resultados varios

e
Teorema de convergencia dominada
a. Sea X1 , X2 , . . . una sucesin de variables aleatorias tales que l Xn = X

o
m
n
casi seguramente, y para cada valor de n, |Xn | Y , para alguna variable Y con
E|Y | < . Entonces
l E(Xn ) = E( l Xn ).
m
m
n
b. Sea {anm : n, m N} una coleccin de n meros reales tales que l n anm

o
u
m
existe para cada m, |anm | bm , independiente de n, y m=0 bm < . Entonces

l
m
m=0
anm =
m=0
l anm .
m
Ecuacin de Wald. Sea X1 , X2 , . . . una sucesin de variables aleatorias indepeno

o
dientes con la misma distribucin que X y con esperanza nita. Sea N una variable
o
aleatoria con valores en el conjunto {1, 2, . . .}, con esperanza nita e independiente
de la sucesin. Entonces
o
N
E(
Xk ) = E(X) E(N ).
k=1
Distribucin tipo reticular. Se dice que una variable aleatoria discreta X,

o
o su distribucin de probabilidad, es de tipo reticular o que es de tipo lattice si
o
P (X = c + nd) > 0, en donde c y d > 0 son constantes reales y n = 1, 2, . . .
Notacin o peque a. Sean f (t) y g(t) dos funciones que se encuentran denidas
o
n
y son positivas para valores de t sucientemente grandes. Se dice que f (t) es de
orden ms pequeo que g(t) cuando t , y se escribe f (t) = o(g(t)) cuando
a
n
t , si se cumple
f (t)
= 0.
l
m
t g(t)
En particular, se escribe f (t) = o(1) cuando f (t) converge a cero cuando t . Se
usa la misma notacin cuando t tiende a alg n valor nito particular y las funciones
o
u
se encuentran denidas y son positivas en una vecindad no trivial alrededor de ese
valor. En este texto se usa la notacin o peque a para establecer el comportamiento
o
n
de probabilidades dependientes del tiempo p(t), cuando t se aproxima a cero a travs
e
de valores positivos.
258
Esperanza condicional. Sea (, F , P ) un espacio de probabilidad. Sea X una
variable aleatoria con esperanza nita, y sea G una sub -lgebra de F . La espea
ranza condicional de X dado G , es una variable aleatoria denotada por E(X | G ),
que cumple las siguientes tres propiedades:
a) Es G -medible.
b) Tiene esperanza nita.
c) Para cualquier evento G en G ,
E( X | G ) dP =
X dP.
(A.1)
Es importante enfatizar que la esperanza condicional es una variable aleatoria.

Usando el teorema de Radon-Nikodym (vase por ejemplo [9]), puede demostrarse
e
que esta variable aleatoria existe y es unica casi seguramente. Esto signica que
si existe otra variable aleatoria con las tres propiedades anteriores, entonces con
probabilidad uno coincide con E(X | G ). Cuando la -lgebra G es generada por una
a
variable aleatoria Y , es decir, cuando G = (Y ), la esperanza condicional se escribe
simplemente como E(X | Y ). Mencionaremos a continuacin algunas propiedades
o
de esta variable aleatoria, en estas expresiones se postula de manera impl
cita que
la variable aleatoria a la que se le aplica la esperanza condicional es integrable.
1. Si c es constante, entonces E( c | G ) = c.
2. E(X | {, } ) = E(X).
3. Si A es un evento, entonces E(1A | {, } ) = P (A).
4. Si A y B son eventos con 0 < P (B) < 1, entonces
E(1A | {, B, B c , } ) = P (A | B) 1B + P (A | B c ) 1B c .
5. Si A es un evento y B1 , . . . , Bn es una particin de tal que P (Bi ) > 0 para
o
i = 1, . . . , n, entonces
n
E(1A | {B1 , . . . , Bn }) =
i=1
P (A | Bi ) 1Bi .
Apndice A. Conceptos y resultados varios

e
259
6. Si Y es una variable aleatoria discreta con valores 0, 1, . . ., entonces

E(X | Y ) =
n=0
E(X | Y = n) 1(Y =n) .
7. E(E(X | G )) = E(X).
8. | E(X | G ) | E( |X| | G ). Este es un caso particular de la desigualdad de
Jensen que se enunciar ms adelante. En particular, tomando esperanza se
a a
tiene el siguiente resultado.
9. E |E(X | G )| E(|X|).
10. Si c es constante, entonces E(c X + Y | G ) = c E(X | G ) + E(Y | G ).
11. Si X es G -medible, entonces E(X | G ) = X c.s.
12. Si X 0, entonces E(X | G ) 0.
13. Si X Y , entonces E(X | G ) E(Y | G ).
14. Si G1 G2 , entonces
E(E(X | G1 ) | G2 ) = E(E(X | G2 ) | G1 ) = E(X | G1 ).
15. Si X es independiente de G , entonces E(X | G ) = E(X).
16. Si G1 y G2 son independientes, entonces
E(X | (G1 G2 )) = E(X | G1 ) + E(X | G2 ) E(X).
17. Si X es independiente de G2 , entonces
E(X | (G1 G2 )) = E(X | G1 ).
m
18. Si Xn X, entonces E(Xn | G ) E(X | G ).

19. Teorema de convergencia montona. Si Xn 0 y Xn X c.s., entonces
o
E(Xn | G ) E(X | G ) c.s.
20. Si XY es integrable y X es G -medible, entonces E(XY | G ) = X E(Y | G ).
21. X es independiente de G si, y slo si, E(f (X) | G ) = E(f (X)) para cualquier
o
funcin Lebesgue medible f tal que f (X) es integrable.
o
260
22. Desigualdad de Jensen. Si u es convexa y u(X) es integrable, entonces u(E(X | G ))
E(u(X) | G ).
Funciones directamente Riemann integrables. Sea H : [0, ) [0, ) una
funcin Borel medible. Sea h > 0, y para cada n natural dena las funciones
o
n (h) = { H(t) : (n 1)h t < nh },
nf
n (h) = sup { H(t) : (n 1)h t < nh }.
Suponga que las siguientes funciones son absolutamente convergentes
(h)
(h)
= h
= h
n=1
n (h),
n (h),
n=1
y que adems l h0 (h) = l h0 (h). Entonces se dice que la funcin H es dia m

m
o
rectamente Riemann integrable. Esta condicin de integrabilidad es ms fuerte que
o
a
la integrabilidad usual de Riemann, es decir, toda funcin directamente Riemann
o
integrable es Riemann integrable. por ejemplo,
a) H(t) = 1[0,a] (t) es d. R. integrable.
b) H : [0, ) [0, ) no creciente y tal que
H(t) dt < , es d. R. integrable.
Bibliograf
a
[1] Basu A. K. Introduction to stochastic processes. Alpha Science International

Ltd., 2003.
[2] Bingham N. H. Doob: a half century on. Journal of Applied Probability, Vol.
42, 257266, 2005.
[3] Brown R. A brief account of Microscopical Observations made in the Months
of June, July, and August, 1827, on the Particles contained in the Pollen
of Plants; and on the general Existence of active Molecules in Organic and
Inorganic Bodies, Philosophical Magazine N. S. 4, 161-173, 1828.
[4] Brzeniak Z. y Zastawniak T. Basic stochastic processes. Springer, 1999.
z
[5] Burkholder D. y Protter P. Joseph Leo Doob, 1910-2004. Stochastic Processes
and their Applications, Vol. 115, 1061-1072, 2005.
[6] Caballero M. E. et al. Cadenas de Markov: Un enfoque elemental. Aportaciones
Matemticas, Serie Textos, 29. SMM, 2004.
a
[7] Chung K. L. Markov chains with stationary transition probabilities (Die
Grundlehren der mathematischen Wissenschaften in Einzeldarstellungen Band
104). Springer, 1960.
[8] Chung K. L. y Williams R. J. Introduction to stochastic integration.
Birkhuser, 1983.
a
[9] Cohn D. L. Measure theory. Birkhuser, 1980.
a
[10] Einstein A. Investigations on the theory of the Brownian movement. Dover,
1956.
261
262
Bibliograf
a
[11] Feller W. Introduccin a la teora de probabilidades y sus aplicaciones. Limusa,

o
1973.
[12] Gard T. C. Introduction to stochastic dierential equations. Marcel Dekker,
1988.
[13] Grimmett G. R. y Stirzaker D. R. Probability and random processes. Clarendon
Press, Oxford, 1982.
[14] Gut A. Probability: a graduate course. Springer, 2005.
[15] Higham D. J. (2001) An algorithmic introduction to numerical simulation of
stochastic dierential equations. SIAM Review Vol. 43, No. 3, pp. 525-546.
[16] Hoel P. G., Port S. C. y Stone C. J. Introduction to stochastic processes.
Hougthon Miin Company, 1972.
[17] Jones P. W. y Smith P. Stochastic processes: an introduction. Arnold, 2001.
[18] Jordan D. W. y Smith P. Mathematical techniques. Oxford University Press,
1997.
[19] Karlin S. y Taylor H. M. A rst course in stochastic processes. Academic Press,
1975.
[20] Klebaner F. C. Introduction to stochastic calculus with applications. Imperial
College Press, 1998.
[21] Kloeden P. E. y Platen E. Numerical solution of stochastic dierential equations. SpringerVerlag, 1999.
[22] Kuo H. Introduction to stochastic integration. Springer, 2006.
[23] Lawler G. F. Introduction to stochastic processes. Chapman & Hall / CRC,
2006.
[24] Nelson E. Dynamical theories of Brownian motion. Princeton University Press,
1967.
[25] Norris J. Markov chains. Cambridge University Press, 1997.
[26] ksendal B. Stochastic dierential equations: an introduction with applications. SpringerVerlag, 1992.
[27] Protter P. H. Stochastic integration and dierential equations. Springer, 1990.
Bibliograf
a
263
[28] Resnick S. Adventures in stochastic processes. Birkhuser, 1992.

a
[29] Revuz D. y Yor M. Continuous martingales and Brownian motion. SpringerVerlag, 1991.
[30] Rincn L. Sobre el problema del mono que escribe caracteres al azar. Miso
celnea Matemtica 42, SMM, 7990, 2006.
a
a
[31] Ross S. A rst course in probability - 4th ed. Macmillan Publishing Company,
1994.
[32] Snell J. L. A Conversation with Joe Doob. Statistical Science, Vol. 12, No. 4,
301311, 1997.
[33] Snell J. L. Obituary: Joseph Leonard Doob. Journal of Applied Probability,
Vol. 42, 247256, 2005.
[34] Spitzer F. Principles of random walk. 2nd. ed. Springer, 2001.
[35] Steele J. M. Stochastic calculus and nancial applications. SpringerVerlag,
2001.
[36] Stirzaker D. Stochastic processes and models. Oxford University Press, 2005.
[37] Taylor H. M. y Karlin S. An introduction to stochastic modeling. Academic
Press, 1994.
[38] Tudor C. Procesos estocsticos. Aportaciones Matemticas, Serie Textos 2,
a
a
Sociedad Matemtica Mexicana, 1994.
a

Indice
Abel
lema, 256
Cadena de Markov, 23
a tiempo continuo, 120
comunicacin de edos, 38
o
de dos estados, 28
de Ehrenfest, 31
de inventarios, 34
de la caminata aleatoria, 30
de la la de espera, 33
de rachas de xitos, 29
e
de ramicacin, 32
o
de v.a.s independientes, 28
del jugador, 31
distribucin inicial, 26
o
ergdica, 40
o
estacionaria, 24
existencia, 26
nita, 24
irreducible, 40
recurrente, 50
regular, 77
reversible, 80
transitoria, 50
cadena de Markov
accesibilidad de edos, 38
Caminata aleatoria, 5
asimtrica, 7
e
del jugador, 14
simtrica, 7
e
Chapman-Kolmogorov, 35, 195
Clase
aperidica, 43
o
peridica, 43
o
Clases
de comunicacin, 39
o
Clases cerradas, 41
Coeciente
de difusin, 237
o
de tendencia, 237
Comunicacin, 38
o
Conabilidad, 149
Correccin de It, 231
o
o
Coseno hiperblico, 113
o
Delta de Kronecker, 27
Deriva, 237
Desigualdad
de Jensen, 260
Distribucin
o
estacionaria, 66
invariante, 66
reticulada, 257
tipo lattice, 257
Distribuciones nito dimensionales, 255
Doob, J. L., 182
Downcrossing, 174
Drift, 237
Ecuacin
o
264

Indice
de balance detallado, 81
de calor, 195
de Chapman-Kolmogorov, 35, 195
de difusin, 195
o
de renovacin, 140, 141
o
de Wald, 257
estocstica, 237
a
solucin fuerte, 238
o
Ecuaciones de Kolmogorov, 126, 129
hacia atrs, 126
a
Espacio
C 1 , 234
C 2 , 234
L2 (P ), 222
L2 (P dt), 222
H2 , 226
2
H0 , 223
2
Lloc , 229
de estados, 1
parametral, 1
Esperanza
condicional, 258
Estado
absorbente, 40
aperidico, 42
o
peridico, 42
o
recurrente, 47
recurrente nulo, 61
recurrente positivo, 61
transitorio, 47
Estrategia de juego, 165
Euler-Maruyama, 241
Fatou
lema, 256
Filtracin, 158
o
cannica, 158
o
continua por la derecha, 159
estndar, 159
a
265
natural, 158
Funcin
o
de conabilidad, 149
de intensidad, 110
de renovacin, 140
o
de supervivencia, 149
de tasa de falla, 149
de valor medio, 110
delta de Kronecker, 27
hazard, 149
variacin cuadrtica de una, 198
o
a
variacin de una, 198
o
Funciones
dir. Riemann integrables, 260
Igualdad de procesos, 255
Independencia
de procesos, 255
Integrabilidad uniforme, 177
Integral estocstica, 221
a
como un proceso, 228
de It, 224, 226, 228, 229
o
de Stratonovich, 231
extensin por aproximacin, 226
o
o
extensin por localizacin, 229
o
o
para procesos simples, 223
propiedades, 233
It
o
correcin, 231
o
frmula de, 234, 239
o
integral, 224, 226, 228, 229
isometr de, 224, 227
a
proceso de, 237
Kronecker, 27
Lema
de Abel, 256
de Fatou, 256
266
Mtodo de discretizacin, 241
e
o
Martingala, 4, 161
de de Moivre, 186
detenida, 166
estrategia de juego, 165, 167
exponencial, 219
producto, 186
Martingalas
teorema de convergencia, 175
teorema de representacin, 180
o
Matriz
de prob. de transicin, 24
o
doblemente estocstica, 26
a
estocstica, 26
a
regular, 77
McKean
Tabla de multiplicacin, 239
o
Movimiento Browniano, 189
estndar, 191, 194
a
exponencial, 243
geomtrico, 242
e
martingala, 196
multidimensional, 202
probabilidad de transicin, 193
o
radial, 204
recurrencia
por vecindades, 213
puntual, 210
unidimensional, 191
variacin, 200
o
variacin cuadrtica, 199
o
a
N mero de cruces, 173
u
Notacin o peque a, 257
o
n
Parmetros innitesimales, 125
a
Periodo, 42
Probabilidades
de transicin, 24, 27
o
de transicin en n pasos, 27
o
Indice
de transicin en un paso, 24
o
innitesimales, 126
Problema de la ruina del jugador, 14
Proceso, 1
a tiempo continuo, 1
a tiempo discreto, 1
adaptado, 159
con incrementos estacionarios, 4
con incrementos indep, 3
de Bessel, 204
de Cox, 110
de ensayos independientes, 3
de It, 237
o
de L`vy, 4
e
de Markov, 3
de muerte, 132
de nacimiento puro, 130
de nacimiento y muerte, 127
de Ornstein-Uhlenbeck, 246
de Poisson, 98, 105, 106
compuesto, 111
generalizado, 112
homogneo, 98
e
no homogneo, 108
e
simulaciones, 103
de renovacin, 138
o
de saltos, 118
de Wiener, 191
de Yule, 132
detenido, 165
distribuciones n. dim., 255
equivalencia de s, 255
espacio de estados, 1
espacio parametral, 1
estacionario, 3
ltracin de un, 158
o
Gausiano, 4
historia de un , 158
igualdad de s, 255

Indice
independencia, 255
indistinguibilidad, 255
modicacin de un , 255
o
predecible, 159
realizacin de un , 2
o
simple, 223
trayectoria de un , 2
versin de un , 255
o
Propiedad
de Markov, 3
de prdida de memoria, 99
e
de semigrupo, 123
Propiedad de
prdida de memoria, 143
e
Puente Browniano, 219, 249
densidad, 219
Racha de xitos, 29
e
Recurrencia, 47
nula, 61
positiva, 61
Renovacin
o
ecuacin de, 141
o
funcin de, 140
o
Seno hiperblico, 113
o
Stratonovich, 231
Submartingala, 161
Supermartingala, 161
Tcnica de acople, 75
e
Tabla de multiplicacin de McKean, 239
o
Teorema
de conv. de martingalas de Doob,
175
de convergencia dominada, 257
de convergencia montona, 256, 259
o
de paro opcional, 169
de representacin de martingalas, 180
o
teorema
ergdico para cadenas, 59

o
Tiempo
s de estancia, 98, 118
s de interarribo, 98
de paro, 159
de primera visita, 45, 52, 60
de vida restante, 142
medio de recurrencia, 53, 61
Tiempo de paro, 160, 161
Transitoriedad, 47
Variacin, 198
o
cuadrtica, 198
a
Wald
ecuacin de, 257
o
267

Procesos Luis Rincón

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Procesos Luis Rincón

Uploaded by

Copyright:

Available Formats

Introduccin a los

Una versin actualizada del presente texto se encuentra disponible en formato

5. Cadenas de Markov a tiempo continuo

6. Procesos de renovacin y conabilidad

A. Conceptos y resultados varios

Los diferentes tipos de procesos estocsticos se obtienen al considerar las distintas

Una caminata aleatoria simple sobre el conjunto de n meros enteros Z es un proceso

2.1. Caminatas aleatorias

cualquier n 0, y para cualesquiera enteros i y j.

Dado que estas probabilidades no dependen de n, se dice que son homogneas en

Una caminata aleatoria puede tambin dee

Sin prdida de generalidad supondremos

Analicemos estas dos primeras frmulas. Si p > q, es decir, si la caminata toma

Demostracin. Suponga que se observa la posicin de la caminata despus de efeco

2.1. Caminatas aleatorias

Esta ecuacin es la identidad clave para obtener el resultado buscado. Observe

En particular, cuando la caminata es simtrica, es decir, cuando p = 1/2, y con las

Esta frmula puede tambin justicarse mediante argumentos de anlisis combinao

La frmula (2.1) puede extenderse fcilmente al caso general de pasar de un estado

Demostracin. Suponga que X0 = 0 y dena Zn = Xn y. Entonces Zn es ahora

demostraremos adems que el n mero de pasos promedio para regresar al origen

Es decir, slo en el caso simtrico, p = q, se tiene la certeza de un eventual

2.1. Caminatas aleatorias

Demostracin. Para demostrar estas armaciones utilizaremos los siguientes eleo

En esta expresin simplemente se descompone la probabilidad de regreso al origen,

momento, el paso n. Despus de efectuado el primer regreso se multiplica por la

Multiplicando (2.3) por tn , sumando y cambiando el orden de las sumas se obtiene

Observe que en el numerador hay n factores. Este n mero es una generalizacin

2.1. Caminatas aleatorias

En particular y como una aplicacin de (2.5) se tiene que

e) Substituyendo (2.8) en (2.4) se llega a la igualdad

Usando esta expresin podemos ahora calcular la probabilidad de un eventual reo

fn = l G(t) = 1 (1 4pq)1/2 = 1 |p q|.

En el caso asimtrico, p = 1/2, esta cantidad es estrictamente menor a uno y

2.2. El problema del jugador

El problema del jugador

En esta seccin consideraremos un ejemplo particular de una caminata aleatoria

Este proceso es entonces una caminata aleatoria sobre el conjunto

Una de las preguntas que resolveremos para esta caminata es la siguiente:

Solucin al problema. Sea es el primer momento en el que la caminata visita

pregunta planteada se traduce en encontrar la probabilidad

vlida para k = 1, 2, . . . , N 1. La interpretacin intuitiva de esta identidad es

Resolviendo iterativamente, las primeras k 1 ecuaciones se escriben de la forma

Hemos usado aqu la condicin de frontera u0 = 1. Conviene ahora denir Sk =

2.2. El problema del jugador

Es necesario ahora distinguir los siguientes dos casos:

En la Figura 2.5 se muestra la grca de la probabilidad uk como funcin del

la probabilidad cambia rpidamente de un extremo a otro. Estas grcas fueron

Ejercicio. (Probabilidad de ruina del otro jugador). Si el juego se considera desde el

2.2. El problema del jugador

Proposicin. El n mero esperado de apuestas antes de la ruina es

Recordando la notacin Sk = 1 + (q/p) + + (q/p)k , y substituyendo iterativao

Aqu se ha hecho uso de la condicin de frontera m0 = 0. Sumando todas estas

Ahora se hace uso de la condicin mN = 0, y se obtiene

Nuevamente se deben distinguir los siguientes dos casos:

Substituyendo en (2.16) y simplicando, despus de algunos clculos se llega a la

La forma en la que mk cambia al variar el

Ejercicio. Demuestre que la duracin promedio

2.2. El problema del jugador

Notas y referencias. El tema de caminatas aleatorias puede ser encontrado en la

El problema de la ruina del jugador

2.2. El problema del jugador

Las cadenas de Markov fueron inventadas por el matemtico ruso A. A. Markov

Vamos a considerar procesos estocsticos a tiempo discreto Xn que cumplen la