Captulo 7

Generacin de
Procesos Estocsticos

Departamento de Informtica
Universidad Tcnica Federico Santa
Mara

Simulacin/2002 Hctor Allende 1

 Introduccin
Las caractersticas de un fenmeno aleatorio
puede ser descrito a travs de la distribucin de
probabilidad de una variable aleatoria que
representa el fenmeno.

En la teora de probabilidad, las propiedades

estadsticas de un fenmeno aleatorio que ocurre
de manera aleatoria respecto al tiempo o al espacio
no son considerados.
Simulacin/2002 Hctor Allende 2
 Introduccin
Ejemplos de fenmenos aleatorios en el tiempo:

-Imagen Biomedica, Imagen SAR

-Comportamiento de una onda en el oceano.
-Demanda de energia de cuidad o regin geografica
-Volatilidad de los ADR
-Movimiento de una partcula en un campo magnetico
-Emisin de fuentes radioactivas
-Vibracin de un edificio, causada por un movimiento
ssmico

Simulacin/2002 Hctor Allende 3

 Proceso Estocstico
Definicin: Una familia de variables aleatorias
x(t) donde t es el parmetro perteneciente a un
conjunto indexado T es llamado un proceso
estocstico (o proceso aleatorio), y se denota por:
{x(t ), t T }

Nota: Tambin es definido como: {x(t, ), t T , }

siendo X (t ), v.a.t T en el mismo espacio de
probabilidad (, , P)

Simulacin/2002 Hctor Allende 4

 Proceso Estocstico
Observacin
Si t es fijo, x( ) es una familia de variables aleatorias. (ensemble).
Para fijo, x(t) es una funcin del tiempo llamada funcin
muestrada.

1
x(t )
2
x(t )

3
x(t )

k
x(t )

n
x(t )

Simulacin/2002 t1 Hctor
t2 Allende 5
 Proceso Estocstico
Estado
Continuo Discreto
Continuo
Tiempo
Discreto

Estado y tiempo discreto y continuo.

Simulacin/2002 Hctor Allende 6
 Funcin de Medias
1. Sea {x(t ), t T } un proceso estocstico, se
llama funcin de medias:
x (t ) : T
t x (t ) E[ xt ]

Obs: x (t ) E[ x(t )] cte t T se dice que

es un proceso estocstico estable en media.
Simulacin/2002 Hctor Allende 7
 Funcin de Varianzas
2. Sea {x(t ), t T } un proceso estocstico, se
llama funcin de varianzas:
x2 (t ) : T
t x2 (t ) V [ xt ] E{( xt E[ xt ]2 }

Obs: x2 (t ) cte t T se dice que es

un proceso estocstico estable en varianza.

Simulacin/2002 Hctor Allende 8

 Funcin de
Autocovarianzas
3. Sea {x(t ), t T } un proceso estocstico, se
llama funcin de varianzas:

C xx (t ) : T T
(t1 , t 2 ) C xx (t1,t 2 ) Cov[ xt , xt2 ]
1

E{( xt1 x (t1 ))( xt2 x (t 2 ))}

Simulacin/2002 Hctor Allende 9

 Funcin de
Autocorrelacin
3. Sea {x(t ), t T } un proceso estocstico, se
llama funcin de varianzas:

x (t ) : T T
Cov[ xt , xt2 ]
(t1 , t 2 ) x (t1,t 2 ) 1

(t1 ) (t 2 )

Simulacin/2002 Hctor Allende 10

 Funcin de Autocovarianza
La funcin de Autocovarianza Cxx (t1, t2 ) de un
proceso estocstico viene dado por:
C xx (t1 , t2 ) Cov[ x(t1 ), x(t 2 )]
E[( x(t1 ) E[ x(t1 )])( x(t2 ) E[ x(t 2 )])]
n
1
C xx (t1 , t 2 ) {x(t1k ) x(t1 )}{x(t2k ) x(t 2 )}
n k 1

1 n
donde x (t i ) E[ x (t i )]
n k 1
x (t k
i ) i 1,2

Si est en funcin de las diferencias de tiempo:

R( ) Cov[ x(t ), x(t )] x ( )
Simulacin/2002 Hctor Allende 11
 Distribucin conjunta finito
dimensional
Sea (, , P) un espacio de probabilidad y
un conjunto de ndices T, y X : T
un proceso estocstico.

El sistema: FX {FX (t ),..., X (t ) : t1,....,tn T , n }

1 n

es una Distribucin conjunta finito

dimensional

Simulacin/2002 Hctor Allende 12

 Proceso estocstico de 2 orden

Sea X un proceso estocstico, se dice de 2

orden ssi el segundo momento es finito es
decir, E[ x 2 (t )] t T

o sea V X (t ) (t ) 2 1 t T
2 2

EX(t) t T

Simulacin/2002 Hctor Allende 13

 Proceso Estacionario
OBS: Las caractersticas de un proceso aleatorio son
evaluados basados en el ensemble.
a) Proceso Estocstico Estacionario Estricto:
Si la distribucin conjunta de un vector aleatorio n-
dimensional, {x(t1 ), x(t2 ),...., x(tn )}
y {x(t ), x(t ),...., x(t )}
1 2 n
es la misma para todo , entonces el proceso
estocstico x(t) se dice que es un proceso estocstico
estacionario (o estado estacionario).
Es decir, las propiedades estadsticas del proceso se
mantienen invariante bajo la traslacin en el tiempo.

Simulacin/2002 Hctor Allende 14

 Proceso Estacionario
b) Proceso Estocstico Evolucionario:
Un proceso estocstico no estacionario se llama
evolucionario
c) Proceso Estocstico Dbilmente Estacionario:
Un proceso estocstico se dice dbilmente estacionario
(o estacionario en covarianza) si su funcin de valor
medio es constante independiente de t y su funcin de
autocovarianza depende de la diferencia de los
Argumentos.
i) E[x(t)]=c ii) Cov[x(t),x(t+)] = h() para todo t.

Simulacin/2002 Hctor Allende 15

 Proceso Ergdico
Un proceso estocstico x(t) se dice que es
un proceso ergdico si el tiempo promedio
de un simple registro es aproximadamente
igual al promedio de ensemble. Esto es:
1 n
n x(ti ) para un proceso de tiempo discreto.
i 1
E[ x(t )] T
1 x(t )dt para un proceso de tiempo continuo.
T
0

Simulacin/2002 Hctor Allende 16

 Proceso Ergdico
En general, las propiedades ergdicas de un
proceso estocstico se asume verdadera en
el anlisis de los datos observados en
ingeniera, y por lo tanto las propiedades
estadsticas de un proceso aleatorio puede
ser evaluado a partir del anlisis de un nico
registro.

Simulacin/2002 Hctor Allende 17

 Proceso de Incrementos
Independientes
Un proceso estocstico x(t) se dice que es un proceso
de incrementos independientes si x(ti 1 ) x(ti ) ,
i= 0,1,, es es estadsticamente independiente
(i.e., Estadsticamente no correlacionado).

Sea el proceso estocstico x(t) se dice un proceso

estacionario de incrementos independientes.
Entonces, la varianza de los incrementos
independientes x(t 2 ) x(t1 ) , donde t1 t2 ,
es proporcional a t 2 t1

Simulacin/2002 Hctor Allende 18

 Proceso de Markov

Un proceso estocstico x(t) se dice que es un

proceso de Markoviano si satisface la siguiente
probabilidad condicional:
P{x(tn ) xn | x(t1 ) x1 , x(t2 ) x2 ,..., x(t n 1 ) xn 1}
P{x(t n ) xn | x(t n 1 ) xn 1}, donde t1 t2 ....t n 1 tn

Cadena de Markov: Proceso de Markov con estado

discreto.
Proceso de Difusin: Proceso de Markov con
estado continuo.
Simulacin/2002 Hctor Allende 19
 Proceso de Markov
La ecuacin anterior puede ser escrita
como: f {x(tn ) | x(t1 ), x(t2 ),..., x(tn1 )} f {x(tn ) | x(tn1 )}
entonces se tiene:
f {x(t1 ),.., x(t n )} f {x(t n ) | x(t1 ),..., x(t n 1 )} f {x(t1 ),..., x(t n 1 )}
f {x(t n ) | x(t n 1 )} f {x(t1 ), x(t 2 ),..., x(t n 1 )}
f {x(t1 ),..., x(t n 1 )} f {x(t n 1 ) | x(t n 2 )} f {x(t1 ),..., x(t n 2 )}
etc.
Obteniendos
n
f {x(t1 ), x(t 2 ),..., x(t n )} f {x(ti )} f {x(t r ) | x(t r 1 )}
r 2

Simulacin/2002 Hctor Allende 20

 Proceso de Markov
Conclusin:
La funcin de densidad de probabilidad conjunta
de un proceso de Markov puede ser expresado por
medio de las densidades marginales f {x(tr )} y
Un conjunto de funciones de densidad de probabilidad
condicional f {x(t r ) | x(t r 1 )} ,se llama densidad de
probabilidad de transicin.

Un proceso de Markov se dice homogneo en el tiempo si

la densidad de probabilidad de transicin es invariante en
el tiempo :
f {x(t r ) | x(t r 1 )} f {x(t r ) | x(t r 1 )}

Simulacin/2002 Hctor Allende 21

 Proceso de Conteo

Un proceso estocstico de tiempo continuo y valores

enteros se llama proceso de conteo de la serie de eventos si
N(t) representa el nmero total de ocurrencias de un evento
en el intervalo de tiempo [0 ; t]

N(t)
4
3
2
1

0 t1 t2 t3 Time Intervalos de tiempo

entre sucesivas
T1 T2 T3 T4 ocurrencias

Simulacin/2002 Hctor Allende 22

 Proceso de Conteo
Proceso de Poisson: Proceso de renovacin en la cual
los tiempos entre llegadas obedecen una distribucin
exponencial.
Proceso de renovacin (Renewal Process):
Los tiempos entre llegadas son v.a. i.i.d. con alguna ley de
probabilidades F
Proceso Guassiano
Proceso de Wiener
Proceso de Bernoulli

Simulacin/2002 Hctor Allende 23

 Proceso Normal o Gaussiano
Un proceso estocstico x(t) se dice que es un proceso
gaussiano si para cualquier tiempo t, la variable aleatoria
x(t) tiene distribucin Normal.

Nota: Un proceso normal es importante en el anlisis

estocstico de un fenmeno aleatorio observado en las
ciencias naturales, ya que muchos fenomenos aleatorios
Pueden ser representados aproximadamente por una
densidad de probabilidad normal

Ejemplo: Movimiento de la superficie del oceano.

Simulacin/2002 Hctor Allende 24

 Proceso de Wiener-Lvy
Un proceso estocstico x(t) se dice que es un proceso de
Wiener-Lvy si:
i) x(t) tiene incrementos independientes estacionarios.
ii) Todo incremento independiente tiene distribucin normal.
iii) E[x(t)]=0 para todo el tiempo.
iv) x(0)=0
Este proceso se conoce en el mundo fisco comomovimiento
Browniano y juega un importante papel en la descripcin del
movimiento de pequeas particulas inmersas en un lquido o
gas.
Se puede demostrar que la varianza de un proceso Wiener-
Lvy aumenta linealmente con el tiempo.

Simulacin/2002 Hctor Allende 25

 Proceso de Poisson

Un proceso de conteo N(t) se dice que es un proceso de

Poisson con razn media (o con intensidad) si:
i) N(t) tiene incrementos independientes estacionarios.
ii) N(0)=0
iii) El nmero de la longitud en cualquier intervalo de
tiempo est distribuido como Poisson con media . Esto
es:

( )k
P{N (t ) N (t ) k} e , k 0,1,...
k!
tambin se conoce como proceso de incremento de Poisson.

Simulacin/2002 Hctor Allende 26

 Proceso de Poisson

Para un proceso estocstico de incrementos independientes,

se tiene la siguiente funcin de autocovarianza:

Var[ N (t1 ) N (t 2 )] para 0 t 2 t1

Cov[ x(t1 ), x(t 2 )]
0 e.t.o.c
Si x(t) tiene distribucin de Poisson, entonces:

(t1 t 2 ) ( (t 2 t1 )) para 0 t 2 t1
Cov[ x(t1 ), x(t 2 )]
0 e.t.o.c
Por lo tanto un proceso de incremento de Poisson es
estacionario en covarianza.

Simulacin/2002 Hctor Allende 27

 Proceso de Bernoulli

Considerar una serie de intentos independientes con dos

salidas posibles: xito o fracaso. Un proceso de conteo Xn
se llama proceso de Bernoulli si Xn representa el nmero
de xitos en n ensayos.

Si p es la probabilidad de xito, la probabilidad de k xitos

dado n ensayos est dado por la distribucin binomial:

n k nk
P{ X n k} p q , donde q 1 p
k

Simulacin/2002 Hctor Allende 28

 Proceso Ruido Blanco

Sea {a(t )}tT un p.e., se llama ruido blanco

ssi:
i) E[a(t )] 0
ii) Cov[at , as ] st a2

El ruido blanco es un proceso estocstico estacionario

Si a(t ) ~ N (0, a2 ) t T, en tal caso el ruido blanco
se dice Gaussiano.
Si t1 , t2 ,..., tn T son independientes
entonces es ruido blanco puro

Simulacin/2002 Hctor Allende 29

 Proceso de Medias Mviles

Sea {x(t ), t T } un p.e., se dice de media mvil de orden q

ssi: xt at 1at 1 2 at 2 ..... q at q

donde 1 ,...., q , q 0

y {a(t )}tT es ruido blanco.

Notacin: X ~ MA(q)

Simulacin/2002 Hctor Allende 30

 Proceso Autoregresivo

Sea {x(t ), t T } un p.e., se dice autoregresivo de

orden p ssi:
xt 1 xt 1 2 xt 2 ... p xt p at

donde 1 ,...., p , p 0

y {a(t )}tT es ruido blanco.

Notacin: X ~ AR( p)

Simulacin/2002 Hctor Allende 31

 Proceso ARMA

Sea {x(t ), t T } un p.e., se dice autoregresivo de

media mvil de orden (p,q) ssi:
xt 1 xt 1 ... p xt p at 1at 1 ... q at q

1 ,...., p ,1 ,..., q , p 0, q 0
donde

y {a(t )}tT es ruido blanco.

Notacin: X ~ ARMA( p, q)

Simulacin/2002 Hctor Allende 32

 Proceso de Banda-Angosta
Un proceso estocstico de tiempo continuo y estado
estacionario x(t) es llamado un proceso de banda angosta si
x(t) puede ser expresado como: x(t ) A(t ) cos{ 0 (t )}

donde 0 = constante . La amplitud A(t), y la fase (t) son

variables aleatorias cuyo espacio de muestreo son 0A(t)
y 0 (t) 2, respectivamente.

2 2 2 2 2
0 0 0 0 0

Simulacin/2002 Hctor Allende 33

 Generacin de Procesos
Estocsticos

Generacin de Procesos Estocsticos

Generacin de Familias de v.a. {Xt}t T
Comenzaremos con las cadenas de Markov homogneas.

Cadena de Markov en Tiempo Discreto

Para generar una cadena de Markov con espacio de estado S
y matriz de transicin P = [pij] donde pij = P(Xn+1=j / X = i). La
forma ms simple de simular la transicin (n+1)-sima,
conocida Xn, es generar Xn+1~{pxnj : j S}

Simulacin/2002 Hctor Allende 34

 Generacin de Procesos
Estocsticos
Alternativamente se puede simular Tn, el tiempo hasta el
siguiente cambio de estado y, despus el nuevo estado
Xn+Tn. Si Xn = s, Tn ~ Geo(pss) y Xn+Tn tiene una distribucin
discreta con cuanta {psj / (1 - pss) : j S \ {s}}.
Para muestrear N transiciones de la cadena suponiendo
Xo = io
Algoritmo
Hacer t=0, Xo = io
Mientras t < N
Generar h ~ Geo(pxtxt)
Generar Xt+h ~ {pxtj / (1 - pxtxt) : j S \ {s}}.
Hacer t=t+h
Simulacin/2002 Hctor Allende 35
 Generacin de Procesos
Estocsticos

OBS. 1) La primera forma de simular una cadena de

Markov, que corresponde a una estrategia
sincrnica, es decir en la que el tiempo de
simulacin avanza a instantes iguales.
2) La estrategia asincrnica es ms complicada de
simular [Ver. B. Ripley 1996]

Simulacin/2002 Hctor Allende 36

 Generacin de Procesos
Estocsticos
Cadenas de Markov en Tiempo Continuo
La simulacin asincrnica de cadenas de Markov en
tiempo continuo es sencilla de implantar.
- Las cadenas de Markov de Tiempo Continuo vienen
caracterizadas por los parmetros vi de las distribuciones
exponenciales de tiempo de permanencia en el estado i y
la matriz de transicin P; con pii = 0; pij = 1
- Sea Pi la distribucin de la fila i-sima. Entonces si Xo= io,
para simular hasta T se tiene :
i j

Simulacin/2002 Hctor Allende 37

 Generacin de Procesos
Estocsticos

Algoritmo

Hacer t = 0, Xo = io , j = 0
Mientras t < N
Generar tj ~ exp(vxj)
Hacer t = t + tj
Hacer j = j + 1
Generar Xj ~ Pxj-1

Simulacin/2002 Hctor Allende 38

 Generacin de Procesos
Estocsticos
Proceso de Poisson
En el Proceso de Poisson P(), el nmero de eventos NT
en un intervalo (0,T) es P(T) y los NT ~ U(0,T)
Algoritmo

-Generar NT ~ P(T)

- Generar U1, ..., UT ~ U(0,T)

Simulacin/2002 Hctor Allende 39

 Generacin de Procesos
Estocsticos
1) Para procesos de Poisson no homogneos, con

t
intensidad (t) y u(t) = 0
(s) ds . Entonces
- Generar NT ~ P(u(t))

- Generar T1, T2 ,..., TNT ~ I[ 0,T ]
(t )

2) Los procesos de Poisson son un caso particular

de los procesos de renovacin. La forma de generar
los primeros se extiende a los procesos de
renovacin.

Simulacin/2002 Hctor Allende 40

 Generacin de Procesos
Estocsticos

- Sean S0 = 0, S1, S2, ... Los tiempos de ocurrencia

- Ti = Si - Si-1 los tiempos entre sucesos.
- Para un proceso de renovacin, los Ti son v.a.i.i.d. segn
cierta distribucin .
- Simular hasta el instante T.
Hacer S0 = 0
Mientras Si < T
Generar Ti ~
Hacer Si = Ti + Si-1
Hacer i = i + 1

Simulacin/2002 Hctor Allende 41

 Generacin de Procesos
Estocsticos

Procesos no Puntuales (Movimiento Browniano)

- La simulacin de procesos (no puntuales) en tiempo
continuo es ms complicada que la simulacin de procesos
puntuales.

-Una solucin es generar procesos en suficientes instantes

discretos y aproximar la trayectoria por interpolacin.

Simulacin/2002 Hctor Allende 42

 Generacin de Procesos
Estocsticos

Como ejemplo, consideremos el movimiento Browniano

con parmetro 2
- X0 = 0

- Para s1 t1 s2 t2 ..... sn tn las v.a.

Xt1 - Xs1, ..., Xtn - Xsn son independientes
- Para s < t, Xt - Xs ~ N(0, (t-s) 2)
-Las trayectorias son continuas

Simulacin/2002 Hctor Allende 43

 Generacin de Procesos
Estocsticos

Entonces para t fijo,

Hacer X0 = 0
Desde i = 1 hasta n
Generar Yi ~ N(0, (t-s) 2)
Hacer Xit = X(i-1)t + Yi
Interpolar la trayectoria en {(it, Xit)}
Otros ejemplos de Simulacin de Procesos continuos [Ver
B. Ripley 1987]

Simulacin/2002 Hctor Allende 44

 Generacin de Procesos
Estocsticos

El Proceso de Gibbs
El creciente inters en los mtodos de cadenas de Markov,
se debe al uso en Inferencia Bayesiana del Muestrador de
Gibbs. [Geman and Geman (1984)]
Ejemplo: Sean (X,Y) v.a.d. Bernoulli con distribucin
x y P(X,Y) 4
0 0 p1 p
i 1
i 1
1 0 p2
0 1 p3 pi > 0
1 1 p4

Simulacin/2002 Hctor Allende 45

 Generacin de Procesos
Estocsticos

P(X=1) = p2 + p4 (Marginal)
p3 x 0
P(X/Y=1) =
p4 x 1
p4
P(X=1/Y=1) =
p3 p 4
Las Distribuciones condicionales
P( y 0 / x 0) p( y 1 / x 0)
Ayx
P( y 0 / x 1) P( y 1 / x 1)
p p1p p3

Ayx 1 3 p1 p3

p2 p4
p2 p4 p2 p4

Simulacin/2002 Hctor Allende 46

 Generacin de Procesos
Estocsticos

Algoritmo
p1 p2

Escoger Y0 = y0 , j =1 Axy p1 p2 p1 p2

Repetir p3 p4
p3 p4 p3 p4
Generar Xj ~ X/Y = yj-1
Generar Yj ~ Y/X = xj
j=j+1

Entonces {Xn} define una cadena de Markov con matriz de

transicin
A = Ayx Axy

Simulacin/2002 Hctor Allende 47

 Generacin de Procesos
Estocsticos
Como las probabilidades pi > 0, la cadena es ergdica y
tiene distribucin lmite, que es la marginal de X
Xn X ; Yn Y ; (Xn, Yn) (X,Y)

1) El procedimiento descrito se llama muestrador de

Gibbs [Gibbs Sampler] y nos proporciona una
cadena de Markov, con distribucin lmite deseada y
se puede generalizar.
Para muestrear un vector aleatorio p-variante
X = (X1, X2, ..., Xp) con distribucin , conociendo
las distribuciones condicionadas Xs/Xr, r s
Simulacin/2002 Hctor Allende 48
 Generacin de Procesos
Estocsticos

Sea (xs/xr, r s) Distribucin Condicionada

El [Gibbs Sampler] en este caso es
- Escoger X10, X20,..., Xp0 ; j = 1
Repetir
Generar X1j ~ X1/ X2j-1,..., Xpj-1
Generar X2j ~ X2/ X1j, X3j-1,..., Xpj-1
....
Generar Xpj ~ Xp/ X1j, X2j,..., Xp-1j
j = j+1

Simulacin/2002 Hctor Allende 49

 Generacin de Procesos
Estocsticos

Se puede verificar que Xn = (X1n, X2n,..., Xpn) define una

cadena de Markov con Matriz de transicin
p
Pg(Xn, Xn+1) = i
(
j 1
x n 1
/ X n
j ; j i ; X n 1
j , j i)

Bajo condiciones suficientemente generales [Ver Roberts

Smith (1994)]

Simulacin/2002 Hctor Allende 50

 Generacin de Procesos
Estocsticos

Ejemplo : Muestrear la densidad

(x1/x2) = 1
exp[ x1 (1 x )] I ( x1 , x2 )
2
2
D
siendo D = R+ R
(x1/x2) = ( x(1x, x)2 ) exp[ x1 (1 x22 )]
2

(x2/x1) = exp[ x1 x2 ]
2

x1/x2 ~ exp[1 x22 ]

x2/x1 ~ N(0, 2=(1/2x1))

Simulacin/2002 Hctor Allende 51

 Generacin de Procesos
Estocsticos

El muestreador Gibbs
Escoger x20 ; j = 1
Repetir
Generar X1j ~ exp[1+(x2j-1)2]
Generar X2j ~ N(0, 1/2x1j)
OBS: Las secuencias podran efectuarse en forma
aleatoria en lugar de usar la secuenciacin natural
Estudiar el Algoritmo de Metropolis-Hastings.

Simulacin/2002 Hctor Allende 52

Mtodos de Optimizacin y Simulacin:

1. Bsqueda Aleatoria Pura

2. Simulated Anneling
3. Algoritmos Genticos
4. Bsqueda Tab
5. Bsqueda Tab Probabilstica

Simulacin/2002 Hctor Allende 53