Series Temporales

Semana 2
1. Procesos Estacionarios
Un proceso aleatorio es estacionario si sus propiedades estadsticas permanecen constantes en el
tiempo. La hipotesis de estacionaridad resulta fundamental en muchos casos pues, con frecuencia, solo
tenemos una realizacion del proceso a partir de la cual queremos hacer inferencia sobre las propiedades
del fenomeno que estamos estudiando, y la estacionaridad nos permite aprender sobre las propiedades
del fenomeno, observandolo por un periodo sucientemente largo de tiempo.
Denicion 1 Sea X
t
, t T un proceso aleatorio. Decimos que es (estrictamente) estacionario si dado
cualquier n N, h R y cualesquiera t
1
, t
2
, . . . , t
n
en T tales que t
1
+ h, t
2
+ h, . . . , t
n
+ h tambien
estan en T, los vectores
(X
t
1
, X
t
2
, . . . , X
tn
); y (X
t
1
+h
, X
t
2
+h
, . . . , X
tn+h
)
tienen la misma distribucion.
En la practica esta condicion es imposible de vericar, pues requerira conocer todas las dis-
tribuciones nito-dimensionales del proceso. Por ello se usa una condicion mas debil, que solo pone
condiciones en los dos primeros momentos de las variables que forman el proceso.
1.1. Procesos Debilmente Estacionarios
Sea {X(t), t T} un proceso con segundo momento nito. Decimos que X(t) es estacionario en
sentido amplio o debilmente estacionario si la funcion de media es constante:
m(t) = E(X(t)) = m, t T,
y la funcion de (auto)covarianza (s, t) solo depende de la diferencia s t:
(s, t) = (s t).
Como (s, t) = (t, s), en el caso estacionario tenemos (st) = (t s) y por lo tanto (h) = (h),
es decir, la funcion de covarianza es par.
Si {X(t), t T} un proceso estacionario, la funcion de autocovarianza a una distancia o lapso h es

X
(h) = Cov(X(t +h), X(t)) = E
_
(X(t +h) m)(X(t) m)
_
.
La funcion de autocorrelacion (ACF) a un lapso h es

X
(h) =

X
(h)

X
(0)
Recordamos la propiedad de linealidad para la covarianza: Si X, Y, Z son v.a. con segundo momento
nito y a, b, c R,
Cov(aX +bY +c, Z) = a Cov(X, Z) +b Cov(Y, Z)
1
1.1.1. Ejemplos
1. Ruido i.i.d.: X
n
, n 1 es una sucesion de v.a.i.i.d. con E(X
n
) = 0, Var(X
n
) =
2
. En este caso
m = E(X
n
) = 0 y

X
(t, t +h) =
_

2
si h = 0
0 si h = 0.
2. Ruido Blanco. En este caso las variables X
n
, n 1 no son independientes pero no estan correla-
cionadas. El resultado en cuanto a las funciones de media y autocivarianza es el mismo.
3. Promedio Movil.
Consideremos el proceso
v
t
=
1
3
_
w
t1
+w
t
+w
t+1
_
Podemos ver que para este proceso
m
v
(t) = E(v
t
) =
1
3
_
E(w
t1
) + E(w
t
) + E(w
t+1
)
_
= 0
En cuanto a la funcion de autocovarianza tenemos

v
(h) =
_

_
3
9

2
w
para h = 0,
2
9

2
w
para |h| = 1,
1
9

2
w
para |h| = 2,
0 para |h| > 2,
4. Paseo Aleatorio con Deriva. Este proceso se dene por
X(t) = t +
t

j=1
w
j
En consecuencia
m
X
(t) = E(X(t)) = t +
t

j=1
E(w
j
) = t
y como esta funcion no es constante, el paseo al azar no es un proceso estacionario. Calculemos
su covarianza

X
(s, t) = Cov(X
s
, X
t
) = Cov(
s

j=1
w
j
,
s

k=1
w
k
) = mn{s, t}
2
w
y en particular
Var(X(t)) = t
2
w
de modo que la varianza del paseo al azar aumenta con el tiempo.
2
1.1.2. Propiedades de
(0) 0, |(h)| (0), h, (h) = (h).
Una funcion real denida en Z es la autocovarianza de una ST estacionaria si y solo si es par y
denida no-negativa.
Veamos que una funcion de autocovarianza es denida no-negativa:
n

i,j=1
a
i
(i j)a
j
=
n

i=1
n

j=1
a
i
a
j
E((X
i
m)(X
j
m))
= E(
n

i=1
a
i
(X
i
m)(
n

j=1
a
j
X
j
m))
= E((
n

i=1
a
i
(X
i
m))
2
) 0
La autocorrelacion tiene las mismas propiedades que hemos descrito para la autocovarianza y la
propiedad adicional (0) = 1.
Ejemplo 1
La funcion K(h) = cos(h) para = 0 es denida no-negativa, ya que es la funcion de covarianza del
proceso estacionario
X
t
= Acos(t) +Bsen(t)
con A, B v.a. centradas de varianza 1 e independientes. Tenemos
X
t
X
s
= (Acos(t) +Bsen(t)(Acos(s) +Bsen(s))
= A
2
cos t cos s +B
2
sent sens
+AB(cos t sens + sent cos s)
y
E(X
t
X
s
) = cos t cos s + sent sens = cos (t s)
Observamos que X
t
se puede representar como
X
t
= C sen(t +)
con C
2
= A
2
+B
2
y = arctan(A/b).
Denicion 2 Si tenemos dos series de tiempo X
t
, Y
t
denimos la (funcion de) covarianza cruzada o
croscovarianza por

XY
(s, t) = Cov(X
s
, Y
t
) = E[(X
s

X
(s))(Y
t

Y
(t))]
La funcion de correlacion cruzada o croscorrelacion es

XY
(s, t) =

XY
(s, t)
(
X
(s, s)
Y
(t, t))
1/2
3
Denicion 3 Dos series de tiempo X, Y son conjuntamente estacionarias si cada una es estacionaria
y su funcion de croscovarianza solo depende de s t. La funcion de croscorrelacion de un par de series
de tiempo conjuntamente estacionarias X
t
, Y
t
se dene por

XY
(h) =

XY
(h)
(
X
(0)
Y
(0))
1/2
Ejemplo 2
Sean X
t
= w
t
+w
t1
, Y
t
= w
t
w
t1
con w
t
iid(0,
2
). Tenemos

X
(0) = E((w
t
+w
t1
)
2
) = E(w
2
t
+w
2
t1
+ 2w
t
w
t1
) = 2
2

Y
(0) =
X
(0) = 2
2

X
(1) = E((w
t+1
+w
t
)(w
t
+w
t1
)) = E(w
2
t
) =
2
=
Y
(1)

X
(1) =
Y
(1) =
2

XY
(1) = E((w
t+1
+w
t
)(w
t
w
t1
)) = E(w
2
t
) =
2

XY
(0) = E((w
t
+w
t1
)(w
t
w
t1
)) = E(w
2
t
w
2
t1
) = 0

XY
(1) == E(w
2
t
) =
2
y en consecuencia

XY
(h) =
_

_
0 h = 0,
1/2 h = 1
1/2 h = 1
0 |h| 2.
Ejemplo 3
Veamos que la funcion (h) denida en los enteros por
(h) =
_

_
1 si h = 0,
si h = 1,
0 en otro caso,
es la funcion de autocovarianza de un proceso estacionario ssi || 1/2. Sea w
k
WN(0,
2
) y R.
Denimos
X
t
= w
t
+w
t1
, t = 0, 1, . . .
En este caso,
E(X
t
) = 0, E(X
2
t
) = E(w
2
t
+
2
w
2
t1
+ 2w
t1
w
t
) =
2
(1 +
2
)

X
(t +h, t) = E(X
t+h
X
t
) = E((w
t+h
+w
t+h1
)(w
t
+w
t1
))
=
_

2
(1 +
2
) si h = 0,

2
si h = 1,
0 si |h| > 1.
4
y la funcion de autocorrelacion es

X
(h) =
_

_
1 si h = 0,
/(1 +
2
) si h = 1,
0 si |h| > 1.
Ponemos

1 +
2
= ; = +
2
;
2
+ = 0
que tiene solucion
=
1
_
1 4
2
2
Para tener una solucion real es necesario que 4
2
1 || 1/2.
Si || > 1/2 no hay un proceso de este tipo que tenga covarianza . Veamos que en este caso no
es denida no-negativa: Consideremos la matriz de covarianza para tres valores de h y > 1/2:

3
=
_
_
(0) (1) (2)
(1) (0) (1)
(2) (1) (0)
_
_
=
_
_
1 0
1
0 1
_
_
Para ver que esta matriz no es denida no-negativa tomamos el vector a = (1, 1, 1):
(1, 1, 1)
_
_
1 0
1
0 1
_
_
_
_
1
1
1
_
_
= 1 + 1 2 + 1 = 3 4
y si > 3/4 esta expresion es negativa. En general, si tomamos
n
y a = (1, 1, 1, 1, , . . . ) entonces
a

n
a = n 2(n 1) < 0
para 2/(2 1) < n. Para < 1/2 usamos el mismo argumento con a = (1, 1, 1, . . . )
2. Proceso Lineal
El proceso lineal se dene como una combinacion lineal innita de ruido blanco w
t
:
X
t
= +

j=

j
w
tj
,

j=
|
j
| < .
La segunda condicion garantiza que la suma innita que dene al proceso converge con probabilidad
uno. Recordemos que, usando la desigualdad de Jensen,
(E|w
t
|)
2
E(|w
t
|
2
) =
2
y en consecuencia E|w
t
| . Tenemos
E|X
t
| = E

j=

j
w
tj

j=
|
j
||w
tj
|
=

j=
|
j
| E(|w
tj
|)

j=
|
j
| < .
5
Para el proceso lineal tenemos E(X
t
) = y
E((X
th
)(X
t
)) = E
_

j=

j
w
t+hj

k=

k
w
tk
_
=

j=

k=

k
E(w
t+hj
w
tk
)
=
2

j=

j+h

j
para h 0. En general es posible representar los procesos ARMA de esta forma.
Introducimos el operador de retardo o backward shift B denido por BX
t
= X
t1
. Usando este
operador podemos escribir la serie que dene al proceso lineal de manera mas compacta como
X
t
= (B)w
t
donde (B) =

j=

j
B
j
. Podemos pensar que el operador (B) es un ltro lineal, que al aplicarlo
al proceso de ruido blanco w
t
produce como resultado el proceso X
t
.
Decimos que un proceso lineal es un proceso de promedio movil o MA() si = 0 y
j
= 0 para
j < 0, es decir, si
X
t
=

j=0

j
w
tj
,
El siguiente resultado muestra que si aplicamos un ltro lineal a cualquier proceso estacionario,
obtenemos un proceso estacionario
Proposicion 1 Sea {Y
t
} una serie de tiempo estacionaria con media 0 y funcion de covarianza
Y
.
Si

j=
|
j
| < entonces la serie de tiempo
X
t
=

j=

j
Y
tj
= (B)Y
t
(1)
es estacionaria con media 0 y funcion de autocovarianza

X
(h) =

j=

k=

Y
(h +k j) (2)
En el caso particular cuando {X
t
} es un proceso lineal,

X
(h) =

j=

j+h

2
.
Demostracion. El mismo argumento que usamos en la denicion del proceso lineal muestra que la
serie 1 es convergente con probabilidad 1. Como E(Y
t
) = 0 tenemos
E(X
i
) = E
_

j=

j
Y
tj
_

j=

j
E(Y
tj
) = 0
6
y
E(X
t+h
X
t
) = E
__

j=

j
Y
t+hj
__

k=

j
Y
tjk
__
=

j=

k=

k
E(Y
t+hj
Y
tk
)
=

j=

k=

Y
(h j +k)
Esto muestra que {X
t
} es un proceso estacionario con funcion de covarianza (2). Finalmente, si {Y
t
}
es un ruido blanco, entonces
Y
(h j +k) =
2
si k = j h y es 0 en otro caso.
3. Estimaci on.
En el caso de series de tiempo usualmente tenemos una realizacion x
1
, x
2
, . . . , x
n
a partir de la
cual deseamos estimar la media, la autocovarianza y la autocorrelacion. No disponemos, como sucede
en el caso de la estadstica clasica, de varias copias independientes del proceso a partir de las cuales
podemos hacer la estimacion. Para poder hacer la estimacion de la media, por ejemplo, en el caso de
un proceso estacionario, requerimos un resultado de convergencia tipo LGN: Queremos estimar
E(X
t
) =
_
X
t
() dP() = m
por
1
n
n

i=1
X
i
.
Si las variables X
i
son i.i.d. entonces sabemos que
1
n
n

i=1
X
i
m c.s.
pero en nuestro caso hay una estructura de correlacion en el proceso y las variables X
i
no son i.i.d.
Un teorema que garantice la convergencia del estimador en el caso dependiente se conoce como un
teorema ergodico y esta propiedad del proceso se conoce como ergodicidad. Vamos a suponer que los
procesos que consideramos tienen esta propiedad. Resultados de este tipo se pueden ver en el libro de
Karlin y Taylor.
3.1. Estimacion de la Media
Usamos como estimador

X
n
=
1
n
(X
1
+ +X
n
).
7

X
n
es un estimador insesgado porque E(

X
n
) =
1
n

n
1
E(X
i
) = . El error medio cuadratico de este
estimador es
E(

X
n
)
2
= Var(

X
n
) =
1
n
2
n

i=1
n

j=1
Cov(X
i
, X
j
)
=
1
n
2
n

ij=n
_
n |i j|
_
(i j)
=
1
n
n

h=n
_
1
|h|
n
_
(h)
Si (h) 0 cuando h ,

X
n
converge a en media cuadratica. Para demostrar esto a partir de la
expresion anterior observamos que dado > 0 existe H t.q. |h| > H (h) < /2. Tenemos
1
n
n

h=n
_
1
|h|
n
_
(h)
2
n
n

h=0
_
1
h
n
_
(h)
=
2
n
_
H

h=0
+
n

h=H+1
__
1
h
n
_
(h)

2H
n
(0) +
2
n
n

H+1
_
1
h
n
_

C
n
+
donde C es una constante. Esto es suciente para ver la convergencia.
Si

h=
(h) <
entonces
lm
n
nVar(

X
n
) =

|h|<
(h)
Resumimos este resultado en la siguiente proposicion.
Proposicion 2 Si X
t
es una S.T. estacionaria con media y funci on de autocovarianza , entonces,
cuando n ,
Var(

X
n
) = E(

X
n
)
2
0 si (h) 0
nE(

X
n
)
2

|h|<
(h) si

h
|(h)| < .
Para hacer inferencia sobre usando

X
n
es util conocer la distribucion de

X
n
o una aproximacion.
Si la S.T. es gaussiana entonces

n(

X
n
) N
_
0,

|h|<n
_
1
|h|
n
_
(h)
_
8
Para muchas ST y en particular para muchos procesos lineales y modelos ARMA,

X
n
es aproxi-
madamente normal con media y varianza
1
n

|h|<
(h) para n grande. Un intervalo de conanza
aproximado al 95 % para es
_

X
n

1,96
1/2

n
,

X
n
+
1,96
1/2

n
_
con =

|h|<
(h)
No conocemos pero lo podemos estimar por
=

|h|<

n
_
1
|h|
n
_
(h)
3.2. Estimacion de la autocovarianza y autocorrelacion
La autocovarianza muestral se dene como
(h) =
1
n
n|h|

t=1
_
X
t+|h|

X
n
__
X
t

X
n
_
La autocorrelacion muestral se dene de manera analoga:
(h) =
(h)
(0)
Ambos estimadores tienen sesgo (y tampoco seran insesgados si reemplazamos n por n h en el
denominador). La ventaja de usar esta expresion (con n) es que la funcion que resulta (h) es positiva
denida, al igual que la covarianza (h). Esta propiedad asegura que la varianza de cualquier combi-
nacion lineal de variables X
t
nunca es negativa, y es natural pedir esta misma condicion al estimador
de la autocovarianza.
La propiedad de ser positiva denida dice que si

k
=
_
_
_
_
_
_
_
(0) (1) (k 1)
(1) (0) (k 2)
(2) (1) (k 3)
.
.
.
.
.
.
.
.
.
.
.
.
(k 1) (k 2) (0)
_
_
_
_
_
_
_
entonces para cualquier vector a de dimensi on k, a

k
a 0.
Observamos que si

m
es no-negativa denida entonces

k
tambien lo es para todo k < m.
La ACF muestral juega un papel importante en la seleccion de modelos adecuados para los datos.
Aunque no es posible calcular la distribucion de la estadstica (h) en la mayora de los casos, en
general se puede aproximar adecuadamente por una distribucion normal si el tama no de la muestra
es grande.
9
Proposicion 3 Si X
t
es i.i.d. con cuarto momento nito entonces, para n grande, la ACF muestral

X
(h) para h = 1, 2, . . . , H con H arbitrario pero jo, es aproximadamente normal centrada con
desviacion tpica dada por

X
(h)
=
1

H
Con base en este resultado tenemos un metodo para evaluar si los valores altos de (h) son signi-
cativos, al determinar si salen del intervalo 2/

N. Si la sucesion corresponde a un ruido blanco,

aproximadamente 95 % de la ACF muestral debe caer dentro de este intervalo.
3.3. Estimacion de la Covarianza Cruzada
Covarianza Cruzada:

XY
(h) =
1
n
nh

t=1
(x
t+h
x)(y
t
y)
con
XY
(h) =
XY
(h).
Correlacion Cruzada:

XY
(h) =

XY
(h)
_

X
(0)
Y
(0)
Proposicion 4 Para muestras grandes
XY
(h) tiene distribucion aproximadamente normal centrada
con desviaci on tpica

XY
(h)
=
1

n
si al menos uno de los procesos es un ruido blanco.
4. Series Vectoriales
Con frecuencia encontramos situaciones en las cuales es de interes estudiar las relaciones entre
series temporales que han sido medidas conjuntamente. Por lo tanto sera util considerar la nocion de
una serie temporal vectorial X
t
= (X
1
(t), X
2
(t), . . . , X
p
(t)), cuyas componentes son p series temporales
univariadas. En el caso estacionario, el vector de medias esta dado por
= E(X(t))
de la forma = (
1
,
2
, . . . ,
p
)

y la matriz de autocovarianza de orden p p

(h) = E
_
(X
i
(t +h) )(X
i
(t) )

_
donde los elementos de la matriz (h) son las funciones de covarianza cruzada

ij
(h) = E
_
((X
i
(t +h)
i
)(X
j
(t +h)
j
)
_
para i = 1, . . . , p. Como
ij
(h) =
ji
(h), tenemos que
(h) =

(h).
La funcion de autocovarianza muestral de la serie vectorial x
t
es la matriz pp de croscovarianzas

(h) =
1
n
nh

t=1
(x
t+h
x)(x
t
x)

10
donde
x =
1
n
n

t=1
x
t
es el vector de media muestral. La propiedad de simetra tambien es cierta para para la autocovarianza
muestral:

(h) =

(h)
En muchos problemas aplicados el ndice de una serie puede ser tambien multidimensional. Por
ejemplo, la posicion de una unidad experimental puede describirse por dos coordenadas, s
1
y s
2
.
La funcion de autocovarianza para un proceso estacionario multidimensional x
s
de dene en termi-
nos de un vector de lapsos h = (h
1
, . . . , h
r
)

, por
(h) = E
_
(x
s+h
)(x
s
)
_
donde
= E(s
s
)
que no depende de la coordenada espacial s. Para el proceso bidimensional de temperaturas tenemos
(h
1
, h
2
) = E
_
(x
s
1
+h
1
,s
2
+h
2
)(x
s
1
,s
2
)
_
que es funcion del lapso, tanto en las las (h
1
) como en las columnas (h
2
).
La funcion de autocovarianza muestral multidimensional se dene como
(h) = (S
1
S
2
S
r
)
1

s
1

s
2

sr
(x
s+h
x)(x
s
x)
donde s = (s
1
, s
2
, . . . , s
r
)

y el rango de la suma para cada ndice es 1 s

i
S
i
h
i
, para i = 1, . . . , r.
La media se calcula para el arreglo r-dimensional:
x = (S
1
S
2
S
r
)
1

s
1

s
2

sr
x
s
1
,s
2
,...,sr
,
donde los argumentos se suman sobre 1 s
i
S
i
. La funcion de autocorrelacion muestral mutidimen-
sional esta dada por
(h) =
(h)
(0)
.
11