Professional Documents
Culture Documents
Series de Tiempo
M.Ignacia Vicu
na - Cristian V
asquez
11 de noviembre de 2013
Indice general
1. Introducci
on
1.1. Definicion . . . . . . . . . . . . . . . . . .
1.2. Objetivo del Analisis de Series de Tiempo
1.2.1. Ejemplos de Series de Tiempo . . .
1.3. Modelamiento de una Serie de Tiempo . .
1.3.1. Tendencia . . . . . . . . . . . . . .
1.3.2. Estacionalidad . . . . . . . . . . .
1.3.3. Transformaciones para estabilizar la
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
varianza .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
3
4
5
6
15
18
2. Modelos B
asicos y definiciones
2.1. Ruido . . . . . . . . . . . . . . . . . . . .
2.2. Ruido Blanco . . . . . . . . . . . . . . . .
2.3. Camino Aleatorio . . . . . . . . . . . . . .
2.4. Operadores y polinomios de rezago . . . .
2.5. PLG - Proceso lineal general . . . . . . . .
2.6. Funcion de Autocovarianza . . . . . . . . .
2.6.1. Funcion de Autocovarianza Proceso
2.7. Estimacion de y . . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
Lineal General Causal
. . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
22
22
23
23
24
26
28
29
31
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
33
34
35
37
38
40
40
42
43
44
44
45
49
52
54
55
3. Procesos Estacionarios
3.1. Modelos Auto-Regresivos (AR) . . . . . . .
3.1.1. Modelo AR(1) . . . . . . . . . . . . .
3.1.2. Modelo AR(2) . . . . . . . . . . . . .
3.1.3. Modelo AR(p) . . . . . . . . . . . . .
3.2. Modelos de Medias Moviles (MA) . . . . . .
3.2.1. Modelo MA(1) . . . . . . . . . . . .
3.2.2. Modelo MA(2) . . . . . . . . . . . .
3.2.3. Modelo MA(q) . . . . . . . . . . . .
3.3. Modelo ARMA . . . . . . . . . . . . . . . .
3.3.1. Modelo ARMA(1,1) . . . . . . . . . .
3.3.2. Modelo ARMA(p, q) . . . . . . . . .
3.4. Prediccion de Series de tiempo Estacionarias
3.5. Prediccion en Procesos ARMA . . . . . . . .
3.5.1. Intervalos de Prediccion: . . . . . . .
3.6. Funcion de Autocorrelacion Parcial . . . . .
1
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
5. Procesos no Estacionarios
5.1. Procesos ARIMA . . . . . . . . . . . . . . . . . . .
5.2. Test de Raz Unitaria . . . . . . . . . . . . . . . . .
5.2.1. Raz Unitaria en el Polinomio Autoregresivo
5.2.2. Raz Unitaria en Polinomio de Media Movil
5.3. Prediccion en Modelos ARIMA . . . . . . . . . . .
5.3.1. Prediccion con pasado infinito . . . . . . . .
5.3.2. Prediccion con Pasado Finito . . . . . . . .
5.4. Modelos SARIMA . . . . . . . . . . . . . . . . . . .
5.4.1. Modelo multiplicativo estacional . . . . . . .
6. Modelos Heteroced
asticos
6.1. Caractersticas de las Series Financieras . . .
6.2. Modelos ARCH . . . . . . . . . . . . . . . .
6.2.1. Modelo ARCH(1) . . . . . . . . . . .
6.2.2. Modelo ARCH(p) . . . . . . . . . . .
6.2.3. Prediccion en Modelos ARCH(p) . .
6.2.4. Debilidades de los Modelos ARCH .
6.3. Modelos GARCH . . . . . . . . . . . . . . .
6.3.1. GARCH(1,1) . . . . . . . . . . . . .
6.3.2. Debilidades de los Modelos GARCH
6.4. Modelos ARMA-GARCH . . . . . . . . . . .
6.5. Modelos IGARCH . . . . . . . . . . . . . . .
Series de Tiempo
Segundo Semestre 2013
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
61
.
.
.
.
.
.
.
.
.
63
63
67
69
70
70
72
73
73
73
.
.
.
.
.
.
.
.
.
77
77
80
80
83
83
83
85
88
90
.
.
.
.
.
.
.
.
.
.
.
93
93
96
96
98
100
101
101
102
103
103
103
M.Ignacia Vicu
na - Cristian V
asquez
Captulo 1
Introducci
on
Hoy en da existe una gran cantidad de fenomenos naturales, sociales o economicos, a los
cuales podemos medir ciertas variables y asignar alg
un valor numerico a cada observacion
a traves del tiempo. El analisis de series de tiempo pretende extraer toda la informacion
que sea posible desde los datos con el fin de determinar patrones o comportamientos que
permitan inferir sobre los valores futuros.
Algunas series pueden ser observadas de manera continua en el tiempo (por ejemplo temperatura) las cuales se denominan series de tiempo continuas. Otras en cambio, son registradas
durante un tiempo discreto y posiblemente equiespaciado las que se denominan serie de tiempo discreta.
1.1.
Definici
on
1.2.
Objetivo del An
alisis de Series de Tiempo
1.2.1.
Serie AirPassengers
La siguiente serie representa los totales mensuales en miles de pasajeros internacionales desde
Enero de 1949 hasta Diciembre de 1960. El registro de estos datos puede ser de utilidad para
poder hacer predicciones sobre la demanda futura, con el objeto de poder planificar el n
umero
de aviones necesarios para satisfacer la demanda.
Serie AirPassengers
600
500
400
300
200
100
1950
1952
1954
1956
1958
1960
Tiempo
Lago Hur
on
La siguiente serie contiene mediciones (en pies) anuales del nivel del Lago Huron desde Enero
1975 a Febrero 1883.
Serie Lago Huron
582
581
580
579
578
577
576
1875
1876
1878
1880
1882
Tiempo
Series de Tiempo
Segundo Semestre 2013
M.Ignacia Vicu
na - Cristian V
asquez
1988
1990
1995
2000
2005
2010
Tiempo
1.3.
Un primer paso en el analisis de Series de Tiempo es graficar los datos. Si existe alguna
aparente discontinuidad de los datos, como un cambio brusco en la tendencia, puede ser
aconsejable analizarla por segmentos. Si hay observaciones atpicas que pueden ser causa de
errores de medicion o que el fenomeno presento un comportamiento absolutamente inusual.
Si la serie tiene un comportamiento similar antes y despues del outlier se podra pensar en
eliminarlo o reemplazarlo por otra observacion usando alg
un procedimiento o criterio.
Considere que las observaciones {Yt , t = 1, 2, . . . , n} de una serie temporal se puede descomponer en una suma de tres componentes no observadas,
Yt = Tt + St + at ,
donde Tt y St representan la tendencia y estacionalidad, respectivamente y at es una componente estacionaria de media cero y varianza a2 . Este modelo lleva el nombre de modelo
aditivo. El interes principal al considerar un modelo aditivo sera poder estimar la tendencia
y la estacionalidad, con el objetivo de ajustar un modelo que se adapte a la serie libre de
tendencia y estacionalidad.
Series de Tiempo
Segundo Semestre 2013
M.Ignacia Vicu
na - Cristian V
asquez
1.3.1.
Tendencia
Inicialmente vamos a suponer que el modelo aditivo la componente estacional no esta presente, entonces el modelo a considerar sera:
Yt = Tt + at ,
donde at es una componente estacionaria de media cero y varianza a2 .
Existen varios metodos para estimar Tt . los mas utilizados consisten en:
1. Ajustar una funcion del tiempo, como un polinomio, una funcion exponencial o otra
funcion suave.
2. Suavizar los valores alrededor de un punto, para estimar la tendencia en el punto.
Suavizamiento de medias moviles, suavizamiento exponencial.
3. Suavizar los valores de la serie mediante sucesivos ajustes de rectas de mnimos cuadrados ponderados (lowess).
Una vez que se define el procedimiento para estimar Tt , se puede obtener una serie ajustada
libre de tendencia,
Zt = Yt Tbt .
Un procedimiento que tambien es utilizado para eliminar tendencia de una serie, es tomar
diferencia, es decir
Yt = Yt Yt1
Tendencia Polinomial
Un procedimiento muchas veces utilizado es ajustar un curva a los valores observados de
la serie para estimar Tt y hacer predicciones. Tradicionalmente son utilizados varios tipos
de funciones, como exponencial y la logstica, nos vamos a limitar a describir brevemente el
ajuste de un polinomio.
Suponga que
Tt = 0 + 1 t + + m tm ,
donde m es el grado del polinomio y el n
umero de observaciones es n. Para estimar los
0
parametros j s utilizamos el metodos de los mnimos cuadrados, o sea minimizamos
f (0 , 1 , . . . , m ) =
n
X
(Yt 0 1 t . . . m tm )2 .
t=1
As se obtiene los estimadores b0 , b1 , . . . bm . El problema es que se puede presentar correlacion entre las variables independientes, pero se puede utilizar alg
un procedimiento para
Series de Tiempo
Segundo Semestre 2013
M.Ignacia Vicu
na - Cristian V
asquez
Ejemplo 1.3.1 En la siguiente tabla presentamos parte de una serie de tiempo de datos de
consumo de energa electrica de una localidad brasile
na entre los a
nos 1977 y 1978. Para ese
periodo de tiempo ajustamos un polinomio de grado dos para representar Tt .
Yt
84.6
89.9
81.9
95.4
91.2
89.8
89.7
97.9
103.4
107.6
120.4
109.6
t
13
14
15
16
17
18
19
20
21
22
23
24
Yt
110.3
118.1
116.5
134.2
134.7
144.8
144.4
159.2
168.2
175.2
174.5
173.7
El modelo se reduce a
Yt = 0 + 1 t + 2 t2 + at ,
y minimizando la suma de cuadrados de residuos
n
X
f (0 , 1 , 2 ) =
(Yt 0 1 t 2 t2 )2
t=1
obtenemos que
0 = 84,64, 1 = 0,50, beta2 = 0,14
Tbt = 84,64 + 0,5t + 0,14t2
Series de Tiempo
Segundo Semestre 2013
M.Ignacia Vicu
na - Cristian V
asquez
Serie
Estimacin Polinomial
150
100
50
0
10
15
20
25
Meses
Suavizamiento Medias M
oviles
El metodo de promedios moviles supone que todas las observaciones de la serie de tiempo
son igualmente importantes. De esta manera, se utiliza como pronostico para el siguiente
periodo el promedio de los 2q + 1 (q entero no negativo) valores de los datos mas recientes
de la serie de tiempo.
Considere el promedio movil de dos lados
q
X
1
Wt =
Ytj
2 q + 1 j=q
q
X
1
Ytj ,
2 q + 1 j=q
q + 1 t n q.
Para las estimaciones faltantes de repiten el primero y ultimo dato q veces y se agregan
virtualmente a los datos originales.
No existe una regla especfica que nos indique como seleccionar el valor de q. Si la variable
que se va a pronosticar no presenta un comportamiento relativamente estable en el tiempo,
se recomienda que el valor de q grande. Por el contrario, es aconsejable un valor de q peque
no
Series de Tiempo
Segundo Semestre 2013
M.Ignacia Vicu
na - Cristian V
asquez
Tt =
aj Ytj ,
j=
Serie
Estimacin Medias Mviles
150
100
50
0
10
15
20
25
Meses
Suavizamiento Exponencial
A diferencia de los promedios moviles, este metodo pronostica otorgando una ponderacion
a los datos dependiendo del peso que tengan dentro del calculo del pronostico. Es razonable
dar un peso mayor a las observaciones mas recientes que las observaciones del pasado remoto.
Una forma de lograr esto es dando ponderaciones distintas a las observaciones a traves de
un promedio ponderado, cuyos pesos decaen geometricamente. De este modo el nivel medio
de la serie {Yt } en el instante t es estimado por:
Yt = Yt + (1 )Yt1 + (1 )2 Yt2 +
0 < < 1, 1 t n
(1.1)
Note que la ecuacion contiene una cantidad infinita de terminos, pero en la practica solo
disponemos de un n
umero finito de ellos. Una forma de representar (1.1) en una forma mas
compacta es
Yt = Yt + (1 )Yt1
Series de Tiempo
Segundo Semestre 2013
0<<1
(1.2)
M.Ignacia Vicu
na - Cristian V
asquez
0<<1
(1.3)
donde T1 = Y1 .
Observaciones:
Usando la condicion de que T1 = Y1 , la ecuacion (1.3) puede ser escrita como
Tt =
t2
X
(1 )j Ytj + (1 )t1 Y1
j=0
(1 )i = 1
i=1
Ademas, como (1 )i (1 )j si i j, entonces los pesos asignan mas importancia al pasado reciente de la serie y menos importancia al pasado remoto de la serie
satisfaciendo nuestro requerimiento inicial.
La constante se llama constante de suavizamiento, la cual debe elegirse usando alg
un
criterio de optimalidad. El valor de Yn+1 puede ser estimado por Yn , luego si denotamos
por Yn+1 el valor estimado de la serie en el instante t = n + 1, se tiene que (1.2) puede
ser escrito como
Yn+1 = en + Yn
donde en = Yn Yn , et se denomina error de prediccion, es similar al concepto de
residuo en el contexto de regresion. Un metodo sencillo para estimar consiste en
calcular los errores de prediccion y luego considerar aquel valor de que minimice la
suma de cuadrados de dichos errores, es decir,
= argmin
n
X
e2t
t=1
P
En la practica, es posible calcular la cantidad nt=1 e2t para varios valores de en el
intervalo (0, 1) y luego encontrar el valor de que minimice el error cuadratico medio
(EMC) de prediccion.
Series de Tiempo
Segundo Semestre 2013
10
M.Ignacia Vicu
na - Cristian V
asquez
Serie
Suavizamiento Exponecial
=0.6
150
100
50
0
10
15
20
25
Meses
25000
20000
15000
10000
5000
0
0.2
0.4
0.6
0.8
Regresi
on Polin
omica Local: LOWESS
La regresion local es un enfoque de ajuste de curvas y superficies a datos mediante suavizados
en los que el ajuste en x se realiza utilizando u
nicamente observaciones en un entorno de x.
Al realizar una regresion local se utiliza una familia parametrica al igual que en un ajuste
de regresion global pero solamente se realiza el ajuste localmente.
Considere la siguiente regresion,
Yi = (xi ) + i
donde es la funcion de regresion y son los errores del modelo.
El objetivo es poder estimar la funcion g.
Suposiciones:
La funcion () debe ser continua y diferenciables de manera que pueda estar bien
aproximada localmente por polinomios de un cierto grado.
Series de Tiempo
Segundo Semestre 2013
11
M.Ignacia Vicu
na - Cristian V
asquez
W
xi x
h
(xi ) = a
0
Para cada punto x se tiene una estimacion diferente pues los pesos cambian y por lo tanto
los estimadores a
0 y a
1 .
Los estimadores se obtienen resolviendo las ecuaciones normales:
X T W (Y X) = 0
Series de Tiempo
Segundo Semestre 2013
12
M.Ignacia Vicu
na - Cristian V
asquez
donde
1 x1 x
xi x
..
.
.
X = .
), Y = (Y1 , ..., Yn )T , = (a0 , a1 )
. , W = diag(W
h
1 xn x
Si X T W X es invertible, entonces
a
0
= (X T W X)1 X T W Y
a
1
Ejemplo 1.3.4 Datos Ejemplo 1.3.1
Se ajusto la tendencia usando regresion polinomica local ponderada. El primer ajuste considera estimaciones locales lineales con un = 0, 2, donde representa la proporcion de
puntos a utilizar en el ajuste local. El segundo ajuste lo realiza en base a estimaciones
locales cuadraticas con un = 0,84.
Consumo Energa Elctrica entre los aos 19771978
200
Serie
LOWESS, grado 1, =0.2
LOWESS, grado 2, =0.84
150
100
50
0
10
15
20
25
Meses
Diferenciaci
on
La diferenciacion tiene como objetivo eliminar la tendencia de una serie. La diferencia de
orden uno se define como sigue
Yt = Yt Tt1 = (1 B)Yt
donde BYt = Yt1 . El operador de rezago B sera analizado mas adelante. Por el momento es
necesario entender que si el operador de diferencia es aplicado a una serie que tiene tendencia
lineal, entonces la serie diferenciada es una constante respecto al tiempo. Mas a
un, podemos
plantear el siguiente resultado:
Series de Tiempo
Segundo Semestre 2013
13
M.Ignacia Vicu
na - Cristian V
asquez
Proposici
Pon: j
Si Zt = m
j=0 aj t donde aj es una constante para todo j = 1, 2, m, entonces Zt es un
polinomio de grado m 1 en t y por lo tanto m+1 Zt = 0.
Demostracion:
Teorema del binomio.
El resultado anterior sugiere que dada una secuencia con cierta tendencia, es posible aplicar el
operador repetidas veces hasta que encontremos una secuencia transformada que tenga una
tendencia razonablemente constante. En la practica el orden de diferenciacion es peque
no,
es decir basta con aplicar una o dos diferencias para que la serie resultante no exhiba una
tendencia. Sin embargo, tambien existen series que es imposible transformalas en series con
aparente media constante.
Ejemplo 1.3.5 Datos Ejemplo 1.3.5
Consumo Energa Elctrica entre los aos 19771978
200
Serie
Serie Diferenciada
150
100
50
10
15
20
25
Meses
Series de Tiempo
Segundo Semestre 2013
14
M.Ignacia Vicu
na - Cristian V
asquez
1.3.2.
Estacionalidad
La estacionalidad es una caracterstica que presentan algunas series en lo largo del tiempo, y dicha caracterstica es observada con periodicidad. Este comportamiento cclico por
lo general no es perfectamente regular. En esta seccion nos vamos a limitar a explicar el
procedimiento para estimar la estacionalidad determinstica. Los metodos de regresion son
optimos para las series de tiempo que presentan estacionalidad determinstica.
Regresi
on Arm
onica
Una representacion conveniente para St esta dada por una suma armonica,
S t = a0 +
k
X
j=1
Serie
Regresin Armnica
11000
10000
9000
8000
7000
0
10
20
30
40
50
60
70
Mes
Variables Dummies
Suponga el modelo con tendencia determinstica,
Tt = 0 + 1 t + + m tm ,
para nuestro modelo vamos a suponer que la periodicidad observada ocurre cada 12 periodos
de tiempo, entonces
Series de Tiempo
Segundo Semestre 2013
15
M.Ignacia Vicu
na - Cristian V
asquez
St =
12
X
j djt ,
j=1
Como suponemos que estacionalidad constante, j no dependen del tiempo, entonces podemos pensar en variables dummys, por ejemplo en el caso que se presente una estacionalidad
cada 12 meses (en una serie mensual).
djt =
En este caso
d1t + d2t + + d12t = 1,
t = 1, 2, . . . , n,
j = 0,
j=1
m
X
j t +
j=0
11
X
j Djt + at ,
j=1
donde ahora
0,
en otro caso.
De este modelo podemos utilizar la teora usual de mnimos cuadrados y obtener los estimadores de j y j , o sea, para una muestra Y1 , . . . , Yn obtenemos el modelo
Y = C + D + a,
donde
Yn1
Y1
..
= . ,
Yn
(m+1)1
0
1
..
.
Cn(m+1)
Dn11
m
Series de Tiempo
Segundo Semestre 2013
16
1
2
..
.
1
2m
..
.
1 n
nm
1
1
..
.
D11 D21
D12 D22
..
..
.
.
D1n D2n
D11,1
D11,2
..
.
D11,n
M.Ignacia Vicu
na - Cristian V
asquez
111 =
1
2
..
.
an1 =
11
a1
a2
..
.
an
X = [C : D]
= ,
X0 Y.
Serie
Variables Dummies
11000
10000
9000
8000
7000
0
10
20
30
40
50
60
70
Mes
Series de Tiempo
Segundo Semestre 2013
17
M.Ignacia Vicu
na - Cristian V
asquez
1.3.3.
Algunas series presentan variabilidad en la varianza. Una transformacion que reduce la dependencia de la variabilidad del tiempo es llamada transformacion estabilizadora de la varianza.
Bartlett (1947) propuso un procedimiento que supone que la varianza t2 de la variable
aleatoria Zt puede expresarse como una funcion de la media t , es decir,
E(Zt ) = t
Var(Zt ) = t2 = f (t )
Queremos encontrar una nueva variable Yt = T (Yt ) tal que Var(Yt ) = C 2
Entonces, si T (.) es una funcion cuya primera derivada existe, se puede obtener la siguiente
aproximacion lineal para T (Zt ),
T
(Zt t ),
T (Zt ) ' T (t ) +
Zt
Zt =t
T
f (t ),
Var(T (Zt )) '
Zt
Zt =t
y por lo tanto
Z
T (t ) '
C
p
dt .
f (t )
Como se puede observar, es necesario conocer la forma funcional de f para estar en condiciones de utilizar la ecuacion anterior y de esta manera determinar la transformacion T (.)
que estabilice la varianza.
Vamos a restringir el tipo de transformacion a la familia de transformaciones potencia, la
cual se utiliza frecuentemente porque proporciona buenos resultados en la practica. Si la
2(1)
varianza Zt es positiva y si es razonable suponer que t2 es proporcional a t
para alg
un
valor de se tiene
2(1)
f (t ) t
se sigue que
Series de Tiempo
Segundo Semestre 2013
18
M.Ignacia Vicu
na - Cristian V
asquez
T (t )
si 6= 0,
t ,
log(t ), si = 0.
Este resultado sugiere que la funcion T (.), que vuelve aproximadamente constante la varianza
de Zt , debe ser la transformacion potencia
T (Zt ) =
Zt ,
si 6= 0,
log(Zt ), si = 0.
Yt =
log(Yt ) = 0, Yt > 0
la cual tiene la ventaja de ser continua es = 0 y es un parametro que puede ser estimado
por un procedimiento de maxima verosimilitud.
La Teora de Box Cox se base en el hecho de que las observaciones transformadas {Y1 , ..., Yn }
satisfacen los supuestos del modelo lineal, y ademas son v.a i.d.d con distribucion normal. Por
lo tanto, Y N (X, 2 In ), donde X es la matriz de dise
no y (, 2 , ) son los parametros
del modelo.
La funcion de densidad de Y esta dada por
exp{ 21 2 (Y X)T (Y X)}
f (Y ) =
n
(2 2 ) 2
De esta manera, la funcion de verosimilitud de {Y1 , ..., Yn } es
L(, , 2 |Y ) =
donde J(, Y, X) =
(1.4)
Qn dYi Qn 1
es el jacobiano de la transformacion.
i=1 dYi =
i=1 yi
()
= (X T X)1 X T Y
Y T (I G)Y
2 () =
n
donde G = X(X T X)1 X T .
Series de Tiempo
Segundo Semestre 2013
19
M.Ignacia Vicu
na - Cristian V
asquez
Se sustituye el valor de ()
y
2 () en la Verosimilitud (1.4), por lo cual la logverosimilitud queda como
n
2 ()) + ( 1)
l(|Y, X, (),
2 ()) = C + log(
2
Q
Llamado g a la media geometrica, g = ( ni=1 Yi )1/n y Z =
Y
,
g 1
l(|Y, X, (),
n
X
log Yi
(1.5)
i=1
(1.6)
donde s2 () es la suma de los cuadrados de los residuos dividida por n del modelo
lineal Y N (X, 2 In ), es decir,
s2 () =
Z T (I G)Z
n
l(|Y, X, (),
(1.7)
Y
.
g
Series de Tiempo
Segundo Semestre 2013
20
M.Ignacia Vicu
na - Cristian V
asquez
Ejemplo 1.3.8 La siguiente serie representa los totales mensuales en miles de pasajeros
internacionales desde Enero de 1949 hasta Diciembre de 1960. Se realizo una transformacion
Box-Cox para estabilizar la variabilidad de la serie con = 0,148. La eleccion de se
realizo por principio de maxima verosimilitud.
0.8
1.0
0.0
0.2
0.4
R()
0.6
^
= 0.148
0.2
0.0
0.2
0.4
Yt = AirPassengers
600
500
400
300
200
100
1950
1952
1954
1956
1958
1960
1958
1960
Tiempo
Yt= (Xt 1)
10
= 0.148
1950
1952
1954
1956
Tiempo
Series de Tiempo
Segundo Semestre 2013
21
M.Ignacia Vicu
na - Cristian V
asquez
Captulo 2
Modelos B
asicos y definiciones
Definici
on 2.1 Sea T un conjunto arbitrario. Un Proceso estocastico es una familia de
variables aleatorias Y = {Y (t), t T }, tal que, para todo t T , Y (t) es una variable
aleatoria.
Note que en el caso de las series de tiempo T = {1, 2, . . . , n}, luego el proceso estocastico
sera definido como Y = {Y1 , Y2 , . . . , Yn }.
2.1.
Ruido
El modelo mas simple para una serie temporal es aquella en la que no hay ninguna tendencia
o componente estacional y en el que las observaciones son variables aleatorias independientes
e identicamente distribuidas de media cero. Llamaremos a una secuencia X1 ,. . . , Xn con estas
caractersticas como un Ruido.
Por independencia la funcion de distribucion acumulada de esta secuencia es de la forma:
P (X1 x1 , . . . , Xn xn ) =
n
Y
P (Xi xi )
i=1
22
Xt =
1
Si la liga Nacional gano en el a
not
1 Si la liga Americana gano en el a
not
Note que la serie contiene valores perdidos debido a que no hubo competencia en el a
no 1945,
y hay dos valores para la serie entre los a
nos 1959-1962 ya que dos juegos se realizaron.
AllStar Baseball Games
2
2
1933
2.2.
1940
1950
1960
1970
1980
1990
1996
Ruido Blanco
Una forma mas debil para definir una secuencia no correlacionada esta dada por la siguiente
definicion.
Definici
on 2.2.1 Decimos que {t , t Z} es un Ruido Blanco, si:
E(t ) = 0,
t Z.
Var(t ) = 2 ,
Cov(t , s ) = 0,
t Z.
t 6= s.
Note que Un Ruido i.d.d es un Ruido Blanco, pero un Ruido Blanco no necesariamente es
un Ruido i.d.d.
Ademas al no tener correlacion con su pasado, es un modelo no predecible.
Notaci
on:
Denotaremos por {t } RB(0, 2 ) a una secuencia de Ruido Blanco tal que E(t ) = 0,
Var(t ) = 2 .
2.3.
Camino Aleatorio
Series de Tiempo
Segundo Semestre 2013
23
M.Ignacia Vicu
na - Cristian V
asquez
xt = xt1 + t
(2.1)
2.4.
50
100
150
200
El primer operador que se mencionara se llama operador de rezago, que se denota con la
letra B (en ingles es backward ). Dicho operador se define a continuacion.
Definici
on 2.4.1 El operador de rezago B es tal que:
BYt = Yt1 ,
para todo t.
Series de Tiempo
Segundo Semestre 2013
24
M.Ignacia Vicu
na - Cristian V
asquez
B 2 Yt
B 3 Yt
..
.
k
B Yt
= B(BYt ) = Yt2
= B(B 2 Yt ) = Yt3
..
.
=
.
= ..
= B(B k1 Yt ) = Ytk
para k = 1, 2, . . . y todo t.
para todo t
o sea Yt = (1 B)Yt
de esta manera, as como se obtuvo una expresion general para los B k mediante la aplicacion
sucesiva del operador B, as tambien podra obtenerse la siguiente forma general para k
Yt =
k
X
j=0
k!
(1)j Ytj
j!(k j)!
k = 0, 1, 2, . . . , y t
Este resultado es facilmente comprobable con el teorema del binomio. Ahora bien, en el
analisis de series de tiempo se utilizan operadores de rezago en forma de polinomio, es decir,
el polinomio
Yt 1 Yt1 2 Yt2 k Ytk = Yt
k
X
j Ytj ,
j=1
A(B) = 1 1 B 2 B k B = 1
k
X
j=1
Series de Tiempo
Segundo Semestre 2013
25
j B =
k
X
j B j ,
j=0
M.Ignacia Vicu
na - Cristian V
asquez
con A(B) =
k
X
j B y D(B) =
j=0
m
X
j B j ,
j=0
donde k y m son n
umeros enteros, no negativos y finitos.
Dado que B es un operador de rezago hay operaciones que no son validas:
Aplicar el operador de rezago a series que tienen diferentes frecuencias. Sea Xt = Y2t ,
entonces
BXt = Xt1 = Y2(t1) = Y2t2 = B 2 Y2t = B 2 Xt = Xt2
Aplicar operaciones absurdas,
1. Operacion logaritmo
Xt = B 2 Yt
/ log
log (Xt ) = 2 log(B) + log (Yt )
2. Operacion raiz
Xt = B 2 Z t
p
p
X t = B Yt
2.5.
Definici
on 2.5.1 (Proceso lineal general) Un proceso lineal general es una combinacion
lineal de una secuencia de ruido blanco. {Yt } es un PLG si se puede escribir como:
Yt =
j tj ,
j=
j=
j2 < .
26
M.Ignacia Vicu
na - Cristian V
asquez
j=
|j | <
Note que la condicion (2) (1), pero no necesariamente (1) (2), ejemplo:
X
X
1
1
=
<y
2
n
n
n=1
n=1
Muchos de los modelos que veremos en el futuro se pueden escribir como un PLG utilizando
la condicion (1). Un ejemplo, son los modelos ARMA, ARIMA, ARFIMA, que veremos mas
adelante. Notese que
Yt =
j tj =
j=
j B j t ,
j=
A(B) =
j B j .
j=
X
1
=
(B)j ,
C(B) =
1 B j=0
esto tiene sentido si |B| < 1, pero es suficiente que || < 1, ya que B puede ser visto como
un n
umero complejo en el circulo unitario.
Como A(B) =
como:
j=
C(B) =
cj B j .
j=
As, se tiene
C(B)Yt =
cj B Y t =
j=
Series de Tiempo
Segundo Semestre 2013
cj Ytj = t ,
j=
27
M.Ignacia Vicu
na - Cristian V
asquez
y luego,
P asado
F uturo
z }| {
z }| {
X
X
cj Ytj +Yt +
cj Yt+j = t ,
j=1
j=1
entonces se tiene
Y t = t
cj Ytj
j=1
cj Yt+j
j=1
= RB Pasadot Futurot
Note con esto, que el PLG no es adecuado para predecir, pues siempre aparece el futuro
de la serie que no es conocido. Por esto usaremos el PLGC - Proceso lineal general causal
- el cual solo utiliza el pasado.
Definici
on 2.5.2 {Yt , t = 1, 2, . . . , n} es un Proceso Lineal General Causal si se puede
escribir como una combinacion lineal de ruido blanco del pasado,
Yt =
j tj ,
j=0
2.6.
Funci
on de Autocovarianza
(s t)
,
(0)
Proposici
on 2.6.1 Una funcion de autocovarianza (k) que no depende de t satisface las
siguientes propiedades:
1. (k) > 0,
2. (k) = (k),
Series de Tiempo
Segundo Semestre 2013
28
M.Ignacia Vicu
na - Cristian V
asquez
3. |(k)| (0),
4. (k) es definida no negativa, en sentido que
n X
n
X
i j (ki kj ) 0,
i=1 j=1
para cualquier n
umero real 1 , . . . , n y k1 , . . . , kn Z.
Ejemplo 2.6.1 Ruido Blanco
Sea {t } una secuencia de Ruido Blanco con E(t ) = 0 y Var(t ) = 2 . Se tiene que
2
si k = 0
(t, t + k) =
0 si k 6= 0
Ejemplo 2.6.2 Camino Aleatorio
P
Sea {Xt } un camino aleatorio, entonces Xt = tj=0 j , donde {t } RB(0, 2 ). La funcion
de autocovarianza del proceso esta dada por
X (t, t + k) = t 2 para todo k
Ejemplo 2.6.3 Media Movil de Primer Orden
Sea Xt = t1 + t , donde {t } RB(0, 2 ). La funcion de autocovarianza del proceso
esta dada por
2
(1 + 2 ) si k = 0
2
si |k| = 1
X (t, t + k) =
0
e.o.c
2.6.1.
Funci
on de Autocovarianza Proceso Lineal General Causal
Suponga que la serie de tiempo {Yt , t = 1, 2, . . . , n} se puede escribir como un proceso lineal
general causal
Yt =
j tj ,
j=0
donde {t } RB(0, 2 ), vamos a imponer una condicion para la existencia del segundo
momento,
j2 < .
j=0
Series de Tiempo
Segundo Semestre 2013
29
M.Ignacia Vicu
na - Cristian V
asquez
E(Yt ) =
Var(Yt ) =
X
j=0
j E(tj ) = 0,
j2 Var(tj )
j2 < ,
j=0
j=0
j tj ,
j=0
i si ) =
i=0
n X
n
X
j i Cov(tj , si ),
j=0 i=0
pero
Cov(tj , si ) =
2 , si t j = s i,
0, en otro caso.
n
X
j st+j ,
j=0
Yt = Yt1 + t ,
Este proceso es conocido como AR(1) proceso auto-regresivo de primer orden, con la condicion || < 1. Este proceso se puede escribir como un proceso causal
(1 B)Yt = t ,
as
Yt = (1 B)1 t ,
X
=
j B j t ,
=
j=0
j tj ,
j=0
Series de Tiempo
Segundo Semestre 2013
30
M.Ignacia Vicu
na - Cristian V
asquez
1, si j = 0,
j , si j 1.
j =
Y (k) =
j j+k ,
j=0
k
=
,
=
1 2
j=0
2 k
2j
y la funcion de autocorrelacion es
k
1 2
= k .
Y (k) =
2
1 2
2
2.7.
Estimaci
on de y
b(k) =
(Yt Yn )(Yt+k Yn )
n t=1
y
b(k) =
b(k)
.
b(0)
Las sumas en los estimadores se divide por n y no por n k, esto se debe a que corresponde
a un estimador de momentos y definido as empricamente se comporta mejor.
Ejemplo 2.7.1 Usando los datos de Muertes por Accidente en U.S.A del Ejemplo 1.3.6, los
siguientes graficos contienen la serie residual (Sin Estacionalidad) y su funcion de autocorrelacion muestral.
Series de Tiempo
Segundo Semestre 2013
31
M.Ignacia Vicu
na - Cristian V
asquez
^
rt = Yt St
1000
500
500
10
20
30
40
50
60
70
Tiempo
^
rt = Yt St
1.0
0.8
ACF
0.6
0.4
0.2
0.0
0.2
0
10
15
Lag
Series de Tiempo
Segundo Semestre 2013
32
M.Ignacia Vicu
na - Cristian V
asquez
Captulo 3
Procesos Estacionarios
La clase de procesos aleatorios es muy amplia como para poder abordar el analisis de ellos en forma general, de tal manera que un metodo sirva para todos los posibles procesos
existentes. Una clase importante de procesos son caracterizados por las propiedades de sus
distribuciones, especialmente cuando estas distribuciones no cambian en el tiempo. Si el
proceso {Yt : t T } tiene esta propiedad diremos que es estrictamente estacionario. Una
definicion formal es la siguiente:
Estacionariedad estricta es un requerimiento bastante fuerte que puede ser relajado si se
introduce una nocion basada en los momentos del proceso. Es bien sabido que los momentos
de un proceso estocastico no caracterizan de manera u
nica la distribucion del proceso, pero
si los dos primeros momentos de un proceso satisfacen condiciones apropiadas, entonces
es posible caracterizar una clase grande de procesos que poseen trayectorias que en alg
un
sentido son estables.
Definici
on 3.1 Un proceso estocastico {Yt } se dice debilmente estacionario o estacionario
de segundo orden si cumple con
1. E [Yt ] = (t) = para todo t T ,
2. E [Yt2 ] < , para todo t T ,
3. Y (t1 , t2 ) = Cov [Yt1 , Yt2 ] = Y (t2 t1 ).
Una consecuencia natural de esta definicion es que la varianza del proceso {Yt , t T } tambien
es constante con respecto al tiempo. En efecto, si el proceso es debilmente estacionario
entonces
Var(Yt ) = Cov(Yt , Yt ) = (0) t T
Es facil ver que si Yt es estrictamente estacionario y E(Yt2 ) < para todo t, entonces tambien es debilmente estacionario.
Observaci
on:
Si el proceso {Yt , t T } es debilmente estacionario, entonces la funcion de covarianza puede
33
Y (h)
(0)
t1
iid
t N (0, 2 )
3.1.
34
M.Ignacia Vicu
na - Cristian V
asquez
anteriormente se encuentra centrado en cero, pero mas general es suponer que el proceso
varia alrededor de una constante, es decir,
(B)Yt = + t .
Vamos a decir que el proceso puede ser representado por un modelo AR(p), si el polinimio
de rezago es de orden p, as, para dicho proceso se tiene
(1 1 B 2 B 2 p B p )Yt = + t ,
El termino auto-regresivo (AR) se le da al proceso representado por la ecuacion anterior, ya
que se puede expresar como
Yt = + 1 Yt1 + p Ytp + t ,
la cual es basicamente una ecuacion de regresion lineal, con la caracterstica especial de que
el valor de la variable dependiente Y en el periodo t depende de sus propios valores anteriores
a t y ponderados de acuerdo a los coeficientes auto-regresivos 1 , 2 , . . . , p .
Es importante saber si el proceso alcanzara en el largo plazo su punto de equilibrio. Por lo
tanto es necesario saber si el proceso es estacionario, esto va a depender de los valores que
tomen las races de la ecuacion caractersticas
(x) = 0
el cual rige el comportamiento del proceso auto-regresivo. Se sabe que el polinomio autoregresivo (B) se puede escribir como
(B) = (1 g1 B)(1 g2 B) (1 gp B)
de tal manera que el proceso AR definido por (B) sera estacionario siempre y cuando
|gi | < 1
para i = 1, 2, . . . , p,
o dicho de otra manera, si y solo si las raices del polinomio, que son g11 , g21 , . . . , gp1 , se
encuentran fuera del crculo unitario (en el plano complejo).
3.1.1.
Modelo AR(1)
El caso mas simple es el de un modelo auto-regresivo de orden uno, o sea AR(1), que
se presenta como
Yt = Yt1 + t
y que genera la serie de tiempo que se conoce como serie de Markov. Para que dicha serie
sea estacionaria se requiere que la raz de la ecuacion
1 x = 0
Series de Tiempo
Segundo Semestre 2013
35
M.Ignacia Vicu
na - Cristian V
asquez
se encuentre fuera del crculo unitario, es decir, se requiere que || < 1 para asegurar la estacionariedad del proceso AR(1). Otra representacion posible para el proceso AR(1) suponiendo
que es estacionario (|| < 1) es en terminos de la serie de errores aleatorios exclusivamente,
es
1
Yt = (1 B) t =
j tj .
j=0
E(Yt ) =
Var(Yt ) =
X
j=0
j E(tj ) = 0,
2j Var(tj ) =
j=0
1
2.
1 2
1
2.
1 2
2j+k = 2
j=1
k
,
1 2
k = 1, 2, . . . .
Esto se logro al supuesto || < 1. Recuerde que (k) = (k), entonces la funcion de
autocorrelacion del proceso.
(k) =
(k)
= |k| ,
(0)
|k| = 0, 1, 2, . . . .
Note que por medio de la funcion de autocorrelacion y autocorrelacion parcial (que veremos
mas adelante) se caracterizan los procesos.
Series de Tiempo
Segundo Semestre 2013
36
M.Ignacia Vicu
na - Cristian V
asquez
A continuacion se presentan dos series de tiempos AR(1) simuladas con sus respectivas
funciones de autocorrelacion.
1.0
4
0.8
2
ACF
0.6
0
0.4
0.2
0.0
100
200
300
400
10
Tiempo
15
20
25
Lag
1.0
4
0.5
ACF
0.0
2
0.5
4
0
100
200
300
400
10
Tiempo
15
20
25
Lag
3.1.2.
Modelo AR(2)
t RB(0, 2 ),
que fue introducido por Yule 1927. Para que el proceso anterior sea estacionario debe cumplir
que las races de polinomio 1 1 x 2 x2 se encuentre fuera del circulo unitario. Una
condicion equivalente a la anterior es requerir que
|2 | < 1,
2 + 1 < 1,
2 1 < 1.
37
M.Ignacia Vicu
na - Cristian V
asquez
ya que E(t Yti ) = 0 i > 1, luego tomamos esperanza y se tiene las siguientes ecuaciones
1 (1) + 2 (2) + 2 ,
si k = 0,
(k) =
1 (k 1) + 2 (k 2), si k = 1, 2, . . ..
De aqu, si (0) < , se puede dividir las autocovarianzas (1) y (2) por (0).
(1) = 1 + 2 (1)
(2) = 1 (1) + 2
Esto nos permite obtener los valores de (1) y (2) en funcion de los parametros autorregresivos 1 y 2 .
(1) =
1
1 2
(2) = 2 +
21
1 2
k3
A continuacion se presentan dos series de tiempos AR(2) simuladas con sus respectivas
funciones de autocorrelacion.
4
1.0
0.8
0.6
ACF
0.4
0.2
0.0
4
0
100
200
300
400
Tiempo
10
15
20
25
Lag
Figura 3.3: Simulacion AR(2) con 1 = 0,4, 2 = 0,4 y su funcion de autocorrelacion (k).
3.1.3.
Modelo AR(p)
t RB(0, 2 ).
38
M.Ignacia Vicu
na - Cristian V
asquez
1.0
2
0.5
ACF
0.0
2
0.5
0
100
200
300
400
10
Tiempo
15
20
25
Lag
Figura 3.4: Simulacion AR(1) con 1 = 0,4, 2 = 0,7 y su funcion de autocorrelacion (k).
se encuentran fuera del circulo unitario. Asumiendo que el proceso es estacionario, se pueden
usar las ecuaciones de Yule-Walker para encontrar la funcion de autocorrelacion del proceso.
(1)
(2)
..
.
(p)
= 1 + 2 (1) + + p (p 1)
= 1 (1) + 2 + + p (p 2)
.
= ..
= 1 (p 1) + 2 (p 2) + + p
de donde se obtienen los valores de las primeras p autocorrelacion en funcion de los parametros autorregresivos 1 , 2 , , p , las siguientes correlaciones se obtiene de la relacion
(k) = 1 (k 1) + 2 (k 2) + + p (k p),
k p+1
Definici
on 3.1.1 Sea {Yt } un proceso AR(p) estacionario, entonces se puede escribir como
un proceso lineal general causal (o como veremos mas adelante M A()), es decir {Yt } puede
ser representado por de la siguiente manera
Yt =
j tj ,
j=0
donde {t } RB(0, 2 ).
Ejemplo 3.1.1 Sea Yt un proceso estocastico que sigue un modelo AR(1), el cual es estacionario, entonces || < 1, as
(1 B)Yt = t ,
Yt = (1 B)1 t ,
entonces
1
Yt = (1 B) t =
j tj
j=0
Series de Tiempo
Segundo Semestre 2013
39
M.Ignacia Vicu
na - Cristian V
asquez
As j = j .
3.2.
Los modelos de medias moviles fueron introducidos por Yule (1926) y Slutzky (1927); La
idea basica de estos modelos se basa en representar un proceso estocastico {Yt }, cuyos valores
pueden ser dependientes unos de otros, como una suma finita ponderada de choques aleatorios
independientes {t }, o sea
Yt = (1 + 1 B + 2 B 2 + + q B q )t = (B)t ,
en donde {Yt } es una suma de choques aleatorios y 1 , 2 , . . . , q representan a las ponderaciones (parametro de promedios moviles) asociados con los choques aleatorios en los periodos
t 1, t 2, . . . , t q.
Note que
Pq el modelo anterior esta expresado en la forma del proceso lineal general y que la
umero finito de sumandos, es una constante finita, por
suma i=1 |i |, al considerar un n
consiguiente, todo proceso MA es estacionario.
3.2.1.
Modelo MA(1)
Yt = t + t1 ,
por lo cual se obtienen de manera inmediata
E(Yt ) = 0
(0) = Var(Yt ) = 2 (1 + 2 )
,
ademas, la funcion de autocovarianza viene dada por
(k) = Cov(t + t1 , t+k + t+k1 )
= Cov(t , t+k ) + Cov(t , t+k1 ) + Cov(t1 , t+k ) + 2 Cov(t1 , t+k1 )
2
, si k = 1,
=
0,
si k 2.
de donde sigue que la FAC es
(k) =
/(1 + 2 ), si |k| = 1,
0,
si k 2.
Series de Tiempo
Segundo Semestre 2013
40
M.Ignacia Vicu
na - Cristian V
asquez
1.0
3
2
0.8
0.6
ACF
0.4
1
0.2
2
0.0
3
4
0.2
0
100
200
300
400
10
Tiempo
15
20
25
Lag
1.0
ACF
0.5
0
0.0
2
0.5
4
0
100
200
300
400
Tiempo
10
15
20
25
Lag
Definici
on 3.2.1 Sea {Yt } un proceso MA(q), se dice que el proceso es invertible, si las
races del polinomio caracterstico (B) se encuentran fuera del circulo unitario, es decir
(x) = 1 + 1 x + + q xq = 0.
En tal caso, si el proceso es invertible, {Yt } se puede escribir como un proceso AR(), es
decir, sea (x) = (x)1 el polinomio inverso, entonces
(B)Yt = t
Para el caso de un MA(1), el proceso es invertible si || < 1, as el proceso Yt = t t1 ,
puede ser representado por
t = (B)Yt
= (1 + B)1 Yt
X
=
j Ytj
j=0
As t =
j=0
Series de Tiempo
Segundo Semestre 2013
41
M.Ignacia Vicu
na - Cristian V
asquez
3.2.2.
Modelo MA(2)
Var(Yt ) = 2 (1 + 12 + 22 )
0,
si |k| 3.
por lo cual, la funcion de autocorrelacion FAC viene a ser
1 (1 + 2 )
, si |k| = 1,
1 + 12 + 22
2
(k) =
, si |k| = 2,
2
2
1
+
1
2
0,
si |k| 3.
De las formulas anteriores resulta evidente que el proceso es estacionario; para que el proceso
{Yt } sea invertible se requiere que las races del polinomio caracterstico
1 + 1 x + 2 x2 = 0
se encuentren fuera del disco unitario.
Dos ejemplos de series de tiempo simuladas de un proceso MA(2):
Series de Tiempo
Segundo Semestre 2013
42
M.Ignacia Vicu
na - Cristian V
asquez
1.0
0.8
2
0.6
ACF
0.4
0
0.2
0.0
0.2
0.4
0
100
200
300
400
10
Tiempo
15
20
25
Lag
1.0
3
0.8
0.6
ACF
1
0
0.4
1
0.2
2
0.0
3
0
100
200
300
400
Tiempo
10
15
20
25
Lag
Figura 3.8: Simulacion MA(2) con 1 = 0,9, 2 = 0,5 y su funcion de autocorrelacion (k).
3.2.3.
Modelo MA(q)
{t } RB(0, 2 ).
E(Yt ) = 0
(0) = (1 + 12 + 22 + q2 ) 2
(k + 1 k+1 + + qk q ) 2 , si |k| = 1, 2, . . . , q,
(k) =
0,
si |k| q + 1.
luego la funcion de autocorrelacion es
(thetak + 1 k+1 + + qk q )
, si |k| = 1, 2, . . . , q,
(k) =
1 + 12 + 22 + q2
0,
si |k| q + 1.
Series de Tiempo
Segundo Semestre 2013
43
M.Ignacia Vicu
na - Cristian V
asquez
3.3.
Modelo ARMA
(B)Yt = (B)t ,
y los polinomios (B) y (B) son polinomios de rezago de orden p y q respectivamente. Dicha
generalizacion surge del hecho de que las series de tiempo que se observan en la practica,
muchas veces presentan caractersticas tanto de procesos AR como de proceso MA.
Los proceso ARMA seran estacionarios si el polinomio caracterstico (x) = 0 tiene las races
fuera del disco unitario, y sera invertible si el polinomio caracterstico (x) = 0 tiene races
fuera del disco unitario.
3.3.1.
Modelo ARMA(1,1)
Este proceso es uno de los mas sencillos y es de gran interes desde el punto de vista practico
porque proporciona representaciones adecuadas para muchas series de fenomenos reales. El
modelo ARMA(1,1) esta definido por
(1 B)Yt = (1 + B)t ,
{t } RB(0, 2 )
para que el proceso sea estacionario e invertible se impone la restriccion || < 1 y || < 1.
Para obtener la funcion de autocovarianza del modelo utilizamos las ecuaciones de YuleWalker.
Yt = Yt1 + t + t1
As, multiplicamos por Yt y tomamos esperando el valor esperado para obtener la varianza
(0) =
=
=
=
=
=
44
M.Ignacia Vicu
na - Cristian V
asquez
k1 (1 + )( + ) 2
,
1 2
k = 1, 2, . . .
k1 (1 + )( + )
,
1 2 + 2
k = 1, 2, . . .
de aqu una condicion de que || < 1, ademas note que tiene decaimiento exponencial.
Aqu un grafico de un proceso ARMA(1,1) y su funcion de autocorrelacion
1.0
0.8
2
ACF
0.6
0
0.4
0.2
0.0
4
0
100
200
300
400
10
Tiempo
15
20
25
Lag
3.3.2.
Modelo ARMA(p, q)
(B)Yt = (B)t ,
45
M.Ignacia Vicu
na - Cristian V
asquez
Yt Yt1 p Ytp = t + 1 t1 + + q tq
para que este proceso sea estacionario se require que las races del polinomio (x) = 0 se
encuentren fuera del disco unitario, y para que sea invertible es que las races de la ecuacion
(x) = 0 se encuentren tambien fuera del disco unitario.
Si ambos casos ocurren, entonces el proceso admite las representaciones AR() y MA()
siguientes
(B)
t = (B)t
(B)
(B)
=
Yt = (B)Yt
(B)
Yt =
t
P
P
con
j=1 |j | < . Los coeficientes i , i = 1, 2, . . . y j , j = 1, 2, . . . se
i=1 |i | < y
obtienen al igualar los coeficientes del potencial del operador B en las ecuaciones
(1 1 B 2 B 2 )(1 1 B 2 B 2 p B p ) = 1 + 1 B + 2 B 2 + + q B q
(1 1 B 2 B 2 )(1 + 1 B + 2 B 2 + + q B q ) = 1 1 B 2 B 2 p B p
Para el caso AR(1) y MA(1) basta usar la series geometricas, para el caso de procesos AR(2)
y MA(2) vamos a utilizar algunas soluciones conocidas de ecuaciones en diferencia.
Suponga un proceso AR(2) estacionario, donde
Yt 1 Yt1 2 Yt2 = t ,
{t } RB(0, 2 )
as se tiene
(1 1 B 2 B 2 )Yt = t ,
(B)Yt = (B)t
donde (B) = 1, luego
Yt =
(B)
t = (B)t ,
(B)
46
M.Ignacia Vicu
na - Cristian V
asquez
B0
B1
B2
B3
B4
..
.
:
:
:
:
:
0 = 1
0 1 + 0 = 0
1 1 0 2 + 2 = 0
2 1 1 2 + 3 = 0
3 1 2 2 + 4 = 0
.
: ..
lo que se reduce a
k2
k = k1 1 + k2 2 ,
o bien
(1 1 B 2 B 2 )k = 0,
k2
1 = 1 .
Para el polinomio caracterstico se tienen 3 soluciones posibles, con m1 y m2 las races del
polinomio
(1 1 z 2 z 2 ) = 0
1. Las races reales distintas m1 6= m2 , entonces
"
k = 1
1
m1
#k
"
+ 2
1
m2
#k
.
Series de Tiempo
Segundo Semestre 2013
47
M.Ignacia Vicu
na - Cristian V
asquez
ratio =
2
1/2
m1 + m22
m1
ratio
m2
sin() =
ratio
cos() =
finalmente, se tiene
#k
"
#k
1
1
exp{ik} + 2
exp{ik}
= 1
ratio
ratio
"
#k
1
=
[(1 + 2 ) cos(k) + i(2 1 ) sin(k)] .
ratio
"
{t } RB(0, 2 ),
entonces note que 1 = 0,9 y 2 = 0,2, entonces cumple con la condiciones de estacionaridad. note entonces que el polinomio caracterstico es de la forma
(x) = 0
1 0,9x + 0,2x2 = 0
As, las races del polinomio son m1 = 2,5 y m2 = 2, ambas son races reales distintas, por
lo tanto aplicamos la primera solucion
"
k = 1
#k
" #k
1
1
+ 2
,
2,5
2
X
j=0
Series de Tiempo
Segundo Semestre 2013
j tj =
X
4(0,4)j + 5(0,5)j tj .
j=0
48
M.Ignacia Vicu
na - Cristian V
asquez
3.4.
Predicci
on de Series de tiempo Estacionarias
j = 0, 1, . . . , n
n
X
#
ai Xn+1j = 0,
i=1
"
E
Xn+h a0
n
X
!
ai Xn+1j
#
Xn+1j = 0,
j = 1, . . . , n.
i=1
Luego,
a0 =
n
X
!
ai
i=1
(0)
(1)
(2)
(n 1)
(1)
(0)
(1)
(n 2)
..
..
..
..
.
.
.
.
(n 1) (n 2) (n 3)
(0)
{z
|
n
escribir
1
2
..
.
n
} | {z
an
matricialmente como
(h)
(h + 1)
..
.
(h + n + 1)
} |
{z
}
n (h)
Por lo tanto,
n an = n (h)
Series de Tiempo
Segundo Semestre 2013
49
(3.1)
M.Ignacia Vicu
na - Cristian V
asquez
El valor esperado de error de prediccion es cero y su media cuadratica esta dada por:
n
n X
n
X
X
2
E (Xn+h Pn Xn+h ) = (0) 2
ai (h + i 1) +
ai (i j) aj
= (0)
i=1
0
an n (h),
i=1 j=1
Propiedades de Pn Xn+h :
P
1. Pn Xn+h = + ni=1 ai (Xn+1i ), donde an = (a1 , . . . , an )0 .
2. E (Xn+h Pn Xn+h )2 = (0)a0n n (h), donde n (h) = ((h), (h + 1), . . . , (h + n 1))0 .
3. E (Xn+h Pn Xn+h ) = 0.
4. E [(Xn+h Pn Xn+h ) Xj ] = 0, j = 1, . . . , n.
5. Pn (Xn+h Pn Xn+h )) = 0
P
6. Pn ni=1 i Zi = i Pn Zi
Ejemplo 3.4.1 Prediccion a un paso de una serie AR(1) Considere una serie de tiempo
estacionaria definida por
Xt = Xt1 + Zt ,
donde || < 1 y {Zt } RB(0, 2 ). El mejor predictor lineal de Xn+1 en terminos de
{1, Xn , . . . , X1} para n 1 es
Pn Xn+1 = a0n Xn ,
donde Xn = (Xn , . . . , X1 )0 y
..
.
1
..
.
..
.
..
.
n1
n2
..
.
n1
n2
n3
a1
a2
..
.
an
2
..
.
n
Una solucion es
an = (, 0, . . . , 0)0 ,
entonces el mejor predictor lineal de Xn+1 en terminos de {X1 , . . . , Xn } es
Pn Xn+1 = a0n Xn = Xn ,
con error cuadratico medio
E (Xn+1 Pn Xn+1 )2 = (0) a0n n (1) =
Series de Tiempo
Segundo Semestre 2013
50
2
(1) = 2 .
1 2
M.Ignacia Vicu
na - Cristian V
asquez
a=
,
2 1
con solucion
1
a=
1 + 2
(X1 + X3 ),
1 + 2
2
2
0 1 2
=
E[(X2 P (X2 | W))2 ] =
a
2 1 + 2 .
1 2
1 2
h = 1, 2, . . .
Series de Tiempo
Segundo Semestre 2013
51
2 (1 2 h )
.
1 2
M.Ignacia Vicu
na - Cristian V
asquez
Nota:
En general, si {Yt } es una serie estacionaria con media y si {Xt } es una serie estacionaria con
media cero, definida por Xt = Yt . Como la coleccion de todas las combinaciones lineales
{Yn , Yn1 , ..., Y1 } es la misma que todas las combinaciones lineales de {Xn , Xn1 , ..., X1 }, se
tiene que el predictor lineal Yn+1 en terminos de {Yn , Yn1 , ..., Y1 } es el mismo predictor lineal
en terminos de {Xn , Xn1 , ..., X1 }, as
Pn Yn+h = Pn Xn+h +
Definici
on 3.4.1 Sea {Xn , Xn1 , ..., X1 } el pasado de la serie. Entonces
E(Xn+1 |Xn , Xn1 , ..., X1 ) = Pn Xn+1
La esperanza condicional de Xn+1 dado {Xn , ...X1 } corresponde al mejor predictor lineal,
es decir, es aquella que minimiza el error cuadratico medio, o dicho de otra manera, es la
proyeccion ortogonal de Xn+1 en el subespacio generado por {Xn , ...X1 }.
La definicion anterior puede ser extendida a un pasado infinito de la serie.
3.5.
Predicci
on en Procesos ARMA
Suponga que {Xt } es un proceso ARMA(p, q) causal e invertible con media cero,
(B)Xt = (B)Zt
donde Zt iidN (0, 2 ). Si E(Xt ) = , reemplace Xt por Xt en el modelo. Denotemos
n+h el mejor predictor lineal de Xn+h basado en el pasado finito {Xn , ..., X1 }, es decir,
por X
n+h = E(Xn+h |Xn , ..., X1 )
X
Para procesos ARMA es mas sencillo calcular el predictor de Xn+h asumiendo que se tiene
la historia completa del proceso (paso infinito), Xn , Xn1 , Xn2 , ..., X1 , X0 , X1 , .... Denote
n+h al predictor lineal basado en el pasado infinito de la serie,
por X
n+h = E(Xn+h |Xn , Xn1 , ...., )
X
n+h y X
n+h no son lo mismo, sin embargo, para n suficientemente grande X
n+h
En general, X
n+h .
es una buena aproximacion de X
Escribiendo Xn+h en su forma causal e invertible se obtiene,
Xn+h =
Zn+h =
X
j=0
j Zn+hj
0 = 1
(3.2)
j Zn+hj
0 = 1
(3.3)
j=0
Series de Tiempo
Segundo Semestre 2013
52
M.Ignacia Vicu
na - Cristian V
asquez
j=1
h1
X
j=1
n+h =
X
h1
X
n+h =
X
j=h
j=1
h1
X
j Xn+hj
j=h
n+hj
j X
j=1
j Xn+hj
(3.4)
j=h
j=0
j=h
n+h =
Xn+h X
h1
X
j Zn+hj
j=0
h1
X
j2
(3.5)
j=0
Cuando n es chico, en general la prediccion dada por el sistema de ecuaciones (3.1) puede ser
usado facilmente. Cuando n es grande, es conveniente usar las ecuaciones (3.4) truncadas, ya
que no se observan los valores de X0 , X1 , X2, .... y solo disponemos de los datos X1 , ..., Xn .
Series de Tiempo
Segundo Semestre 2013
53
M.Ignacia Vicu
na - Cristian V
asquez
h1
X
n+hj
X
j=1
j=n+h
n+h1
X
j Xn+hj
(3.6)
j=h
El cual es calculado de manera recursiva para h = 1, 2, .... El error cuadratico medio, en este
caso es aproximadamente (3.5).
En procesos AR(p), cuando n > p las ecuaciones (3.6) corresponden al predictor exacto de
n+h = X
n+h = X
n .
Xn+h , y no es una aproximacion, es decir, X
n+h
3.5.1.
Intervalos de Predicci
on:
Como el proceso {Xt } es causal e invertible donde {Zt } son iid Normal(0, 2 ), se tiene que
n+h tambien es gaussiano, tal que
eh = Xn+h X
eh N (0, Var(eh ))
Ph1
2
2
donde Var(eh ) =
j=0 j .
De esta manera, un intervalo para la prediccion Xn+h esta dado por
p
Xn+h z1/2 Var(eh )
h1
X
n+hj )
j (X
j=1
j (Xn+hj )
j=h
j Zn+hj
j=h
X
2
2
E(Xn+h Xn+h )
j2 = (0) cuando h
j=0
Por lo tanto, en procesos ARMA la prediccion recae rapidamente en la media del proceso,
con un error de prediccion constante en la medida que aumenta h.
Series de Tiempo
Segundo Semestre 2013
54
M.Ignacia Vicu
na - Cristian V
asquez
Ejemplo 3.5.2 Considere la data rec de la librera astsa de R, la cual contiene el reclutamiento (n
umero de nuevos peces) por un perodo de 453 meses que van en los a
nos 1950
a 1987.
Serie Recruitment
100
80
60
40
20
0
1950
1960
1970
1980
1988
Tiempo
h1
X
n+hj )
(X
j=1
2
X
j (Xn+hj )
j=h
h1
X
j2
j=0
A partir de la figura(3.12) podemos ver que a medida que aumenta h, las predicciones tienden
a
y su error cuadratico medio tienden a (0).
3.6.
Funci
on de Autocorrelaci
on Parcial
55
M.Ignacia Vicu
na - Cristian V
asquez
60
40
Recruitment
80
100
120
20
1980
1982
1984
1986
1988
1990
Time
Definici
on 3.6.1 La funcion de autocorrelacion parcial (PACF) () de una serie de tiempo
estacionaria es definida por
(1) = Corr(X2 , X1 ) = (1),
y para el resto
(k) = Corr(Xk+1 P{X2 ,...,Xk } (Xk+1 ), X1 P{X2 ,...,Xk } (X1 )),
k2
Donde P{X2 ,...,Xk } (Xk+1 ) y P{X2 ,...,Xk } (X1 ) se pueden determinar con las ecuaciones normales.
tambien se utiliza la notacion (1) = 11 y (k) = kk .
Observaci
on:
1. Para un proceso AR(p), entonces (k) = 0, k > p.
2. Para un proceso MA(q), entonces (k) tiene decaimiento exponencial.
3. En un proceso ARMA tanto la ACF y la PACF tienen decaimiento exponencial.
Una definicion equivalente de la funcion de autocorrelacion parcial es la siguiente. Sea {Xt }
un proceso estacionario con funcion de autocovarianza (.) tal que (k) 0 cuando k ,
y suponga que los coeficientes kj , j = 1, 2, . . . , k; k = 1, 2, . . . son los coeficientes en la
representacion
P{X1 ,...,Xk } (Xk+1 ) = k1 Xk + k2 Xk1 + + kk X1
Demostraremos que (k) = kk
k 2.
Para simplificar la notacion sea M = {X2 , ..., Xk }. Por definicion tenemos que
Series de Tiempo
Segundo Semestre 2013
56
M.Ignacia Vicu
na - Cristian V
asquez
= (k)
k1
X
k1,j (k j)
j=1
= kk k1
donde k1 = E(Xk+1 PM Xk+1 )2 . La u
ltima igualdad proviene del algoritmo de DurbinLevinson.
Por otro lado,
Var(Xk+1 PM Xk+1 ) = E(Xk+1 PM Xk+1 )2 = k1
demostraremos que Var(X1 PM X1 ) = k1 . Para ello defina Yt = Xkt+2 , note que
Y (h) = Cov(Yt , Yt+h )
= Cov(Xkt+2 , Xkth+2 )
= X (h)
0
M = {Yk , ..., Y2 }
= (Cov(Yk+1 , Yk ), ..., Cov(Yk+1 , Y2 ))
Como Y (h) = X (h) se tiene que = = (Cov(Xk+1 , Xk ), ..., Cov(Xk+1 , X2 )), de esta
manera,
E(Yk+1 PM 0 Yk+1 )2 =
=
=
=
Series de Tiempo
Segundo Semestre 2013
57
Y (0)
0
X (0)
E(Xk+1 PM Xk+1 )2
k1
M.Ignacia Vicu
na - Cristian V
asquez
k1 k1
Recuerde que kk se obtienen a partir del sistema de ecuaciones:
(0)
(1)
(2)
(k 1)
k1
(1)
(1)
(0)
(1)
(k 2)
k2 (2)
.. = .. ,
..
..
..
..
. .
.
.
.
.
(k 1) (k 2) (k 3)
(0)
kk
(k)
k 1.
(1)
(2)
(1)
1
(1)
1
(1)
(1)
1
(1)
(1)
(2)
(3)
(2)
(1)
1
En general
|P k |
kk =
,
|P k |
donde P k es la matriz de correlaciones y P k es la matriz de correlacion, donde la u
ltima
columna es sustituida por el vector de autocorrelaciones.
Definici
on 3.6.2 La funcion de autocorrelacion parcial
b(k) de una muestra {x1 , x2 , . . . , xn }
es definida por
b(k) = bkk ,
1 k < n.
Ejemplo 3.6.1 Consideremos el proceso autoregresivo de primer orden,
Yt = Yy1 + t
con || < 1. Calcularemos la funcion de autocorrelacion parcial.
Series de Tiempo
Segundo Semestre 2013
58
M.Ignacia Vicu
na - Cristian V
asquez
Usando la definicion:
El predictor lineal de yt dado Ft1 = {y1 , ..., yt1 } esta dado por
yt = yt1 ,
luego se tiene que
(1) = Cor(y1 , y2 ) = y (1) =
(2) = Cor(y3 Py2 {y3 }, y1 Py2 {y1 })
Luego, Py2 {y3 } = y2 y Py2 {y1 } = y2 , donde = y1 (0)/y (1) = y (1) = . Esto es,
Py2 {y1 } = y2 .
De esto u
ltimo se desprende que,
y3 = y2 = y1
Predecir y3 basado en y2 , es lo mismo que predecir y1 basado en y2
(k) = Cor(yk+1 yk , y1 y2 )
= Cor(k+1 , y1 y2 )
=0
As, en un proceso AR(1), (1) = y (k) = 0, k 2.
Series de Tiempo
Segundo Semestre 2013
59
M.Ignacia Vicu
na - Cristian V
asquez
Usando (k) = kk .
11 = (1) =
1 (1)
(1) (2) (2) (1)2
=
22 =
=0
(1 (1)2 )
1 (1)
(1) 1
1 (1) (1)
(1) 1 (2)
(2) (1) (3)
33 =
1 (1) (2)
(1) 1 (1)
(2) (1) 1
1 (2)
(1) 1 (1) + (1)
(1) (3)
(2) (3)
=
1 (1) (1) (1) (1) + (2)
(1) 1
(2) 1
= 0
(1) 1
(2) (1)
(1) 1
(2) (1)
0.4
Partial ACF
0.0
0.0
0.2
0.2
0.4
ACF
0.6
0.8
0.6
1.0
ACF
10
15
20
25
Lag
10
15
20
Lag
Series de Tiempo
Segundo Semestre 2013
60
M.Ignacia Vicu
na - Cristian V
asquez
25
PACF
0.5
0.4
0.6
0.0
ACF
Partial ACF
0.2
0.5
0.0
1.0
ACF
10
15
20
25
Lag
10
15
20
Lag
3.6.1.
()k
1 + 2 + + 2h
h1
Descomposici
on de Wold
El Teorema de descomposicion de Wold es esencial para la comprension teorica de los procesos estocasticos estacionarios. Esto demuestra que cualquier proceso estacionario se puede
representar como una combinacion lineal de errores del presente y pasado. Antes de establecer
el teorema, introduciremos la siguiente definicion.
Definici
on 3.6.3 Un proceso estocastico se llama determinista si y solo si puede predecirse
exactamente con su pasado infinito. Mas precisamente, si y solo si
2 = E(Xn+1 Pen Xn+1 )2 = 0
donde Pen Xn+1 = E(Xn+1 |Xn , Xn1 , ...)
La clase mas importante de los procesos deterministas son los procesos armonicos. Estos procesos se caracterizan por la suma finita o infinita de senos y cosenos con amplitud estocastica.
Un ejemplo sencillo de un proceso armonico viene dada por
Xt = A cos(t) + B sin(t) (0, )
donde A y B son variables aleatorias no correlacionadas con media cero y varianza finita.
Note que Xt puede ser escrita como
Xt = (2 cos())Xt1 Xt2
Series de Tiempo
Segundo Semestre 2013
61
M.Ignacia Vicu
na - Cristian V
asquez
25
X
Xt =
j Ztj + Vt ,
j=0
donde
1. 0 = 1 y
j=0
j2 < .
Series de Tiempo
Segundo Semestre 2013
62
M.Ignacia Vicu
na - Cristian V
asquez
Captulo 4
Estimaci
on en Procesos ARMA
La especificacion y estimacion de un proceso ARMA(p, q) involucra varias etapas. En primer
lugar hay que determinar los ordenes de p y q. Una vez especificados p y q se pueden estimar
los parametros j , j y 2 . Por u
ltimo, el modelo tiene que pasar varias pruebas de robustez
con el fin de validar los supuestos del modelo. Estos controles pueden incluir analisis de los
residuos, capacidad predictiva o pruebas para la inclusion de adicionales variables exogenas.
Por lo general es un proceso iterativo en el que se examinan varios modelos.
En una primera instancia se asumira que el orden del proceso ARMA se conoce y el problema
solo consiste en la estimacion de los parametros de una serie de tama
no T . Por simplicidad,
se supone que los datos tienen media cero. Se abordaran tres metodos de estimacion. El
primer es el metodo de los momento en el cual los momentos teoricos se igualan a los
momentos empricos. Este procedimiento se conoce como el estimador de Yule-Walker. El
segundo procedimiento interpreta el proceso estocastico como un modelo de regresion y las
estimaciones de los parametros es a partir del estimador de mnimos cuadrados (OLS). Estos
dos metodos funcionan bien si el modelo subyacente es solo un modelo AR. Si el modelo
implica la parte MA, se puede utilizar el estimador de mnimos cuadrados generalizado
(GLS). El tercer metodo muy utilizado para estimar los parametros de un proceso ARMA
es el estimador de maxima verosimilitud.
4.1.
Estimadores de Yule-Walker
{t } RB(0, 2 )
(4.1)
0
entonces defina como = 1 2 . . . p
vector de los coeficientes autorregresivos
de dimension p. Multiplicando la ecuacion (4.1) pot Xtj , j = 0, ..., p y aplicando E() se
obtienen las ecuaciones de Yule-Walker,
63
= 2
= 0
= 0
.
= ..
= 0
(0)
(1)
..
.
(1)
(0)
..
.
(2)
(1)
..
.
(p 1) (p 2) (p 3)
(p 1)
(p 2)
..
.
(0)
1
2
..
.
(1)
(2)
..
.
(p)
Por lo tanto,
(0) 0 p = 2
p = p
0
donde p es la matriz de varianza covarianza p = [(i j)]pi,j=1 y p = (1) (2) (p)
De esta manera, los estimadores de Yule-Walker de 1 , ..., p se obtienen reemplazando los
momentos teoricos por los empricos, y se resuelven las ecuaciones,
b0
bp
b2 =
b(0)
b =
bp
bp
p bp
h
i
b 1
b0p R
b
b2 =
b(0) 1
p
p
bp =
donde
b(1) b(2)
b(k) =
Series de Tiempo
Segundo Semestre 2013
b(p)
Pnk
t=1
0
b (0)1
b p . Recuerde que
=
Xt Xt+k
,
n
k = 0, 1, 2 . . . , n k
64
M.Ignacia Vicu
na - Cristian V
asquez
Observaciones:
1. Si (0) > 0 entonces es no-singular por lo tanto el sistema de Yule-Walker tiene
solucion.
2. El metodo de Yule-Walker puede ser adaptado para procesos ARMA(p, q). Sin embargo
en este caso obtendramos ecuaciones no lineales. Entonces podra haber problemas de
no existencia de unicidad de soluciones.
3. Este metodo es muy utilizado como una aproximacion preliminar de la estimacion.
Ejemplo 4.1.1 En un proceso AR(1),
Xt = Xt1 + t
t RB(0, 2 ) y || < 1. Los estimadores de Yule-Walker de y 2 son
= (1)
2 = (0)
(1)2
(0)
p
1 4
(1)2
2
(1)
Series de Tiempo
Segundo Semestre 2013
65
M.Ignacia Vicu
na - Cristian V
asquez
En el caso de que hayan dos soluciones se privilegian las soluciones que aseguren la invert < 1. Sin embargo, la condicion de invertibilidad es dificil
ibilidad del proceso, en este caso ||
de implementar en el caso de un proceso MA con orden mayor. Por otra parte, se puede demostrar que el estimador de Yule-Walker en general ya no es consistente. Por estas razones,
no es aconsejable utilizar el estimador de Yule-Walker para procesos MA, especialmente
cuando existen otros metodos que son mas eficientes y consistentes.
iid
b es el estimador
Teorema 4.1.1 Si {Xt } es un proceso causal AR(p) con {t } N (0, 2 ) y
de Yule-Walker de , entonces
a
b )
T (
Np (0, 2 1
p ),
donde p es la matriz de varianza covarianza p = [ (i j) ]pi,j=1 , mas a
un
P
b2 2
a
T (b ) N (0, 1 2 )
Note que la suposicion de causalidad, es decir, || < 1, es crucial ya que de otra manera
la varianza asintotica no sera positiva.
0
AR(2), Xt = 1 Xt1 + 2 Xt2 + t , donde = 1 2 .
0
1 22
1 (1 + 2 )
a
b
T ( ) N2
,
0
1 (1 + 2 )
1 22
Significancia de los par
ametros:
Para contrastar la hipotesis nula k = 0 frente a la alternativa de que k 6= 0 construimos el
test - t,
k
t= q
Var(k )
que asintoticamente sigue una distribucion N(0, 1), siendo Var(k ) = akk /T donde akk =
1
diag(
2
p ).
La hipotesis se rechaza si
Series de Tiempo
Segundo Semestre 2013
66
M.Ignacia Vicu
na - Cristian V
asquez
> z1/2
q k
Var(k )
en donde z1/2 es el valor crtico tal que P (Z > z1/2 ) = 1 /2.
En la practica el orden del modelo es desconocido. Sin embargo se puede esperar que cuando
se estima un proceso AR(m) donde el verdadero orden es p, con p < m, los coeficientes estimados p+1 , ..., m son muy cercanos a cero. A partir de este resultado, se puede identificar el
orden del modelo comenzando con un modelo altamente parametrizado (sobreparametrizado), es decir un modelo con un valor grande para m y luego atraves de pruebas t testear
cuando m es cero. Si la prueba no puede ser rechazada, reduzca el orden del modelo a m 1
y repita el mismo procedimiento para m1 . El procedimiento finaliza cuando la prueba es
rechazada.
Si el orden del modelo inicial es demasiado chico, de manera que el verdadero orden es mayor
que m, conlleva a un sesgo de variable omitida y las estimaciones correspondientes ya no son
consistentes.
4.2.
Estimaci
on Mnimos Cuadrados Ordinarios
Zp+1
Xp Xp1 Xp2
X1
1
Xp+1
Xp+2 Xp+1 Xp Xp1
X2
2 Zp+2
.. = ..
.
..
..
..
.
. .
.
.
. .. ..
ZT
XT
XT 1 XT 2 XT 3 XT p
p
Y = X + Z
(4.2)
Note que no se disponen de las primeras p observaciones, por lo tanto la muestra efectiva se
reduce a T p. El estimador de mnimos cuadrados (OLS) se obtiene miminizando la suma
de los cuadrados de los errores S(),
S() = Z T Z = (Y X)T (Y X)
T
X
=
(Xt 1 Xt1 ... p Xtp )2
t=p+1
Series de Tiempo
Segundo Semestre 2013
67
M.Ignacia Vicu
na - Cristian V
asquez
Aunque la ecuacion (4.2) se asemeja mucho a un modelo de regresion ordinaria, hay algunas
importantes diferencias:
1. El supuesto de ortogonalidad entre los regresores y el termino de error es violado, ya
que Xt es correlacionado con Ztj , j = 1, 2, ...
2. Hay una dependencia de los valores de iniciales X1 , ..., Xp .
T
p y X T Y converge a p . Ademas en condiciones
Se puede demostrar que (X T X) converge a
T
Teorema 4.2.1 Bajo las mismas condiciones del Teorema 4.1 el estimador de mnimos
= (X T X)1 X T Y satisface
cuadrados:
a
b
Np (0, 2 (X T X)1 )
y
P
sb2 2
donde s2 =
T Z
Z
,
T k
= Y X
k = dim(X) y Z
t = 1, ..., T
2
t=2 (Xt Xt1 )
s =
T 1
Cuya distribucion asintotica esta dada por
!
0, PT 1
b ) Np
(
t=1
Xt2
Observaciones:
En la practica, 2 (X T X)1 puede ser aproximado por s2 (X T X)1 luego para muestras
es aproximadamente Normal(, s2 (X T X)1 ). Este resultado
grandes se tiene que
permite realizar test t o test-F sobre los coeficientes del modelo.
Series de Tiempo
Segundo Semestre 2013
68
M.Ignacia Vicu
na - Cristian V
asquez
4.3.
Estimaci
on de m
axima verosimilitud
{t } RB(0, 2 )
0
(4.3)
Si n es grande, el calculo de 1
y det( ) pueden ser muy costosos computacionalmente.
Es por esto, que existen metodos que facilitan este calculo. Se abordaran dos metodos:
descomposicion de Cholesky y algoritmo de Durbin-Levinson.
Series de Tiempo
Segundo Semestre 2013
69
M.Ignacia Vicu
na - Cristian V
asquez
4.3.1.
Descomposici
on de Cholesky
det = (det(U )) =
n
Y
u2jj
j=1
= U
(U
1 0
El n
umero de operaciones es del orden de O(n3 ). Sin embargo, el algoritmo puede ser ineficiente para series de tama
no grande. El algoritmo de Durbin-Levison es un metodo mas
rapido computacionalmente.
4.3.2.
Algoritmo de Durbin-Levinson
1
0
0
... 0
11
1
0
... 0
L=
..
..
..
.. ..
.
.
.
. .
n1n1 n1n2 n1n3 ... 1
De esta manera, puede ser descompuesta
por = CDC 0 donde C = L1 y D =
Qn
0 1
diag(0 , ..., n1 ). Por lo tanto, det = i=1 j1 y y 0 1
y = e D e.
La funcion log-verosimilitud dada por la ecuacion (1), puede ser expresada como
n
L() =
1 X e2t
1X
log t1
2 t=1
2 t=1 t1
(1 + 2 ) 2 , si |k| = 0,
2 ,
si |k| = 1,
(k) =
0,
si |k| > 1.
|| < 1, as
luego
Series de Tiempo
Segundo Semestre 2013
70
M.Ignacia Vicu
na - Cristian V
asquez
1 + 2
1 + 2
..
..
..
.
.
.
0
0
0
0
0
..
.
1 + 2
|| < 1, entonces
2
|k| ,
1 2
ahora
1 2
..
.
1
..
.
..
.
n1
n2
..
.
n1 n2 n3
Xt = 1 Xt1 + + p Xtp + t 1 t1 q tq ,
b =
y si (.) y (.) no tienen ceros en com
un, entonces defina
estimador de maxima verosimilitud, entonces
a
1/2 b
n
N (0, V ()),
b1 , . . . , bp , b1 , . . . , bq
0
el
E(U t U 0t ) E(U t V 0t )
E(V t U 0t ) E(V t V 0t )
1
donde U t = (Ut , . . . , Ut+1p )0 , V t = (Vt , . . . , Vt+1p )0 y {Ut }, {Vt } son procesos autorregresivos,
(1 1 B 2 B 2 + + p B p )Ut = at
(1 + 1 B + 2 B 2 + + q B q )Vt = at
iid
Series de Tiempo
Segundo Semestre 2013
71
M.Ignacia Vicu
na - Cristian V
asquez
Ejemplo 4.3.3 Distribucion asintotica del estimador maximo verosmil para distintos procesos.
AR(1), Xt = Xt1 + t , con || < 1
n(b ) N (0, 1 2 )
0
AR(2), Xt = 1 Xt1 + 2 Xt2 + t , donde = 1 2 .
0
1 22
1 (1 + 2 )
a
b
n( ) N2
,
0
1 (1 + 2 )
1 22
MA(1), Xt = t t1 , con || < 1
a
n(b ) N (0, 1 2 )
0
MA(2), Xt = t 1 t1 2 t2 , donde = 1 2 .
2
(1
+
)
0
1
a
1
2
2
b ) N2
n(
,
1 (1 + 2 )
1 22
0
ARMA(1,1), Yt = Yt1 + t + t1 , con || < 1, || < 1,
4.4.
b ) N
n(
0
0
1 +
,
( + )2
(1 )(1 + ) (1 )(1 )
(1 2 )(1 2 ) (1 2 )(1 + )
!
Estimadores M
aximos Verosmiles Condicionales
Series de Tiempo
Segundo Semestre 2013
72
M.Ignacia Vicu
na - Cristian V
asquez
= Pt=2
n
2
t=2 Yt1
Pn
2
t=1 (Yt Yt1 )
=
n1
4.5.
4.5.1.
Selecci
on de Modelos
Criterio AIC
La forma mas utilizada para escoger el orden del modelo ARMA es el llamada Criterio de
Informacion de Akaike (AIC).
Dado un n
umero fijo de observaciones, X1 , ..., Xn de un proceso ARMA(p, q), el aumento
de los ordenes de p y q hara que aumente la calidad de ajuste del modelo. Con el fin de
compensar un sobreajuste del modelo, se introduce una penalizacion, la cual dependera del
n
umero de parametros del modelo. El criterio de informacion de Akaike se define por
AIC = 2 log L() + 2(p + q + 1)
donde (p + q + 1) corresponde a los parametros del modelo y L() es el maximo valor de la
funcion de verosimilitud para el modelo estimado.
Dada una clase de modelos ARMA(p, q), podemos seleccionar aquel que minimiza el AIC.
Observaci
on:
4.5.2.
Diagn
ostico y Validaci
on del modelo
73
M.Ignacia Vicu
na - Cristian V
asquez
)
de Xt basados
t (,
partir del modelo ajustado, se pueden obtener los valores predichos X
en X1 , ..., Xt1 . Los residuos del modelo son definidos por
)
t (,
Xt X
,
et = q
t1 (, )
t = 1, 2, .., n
Los cuales tienen propiedades similares a los et generados a partir de los verdaderos valores
de , ,
t (, )
Xt X
et = p
, t = 1, 2, .., n
t1 (, )
Por otra parte, et se aproxima al termino de Ruido Blanco Zt del modelo ARMA(p, q),
(1 (B))Xt = (1 + (B))Zt
ya que se puede demostrar que E(et Zt )2 0, n . En consecuencia los residuos et
deben tener un comportamiento similar al de un Ruido Blanco. En particular, {et } debe ser
aproximadamente:
Incorrelacionados si Zt RB(0, 2 )
iid
k1
donde W es la matriz de varianza covarianza del vector estimado bk , cuyos elementos esta
dado por la formula de Bartlett
Wij =
k=1
[(k + i) + (k i) 2(i)(k)]2
k=1
En particular se tiene
a
74
k1
M.Ignacia Vicu
na - Cristian V
asquez
Z1/2
#
1,96 1,96
la hipotesis H0 : (k) = 0 no es
luego para un 95 % de confianza si (k) ,
n
n
rechazada.
"
En vez de realizar test para cada (k) con |k| = 1, 2, 3, .... Es posible hacer un solo estadstico
que considera todos los (k) simultaneamente. El Test de Portmanteau o Box-Pierce es
un test hipotesis conjunto para verificar si los errores del modelo son ruido blanco. Suponga
que la hipotesis nula corresponde a H0 : {Xt } RB(0, 2 ), entonces
a
k = 1, 2, . . .
as
nb
2 (k) 2(1)
Entonces
Q=n
r
X
b2 (k) 2(r)
k=1
Series de Tiempo
Segundo Semestre 2013
75
M.Ignacia Vicu
na - Cristian V
asquez
Una correccion del Test de Box-Pierce es el Test de Box-Ljung, donde se corrige por
el n
umero de parametros estimados
Q = n(n + 2)
r
X
b2 (k)
k=1
nk
2()
Series de Tiempo
Segundo Semestre 2013
76
M.Ignacia Vicu
na - Cristian V
asquez
Captulo 5
Procesos no Estacionarios
Los modelos de series de tiempo analizados hasta ahora se basan en el supuesto de estacionariedad, esto es, la media y la varianza para una serie de tiempo son constantes en el
tiempo y la covarianza es invariante en el tiempo. Pero se sabe que muchas series de tiempo
y en especial las series economicas no son estacionarias, porque pueden ir cambiando de nivel
en el tiempo o sencillamente la varianza no es constante en el tiempo, a este tipo de proceso
se les considera procesos integrados. Con el fin afrontar esta caracterstica de series de tiempo economicas, se han propuesto dos alternativas diferentes. La primera es considerar una
tendencia determinstica, es decir, estamos seguros de que a lo largo del tiempo el fenomeno
sigue un patron determinado, por ejemplo un proceso entorno a un polinomio de la forma
Tt = 0 + 1 t + + m tm ,
Para este caso vamos a suponer que el proceso sin tendencia es estacionario de segundo de
la forma
(B)(Xt Tt ) = (B)t ,
{t } RB(0, 2 ).
Es decir, suponemos que si se define el proceso Wt = Xt Tt este proceso esta definido por
un modelo ARMA.
La segunda alternativa es considerar la tendencia como estocastica, entonces es necesario
realizar una diferenciacion del proceso las veces que sea necesario para que el proceso sea
estacionario. El n
umero de veces que uno tiene que diferenciar el proceso para lograr estacionariedad se llama el orden de integracion. Si d veces es necesario diferenciar, entonces el
proceso se llama Integrado de orden d, y es denotado por Xt I(d). A un proceso integrado Xt se le denomina proceso ARIMA(p, d, q) si la serie de tiempo resultante (1 B)d Xt
es un proceso ARMA(p, q). Note que cuando el valor de d = 0 se obtiene un modelo ARMA.
5.1.
Procesos ARIMA
Definici
on 5.1.1 Sea {Xt } una serie de tiempo, se dice que el proceso es ARIMA(p, d, q)
si es representado por la siguiente ecuacion
77
{t } RB(0, 2 ),
t
X
t1
Yt ,
j=1
donde
Yt = (1 B) Xt =
j tj
j=0
Una realizacion de {X1 , ..., X200 } con X0 = 0, = 0,8 y s2 = 1 se muestra en la Figura 5.1,
con su correspondiente funcion de autocorrelacion y autocorrelacion parcial muestral.
PACF
0.8
0.8
1.0
1.0
ACF
0.4
0.6
0.6
20
0.0
0.2
0.2
0.4
40
0.2
0.0
60
50
100
150
200
Tiempo
10
15
Lag
20
10
15
20
Lag
Figura 5.1: Simulacion ARIMA(1,1,0) con X0 = 0, = 0,8, 2 = 1 y su funcion de autocorrelacion y autocorrelacion parcial muestral.
Series de Tiempo
Segundo Semestre 2013
78
M.Ignacia Vicu
na - Cristian V
asquez
Si tuvieramos solo los datos y deseamos encontrar un modelo adecuado, sera natural para
aplicar el operador = 1 B varias veces con el fin de obtener una funcion de autocorrelacion que decaiga rapidamente como en los procesos ARMA, sin ceros en el polinomio
autorregresivo cerca de la crculo unitario. Para esta serie de tiempo en particular, aplicando
el operador produce la serie que se muestra en la Figura 5.2 con su correspondiente ACF
y PACF muestral, el cual sugiere un modelo AR(1) para la serie diferenciada.
PACF
0.8
0.8
1.0
ACF
0.4
0.6
0.6
0.2
0.2
0.4
0.0
0.0
4
0
50
100
150
200
10
15
20
Lag
10
15
20
Lag
Zt RB(0, 1)
(5.1)
Un problema es saber cuando realizar una diferenciacion del proceso, ya que no es posible
lograr distinguir empricamente si la serie es o no estacionaria, para ello se pueden estudiar
dos tipos de procedimientos, uno es realizar diferenciaciones y estudiar la varianza del proceso, y el otro procedimiento es realizar alg
un test de races unitarias.
En el primer procedimiento se debe estudiar la varianza del proceso diferenciado y no diferenciado, esto se debe a que si se realiza una diferenciacion de un proceso estacionario, la
Series de Tiempo
Segundo Semestre 2013
79
M.Ignacia Vicu
na - Cristian V
asquez
varianza del proceso tiende a aumentar, sin embargo, si el proceso presenta tendencia, la
diferenciacion no debera afectar la varianza del proceso o debera disminuir.
5.2.
5.2.1.
Se estudiara la presencia de una raz unitaria del polinomio autorregresivo con el fin de decidir si la serie debe o no ser diferenciada. Este enfoque fue iniciado por Dickey y Fuller (1979).
Sean X1 ,. . . , Xn observaciones proveniente de un modelo AR(1)
Xt = 1 (Xt1 ) + t
{t } RB(0, 2 )
donde || < 1 y = E(Xt ) para todo t.
Para n grande, se tiene que el estimador maximo verosmil de 1 , 1 , distribuye aproximadamente Normal(1 , (1 21 )/n). Para el caso de una raz unitaria, esta aproximacion no es
Series de Tiempo
Segundo Semestre 2013
80
M.Ignacia Vicu
na - Cristian V
asquez
2
c ) =
SE(
(Xt1 X)
,
1
t=2
donde
2 =
n
X
( Xt 0 1 Xt1 )2 /(n 3)
t=2
=1
0.975 0.990
0.34 0.72
0.29 0.66
0.26 0.63
0.24 0.62
0.24 0.61
0.23 0.60
c ), obtenido asumiendo
Una alternativa, es contrastar el estadstico de prueba = 1 /SE(
1
un modelo de regresion sin intercepto.
Distribuci
on Acumulada Emprica de (Sin intercepto) para 1 = 1
Tama
no Muestra
Percentil Acumulado ()
n
0.010 0.025 0.050 0.100 0.900 0.950 0.975 0.990
25
-2.66 -2.26 -1.95 -1.60 0.92 1.33 1.70 2.16
50
-2.62 -2.25 -1.95 -1.61 0.91 1.31 1.66 2.08
100
-2.60 -2.24 -1.95 -1.61 0.90 1.29 1.64 2.03
250
-2.58 -2.23 -1.95 -1.62 0.89 1.29 1.63 2.01
500
-2.58 -2.23 -1.95 -1.62 0.89 1.28 1.62 2.00
Inf
-2.58 -2.23 -1.95 -1.62 0.89 1.28 1.62 2.00
Series de Tiempo
Segundo Semestre 2013
81
M.Ignacia Vicu
na - Cristian V
asquez
Observe por ejemplo que para = 0,05, el valor de corte del estadstico de prueba es mucho
mas peque
no que el valor de corte estandar de 1.645 obtenido de la distribucion normal,
de modo que la hipotesis de raz unitaria es menos probable de ser rechazada que el uso de
la distribucion normal como la correcta.
Este resultado se puede extender a un proceso AR(p) como sigue:
Xt = 1 (Xt1 ) + + p (Xtp ) + t
{t } RB(0, 2 )
El cual puede re-escribirse como
Xt = 0 + 1 Xt1 + 2 Xt1 + + +p Xtp+1 + t ,
P
P
donde 0 = (1 1 p ), 1 = pi=1 i 1, y j = pi=j i para j = 2, . . . , p.
Si el polinomio autoregresivo tiene raz unitaria, entonces 0 = (1) = 1 , y el proceso
{ Xt } sera un proceso AR(p 1).
Consecuentemente, testear la hipotesis de raz unitaria en el polinomio autoregresivo es
equivalente a testear que 1 = 0.
Como en el caso AR(1), podemos estimar 1 mediante una regresion lineal de Xt con
respecto a los regresores 1, Xt1 , Xt1 ,. . . , Xtp+1 .
c 1 ) se contrasta con los valores de los percentiles teoricos
El estadstico de prueba = 1 /SE(
calculados por Dickey-Fuller presentados anteriormente.
Ejemplo 5.2.1 Continuando con el Ejemplo 5.1.1, al ajustarle un AR(2) se obtuvo una raz
muy cercana a 1. Por lo cual, se realizara un test de hipotesis para ver si existe una raz
unitaria en el polinomio autoregresivo. Las hipotesis a testear son
H0 : (1) = 0 H1 : (1) 6= 0
Se realizo la regresion:
Xt = 0 + 1 Xt1 + 2 Xt1 + Zt
Obteniendose
t = 0,2348 0,0027Xt1 + 0,8416Xt1
X
y
2 = 0,9704.
El estadstico del test esta dado por
1
= 1,57
)
SE(
1
A un nivel de = 0,05 se tiene que 1,57 > 2,88, por lo cual no existe evidencia para
rechazar H0 . Por lo tanto, el polinomio autorregresivo tiene una raz unitaria, y debe ser
modelarse por un modelo no estacionario ARIMA y no un AR(2).
Series de Tiempo
Segundo Semestre 2013
82
M.Ignacia Vicu
na - Cristian V
asquez
5.2.2.
Una raz unitaria en el polinomio de media movil puede tener una serie de interpretaciones
dependiendo de la aplicacion. Por ejemplo, sea {Xt } un proceso ARMA causal e invertible
que satisface las ecuaciones
(B) Xt = (B) t ,
con {t } RB(0, 2 ). Entonces la serie diferenciada Yt = Xt es un proceso ARMA(p, q +1)
no invertible cuyo polinomio de media movil es de la forma (Z)(1 Z).
Consecuentemente, una prueba de raz unitaria en el polinomio de media movil es equivalente a testear la hipotesis de que la serie ha sido sobre diferenciada.
Analizaremos solo el caso MA(1) ya que que el caso general es considerablemente mas complicado y a
un no resulto completamente.
Sean X1 ,. . . , Xn observaciones provenientes de un modelo MA(1)
Xt = t1 + t
{t } RB(0, 2 )
Davis y Dunsmuir (1996) mostraron que bajo el supuesto que = 1, el estadstico n ( + 1)
(con el estimador maximo verosmil de ) converge en distribucion. Un test para H0 : = 1
vs. H1 : > 1 se puede confeccionar con resultados lmite rechazando H0 cuando
c
> 1 + ,
n
donde c corresponde al percentil (1 ) de la distribucion lmite de n ( + 1) propuestos
por Davis, Chen y Dunsmuir (1996).
Algunos percentiles son: c0,01 = 11,93, c0,05 = 6,80 y c0,10 = 4,90.
5.3.
5.3.1.
Predicci
on en Modelos ARIMA
Predicci
on con pasado infinito
{t } RB(0, 2 ),
donde (B) y (B) son los polinomios de rezago auto-regresivos y de medias moviles de
orden p y q respectivamente. El objetivo es predecir la observacion Xn+h dado el pasado
Series de Tiempo
Segundo Semestre 2013
83
M.Ignacia Vicu
na - Cristian V
asquez
infinito de la serie {Xn , Xn1 , ...}. Para ello escriba el proceso de manera invertible,
X
(B)(1 B)d
=
Xt =
j Xtj
(B)
j=0
X t = t
j Xtj
j=1
Xn+h = n+h
j Xn+hj
j=1
Luego el mejor predictor lineal de Xn+h dado Xn , Xn1 , ... esta dado por
n+h = E(Xn+h |Xn , Xn1 , ...)
X
= E(n+h |Xn , Xn1 , ...)
j=1
j=1
h1
X
n+hj
j X
j=1
j Xn+hj
j=h
h1
X
j2
j=0
bn+h
Xn+h X
[ 2 (k)]1/2
N (0, 1),
una vez fijado el coeficiente de confianza podemos encontrar los percentiles tal que
Pr(z1/2 Z z1/2 ) = ,
sustituyendo j por bj y despejando Xn+k se tiene que el intervalo de prediccion esta dado
por
Series de Tiempo
Segundo Semestre 2013
84
M.Ignacia Vicu
na - Cristian V
asquez
bn+h z1/2
X
b
" h1
X
#1/2
bj2
bn+h + z1/2
Xn+h X
b
" h1
X
j=0
#1/2
bj2
j=0
{t } N (0, 2 ),
donde || < 1 y || < 1. Encuentre el mejor predictor lineal de Xn+h dado el pasado infinito
de la serie.
5.3.2.
Predicci
on con Pasado Finito
La forma de predecir para proceso ARIMA, es realizar un mecanismo de forma recursivo utilizando la serie original y la serie diferenciada. Conocer la serie original nos permite conocer
la serie diferenciada y viceversa. Para ellos vamos a ilustrar el siguiente proceso.
Suponga que se tiene un caso bien sencillo, donde se dispone de una serie de tiempo {Xt , t
0, 1, . . . , n} el cual proviene de un proceso ARIMA(p, 1, q) es decir, se realiza una diferenciacion para que la serie sea estacionario,
(B)(1 B)Xt = (B)Zt
Zt RB(0, 2 )
t
X
Yj + X0
j=1
Series de Tiempo
Segundo Semestre 2013
85
M.Ignacia Vicu
na - Cristian V
asquez
n+1
X
t=0
n
X
Yt
Yt + Yn+1
t=0
Pn Xn+1
=
=
=
=
=
Xn + Yn+1
E(Xn+1 |X0 , X1 , . . . , Xn ) = E(Xn + Yn+1 |X0 , X1 , . . . , Xn )
Xn + E(Yn+1 |X0 , X1 , . . . , Xn )
Xn + E(Yn+1 |X0 , Y1 , . . . , Yn )
Xn + E(Yn+1 |Y1 , . . . , Yn )
La u
ltima igualdad surge del hecho de que E(X0 Yj ) = 0, j = 1, ..., n + 1.
En general, asumiendo que Xt satisface
(1 B)d Xt = Yt
t = 1, 2, ...
(1 B)
d
X
d
=
(B)j ,
j
j=0
as
Yt =
d
X
d
j=0
d
X
d
j=0
(1)j B j Xt ,
(1)j Xtj ,
d
X
d
= Xt +
(1)j Xtj ,
j
j=1
86
M.Ignacia Vicu
na - Cristian V
asquez
Xt = Yt
d
X
d
j=1
(1)j Xtj
Observaciones:
1. Pn es un operador lineal.
2. Pn simplemente se utiliza para recordar que el pasado llega hasta n.
3. Recuerde que conocer {X1d , X2d , . . . , X0 , . . . , Xn } es equivalente a conocer
{X1d , X2d , . . . , X0 , Y1 , . . . , Yn }.
bn+k depende de la prediccion Ybn+k , pero esta se puede calcular con la
4. La prediccion X
prediccion de un modelo ARMA, es decir, Ybn+k se predice utilizando la informacion
h{Y1 , . . . , Yn }i.
5. Note que para el caso de k = 1, se tiene Pn (Xn+1j ) = Xn+1j con j = 1, 2, . . . , d.
Finalmente, se puede calcular el mejor predictor lineal de Xn+k recursivamente para k =
1, 2, . . . de la forma
bn+k
X
k1
d
X
X
d
d
j
= Pn (Yn+k )
(1) Xn+kj
(1)j Xn+kj
j
j
j=1
j=k
h1
X
j2
j=0
1
M.Ignacia Vicu
na - Cristian V
asquez
Zt RB(0, 2 ), || < 1
Encuentre el mejor predictor lineal de Xn+k en base de {X0 , ..., Xn } para k = 1, 2, ...
5.4.
Modelos SARIMA
Se entiende por una serie de tiempo estacional que, aparte de contener una tendencia (y/o
ciclos) de larga duracion, muestre que fluctuaciones que se repiten a traves del tiempo con
cierta frecuencia. Una caracterstica de series de tiempo estacionales con cierta frecuencia,
es la similitud de comportamiento entre observaciones en la misma frecuencia. Un ejemplo
es suponer que la serie es medida en un espacio de tiempo mensual, entonces es com
un encontrar en ellas similitud entre los meses de a
nos consecutivos.
En el analisis de series de tiempo estacionales, es necesario trabajar con el operador de
diferencia estacional K
S que se define como
S k
K
S Xt = (1 B ) Xt
k
X
k!
=
(1)j XtjS ,
j!(k
j!)
j=0
para k = 0, 1, . . . y S = 1, 2, . . .
donde {t } RB(0, 2 ), (B S ) es la representacion de un polinomio auto-regresivo estacional de orden P , (B S ) denota el polinomio de medias moviles estacional de orden Q y el
valor entero D representa la estacionalidad de las series, por lo general en series mensuales
D = 12.
Series de Tiempo
Segundo Semestre 2013
88
M.Ignacia Vicu
na - Cristian V
asquez
(S)
(2S)
..
.
(iS)
= 2 /(1 2 )
= 2 2 /(1 2 )
.
= ..
= i 2 /(1 2 ),
para i 0
mientras que
(k) = 0.
para k 6= iS
Series de Tiempo
Segundo Semestre 2013
89
M.Ignacia Vicu
na - Cristian V
asquez
(0) = (1 + 2 ) 2
(S) = 2 2
(k) = 0, para k 6= S
esto implica que la ACF esta definida por
si k = 1,
1,
2
/(1 + ), si k = S,
(k) =
0,
para k 1 con k 6= S.
Una vez conocidos estos dos ejemplos, se puede extender de forma natural los modelos
ARIMA a sus versiones estacionales.
5.4.1.
Este modelo tiene en cuenta ambos efectos, estacionales y no estacionales, Box y Jenkins
(1970) definieron el modelo multiplicativo estacional centrado en cero como
S
(B)(B S )d D
S Xt = (B)(B )t ,
denotado por SARIMA(p, d, q) (P, D, Q)S , donde {t } RB(0, 2 ), (B) y (B S ) corresponde a los polinomios de rezago auto-regresivo de orden p y auto-regresivo estacional de
orden P respectivamente, (B) y (B S ) son los polinomios de rezago de medias moviles de
orden q y Q respectivamente, ademas D y d toman valores en N.
Se entiende as que la serie generada por Zt = d dS Xt corresponde a un proceso ARMA(p, q)
(P, Q)S . Es importante verificar que el proceso presentado anteriormente sea estacionario e
invertible, para lo cual se requiere que las races de las ecuaciones
(x) = 0
(x) = 0
y
y
(xS ) = 0
(xS ) = 0
90
M.Ignacia Vicu
na - Cristian V
asquez
(1 + 2 )(1 + 2 ) 2 ,
(1 + 2 ) 2 ,
0,
(k) =
2 ,
(1 + 2 ) 2 ,
2 ,
si
si
si
si
si
si
k = 0,
|k| = 1,
|k| =
6 0, 1, 11, 12, 13,
|k| = 11,
|k| = 12,
|k| = 13,
/(1 + 2 ),
/ [(1 + 2 )(1 + 2 )] ,
/(1 + 2 ),
(k) =
/ [(1 + 2 )(1 + 2 )] ,
0,
si |k| = 1,
si |k| = 11,
si |k| = 12,
si |k| = 13,
otro caso.
(k 1),
para |k| 13.
Series de Tiempo
Segundo Semestre 2013
91
M.Ignacia Vicu
na - Cristian V
asquez
En este tipo de modelos el parametro D tambien se encuentra a mano, al igual que en los
modelos ARIMA. Como ya se vio en los ejemplos anteriores, se debe conocer una gran cantidad de modelos SARIMA para lograr identificar con la ACF de un proceso, es por ello que
vamos a ver un caso mas general.
Considere el siguiente modelo ARMA estacional SARIMA(1, 0, 1) (0, 0, 1)S de la siguiente
forma
(1 B)Xt = (1 B)(1 B S )t ,
donde t RB(0, 2 ) y S 3. Muestre que la funcion de autocovarianza esta dada por
"
(0) =
#
(1 + 2 )(1 + 2 2) 2S1 (1 )( ) 2
,
1 2
(1 )( )
(1 + 2 ) (S2 + S ) 2 ,
2
1
(k) = (k 1) Sk1 (1 )( ) 2 , 2 k S 1,
#
"
S1 (1 + 2 S )(1 )( ) (1 + 2 2) 2
,
(S) =
1 2
(1) =
(1 )( ) S
(1 + 2 ) (1 + 2S ) 2 ,
2
1
(k) = (k 1), k S + 2.
(S + 1) =
Observaciones
1. Para conocer el valor de S se debe tener informacion sobre la serie, ya que muchas
veces no es tan claro identificar el valor de S en la ACF.
2. El valor de D se ajusta a mano, al igual que el valor de d, para ello se realiza una
diferenciacion estacional de la serie y se determina si persiste o no persiste la tendencia
estacional (similar al caso ARIMA simple, pero la tendencia se observa cada S rezagos).
3. Una vez que se determino el valor de S, d y D se realiza las respectivas diferenciaciones,
es decir, se obtiene una nueva serie
d
Zt = D
S Xt ,
para posteriormente
a) Identificar el modelo.
b) Realizar estimaciones.
c) Predicciones, test sobre los parametros, etc.
Series de Tiempo
Segundo Semestre 2013
92
M.Ignacia Vicu
na - Cristian V
asquez
Captulo 6
Modelos Heteroced
asticos
Los procesos ARIMA estudiados en el captulo anterior, son modelos sencillos de implementar, pero tienen la limitacion de que, aunque asumen que la esperanza condicionada vara
en el tiempo, tanto la varianza marginal como la condicionada son constantes. Por ejemplo,
consideremos el proceso AR(1)
xt = xt1 + t
t RB(0, 2 ), || < 1
Note que la media no condicionada de xt es cero, E(xt ) = 0, mientras que la media condi2
cionada es xt1 . Ademas, la varianza marginal es 1
2 , mientras que la varianza condiciona2
da es .
En el estudio de series temporales financieras, sobre todo a frecuencias altas, se han observado ciertas caractersticas comunes en las cuales el segundo momento condicionado vara en el
tiempo y que, por tanto, no pueden ser explicadas por los modelos ARIMA. En los mercados
financieros grandes cambios tienden a ser seguidos por grandes cambios, y peque
nos cambios tienden ser seguidos por peque
nos cambios. En otras palabras, los mercados financieros
a veces son mas volatil, y otras veces menos activos. Los modelos de Heterocedasticidad
Condicionada tratan de modelizar la volatilidad de una serie temporal.
6.1.
Las series financieras suelen presentar las siguientes caracterticas, generalmente conocidos
como los hechos estilizados (stylized-facts),
1. Ausencia de autocorrelaci
on significativa: Las series financieras (retornos), exhiben bajo nivel de autocorrelacion, por lo cual tienen bajo nivel de prediccion. Mientras que para los cuadrados de los valores de la serie esta altamente correlacionado. A
veces, estas correlaciones son siempre positivas.
2. Distribuciones con colas pesadas: mucho mas que el un ruido blanco gaussiano.
3. Agrupamiento de la volatilidad: Se observa que la volatilidad es persistente y
puede ser alta para ciertos periodos de tiempo y baja para otros. Esta caracterstica se
puede ver reflejada en las autocorrelaciones de la serie al cuadrado significativamente
distintas de cero.
93
Ejemplo 6.1.1 La siguiente serie contiene el Indice diario de precio selectivo de acciones
(IPSA) desde Enero 2006 hasta Septiembre 2013. Como la serie no es estacionaria, se diferencia el logaritmo de la serie obteniendose los retornos, los cuales si son estacionarios.
IPSA
5000
4500
4000
3500
3000
2500
2000
2006
2007
2008
2009
2010
2011
2012
2013
2014
2011
2012
2013
2014
log(IPSA)
8.4
8.2
8.0
7.8
7.6
2006
2007
2008
2009
2010
Se observa que los retornos tienen poca estructura y que su varianza no es constante a lo
largo del tiempo. En concreto, hacia finales del 2008 la serie presenta mayor varianza. La
escasa estructura de la serie se confirma con el grafico de la funcion de autocorrelacion. A
partir del histograma de los retornos y el qqplot podemos apreciar que retornos no siguen
una distribucion normal, ya que presenta exceso de curtosis, colas mas pesadas.
Series de Tiempo
Segundo Semestre 2013
94
M.Ignacia Vicu
na - Cristian V
asquez
Retornos
0.10
0.05
0.00
0.05
2006
2007
2008
2009
2010
2011
2012
ACF Retornos
2013
2014
600
200
0
0.0
10
15
20
25
30
0.05
0.00
0.05
Lag
Distribucin Retornos
Normal QQ Plot
0.10
0.00
0.05
0.05
0.00
Sample Quantiles
30
20
10
0
0.05
0.05
40
0.10
50
Density
400
Frequency
0.6
0.4
0.2
ACF
0.8
800
1.0
Histograma Retornos
0.10
Theoretical Quantiles
ACF Retornos2
0.014
0.8
0.012
0.6
0.010
0.4
ACF
0.008
0.006
0.2
0.004
0.0
0.002
0.000
2006
2007
2008
2009
2010
2011
2012
2013
2014
10
15
20
25
30
Lag
Series de Tiempo
Segundo Semestre 2013
95
M.Ignacia Vicu
na - Cristian V
asquez
Los modelo heterocedasticos suponen que la varianza condicionada a los valores pasados de
la serie (t2 ) no es constante en el tiempo. En la literatura t2 se conoce como volatilidad.
Los diversos modelos de volatilidad que existen se diferencian entre s en la forma en que
se modela la evolucion de t2 . Los modelos de heterocedasticidad condicionada se pueden
clasificar en dos grandes categoras:
1. Modelos ARCH, que modelan t como una funcion determinstica.
2. Modelos de volatilidad estocastica, que modelan la volatilidad mediante una ecuacion
estocastica.
6.2.
Modelos ARCH
Engle (1982) propuso modelar la volatilidad como una funcion lineal de las observaciones
pasadas. Los modelos ARCH(p) estan dados por
y t = t t
t2
= 0 +
p
X
2
j ytj
j=1
iid
t N (0, 1)
A partir de la estructura del modelo se observa que un valor alto del shock al cuadrado en
2
, conlleva una varianza condicionada grande en el periodo t, t2 , lo que
periodos pasados, yti
a su vez hara mas probable un valor alto de yt2 = 2t t2 . Por tanto, en los modelos ARCH,
grandes shocks seran seguidos de otro shock grande. Este efecto implica que los cuadrados de
la serie van a presentar correlacion, por lo que se observar periodos de mayor varianza. Esta
caracterstica es similar al agrupamiento de volatilidad observado en las series financieras.
6.2.1.
Modelo ARCH(1)
t N (0, 1)
donde 0 > 0 y 1 > 0 para garantizar que la varianza condicional sea positiva. En este caso,
se dice que el proceso yt presenta heterocedasticidad autorregresiva condicionada de orden
1.
Series de Tiempo
Segundo Semestre 2013
96
M.Ignacia Vicu
na - Cristian V
asquez
E(E(yt |Ft1 ))
E(E(t t |Ft1 ))
donde Ft1 = {yt1 , yt2 , ...} denota el conjunto de informacion disponible hasta el
periodo t 1.
2. Las autocovarianzas de yt son nulas.
Para k > 0,
Cov(yt , ytk ) = E(yt ytk ) = E(E(yt ytk |Ft1 )) = E(ytk E(yt |Ft1 )) = 0
3. La varianza condicionada de yt no es constante, sino que vara en el tiempo.
Var(yt |Ft1 ) = Var(t t |Ft1 ) = t2 Var(t |Ft1 ) = t2
Por lo tanto, para que yt este bien definido se requiere que t2 0. Una condicion
suficiente es que 0 > 0, 1 > 0.
4. Si 0 1 < 1 la varianza de yt es constante.
yt2
= 0
n
X
2
1j 2t 2tj + 1n+1 2t 2t1 2tn ytn1
j=0
Como 1 1, el u
ltimo termino de la expresion tiene a cero, cuando n , luego
yt2
= 0
1j 2t 2tj
j=0
Por lo tanto,
0
1 1
De esta manera, si 0 1 < 1 se tiene que yt es estacionario.
Var(yt ) = E(yt2 ) =
5. El modelo ARCH tiene distribucion con colas mas pesadas que la Normal.
E(y 4 )
La curtosis de yt es (Var(ytt ))2 es mayor que 3 (distribucion normal) para 12 < 13 .
E(yt4 )
1 12
=
>3
(Var(yt ))2
1 312
Series de Tiempo
Segundo Semestre 2013
97
M.Ignacia Vicu
na - Cristian V
asquez
6.2.2.
Modelo ARCH(p)
= 0 +
p
X
2
j ytj
j=1
iid
t N (0, 1)
donde 0 > 0 y i > 0, i P
= 1, ..., p para garantizar que la varianza condicional sea positiva.
Ademas, se requiere que pj=1 i < 1 para que el proceso yt sea estacionario.
Propiedades del modelo ARCH(p):
Las siguientes propiedades se demuestran de manera similar al caso ARCH(1).
1. Tanto la media condicionada como la marginal de yt son cero.
2. La varianza condicionada es Var(yt |Ft1 ) = t2 .
3. La varianza marginal es Var(yt ) =
0
,
11 2 p
Pp
j=1
i < 1.
Series de Tiempo
Segundo Semestre 2013
98
M.Ignacia Vicu
na - Cristian V
asquez
200
400
600
800
ACF y2
t
1.0
0.0
0.0
0.2
0.2
0.4
0.4
ACF
0.6
0.6
0.8
0.8
1.0
ACF yt
ACF
1000
10
15
20
25
30
10
15
20
Lag
Lag
25
30
0.05
1.0
0.8
0.04
pvalue
0.02
0.03
0.4
pvalue
0.6
0.0
0.00
0.01
0.2
10
15
20
Lag
Series de Tiempo
Segundo Semestre 2013
10
15
20
Lag
99
M.Ignacia Vicu
na - Cristian V
asquez
Histograma de yt
400
Normal QQ Plot
300
200
Frequency
100
2
0
4
Sample Quantiles
Theoretical Quantiles
6.2.3.
Predicci
on en Modelos ARCH(p)
= 0 +
p
X
2
j ytj
j=1
p
2
n+h
= 0 +
2
j yn+hj
j=1
2
n+h
= E(0 +
p
X
2
j yn+hj
|Ft )
j=1
= 0 +
p
X
2
j E(yn+hj
|Ft )
j=1
Por lo tanto,
2
n+1
= 0 +
p
X
2
|Ft )
j E(yn+1j
j=1
p
= 0 +
2
j yn+1j
j=1
Series de Tiempo
Segundo Semestre 2013
2
n+1
100
M.Ignacia Vicu
na - Cristian V
asquez
n+2
= 0 +
p
X
2
j E(yn+2j
|Ft )
j=1
2
= 0 + 1 E(yn+1
|Ft ) +
p
X
2
j yn+2j
j=2
= 0 +
2
|Ft )
1 E(2n+1 n+1
p
X
2
j yn+2j
j=2
p
2
= 0 + 1 n+1
+
2
j yn+2j
j=2
p
= 0 + 1 [0 +
2
j yn+1j
]
j=1
p
X
2
j yn+2j
j=2
y as sucesivamente.
6.2.4.
1. El modelo asume que los shocks positivos y los negativos tienen el mismo efecto sobre
la volatilidad ya que esta depende del cuadrado de los shocks pasados. Sin embargo, en
la practica se observa que la volatilidad es asimetrica ante shocks positivos y negativos.
2. Los modelos ARCH son bastante restrictivos y debe imponer condiciones sobre los
parametros, por lo cual el proceso de estimacion es mas costoso.
3. Generalmente, los modelos ARCH requieren un n
umero elevado de retardos para describir el proceso de volatilidad.
4. Los modelos ARCH consiguen describir el comportamiento de la varianza condicionada,
pero no explican las causas de dicho comportamiento.
6.3.
Modelos GARCH
Bollerslev (1986) propone una extension conocida como ARCH generalizado (GARCH). El
proceso GARCH(p,q) esta dado por
y t = t t
t2
= 0 +
q
X
2
i yti
i=1
p
X
2
j tj
j=1
iid
t N (0, 1)
P
0 > 0, i 0, i = 1, ..., p, j 0, j = 1, ..., q y max{p,q}
(i + i ) < 1.
i=1
Si p = 0, el modelo anterior se reduce a un ARCH(q).
Series de Tiempo
Segundo Semestre 2013
101
M.Ignacia Vicu
na - Cristian V
asquez
6.3.1.
GARCH(1,1)
Las caractersticas de los modelos GARCH se pueden ver facilmente en el modelo mas simple,
GARCH(1,1), que, ademas, en la practica suele ser un modelo adecuado. En este caso, la
varianza condicionada sigue la ecuacion:
2
2
t2 = 0 + 1 yt1
+ 1 t1
0
.
11 1
4. Puede demostrarse que, bajo el supuesto de que t N (0, 1), el coeficiente de curtosis
de yt viene dado por:
3(1 (1 + 1 )2 )
>3
1 (1 + 1 )2 212
donde se debe cumplir la restriccion 1 (1 + 1 )2 212 > 0 para que el momento de
orden 4 sea positivo.
5. El modelo GARCH(1,1) establece una dependencia de los cuadrados de las observaciones como un proceso ARMA(1,1).
2
yt2 = 0 + (1 + 1 )yt1
+ t 1 t1
donde t es un proceso de ruido blanco formado por variables estacionarias incorrelacionadas de media cero y varianza marginal constante, t = yt2 t2 .
El coeficiente (1 + 1 ) es conocido como persistencia y en las series financieras se suele
obtener una estimacion proxima a la unidad.
En general, si yt es un proceso GARCH(p, q) entonces
yt2
= 0 +
m
X
2
i yti
i=1
p
X
j tj + t
j=1
Series de Tiempo
Segundo Semestre 2013
102
M.Ignacia Vicu
na - Cristian V
asquez
6.3.2.
Los modelos GARCH presentan, al igual que los procesos ARCH, algunas debilidades. En
concreto, la respuesta de la volatilidad a los shocks positivos es la misma que a los negativos. Ademas, estudios empricos recientes muestran que las colas de la distribucion con
los modelos GARCH siguen siendo demasiado estrechas a
un considerando innovaciones con
distribucion t-Student estandarizada.
6.4.
Modelos ARMA-GARCH
Muchas series financieras presentan baja correlacion por lo cual se le ajusta un modelo
ARMA cuyas innovaciones son un proceso GARCH. Por lo tanto el modelo ARMA(p1 , q1 )GARCH(p2 , q2 ) a utilizar esta dado por
yt = 1 yt1 + 2 yt2 + p1 ytp1 + 1 t1 + q1 tq1
t = t t
p2
q2
X
X
2
2
2
t = 0 +
i ti +
j tj
i=1
6.5.
j=1
Modelos IGARCH
1 1. Por ello, surgieron los modelos GARCH integrados o IGARCH (Engle y Bollerslev
(1986)), que son modelos GARCH que tienen una raz unitaria en la representacion como
un ARMA de yt2 .
Por ejemplo, un proceso IGARCH(1,1) esta formado por las ecuaciones:
yt = t t
2
2
t2 = 0 + 1 yt1
+ 1 t1
donde 1 + 1 = 1. Por tanto el proceso yt no es debilmente estacionario ya que su varianza
marginal, 1101 no es finita.
Series de Tiempo
Segundo Semestre 2013
103
M.Ignacia Vicu
na - Cristian V
asquez