Identificaci

on y estimaci
on con Modelos ARIMA
Gonzalo Lezma Florida

Lima, Agosto 2012

Outline

Identificaci
on de modelos ARIMA(p,d,q)
Funciones de Autocorrelaci
on Simple (FAS) y Parcial(FAP)

Estimaci
on de modelos ARMA(p,q)

Estimaci
on de Modelos ARMA

2 / 16

Identificaci
on de modelos ARIMA(p,d,q)
Metodo iterativo de estimaci
on y chequeo de las propiedades del
modelo. Este proceso puede resumirse en los siguientes cuatro
pasos:
Transformar los datos buscando inducir estacionariedad. Si la
tendencia es determinstica, se remueve estimando para la serie
yt un polinomio determin`stico de la forma:
yt = 0 + 1 t + 2 t2 ..s ts + t
el residuo de esta regresi
on se considera como el proceso
estacionario que se esta buscando identificar.
Si la tendencia no es determinstica se procede a diferenciar la
serie tantas veces sea necesario para convertirla en estacionaria.
(L)d yt = (L)
Para determinar si se ha alcanzado estacionariedad se debe
examinar las FAS y FAP de la serie transformada. Si esta es
estacionaria, ambas debera aproximarse a cero r
apidamente.
3 / 16

Identificaci
on de modelos ARIMA(p,d,q)

Utilizar pmax y qmax del modelo ARMA(p,q) que mejor puede

describir la serie.
Estimar los par
ametros de los polinomios de rezagos (L) y (L)
Hacer un diagn
ostico del residuo Si el modelo asumido es el
correcto, entonces
El residuo no debera presentar correlaci
on serial,
Debe ser homoced
astico, e idealmente debera tener media cero y
distribuirse normalmente.

4 / 16

Identificaci
on de modelos ARIMA(p,d,q)
De no cumplirse algunas de estas propiedades del residuo, se
regresa al paso (2) y se repite el proceso
Adicionalmente, se puede utilizar criterios de informacion. Se
escoje el que minimice alg
un criterio de informacion. El criterio
de informaci
on de Akaike ( AIC)

AIC = 2

k
L
+2
T
T

El criterio de Schwarz (SC)

log(T )
L
+k
T
T
Y el criterio de Hanna-Quinn ( HQ)
SC = 2

L
log(log(T ))
+ 2k
T
T
Donde, T : tama
no de muesta, L el logartimo de la funcion de
HQ = 2

5 / 16

Funciones de Autocorrelaci
on Simple
(FAS) y Parcial(FAP)

La FAS se define como s =

el gr
afico de bs versus s

s
0 ,

El correlograma se define como

El estadstico de Box-Pierce y Box-Ljung Q: Permiten probar la

hip
otesis conjunta:1 = 2 = ... = s = 0, el estadsitco de BP
esta dado por , Q(k) = T k b2s , donde, Q(k) 2 (k)
s=1

Box-Ljung ajusta el estadstico utilizando grados de libertada

para mejorar el desempe
no del estastico en muestras

b2s
peque
nas,Q(k) = T (T + 2) k T s
, donde, Q(k) 2 (k)
s=1

6 / 16

La funci
on de Autocorrelaci
on
Parcial(FAP)

Es la correlacion entre yt y yts es la correlaci

on simple entre
yts y yt menos la parte linelamente explicada por los rezagos
intermedios.yt = 11 yt1 + 22 yt2 + 33 yt3 ...pp ytp
La funci
on de autocorrelaci
on parcial esta dada por el grafico de
kk versus k
Para un AR(p) kk = 0 para k > p
Para MA(q) k = 0 para k > q

7 / 16

Estimaci
on de modelos ARMA(p,q)

Los modelos AR(p) pueden estimarse consistentemente por

MCO si y solo si el modelo esta adecuadamente identificado.
Supongamos el caso de un modelo AR(1), yt = 1 yt1 + t , el
estimador
MCO de 1 esta
dado por,
P
P
yt yt1
t yt1
b
P
P
1 =
= 1 +
, Puesto que Et (t yt1 ) = 0,
y2
y2
t1

t1

entonces se tiene que p lim b1 = 1 .

8 / 16

Estimaci
on de modelos ARMA(p,q)

Si por el contrario, el verdadero proceso es un AR(2) y

estimamos
un AR(1), tenemos
que
P
P
2 yt2 yt1 )
b1 = Pyty2yt1 = 1 + (t yt1P+
. Puesto que
y2
t1

t1

Et (t yt1 + 2 yt2 yt1 ) 6= 0, p lim b1 6= 1 , por lo que el

estimador MCO es inconsistente.
Los modelos MA(q) por el contrario no pueden estimarse por
MCO, en este caso hay que utilizar el metodo de maxima
verosimilitud.

9 / 16

M
axima Verosimilitud

La funci
on de verosimilitud L(yt , yt1 , yt2 .., y1 ; ) se define
como la funci
on de densidad conjunta de yt , yt1 , yt2 .., y1
Si las variables, yt son independientes, la funci
on de densidad
conjunta es el producto de las densidades marginales
Cuando las variables yt no son independientes se pude utilizar la
factorizaci
on condicional L,
La funci
on de densidad conjunta siempre puede factorizarse
como el producto de la densidad condicional de y2 en y1 y la
funci
on marginal de y1 tal que f (y2 , y1 ; ) = f (y2 /y1 ; )f (y1 ; ).

10 / 16

M
axima Verosimilitud

Generalizando este concepto para el caso de t variables,

L(Y, ) =

T f (y /y
t t1 , yt2 .., y1 ; )
t=2

f (y1, )

Usualmente se utiliza un transformaci

on monotonica de L, el
log L(Y, ) =Tt=2 log f (yt /yt1 , yt2 .., y1 ; ) + log f (y1, )

11 / 16

Funci
on de Verosimilitud para un AR(1)

Dado el modelo, yt = c + yt1 + t , donde t se distribuye

N (0, 2 )
2

La distribuci
on marginal de y1 es N (, 1
2 ), donde, =

de donde log f1 (y1 ; ) = 12 log(2)

1
2

log

2
12

c
1

2
1 (y1 )
2

2
12

12 / 16

Funci
on de Verosimilitud para un AR(1)

Asimismo, la funci
on de densidad de Y2 condicional en el valor
de Y1 , f (y2 /y1 ; ) N (c + Y1 , 2 ), esta dado por :

log f (y2 /y1 ; ) = 12 log(2) 12 log 2

1 (y2 cY1 )
2
2

Por lo que la funci

on verosimilitud estara dada por
2

log L(Y, ) = 21 log(2) 21 log 1

2

1 (y1 )
2
2

12

(T 1)
2

log(2)

(T 1)
2

log 2

1 T 1 (yt cYt1 )
2 t=1
2

13 / 16

Funci
on de Verosimilitud para un MA(1)
Dado el siguiente proceso M A(1), yt = + t + t1 donde,
t N (0, 2 ).
Si el valor de t1 es conocido, entonces, tenemos que
yt /t1 N ( + t1 , 2 )
Supongamos que 0 = 0 entonces 1 = y1 ,utilizando 1 ,
2 = y2 1 = y2 (y1 ) y as sucesivamente,
t = yt t1
Con ello, log L(Y, ) = (T 1)
log(2)
2

(T 1)
2

log 2

2
1 T 1 t
2t
2

Ejemplo, T = 3, 0 = 0, utilizando la definici

on del proceso,
1 = y1 , 2 = y2 (y1 ), y
3 = y3 (y2 ) + 2 (y1 )
De donde, el logaritmo de la funci
on de verosimilitud esta dado
por
(31)
2
) = (31)
2 log(2)
2 log
 log L(Y,

2
(y1 )2 +(y2 (y1 ))2 +(y3 (y2 )+2 (y1 ))
1

14 / 16

Descomposici
on del error de predicci
on

Igualmente, en este caso, o = 1 = ...q+1 = 0

Entonces recursivamente, t = yt 1 t1 2 t2 .. q tq
Finalmente tenemos que:
log L(Y, ) = (T 1)
log(2)
2

(T 1)
2

log 2

2
1 T 1 t
2t
2

15 / 16

Propiedades del Estimador de MV

Bajo ciertas condiciones de Regularidad, el estimador de MV,

satisface
Consistencia, p lim bM V =
Normalidad Asint
otica: bM V N (, I 1 ()). En donde, I()
representa la matriz de informaci
on definidad como,
2 log L
I() = 0
Eficiencia asint
otica: bM V alcanza la cota de Cramer-Rao
Invarianza: El estimador de MV de = c() es
bM V = c(bM V )

16 / 16