Introduccion a los Modelos Dinamicos

Un enfoque teorico-practico

Jesus E Gamboa

16 de enero de 2015
Introduccion

Objetivos

Conceptos Preliminares

MLD de Primer Orden

MLD General

MLD Generalizado

Extensiones
Introduccion

Figura: Distribuicao posterior de 0

Objetivos

I Afianzar los conocimientos previos respecto a las areas,

principalmente, de estadstica bayesiana y series de tiempo
I Comprender y aplicar los principales modelos dinamicos
lineares bajo escenarios adecuados.
Estadstica
Conceptos Preliminares

I Estadstica Bayesiana
I Analisis de Regresion
I Series de Tiempo
I Procesos Estocasticos
Conceptos Preliminares
Teorema de Bayes

Sean A y B dos eventos tales que P(B) 6= 0, entonces:

P(B|A)P(A)
P(A|B) = (1)
P(B)

Sean X e Y dos variables aleatorias:

f (x|y )f (y )
f (y |x) = (2)
f (y )
Conceptos Preliminares
Distribucion fundamental - Funcion de Verosimilitud

Ejemplo:
 
n y
f (y |) = (1 )ny
y
para y = 0, 1, ..., n e 0 1
Conceptos Preliminares
Distribucion a priori

Es la distribucion que debe ser asignada segun los conocimientos

previos (como?):
I Dist. a priori Informativa
I Dist. a priori Conjugada
I Dist. a priori No Informativa
I Dist. a priori No Informativa de Jeffreys
Conceptos Preliminares
Distribucion a posteriori

Es la distribucion que condensa la informacion a priori y la

proveniente de los datos. Para su obtencion, haremos uso del
Teorema de Bayes (2)

f (y |)f ()
f (|y ) = f (y |)f () (3)
f (y )
Conceptos Preliminares
Distribucion predictiva

I A priori (marginal)
Z
f (y ) = f (y |)f ()d (4)

I A posteriori
Z

f (y |y ) = f (y |)f (|y )d (5)
Conceptos Preliminares
Conjugacion de la distribucion Normal

Sea Y una variable aleatoria con distribucion N(, 2 ), asuma que

N(0 , 02 ). Sigue que:

|y N(1 , 12 ) (6)
siendo
2 y +02 0
I 1 = 2 +02
I 2 = 2 + 2
1 0
2 2 02
I = ( 2 )
1 +02
Conceptos Preliminares
Conjugacion de la distribucion Normal

0.25
verosimilitud
dist. a priori
0.20

dist. a posteriori
Densidad

0.15
0.10
0.05
0.00

20 10 0 10 20

y
Conceptos Preliminares
Conjugacion Normal-Gamma

Sea Y una variable aleatoria con distribucion N(, 1 ), con

conocido. Luego asuma que Ga( 2 , 2 ). Entonces:
 

Y t , (7)

Conceptos Preliminares
Exemplo

Exemplo: Sea Y una variable aleatoria con distribucion Pois(),

asuma que sigue una distribucion 2(5) . Calcule P( > 6|y )
Conceptos Preliminares
Modelo de regresion lineal clasico

Yi = Xi + ei
onde ei N(0, 2 ) para i = 1, ..., T

Entonces:
Y N(X, 2 In )

I es fijo.
I Tendencia determinstica
Conceptos Preliminares
Modelo de regresion lineal bayesiano

I Todo analisis bayesiano necesita establecer una distribucion a

priori (elicitacion)
I Distribucion a priori conjugada: Solucion analtica
I | N(b0 , 1 B0 ) e Gamma( n20 , n02S0 )
I |, y N(b1 , 1 B1 ) e |y Gamma( n21 , n12S1 )
Conceptos Preliminares
Modelo de regresion lineal bayesiano

I b0 b1 = B1 0
1 (B0 b0 + X Y)
I B0 B1 = B0 + X0 X
I n0 n1 = n0 + n
I n0 S0 n1 S1 = n0 S0 + (Y Xb1 )0 Y + (b0 b1 )0 B0 b0
Conceptos Preliminares
Modelo de regresion lineal bayesiano

I b0 b1 = B1 0
1 (B0 b0 + X Y)
I B0 B1 = B0 + X0 X
I n0 n1 = n0 + n
I n0 S0 n1 S1 = n0 S0 + (Y Xb1 )0 Y + (b0 b1 )0 B0 b0
Priori no informativa: b0 = 0, B0 = 0, S0 = 0, n0 = p
Conceptos Preliminares
Analisis de Series de Tiempo

Principales Patrones a detectar:

I Media
I Tendencia
I Estacionalidad
Metodologa Box Jenkins necesita estacionariedad del proceso
Conceptos Preliminares
Procesos Estocasticos

Rudo Blanco
Un proceso estocastico t es un rudo blanco si esta constituido por
un conjunto de variables aleatorias tales que:
I E [t ] =  , por lo general,  = 0
I 0 = 2
I h = 0 para h 6= 0
Conceptos Preliminares
Procesos Estocasticos

Paseo Aleatorio
Es conocido como Paseo Aleatorio (AR(1)) aquel proceso
estocastico Zt definido del siguiente modo:

Zt = Zt1 + t
Z1 = 1
Donde los t son i.i.d. N( , 2 ), y por tanto:
I E [Zt ] = t
I 0 = t2
I t1 ,t2 =min(t1 ,t2 )2

Simule un paseo aleatorio. Use R!

Conceptos Preliminares
Modelos Dinamicos

I Estructura: C, F, Q
I Regla de aprendizaje: Teorema de Bayes
I Conocimientos previos: D0
I Sistema cerrado versus Sistema abierto
MLD de Primer Orden
Modelo

Ecuacion observacional:

Yt = t + t (8)

Ecuacion de evolucion:

t = t1 + t (9)

Com t N(0, Vt ), t N(0, Wt ) e (0 |D0 ) N[m0 , C0 ]

MLD de Primer Orden
Caractersticas

I Modelo dinamico mas simple

I Corto plazo (memoria corta)
I Variab. de las observaciones >> Variab. del nivel del proceso
MLD de Primer Orden
Secuencia de Modelamiento

0 |D0 N(m0 , C0 )

1 |D0

Y1 |D0

1 |D1 N(m1 , C1 )
MLD de Primer Orden
Distribucion a posteriori en el tiempo (t 1)

t1 |Dt1 N(mt1 , Ct1 )

MLD de Primer Orden
Distribucion a priori en el tiempo t

t |Dt1 N(at , Rt )
Donde:
I at = mt1
I Rt = Ct1 + Wt
MLD de Primer Orden
Distribucion predictiva (a un paso) en el tiempo t

Yt |Dt1 N(ft , Qt )

Donde:
I ft = at = mt1
I Qt = Ct1 + Wt + Vt
MLD de Primer Orden
Distribucion a posteriori en el tiempo t

t |Dt N(mt , Ct )
Donde:
I mt = At Yt + (1 At )mt1 , siendo At = Rt /Qt
I Ct = (1 At )Rt
MLD de Primer Orden
Distribucion predictiva (a k pasos) en el tiempo t

Yt+k |Dt N(ft (k), Qt (k))

Donde:
I ft (k) = mt
Pk
I Qt (k) = Ct + r =1 Wt+r + Vt+k
MLD de Primer Orden
Ejemplo: Aplicacion 1

En el archivo Onibus.txt se presentan los datos del numero medio

de pasajeros en la Rodoviaria Novo Ro, entre los anos 1992 y
2012, inclusive.
I Programar en R un Modelo Dinamico Linear Normal para
obtener la prevision de los anos 2013 e 2014.
I Notas algun problema?
MLD de Primer Orden
Ejemplo: Aplicacion 1
MLD de Primer Orden
Ejemplo: Aplicacion 2

En el archivo VDdeuda.txt se presentan los datos de valores cuota

del Fondo Mutuo IF Deuda entre los das 01 de enero y 19 de
noviembre del 2014.
I Programar en R un Modelo Dinamico Linear Normal para
obtener la prevision de la semana siguiente (20 al 26 de
V
noviembre). Use W = 100
I Modifique los valores para W e V: W = V y W = 100V
MLD de Primer Orden
Ejemplo: Aplicacion 2
MLD de Primer Orden
Especificacion por descuentos

Variancias son siempre conocidas? Por el momento analizaremos el

caso de W desconocido.

Rt = Ct1 + Wt

Ct1
Rt =

Entonces...
MLD de Primer Orden
Ejemplo: Aplicacion 3

En este ejemplo veremos una aplicacion de descuentos, as como de

intervencion en el modelo. Los datos en el archivo MetroRio corresponden
al flujo medio de miles de pasajeros en la Lnea 1 del Metro de Ro de
Janeiro, entre los anos 1995 y 2012. Programar un modelo lineal dinamico
en R, asignando V = 100 e comparando factores de descuento = 0.2,
= 0.5 e = 0.9. Ademas debemos considerar los siguientes datos:
I Para el ano 1994, tiempo 0, m0 = 270 C0 = 5
I En el intervalo de tiempo en estudio fueron inauguradas 4
estaciones: Cardeal Arcoverde (1998), Siqueira Campos (2003),
Cantagalo (2007) e Ipanema/General Osorio (2009), incrementando
en cada caso el numero de pasajeros en 20 %, 5 %, 10 % y 5 %
respectivamente.
I A partir del ano 2004, MetroRio comenzo a funcionar tambien los
sabados y domingos, incrementando el numero de pasajeros en 5 %.
MLD General
Modelo

Ecuacion observacional:

Yt = Ft t + t (10)

Ecuacion de evolucion:

t = Gt t1 + t (11)

Con t N(0, Vt ), t N(0, Wt ) y 0 |D0 N(m0 , C0 )

MLD General
Modelo

Ecuacion observacional:

Yt = Ft t + t (10)

Ecuacion de evolucion:

t = Gt t1 + t (11)

Con t N(0, Vt ), t N(0, Wt ) y 0 |D0 N(m0 , C0 )

El MLD de primer orden es un caso especial cuando Ft = 1,
Gt = 1 y =
MLD General
Distribucion a posteriori en el tiempo (t 1)

t1 |Dt1 N(mt1 , Ct1 )

MLD General
Distribucion a priori en el tiempo t

t |Dt1 N(at , Rt )
Donde:
I at = Gt mt1
I Rt = Gt Ct1 G0t + Wt
MLD General
Distribucion predictiva (a un paso) en el tiempo t

Yt |Dt1 N(ft , Qt )
Donde:
I ft = F0t at
I Qt = F0t Rt Ft + Vt
MLD General
Distribucion a posteriori en el tiempo t

t |Dt N(mt , Ct )
Donde:
I mt = At Yt + (1 At F0t )at , siendo At = Rt Qt1 Ft
I Ct = Rt At A0t Qt
MLD General
Distribucion predictiva (a k pasos) en el tiempo t

Yt+k |Dt N(ft (k), Qt (k))

Obtener las expresiones adecuadas para ft (k) y Qt (k)

MLD General
Variancia Observacional Desconocida
Una de las soluciones consiste en asumir Vt = V , t y asignar
una distribucion probabilstica para V .

Que distribucion asignaras a V?

MLD General
Variancia Observacional Desconocida
MLD General
Variancia Observacional Desconocida

Ecuacion observacional:

Yt = Ft t + t (12)

Ecuacion de evolucion:

t = Gt t1 + t (13)

Con:
I t N(0, 1 ), 1 = V
I t N(0, V Wt )
I 0 |D0 , N(m0 , 1 C0 )
I |D0 Ga( n20 , n02S0 )
MLD General
Variancia Observacional Desconocida

Ecuaciones de Actualizacion

t1 |Dt1 Tnt1 (mt1 , St1 Ct1 )

t |Dt1 Tnt1 (at , St1 Rt )
Yt |Dt1 Tnt1 (ft , St1 Qt )
t |Dt Tnt1 (mt , St Ct )
nt1 nt1 St1
|Dt1 Gamma( , )
2 2
et2
nt1 + 1 nt1 St1 + Qt
|Dt Gamma( , )
2 2
MLD General
Propiedades de los Modelos Dinamicos

I Observabilidad
I Similaridad
I Equivalencia
I Modelos canonicos

Modelo Linear Dinamico de Series Temporales (MLDST)

MLD General
Propiedades de los MLDST: Observabilidad

Definicion: Matriz de observabilidad T:

F0

F0 G

..
.
F0 Gn1

Definicion: Cualquier MLDST {F,G,.,.} es observable si y

solamente si, la matriz de observabilidad T es de rango completo
n, siendo n el numero de parametros en el vector de estados
MLD General
Propiedades de los MLDST: Similaridad

Considere dos MLDST observables, denotados por

M : {F, G, Vt , Wt } y M1 : {F1 , G1 , V1,t , W1,t } con funciones
predictivas ft (k) y ft1 (k)

Definicion: M y M1 son modelos similares (M M1 ) si y

solamente si las matrices de sistema G y G1 tienen autovalores
identicos.
MLD General
Propiedades de los MLDST: Equivalencia

Definicion: Considere dos MLDST similares M y M1 con matriz

de similaridad H = T1 T1 . Admita que M : {F, G, Vt , Wt } con
momentos iniciales (m0 , C0 ) y M1 : {F1 , G1 , V1,t , W1,t } con
momentos iniciales (m1 , C1 ). M es equivalente a M1 si:
I F0 = F01 H1 , G = HG1 H1
I Vt = V1,t
I Wt = HW1,t H0
I 0 |D0 = H 1,0 |D0 m0 = Hm1,0 y C0 = HC1,0 H0
MLD General
Propiedades de los MLDST: Modelos Canonicos

Conceptos:
I Matriz bloco-diagonal
I Matriz bloco de Jordan
MLD General
Propiedades de los MLDST: Modelos Canonicos

MLDST con un unico autovalor real

Definicion: Sea {F, G, Vt , Wt } cualquier MLDST observable cuya

matriz de sistema G tiene un unico autovalor real de
multiplicidad n. Sea T la matriz de observabilidad de este modelo
y defina el vector canonico En = (1, 0, . . . , 0). Entonces:
I Cualquier modelo {En , Jn (), ., .} com matriz de
observabilidad T0 es un Modelo Canonico Similar.
I Cualquier modelo {En , Jn (), Vt , HWt H0 } donde H = T1
0 T
com priori 0 |D0 N(Hm0 , HC0 H0 ) es un Modelo Canonico
Equivalente
MLD General
Propiedades de los MLDST: Modelos Canonicos

MLDST con autovalores reales multiples

Definicion: Sea {F, G, Vt , Wt } cualquier MLDST observable cuya

matriz de sistema G tiene s autovalores reales distintos 1 , . . . , s
de multiplicidad r1 , . . . , rs respectivamente. Sea T la matriz de
observabilidad de este modelo, defina el vector canonico
En = (1, 0, . . . , 0) y la matriz J = blocodiag (Jr1 (1 ), . . . , Jrs (s )).
Entonces:
I Cualquier modelo {En , J, ., .} com matriz de observabilidad T0
es un Modelo Canonico Similar.
I Cualquier modelo {En , J, Vt , HWt H0 } donde H = T1
0 T com
priori 0 |D0 N(Hm0 , HC0 H0 ) es un Modelo Canonico
Equivalente
MLD General
Propiedades de los MLDST: Modelos Canonicos

MLDST con autovalores complejos

Definicion: Sea {F, G, Vt , Wt } cualquier MLDST observable con

matriz de observabilidad T de dimesion 2 cuya matriz de sistema
G tiene un par de autovalores distintos y complejos 1 = r exp iw y
2 = r exp iw , r y w son reales no nulos. Defina el vector
canonico En = (1, 0, . . . , 0) y la matriz
 
cos(w ) sen(w )
J2 (, w ) =
sen(w ) cos(w )

I Cualquier modelo {En , J2 (, w ), ., .} com matriz de

observabilidad T0 es un Modelo Canonico Similar.
I Cualquier modelo {En , J2 (, w ), Vt , HWt H0 } donde
H = T1 0
0 T com priori 0 |D0 N(Hm0 , HC0 H ) es un
Modelo Canonico Equivalente
MLD General
Modelos para ajustar tendencia polinomial

Definicion: Un MLD es un modelo linear dinamico polinomial de

orden n si y solamente si es similar al modelo canonico
{En , Jn (1), ., .}
MLD General
Modelos para ajustar tendencia polinomial: Prevision

Definicion: Cualquier MLDST observable con funcion de prevision:

ft (k) = at0 + at1 k + . . . + atn1 k n1

Es definido como un modelo linear dinamico polinomial de orden n.

MLD General
Modelos para ajustar tendencia polinomial

Especifique y obtenga las funciones de prevision para los modelos

lineales dinamicos polinomiales de orden 1 y 2.
MLD General
Modelos para ajustar estacionalidad
Conceptos
I Una funcion g (.) es cclica o periodica si para algun entero
p > 1 e t, n enteros positivos, g (t + np) = g (t)
I El menor valor de p tal que g (t + np) = g (t) es llamado
perodo.
I Los factores estacionales de g (.) son los p valores tomados
en cualquier ciclo completo, as j = g (j) para
j = 0, 1, . . . , (p 1), t > 0, g (t) = g (j) donde j es el
residuo de la division pt
I El vector de factores estacionales en el tiempo t es la
permutacion del vector de factores estacionales donde el
primer elemento corresponde al tiempo t, cuando el factor
estacional actual es j :

t = (j , j+1 , . . . , p1 , p , . . . , j1 )
MLD General
Modelos para ajustar estacionalidad

Principalmente tenemos dos formas de modelar la estacionalidad

en un conjunto de datos:
I Efectos estacionales en forma libre
I Representacion via Fourier
MLD General
Modelos para ajustar estacionalidad: Efectos Estacionales en forma libre

1. Modelo: {Ep , P, Vt , Wt }
2. Vector de Estados: t = (0 , . . . , p1 )0t
3. Restricciones:
I 10 t = 0
I 10 0 |D0 N(10 m0 , 10 C0 1)
I Wt 1 = 0
MLD General
Modelos para ajustar estacionalidad: Representacion en la forma de Fourier

I Considere los p factores estacionales 0 , . . . , p1

2 p
I Defina = p yh= 2 (Vamos a asumir p par)
I Un modelo estacional de perodo p estara siendo explicando
por, como maximo, h harmonicos.
2r
I Frecuencia del r-esimo harmonico: w = r = p
I El r-esimo harmonico es definido como:
Srj = ar cos(rj ) + br sen(rj ) si r = 1, ..., h 1 y
Shj = ar cos(rj )
I El MLD para el r-esimo harmonico es definido como
{E2 , J2 (1, w ), ., .}
MLD General
Superposicion de modelos

Dos o mas modelos deben superponerse cuando cada uno de ellos

explica un patron de una serie de tiempo.
MLD General
Superposicion de modelos: Prevision

Cuando dos o mas modelos son superpuestos puede realizarse la

prediccion para cada uno de ellos y luego sumarlas.
MLD Generalizado
Abordagem

I Modelos Lineares Dinamicos Normais

I Limitacoes quando Wt e Vt nao sao conhecidas.
I Correlacao entre os parametros de estados
I Reparametrizacao atraves do sistema de disturbios t
I Abordagem abrangente: Famlia Exponencial e MLGD
I West, Harrison e Migon (1985): Media e Variancia
I Kitagawa (1987): Abordagem nao parametrica
I Fahrmeir (1992): Moda
I Gamerman (1998): Distribuicao Exata via MCMC
MLD Generalizado
Especificacion del modelo

I Equacao obervacional
 
yt t + b(t )
p(yt |t ) = c(yt , t ) exp (14)
t

com t = E (yt |t ) = b 0 (t )

I Funcao de Ligacao

g (t ) = t = Ft0 t (15)

Onde: Ft0 = (1, x1 , ..., xp )t e t = (0 , 1 , ..., p )0t

MLD Generalizado
Especificacion del modelo

I Equacao de evolucao

t = G t1 + t (16)

Onde:
I 1 = 1 , 1 Np+1 (a,R)
t = j=1 Gtj j e t Np+1 (0,W) para t = 2, ..., n.
Pt
I

Os disturbios 1 , 2 ,..., n sao condicionalmente independentes,

isto e f ( 1 , ..., n |W) = f ( 1 ) f ( 2 |W) ... f ( n |W)
Extensiones
Extensiones

I Inclusion de covariables
Extensiones

I Inclusion de covariables
I Enfoque multivariado
Extensiones

I Inclusion de covariables
I Enfoque multivariado
I Estrategias alternativas ante la presencia de variancias
desconocidas
Extensiones

I Inclusion de covariables
I Enfoque multivariado
I Estrategias alternativas ante la presencia de variancias
desconocidas
I Variancias dependiendo de covariables