Professional Documents
Culture Documents
metodos
Parte 2
22 de Marzo de 2011
2 Modelo Lineal
3 WinBUGS
4 Modelos Jerarquicos
Programa
2 Modelo Lineal
3 WinBUGS
4 Modelos Jerarquicos
Problema
f (|x) f (x|)f ()
Problema
f (|x) f (x|)f ()
Complicaciones
identificar la constante de normalizacion de la a posteriori
la distribucion a posteriori puede no ser tratable analticamente
Solucion
Solucion
Solucion
Algoritmo
1 Generamos un valor u de la distribucion uniforme U(0, 1).
2 La cuanta z = F 1 (u) es una observacion aleatoria de F (x).
Algoritmo
1 Generamos un valor u de la distribucion uniforme U(0, 1).
2 La cuanta z = F 1 (u) es una observacion aleatoria de F (x).
Rejection sampling
f (x) m g (x)
Rejection sampling
f (x) m g (x)
Algoritmo
1 Generamos un valor z de una distribucion g (x).
f (z)
2 Calculamos el ratio R = mg (z) .
3 Generamos un valor u de una uniforme (0, 1). Acceptamos z como
observacion aleatoria de f (x) si u < R.
Rejection sampling
Ventajas
No necesitamos conocer la constante de normalizazion. f (x)
Valido para el caso multidimensional.
Facil de implementar.
Rejection sampling
Ventajas
No necesitamos conocer la constante de normalizazion. f (x)
Valido para el caso multidimensional.
Facil de implementar.
Desventajas
Encontrar la densidad g (x) puede ser difcil.
Si la g (x) no es buena, el algoritmo puede ser ineficiente. Alta
proporcion de rechazos.
Problemas en alta dimension.
Algoritmos MCMC
Muestreo de Gibbs
f (1 , 2 )
f (1 |2 ), f (2 |1 )
Muestreo de Gibbs
Algoritmo
1 Empezamos con unos valores iniciales de 10 , 20 . j = 1
2 Generamos una observacion 1j de la distribucion condicionada
f (1 |2j1 ).
3 Generamos una observacion 2j de la distribucion condicionada
f (2 |1j ).
4 Siguiente paso j := j + 1 y volvemos al paso 2.
Muestreo de Gibbs
Algoritmo
1 Empezamos con unos valores iniciales de 10 , 20 . j = 1
2 Generamos una observacion 1j de la distribucion condicionada
f (1 |2j1 ).
3 Generamos una observacion 2j de la distribucion condicionada
f (2 |1j ).
4 Siguiente paso j := j + 1 y volvemos al paso 2.
Muestreo de Gibbs
Muestreo de Gibbs
Algoritmo de Metropolis-Hastings
Algoritmo de Metropolis-Hastings
f (C )g (j1 |C )
R=
f (j1 )g (C |j1 )
Algoritmo de Metropolis-Hastings
Algoritmo
1 Empezamos con un valor inicial 0 , j = 1.
2 Generamos un candidato C de la distribucion g (|j1 ).
3 Calculamos el ratio
f (C )g (j1 |C )
R=
f (j1 )g (C |j1 )
4 Generamos u de una distribucion uniforme (0, 1). Si u < R
aceptamos el candidato j := C , en caso contrario j := j1
5 Siguiente paso j := j + 1 y volvemos al paso 2.
Algoritmo de Metropolis-Hastings
Algoritmo de Metropolis-Hastings
C N(j1 , C )
Otros enfoques
Metropolis-within-Gibbs
En caso de distribucion conjunta muy compleja f () la distribucion se
particiona f (1 |2 ), f (2 |1 ) para aplicar el algoritmo de Gibbs.
Cada paso del algoritmo de Gibbs requiere generar observaciones de
las condicionadas f (1 |2 ), f (2 |1 ) para lo que se emplea el
algoritmo MH.
Otros enfoques
Metropolis-within-Gibbs
En caso de distribucion conjunta muy compleja f () la distribucion se
particiona f (1 |2 ), f (2 |1 ) para aplicar el algoritmo de Gibbs.
Cada paso del algoritmo de Gibbs requiere generar observaciones de
las condicionadas f (1 |2 ), f (2 |1 ) para lo que se emplea el
algoritmo MH.
Slice sampling
f () h()
U| uniforme(0, h())
Diagnostico de convergencia
Diagnostico de convergencia
Programa
2 Modelo Lineal
3 WinBUGS
4 Modelos Jerarquicos
Especificacion matricial
Y = X + e,
e N(0, e2 In ),
Especificacion matricial
Y = X + e,
e N(0, e2 In ),
funcion de verosimilitud
1
L(, e2 ; X , Y ) = (2e2 )n/2 exp T
2 (Y X ) (Y X ) .
2e
Especificacion matricial
Y = X + e,
e N(0, e2 In ),
funcion de verosimilitud
1
L(, e2 ; X , Y ) = (2e2 )n/2 exp T
2 (Y X ) (Y X ) .
2e
= (X T X )1 (X T Y ), ACOV () = e2 (X T X )1 ,
2 1/2
1 2e
e2 = e T e, 2
SE (e ) =
n n
Especificacion bayesiana
yi N(XiT , e2 )
Especificacion bayesiana
yi N(XiT , e2 )
eT e
f (e2 |, X , Y ) (e2 )(n/2)+1 exp 2
2e
eT e
f (e2 |, X , Y ) (e2 )(n/2)+1 exp 2
2e
Programa
2 Modelo Lineal
3 WinBUGS
4 Modelos Jerarquicos
WinBUGS
http://www.mrc-bsu.cam.ac.uk/bugs/winbugs/contents.shtml
No olviden instalar la clave de inmortalidad!!
Se puede ejecutar WinBUGS desde otros softwares como R, Matlab y
Excel.
Facil de usar y flexible, capaz de describir modelos altamente
complejos.
Solo hay que especificar el modelo y los datos.
MCMC: Metropolis-within-Gibbs Rejection sampling Slice
sampling.
Procedimiento
1 Especificar el modelo
2 Cargar los datos
3 Compilar el modelo y los datos
4 Inicializacion: aleatoria o arbitraria
5 Ejecucion de las simulaciones y monitoreo de los parametros
WinBUGS
Instalacion
WinBUGS
Instalacion
Menu ayuda: manual y ejemplos.
WinBUGS
Instalacion
Menu ayuda: manual y ejemplos.
Estructura del codigo:
model{ ...}
parametros: constantes, nodos estocasticos y componentes logicos.
WinBUGS
Instalacion
Menu ayuda: manual y ejemplos.
Estructura del codigo:
model{ ...}
parametros: constantes, nodos estocasticos y componentes logicos.
Ejemplo:
z 1
y =x+ 3 + w y <- x + z/3 + 1/w
Programa
2 Modelo Lineal
3 WinBUGS
4 Modelos Jerarquicos
Modelos jerarquicos
Muchas veces en las ciencias sociales los datos poseen una compleja
estructura, agregados en diferentes niveles.
Pacientes agrupados en hospitales. Hay hospitales con mayor tasa de
mortalidad?
Estudiantes agrupados en cursos, y cursos en escuelas. Hay un efecto
aula en el rendimiento escolar de los alumnos? Y escuela?
Sucesivas mediciones en pacientes. Hay diferencias entre
tratamientos? Hay heterogeneidad entre los pacientes en su respuesta
a los tratamientos?
Modelos jerarquicos
Modelos jerarquicos
Modelos jerarquicos
Modelos jerarquicos
Modelos jerarquicos
Modelos jerarquicos
model{
for( i in 1 : N ) {
Y[i] dnorm(mu[i],y.tau)
mu[i] <- alpha[school[i]]
}
for( s in 1 : M ) {
alpha[s] dnorm(alpha.c, alpha.tau)
}
y.tau dgamma(0.001,0.001)
sigma2 <- 1 / sqrt(y.tau)
alpha.c dnorm(0.0,0.001)
alpha.tau dgamma(0.001,0.001)
}
Referencias I
Gelman A., Carlin J.B., Stern H.S., and Rubin D.B. (2004). Bayesian
Data Analysis, 2nd edition. New York: Chapman & Hall
Referencias II
Pole A., West M., Harrison J. (1994). Applied Bayesian Forecasting and
Time Series Analysis. New York: Chapman & Hall
Rachev S.T., Hsu J.S.J., Bagasheva B.S., and Fabozzi F.J. (2008).
Bayesian Methods in Finance. NJ: Wiley
Robert C., and Casella G. (2004) Monte Carlo Statistical methods. NJ:
Springer