You are on page 1of 67

Introduccion a la estadstica bayesiana, aplicaciones y

metodos
Parte 2

Ana Paula Palacios y Peter Diko

Universidad Carlos III de Madrid

22 de Marzo de 2011

Instituto de Economa y Finanzas


Facultad de Ciencias Economicas
U.N.C.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 1 / 42


Programa

1 Muestreo Monte Carlo

2 Modelo Lineal

3 WinBUGS

4 Modelos Jerarquicos

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 2 / 42


Monte Carlo

Programa

1 Muestreo Monte Carlo

2 Modelo Lineal

3 WinBUGS

4 Modelos Jerarquicos

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 3 / 42


Monte Carlo

Problema

El analisis bayesiano proporciona la distribucion para , el parametro de


interes

f (|x) f (x|)f ()

Tenemos interes en cuantas relacionadas con la distribucion a posteriori:


media,moda, mediana, cuantiles en general, intervalos de credibilidad.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 4 / 42


Monte Carlo

Problema

El analisis bayesiano proporciona la distribucion para , el parametro de


interes

f (|x) f (x|)f ()

Tenemos interes en cuantas relacionadas con la distribucion a posteriori:


media,moda, mediana, cuantiles en general, intervalos de credibilidad.

Complicaciones
identificar la constante de normalizacion de la a posteriori
la distribucion a posteriori puede no ser tratable analticamente

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 4 / 42


Monte Carlo

Solucion

Alternativa al tratamiento analtico


construir una muestra 1 , 2 , . . . , n de la distribucion a posteriori.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 5 / 42


Monte Carlo

Solucion

Alternativa al tratamiento analtico


construir una muestra 1 , 2 , . . . , n de la distribucion a posteriori.
calcular la cuanta de interes muestral

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 5 / 42


Monte Carlo

Solucion

Alternativa al tratamiento analtico


construir una muestra 1 , 2 , . . . , n de la distribucion a posteriori.
calcular la cuanta de interes muestral
por la Ley de los Grandes Numeros la distribucion emprica converge
a la verdadera
Z n
1X
f (|x)d i
n
i=1
Z n
1X
( )2 f (|x)d (i )2
n
i=1

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 5 / 42


Monte Carlo

Media a posteriori para beta(1498, 1519)

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 6 / 42


Monte Carlo

Muestreo por inversion de F

Enfoque para distribuciones univariantes.


Necesitamos conocer la funcion de distribucion F (x).

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 7 / 42


Monte Carlo

Muestreo por inversion de F

Enfoque para distribuciones univariantes.


Necesitamos conocer la funcion de distribucion F (x).

Algoritmo
1 Generamos un valor u de la distribucion uniforme U(0, 1).
2 La cuanta z = F 1 (u) es una observacion aleatoria de F (x).

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 7 / 42


Monte Carlo

Muestreo por inversion de F

Enfoque para distribuciones univariantes.


Necesitamos conocer la funcion de distribucion F (x).

Algoritmo
1 Generamos un valor u de la distribucion uniforme U(0, 1).
2 La cuanta z = F 1 (u) es una observacion aleatoria de F (x).

Comprobaremos que Z = F 1 (U), donde U es uniforme (0, 1) tiene


distribucion F (x)

P{Z x} = P{F 1 (U) x} = P{U F (x)} = F (x)

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 7 / 42


Monte Carlo

Rejection sampling

La clave es encontrar una distribucion g (x) facil de muestrear que cumpla


para un m fijo

f (x) m g (x)

en todo el soporte de f (x).

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 8 / 42


Monte Carlo

Rejection sampling

La clave es encontrar una distribucion g (x) facil de muestrear que cumpla


para un m fijo

f (x) m g (x)

en todo el soporte de f (x).

Algoritmo
1 Generamos un valor z de una distribucion g (x).
f (z)
2 Calculamos el ratio R = mg (z) .
3 Generamos un valor u de una uniforme (0, 1). Acceptamos z como
observacion aleatoria de f (x) si u < R.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 8 / 42


Monte Carlo

Rejection sampling

Ventajas
No necesitamos conocer la constante de normalizazion. f (x)
Valido para el caso multidimensional.
Facil de implementar.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 9 / 42


Monte Carlo

Rejection sampling

Ventajas
No necesitamos conocer la constante de normalizazion. f (x)
Valido para el caso multidimensional.
Facil de implementar.

Desventajas
Encontrar la densidad g (x) puede ser difcil.
Si la g (x) no es buena, el algoritmo puede ser ineficiente. Alta
proporcion de rechazos.
Problemas en alta dimension.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 9 / 42


Monte Carlo

Algoritmos MCMC

Solucion para casos de densidades complejas y de alta dimension.

Particionamos la densidad a muestrear en densidades multivariantes o


univariantes mas manejables.
muestreo de una o varias dimensiones de la a posteriori
exploracion de todo el soporte de la distribucion paso por paso

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 10 / 42


Monte Carlo

Muestreo de Gibbs

En estadstica Bayesiana desde Gelfand and Smith (1990).


Conocido en fsica antes de 1990.

Algoritmo apropiado en casos cuando


el muestreo de la distribucion conjunta no es posible
conocemos las distribuciones condicionadas para cada dimension (o
bloques de dimensiones)

f (1 , 2 )

f (1 |2 ), f (2 |1 )

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 11 / 42


Monte Carlo

Muestreo de Gibbs

Algoritmo
1 Empezamos con unos valores iniciales de 10 , 20 . j = 1
2 Generamos una observacion 1j de la distribucion condicionada
f (1 |2j1 ).
3 Generamos una observacion 2j de la distribucion condicionada
f (2 |1j ).
4 Siguiente paso j := j + 1 y volvemos al paso 2.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 12 / 42


Monte Carlo

Muestreo de Gibbs

Algoritmo
1 Empezamos con unos valores iniciales de 10 , 20 . j = 1
2 Generamos una observacion 1j de la distribucion condicionada
f (1 |2j1 ).
3 Generamos una observacion 2j de la distribucion condicionada
f (2 |1j ).
4 Siguiente paso j := j + 1 y volvemos al paso 2.

Obtenemos una cadena de Markov (10 , 20 ), (11 , 21 ), . . . , (1n , 2n ) con


distribucion estacionaria f (1 , 2 ).

Decartando las primeras observaciones generadas, nos quedamos con la


muestra aleatoria de la distribucion a posteriori conjunta.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 12 / 42


Monte Carlo

Muestreo de Gibbs

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 13 / 42


Monte Carlo

Muestreo de Gibbs

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 14 / 42


Monte Carlo

Algoritmo de Metropolis-Hastings

Algoritmo basado en Metropolis et al. (1958) para explicar movimiento de


partculas. Generalizado por Hastings (1970)
proporciona muestra del parametro conjunto
no necesitamos conocer la constante de normalizacion
contiene paso de aceptacion-rechazo

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 15 / 42


Monte Carlo

Algoritmo de Metropolis-Hastings

Algoritmo basado en Metropolis et al. (1958) para explicar movimiento de


partculas. Generalizado por Hastings (1970)
proporciona muestra del parametro conjunto
no necesitamos conocer la constante de normalizacion
contiene paso de aceptacion-rechazo

Los candidatos se generan a partir de una distribucion conveniente


g (|j1 ). Aceptacion del candidato se evalua a base del ratio

f (C )g (j1 |C )
R=
f (j1 )g (C |j1 )

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 15 / 42


Monte Carlo

Algoritmo de Metropolis-Hastings

Algoritmo
1 Empezamos con un valor inicial 0 , j = 1.
2 Generamos un candidato C de la distribucion g (|j1 ).
3 Calculamos el ratio
f (C )g (j1 |C )
R=
f (j1 )g (C |j1 )
4 Generamos u de una distribucion uniforme (0, 1). Si u < R
aceptamos el candidato j := C , en caso contrario j := j1
5 Siguiente paso j := j + 1 y volvemos al paso 2.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 16 / 42


Monte Carlo

Algoritmo de Metropolis-Hastings

Obtenemos una cadena de Markov 0 , 1 , . . . , n con distribucion


estacionaria f () pero
Mala eleccion del punto inicial puede complicar las cosas.
Ratio de rechazos alto causara observaciones repetidas, mucha
correlacion de la cadena y convergencia lenta.
Ratio de rechazos bajo puede significar exploracion lenta del espacio
parametrico.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 17 / 42


Monte Carlo

Algoritmo de Metropolis-Hastings

Obtenemos una cadena de Markov 0 , 1 , . . . , n con distribucion


estacionaria f () pero
Mala eleccion del punto inicial puede complicar las cosas.
Ratio de rechazos alto causara observaciones repetidas, mucha
correlacion de la cadena y convergencia lenta.
Ratio de rechazos bajo puede significar exploracion lenta del espacio
parametrico.
Un ejemplo de la distribucion de propuesta g (|j1 )

C N(j1 , C )

donde C puede adaptarse segun el ratio de aceptacion.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 17 / 42


Monte Carlo

Otros enfoques

Metropolis-within-Gibbs
En caso de distribucion conjunta muy compleja f () la distribucion se
particiona f (1 |2 ), f (2 |1 ) para aplicar el algoritmo de Gibbs.
Cada paso del algoritmo de Gibbs requiere generar observaciones de
las condicionadas f (1 |2 ), f (2 |1 ) para lo que se emplea el
algoritmo MH.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 18 / 42


Monte Carlo

Otros enfoques

Metropolis-within-Gibbs
En caso de distribucion conjunta muy compleja f () la distribucion se
particiona f (1 |2 ), f (2 |1 ) para aplicar el algoritmo de Gibbs.
Cada paso del algoritmo de Gibbs requiere generar observaciones de
las condicionadas f (1 |2 ), f (2 |1 ) para lo que se emplea el
algoritmo MH.

Slice sampling

f () h()
U| uniforme(0, h())

Se aplica muestreo de Gibbs a las condicionadas U|, |U para obtener la


muestra de la distribucion conjunta f (, U) y de ah f ().

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 18 / 42


Monte Carlo

Diagnostico de convergencia

Diagnostico de Gelman y Rubin


repetimos el algoritmo MCMC m veces con puntos iniciales dispersos
obtenemos 2N observaciones de cada cadena
basandonos en las ultimas N observaciones calculamos
B
N varianza entre las m medias
W la media de las varianzas dentro de las m cadenas
aproximamos la densidad a posteriori con la distribucion t y
denominamos df sus grados de libertad

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 19 / 42


Monte Carlo

Diagnostico de convergencia

Diagnostico de Gelman y Rubin


repetimos el algoritmo MCMC m veces con puntos iniciales dispersos
obtenemos 2N observaciones de cada cadena
basandonos en las ultimas N observaciones calculamos
B
N varianza entre las m medias
W la media de las varianzas dentro de las m cadenas
aproximamos la densidad a posteriori con la distribucion t y
denominamos df sus grados de libertad
El factor de reduccion
s 
p N 1 m+1 B df
R = +
N mN W df 2

determina la posibilidad de reducir la variabilidad de la distribucion a


posteriori al aumentar la muestra N .
(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 19 / 42
Modelo Lineal

Programa

1 Muestreo Monte Carlo

2 Modelo Lineal

3 WinBUGS

4 Modelos Jerarquicos

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 20 / 42


Modelo Lineal

Modelo de regresion lineal

Especificacion matricial

Y = X + e,
e N(0, e2 In ),

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 21 / 42


Modelo Lineal

Modelo de regresion lineal

Especificacion matricial

Y = X + e,
e N(0, e2 In ),

funcion de verosimilitud
 
1
L(, e2 ; X , Y ) = (2e2 )n/2 exp T
2 (Y X ) (Y X ) .
2e

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 21 / 42


Modelo Lineal

Modelo de regresion lineal

Especificacion matricial

Y = X + e,
e N(0, e2 In ),

funcion de verosimilitud
 
1
L(, e2 ; X , Y ) = (2e2 )n/2 exp T
2 (Y X ) (Y X ) .
2e

Estimadores de maxima verosimilitud:

= (X T X )1 (X T Y ), ACOV () = e2 (X T X )1 ,
 2 1/2
1 2e
e2 = e T e, 2
SE (e ) =
n n

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 21 / 42


Modelo Lineal

Modelo de regresion lineal - algoritmo MH

Especificacion bayesiana

yi N(XiT , e2 )

con verosimilitud igual al caso clasico.

A priori 1 y e2 1/e2 resulta en a posteriori


 
2 2 (n/2+1) 1 T
f (, e |X , Y ) (e ) exp 2 (Y X ) (Y X ) .
2e

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 22 / 42


Modelo Lineal

Modelo de regresion lineal - algoritmo MH

Especificacion bayesiana

yi N(XiT , e2 )

con verosimilitud igual al caso clasico.

A priori 1 y e2 1/e2 resulta en a posteriori


 
2 2 (n/2+1) 1 T
f (, e |X , Y ) (e ) exp 2 (Y X ) (Y X ) .
2e

Se puede aplicar el algoritmo MH directamente sobre el parametro (, e2 ).

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 22 / 42


Modelo Lineal

Modelo de regresion lineal - muestreo de Gibbs


La distribucion condicional de e2 |

eT e
 
f (e2 |, X , Y ) (e2 )(n/2)+1 exp 2
2e

es una gamma inversa con a = n/2 y b = e T e/2.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 23 / 42


Modelo Lineal

Modelo de regresion lineal - muestreo de Gibbs


La distribucion condicional de e2 |

eT e
 
f (e2 |, X , Y ) (e2 )(n/2)+1 exp 2
2e

es una gamma inversa con a = n/2 y b = e T e/2.


La distribucion condicional de |e2 es proporcional a
 
1 T
exp 2 (Y X ) (Y X )
2e

y despues de una manipulacion matricial se puede expresar como


 
1 T T T 1 T
exp 2 T 1 [ 2 (X X ) (X Y )]
2e (X X )

completando el cuadrado en se identifica con una normal.


(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 23 / 42
Modelo Lineal

Modelo de regresion lineal - muestreo de Gibbs

El muestreo de Gibbs se aplica a las condicionadas

f (e2 |, X , Y ) IG (n/2, e T e/2)


f (|e2 , X , Y ) N((X T X )1 (X T Y ), e2 (X T X )1 )

de forma eficiente dado que las distribuciones son de familias facilmente


muestreables.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 24 / 42


WinBUGS

Programa

1 Muestreo Monte Carlo

2 Modelo Lineal

3 WinBUGS

4 Modelos Jerarquicos

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 25 / 42


WinBUGS

WinBUGS

WinBUGS es un software estadstico desarrollado para implementar


analisis bayesiano y que utiliza metodos MCMC para generar muestras de
la distribucion a posteriori.

http://www.mrc-bsu.cam.ac.uk/bugs/winbugs/contents.shtml
No olviden instalar la clave de inmortalidad!!
Se puede ejecutar WinBUGS desde otros softwares como R, Matlab y
Excel.
Facil de usar y flexible, capaz de describir modelos altamente
complejos.
Solo hay que especificar el modelo y los datos.
MCMC: Metropolis-within-Gibbs Rejection sampling Slice
sampling.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 26 / 42


WinBUGS

Procedimiento

1 Especificar el modelo
2 Cargar los datos
3 Compilar el modelo y los datos
4 Inicializacion: aleatoria o arbitraria
5 Ejecucion de las simulaciones y monitoreo de los parametros

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 27 / 42


WinBUGS

WinBUGS

Instalacion

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 28 / 42


WinBUGS

WinBUGS

Instalacion
Menu ayuda: manual y ejemplos.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 28 / 42


WinBUGS

WinBUGS

Instalacion
Menu ayuda: manual y ejemplos.
Estructura del codigo:
model{ ...}
parametros: constantes, nodos estocasticos y componentes logicos.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 28 / 42


WinBUGS

WinBUGS

Instalacion
Menu ayuda: manual y ejemplos.
Estructura del codigo:
model{ ...}
parametros: constantes, nodos estocasticos y componentes logicos.
Ejemplo:

x N(, 2 ) x dnorm(mu, tau)

z 1
y =x+ 3 + w y <- x + z/3 + 1/w

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 28 / 42


WinBUGS

WinBUGS: Ejemplo de modelo lineal

Considere la siguiente tabla de datos provenientes de la OECD para 18


pases. Se observan dos variables: una medida de la proteccion del empleo
y una medida del cambio en la productividad total entre los 80 y los 90.

The economist, 23/09/2000

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 29 / 42


WinBUGS

WinBUGS: Ejemplo de modelo lineal

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 30 / 42


WinBUGS

Establecimiento del modelo:


for (i in 1:N){
y[i] dnorm(mu[i],tau)
mu[i]<-alpha + beta*x[i]
}

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 31 / 42


WinBUGS

Establecimiento del modelo:


for (i in 1:N){
y[i] dnorm(mu[i],tau)
mu[i]<-alpha + beta*x[i]
}
Distribuciones a priori:
alpha dnorm (0,0.0001)
beta dnorm(0,0.0001)
tau dgamma(0.1,0.1)

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 31 / 42


WinBUGS

Establecimiento del modelo:


for (i in 1:N){
y[i] dnorm(mu[i],tau)
mu[i]<-alpha + beta*x[i]
}
Distribuciones a priori:
alpha dnorm (0,0.0001)
beta dnorm(0,0.0001)
tau dgamma(0.1,0.1)
Datos:
list(x=c(0.2,0.6,1.1,1,1,2,2.2,2.4,2.5,2.6,2.9,2.8,2.9,
3.2,3.6,3.9,3.8,3.5),
y=c(0.5,0.6,1.3,0.4,0.1,0.9,0.7,-0.1,-0.4,-0.4,0.5,
-0.5,-0.9,-0.2,-0.3,0.3,-0.3,-1.5), N=18)

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 31 / 42


WinBUGS

Establecimiento del modelo:


for (i in 1:N){
y[i] dnorm(mu[i],tau)
mu[i]<-alpha + beta*x[i]
}
Distribuciones a priori:
alpha dnorm (0,0.0001)
beta dnorm(0,0.0001)
tau dgamma(0.1,0.1)
Datos:
list(x=c(0.2,0.6,1.1,1,1,2,2.2,2.4,2.5,2.6,2.9,2.8,2.9,
3.2,3.6,3.9,3.8,3.5),
y=c(0.5,0.6,1.3,0.4,0.1,0.9,0.7,-0.1,-0.4,-0.4,0.5,
-0.5,-0.9,-0.2,-0.3,0.3,-0.3,-1.5), N=18)
Valores iniciales:
list(alpha=0, beta=0, tau=1)

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 31 / 42


WinBUGS

WinBUGS: ajuste de un modelo

Chequear la sintaxis del modelo: Model Specification tool


check model
Cargar los datos: selecciono la lista de datos y load data
Compilo el modelo: selecciono el # de cadenas a simular y compile
Inicializacion del modelo: selecciono la lista con los valores iniciales y
load inits y/o gen inits
Burn-in: Model Update updates # burn-in
Monitoreo parametros: Inference Sample node= nombre del
parametro set
Monitoreo DIC: Inference DIC set
Simulaciones: Model Update updates # iteraciones

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 32 / 42


WinBUGS

WinBUGS: A posteriori y convergencia

Resumen de la distribucion a posteriori: density y stats del


Sample Monitor Tool.
Evaluacion de convergencia:
Las cadenas deben estabilizarse y superponerse.
Los cuantiles deben estabilizarse
Las autocorrelaciones no deben ser altas.
Test Gelman y Rubin cercano a 1.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 33 / 42


Modelos Jerarquicos

Programa

1 Muestreo Monte Carlo

2 Modelo Lineal

3 WinBUGS

4 Modelos Jerarquicos

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 34 / 42


Modelos Jerarquicos

Modelos jerarquicos

Muchas veces en las ciencias sociales los datos poseen una compleja
estructura, agregados en diferentes niveles.
Pacientes agrupados en hospitales. Hay hospitales con mayor tasa de
mortalidad?
Estudiantes agrupados en cursos, y cursos en escuelas. Hay un efecto
aula en el rendimiento escolar de los alumnos? Y escuela?
Sucesivas mediciones en pacientes. Hay diferencias entre
tratamientos? Hay heterogeneidad entre los pacientes en su respuesta
a los tratamientos?

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 35 / 42


Modelos Jerarquicos

Modelos jerarquicos

En general, cuando poseemos datos jerarquicos nuestro objetivo es hacer


inferencia sobre un modelo con K parametros, 1 , 2 , . . . , K , siendo K la
cantidad de unidades (escuelas, hospitales, etc.) que estan relacionadas
por la estructura del problema.
Tres enfoques posibles:
Unico parametro: los datos se agrupan todos juntos y se ignoran las
unidades individuales. Se asume que cada dato proviene de una
misma distribucion. Yik N(, 2 ) con i = 1, . . . , nK y k = 1, . . . , K .
Parametros independientes: al asumirse independencia cada unidad
puede analizarse por separado. Se asume que los grupos pertencen a
poblaciones diferentes. Yik N(k , 2 ) Problema: la incertidumbre a
posteriori puede ser grande.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 36 / 42


Modelos Jerarquicos

Modelos jerarquicos

Parametros intercambiables: cada grupo tiene sus propios


parametros, pero estos no son independientes sino que provienen una
distribucion comun. Yik N(k , 2 ) con k N(, w 2 ) Ventaja:
produce estimaciones mas precisas (borrow strength)

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 37 / 42


Modelos Jerarquicos

Modelos jerarquicos

Importante: cada parametro de un grupo especfico aprende de sus


correspondientes parametros de los otros grupos con similares
caractersticas. Es decir, que hay un desplazamiento de los valores de los
parametros hacia la media poblacional.
Ejemplo: Presion arterial
Individuo 1 2 3 4 5 ... 20
1 medicion 108 91 93 104 99 . . . 100
2 medicion 98 94 96 99 97 . . . 101
Ahora supongamos que tenemos algunos faltantes, entre ellos la segunda
medicion del primer individuo. Ajustamos los 3 modelos posibles y vemos
la estimacion resultante de dicho dato.

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 38 / 42


Modelos Jerarquicos

Modelos jerarquicos

Importante: cada parametro de un grupo especfico aprende de sus


correspondientes parametros de los otros grupos con similares
caractersticas. Es decir, que hay un desplazamiento de los valores de los
parametros hacia la media poblacional.
Ejemplo: Presion arterial
Individuo 1 2 3 4 5 ... 20
1 medicion 108 91 93 104 99 . . . 100
2 medicion 98 94 96 99 97 . . . 101
Ahora supongamos que tenemos algunos faltantes, entre ellos la segunda
medicion del primer individuo. Ajustamos los 3 modelos posibles y vemos
la estimacion resultante de dicho dato.
Parametros iguales: 96.7

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 38 / 42


Modelos Jerarquicos

Modelos jerarquicos

Importante: cada parametro de un grupo especfico aprende de sus


correspondientes parametros de los otros grupos con similares
caractersticas. Es decir, que hay un desplazamiento de los valores de los
parametros hacia la media poblacional.
Ejemplo: Presion arterial
Individuo 1 2 3 4 5 ... 20
1 medicion 108 91 93 104 99 . . . 100
2 medicion 98 94 96 99 97 . . . 101
Ahora supongamos que tenemos algunos faltantes, entre ellos la segunda
medicion del primer individuo. Ajustamos los 3 modelos posibles y vemos
la estimacion resultante de dicho dato.
Parametros iguales: 96.7 Parametros independientes: 107.7

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 38 / 42


Modelos Jerarquicos

Modelos jerarquicos

Importante: cada parametro de un grupo especfico aprende de sus


correspondientes parametros de los otros grupos con similares
caractersticas. Es decir, que hay un desplazamiento de los valores de los
parametros hacia la media poblacional.
Ejemplo: Presion arterial
Individuo 1 2 3 4 5 ... 20
1 medicion 108 91 93 104 99 . . . 100
2 medicion 98 94 96 99 97 . . . 101
Ahora supongamos que tenemos algunos faltantes, entre ellos la segunda
medicion del primer individuo. Ajustamos los 3 modelos posibles y vemos
la estimacion resultante de dicho dato.
Parametros iguales: 96.7 Parametros independientes: 107.7 Modelo
jerarquico: 97.4

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 38 / 42


Modelos Jerarquicos

Ejemplo: Modelos jerarquicos

Tenemos los resultados de cierto examen de 1978 alumnos de 38 escuelas.


El numero medio de alumnos por escuela es de 48, y el rango va de 1 a
198 (Goldstein et al. (1993)).
Analice los siguientes resultados:
En una escuela con 3 datos, la nota promedio fue 63.
En una escuela con 100 datos la nota promedio fue 65.
En una escuela con un solo dato la nota promedio fue 69.

Cual es la mejor escuela?

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 39 / 42


Modelos Jerarquicos

Ejemplo: Modelos jerarquicos

model{
for( i in 1 : N ) {
Y[i] dnorm(mu[i],y.tau)
mu[i] <- alpha[school[i]]
}
for( s in 1 : M ) {
alpha[s] dnorm(alpha.c, alpha.tau)
}
y.tau dgamma(0.001,0.001)
sigma2 <- 1 / sqrt(y.tau)
alpha.c dnorm(0.0,0.001)
alpha.tau dgamma(0.001,0.001)
}

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 40 / 42


Modelos Jerarquicos

Referencias I

Congdon p. (2001). Bayesian Statistical Modelling. West Sussex: Wiley

Gelman A., Carlin J.B., Stern H.S., and Rubin D.B. (2004). Bayesian
Data Analysis, 2nd edition. New York: Chapman & Hall

Gill J. (2002). Bayesian Methods. A Social and Behavioral Sciences


Approach. New York: Chapman & Hall

Lynch S.M. (2007). Introduction to Applied Bayesian Statistics and


Estimation for Social Scientists. NJ: Springer

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 41 / 42


Modelos Jerarquicos

Referencias II

Ntzoufras I. (2009) Bayesian modeling using winbugs. NJ: Wiley

Pole A., West M., Harrison J. (1994). Applied Bayesian Forecasting and
Time Series Analysis. New York: Chapman & Hall

Rachev S.T., Hsu J.S.J., Bagasheva B.S., and Fabozzi F.J. (2008).
Bayesian Methods in Finance. NJ: Wiley

Robert C., and Casella G. (2004) Monte Carlo Statistical methods. NJ:
Springer

(Univ. Carlos III de Madrid) Estadstica bayesiana 22-03-11 42 / 42

You might also like