Inferencia Bayesiana

Introduccin
Inferencia Bayesiana
Aproximacin a la normal
Estadstica Bayesiana
Inferencia Bayesiana
Ms Carlos Lpez de Castilla Vsquez
Universidad Nacional Agraria La Molina
2017-1
Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Introduccin Introduccin
Inferencia Bayesiana Teora de la decisin
Aproximacin a la normal Riesgo de Bayes
Introduccin
La teora de decisin es un rea de suma importancia en

estadstica ya que muchos problemas del mundo real pueden
tomar la forma de un problema de decisin.
El proceso de inferencia estadstica puede ser entendido como
un problema de decisin.
Luego de observar un conjunto de datos: qu valor debo
utilizar para estimar el parmetro?
Para algunos autores los temas como intervalos de conanza y
pruebas de hiptesis carecen de importancia ya que en la
estadstica bayesiana la distribucin posterior es la inferencia.

Elementos en la teora de decisin
Existen muchos enfoques en la teora de la decisin pero quizs

el ms coherente sea el enfoque bayesiano ya que considera
toda la informacin disponible para la toma de decisiones.
Se tiene un espacio paramtrico que describe todos los
posibles estados de la naturaleza.
Se considera un conjunto de acciones A sobre las cuales tomar
la decisin.
Se dene una funcin prdida L (, a) que determina la prdida
en la que se incurre al tomar la decisin a cuando el verdadero
estado de la naturaleza es .

Prdida esperada posterior
Se requiere una distribucin posterior f (|y ) que contenga

toda la informacin disponible sobre el parmetro.
La idea es optar por la accin que minimice la prdida
esperada posterior.
Se busca minimizar la siguiente expresin:
Z
(a, y ) = L (, a) f (|y ) d

El resultado anterior representa la prdida esperada al tomar la

accin a habiendo observado el valor y .

Regla de decisin y riesgo de Bayes
Los diferentes valores de y determinarn distintos valores de a

que minimicen la prdida esperada posterior.
El conjunto de estos valores, denotados por d(y ), constituyen
la regla de decisin de Bayes.
Para una regla de Bayes se puede calcular el riesgo asociado a
este conjunto de acciones usando el riesgo de Bayes:
Z
RB (d) = (d (y ) , y ) f (y ) dy
y
El riesgo de Bayes ser menor al costo esperado de cualquier

otra estrategia o decisin.

Ejemplo: Poltica de vacunacin
Una autoridad en salud pblica desea desarrollar una poltica

de vacunacin contra una enfermedad la cual es causa de
ausentismo en el trabajo.
Estudios realizados sugieren que el 60 % de la poblacin ya
est inmunizada.
Se ha desarrollado una prueba simple en la piel pero no es
completamente conable.
La prdida por no vacunar a un individuo vulnerable es 20
mientras que la prdida por vacunar a una persona inmune es
8. No hay prdida cuando se vacuna a una persona vulnerable
o cuando no se vacuna a una persona inmune.

Ejemplo: Poltica de vacunacin
Las probabilidades de reaccin a la prueba mencionada se

presentan a continuacin:
Insignicante Suave Moderada Fuerte

Inmune 0.35 0.30 0.21 0.14
Vulnerable 0.09 0.17 0.25 0.49
Calcular las probabilidades posteriores.

Hallar las prdidas esperadas posteriores y la correspondiente
regla de Bayes.
Calcular el riesgo de Bayes.

Ejemplo: Densidad de un material
Un material es clasicado por la compaa que lo produce

segn su densidad. Sea la verdadera densidad del material.
Si 0 < < 1 el material es de tipo A, si 1 < < 2 el material
es de tipo B y si > 2 el material es de tipo C.
El material es sometido a una prueba cuyo resultado, y ,
denir como ser clasicado.
Suponga que:
f (y |) = exp {y + } y >
y que E (1).

Ejemplo: Densidad de un material
La prdida obtenida por clasicar incorrectamente el material

se da en la siguiente tabla:
Verdadero Clasicado como

tipo A B C
A 0 2 4
B 1 0 1
C 2 1 0
Hallar la regla de Bayes si se observa que y = 4.

Calcular el riesgo de Bayes asociado a la regla anterior.

Introduccin Estimacin puntual
Inferencia Bayesiana Intervalos de credibilidad
Aproximacin a la normal Pruebas de hiptesis
Estimacin puntual
La distribucin posterior ofrece un resumen completo del

proceso de inferencia sobre el parmetro .
Sin embargo, en algunos casos es necesario obtener un valor
estimado del parmetro desconocido: qu valor elegir como
estimador de ?
El problema de estimacin se convierte en un problema de
decisin y para resolverlo se requiere especicar una funcin
prdida.
La eleccin de una funcin prdida en un problema especco
depender del contexto.

Funcin prdida cuadrtica
Teorema
La funcin prdida cuadrtica se dene por:
L (, a) = ( a)2
El estimador de Bayes para bajo la funcin prdida cuadrtica es

la media de la distribucin posterior.

Funcin prdida valor absoluto
Teorema
La funcin prdida valor absoluto se dene por:
L (, a) = | a|
El estimador de Bayes para bajo la funcin prdida valor absoluto

es la mediana de la distribucin posterior.

Funcin prdida 0-1
Teorema
La funcin prdida 0-1 se dene por:
(
0 si |a |
L (, a) =
1 si |a | >
El estimador de Bayes para bajo la funcin prdida 0-1 es la

moda de la distribucin posterior.

Ejemplo: Tiempo de vida de un componente
Suponga que el tiempo de vida de un componente elctrico

(en miles de horas) tiene distribucin exponencial con
parmetro y que su distribucin a priori G (45, 5).
En una muestra de 100 componentes se encontr una media
de 0.1125 miles de horas.
Estime el tiempo medio de vida de los componentes usando las
funciones prdida cuadrtica, valor absoluto y 0-1.
Mediana de la distribucin gamma inversa

> library(pscl)
> qigamma(p=0.5, alpha=145, beta=16.25)
[1] 0.1123271

Intervalos de credibilidad
Los intervalos de credibilidad pueden ser interpretados como

los intervalos dentro de los cuales se encuentra el parmetro
con cierta probabilidad.
La interpretacin anterior no es posible y representa un
problema en los intervalos clsicos en los que el parmetro es
considerado un valor constante (en este caso, la interpretacin
es frecuencial).
Una dicultad con los intervalos de credibilidad bayesianos es
que estos pueden ser denidos de varias maneras: los intervalos
centrales y los intervalos de mxima densidad posterior.

Intervalos de credibilidad
El intervalo de credibilidad central posterior del 100 (1 ) %

consiste de dos cuantiles debajo y por encima de los cuales se
tiene exactamente 100 (/2) % de la probabilidad posterior.
El intervalo de credibilidad de mxima densidad posterior
(highest posterior density) es la regin que contiene el
100 (1 ) % de la probabilidad posterior pero que adems
tiene la caracterstica de que la densidad dentro de la regin
nunca es menor a la de cualquier punto fuera de la misma.
Los intervalos anteriores son idnticos si la distribucin
posterior es unimodal y simtrica.

Ejemplo: Nmero de incendios semanales
Suponga que el nmero de incendios semanales ocurridos en

una ciudad tiene distribucin de Poisson con parmetro .
Se decide utilizar una distribucin a priori conjugada:
G ( = 2, = 1)
Suponga que el nmero de incendios observados en una

muestra de 10 semanas fue 4.
Hallar el intervalo de credibilidad central y de mxima
densidad posterior del 95 % para .

Intervalo central posterior

> qgamma(p=0.025, shape=6, rate=11)
[1] 0.2001722
> qgamma(p=0.975, shape=6, rate=11)
[1] 1.060757
Intervalo de mxima densidad posterior

> library(TeachingDemos)
> hpd(qgamma, shape=6, rate=11, conf=0.95)
[1] 0.1598254 0.9876772

Figura 1: Intervalo de credibilidad central posterior

Figura 2: Intervalo de credibilidad de mxima densidad posterior

Pruebas de hiptesis
Una prueba de hiptesis consiste en tomar una decisin entre

dos alternativas: H0 : 0 y H1 : 1 .
Las pruebas de hiptesis clsicas son evaluadas en trminos de
las probabilidades de cometer error tipo I y tipo II.
En el anlisis bayesiano se calculan las probabilidades a priori y
a posteriori para H0 y H1 :
A favor de H0 A favor de H1
A priori 0 = Pr ( 0 |f ()) 1 = Pr ( 1 |f ())
Posterior 0 = Pr ( 0 |f (|y )) 1 = Pr ( 1 |f (|y ))

Pruebas de hiptesis
La razn 1 /0 es llamada odds a priori y la razn 1 /0 es

llamada odds posterior.
El factor de Bayes a favor de H1 es:
1 /0 1 0
B= =
1 /0 0 1
y nos informa de los cambios en nuestras creencias luego de

observar los datos.
En el caso ms simple las hiptesis son H0 : = 0 y
H1 : = 1 .

Ejemplo: Tiempo de espera por un autobs
Se sabe que el tiempo de espera (en minutos) por un autobs

en un paradero a cierta hora del da tiene una distribucin
uniforme en el intervalo (0, ).
Por informacin de otras rutas similares se considera que a
priori:
PA ( = 5, = 8)
Suponga que en este paradero son observados al azar los
siguientes tiempos de espera: 9, 3, 2, 5 y 4 minutos.
Se puede armar que el tiempo mximo de espera por un
autobs en el paradero es de como mnimo 10 minutos?

Ejemplo: Tiempo de espera por un autobs
Odds a priori
> library(VGAM)
> pi1 <- ppareto(q=10, scale=5, shape=8)
> odds.priori <- pi1/(1 - pi1) [1] 255
Odds a posteriori
> alpha1 <- ppareto(q=10, scale=9, shape=13)
> odds.posteriori <- alpha1/(1 - alpha1) [1] 2.934118
Factor de Bayes
> B <- odds.posteriori/odds.priori [1] 0.01150634

Inferencia Bayesiana Serie de Taylor
Introduccin
Con una muestra grande los valores de los parmetros en la

distribucin a priori suelen ser poco importantes.
Si y | P () y a priori G (, ) entonces:
+ ny
E [|y] = y
+n
cuando n .
Es comn que los estimadores bayesianos se aproximen a los
estimadores de mxima verosimilitud en muestras grandes.
Si la distribucin posterior es unimodal y aproximadamente
simtrica puede ser conveniente aproximarla por una
distribucin normal.

Serie de Taylor
Usando expansin en serie de Taylor para el logaritmo de la

distribucin posterior centrada en :

1 d2

log f (|y) = log f (|y) + ( )2 log f (|y) +

2 d2

=

1 d3

( )3 log f (|y) +

6 d3

=
El trmino lineal en la expansin es cero y los trminos de

orden superior pierden importancia con relacin al trmino
cuadrtico cuando el tamao de muestra es grande.

Primera aproximacin
Teorema
La primera aproximacin a la distribucin normal es:
f (|y) N (E (|y) , Var (|y))
suponiendo que la media y variancia de la distribucin posterior

existen.

Segunda aproximacin
Teorema
La segunda aproximacin a la distribucin normal es:
f (|y) N , I11 ()

donde es la moda de la distribucin posterior y:
d2
I1 () = log f (|y)
d2
es la informacin observada.

Tercera aproximacin
Teorema
La tercera aproximacin a la distribucin normal es:
f (|y) N , I21 ()

donde es el estimador de mxima verosimilitud de y:
d2
I2 () = log f (y|)
d2

Cuarta aproximacin
Teorema
La cuarta aproximacin a la distribucin normal es:
f (|y) N , I31 ()

donde es el estimador de mxima verosimilitud de y:
d2

I3 () = nE log f (Y |)

d2

Ejemplos
Se toma una muestra de tamao n desde la distribucin B ().

Suponga que a priori BE (, ). Hallar todas las
aproximaciones de la distribucin posterior a la distribucin
normal asumiendo que la muestra es grande.
Se toma una muestra de tamao n desde la distribucin P ().
Suponga que a priori G (, ). Hallar todas las
Se toma una muestra de tamao n desde la distribucin
E 1 . Suponga que a priori GI (, ). Hallar todas las

Inferencia Bayesiana

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Inferencia Bayesiana

Uploaded by

Copyright:

Available Formats

Introduccin

Ms Carlos Lpez de Castilla Vsquez

Universidad Nacional Agraria La Molina

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

La teora de decisin es un rea de suma importancia en

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Elementos en la teora de decisin

Existen muchos enfoques en la teora de la decisin pero quizs

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Prdida esperada posterior

Se requiere una distribucin posterior f (|y ) que contenga

El resultado anterior representa la prdida esperada al tomar la

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Regla de decisin y riesgo de Bayes

Los diferentes valores de y determinarn distintos valores de a

El riesgo de Bayes ser menor al costo esperado de cualquier

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Ejemplo: Poltica de vacunacin

Una autoridad en salud pblica desea desarrollar una poltica

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Ejemplo: Poltica de vacunacin

Las probabilidades de reaccin a la prueba mencionada se

Insignicante Suave Moderada Fuerte

Calcular las probabilidades posteriores.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Ejemplo: Densidad de un material

Un material es clasicado por la compaa que lo produce

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Ejemplo: Densidad de un material

La prdida obtenida por clasicar incorrectamente el material

Verdadero Clasicado como

Hallar la regla de Bayes si se observa que y = 4.

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

La distribucin posterior ofrece un resumen completo del

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Funcin prdida cuadrtica

El estimador de Bayes para bajo la funcin prdida cuadrtica es

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Funcin prdida valor absoluto

El estimador de Bayes para bajo la funcin prdida valor absoluto

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Funcin prdida 0-1

El estimador de Bayes para bajo la funcin prdida 0-1 es la

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Ejemplo: Tiempo de vida de un componente

Suponga que el tiempo de vida de un componente elctrico

Mediana de la distribucin gamma inversa

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Los intervalos de credibilidad pueden ser interpretados como

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

El intervalo de credibilidad central posterior del 100 (1 ) %

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Ejemplo: Nmero de incendios semanales

Suponga que el nmero de incendios semanales ocurridos en

Suponga que el nmero de incendios observados en una

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Ejemplo: Nmero de incendios semanales

Intervalo central posterior

Intervalo de mxima densidad posterior

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Ejemplo: Nmero de incendios semanales

Figura 1: Intervalo de credibilidad central posterior

Ms Carlos Lpez de Castilla Vsquez Estadstica Bayesiana

Insignicante Suave Moderada Fuerte

Un material es clasicado por la compaa que lo produce

La prdida obtenida por clasicar incorrectamente el material

Verdadero Clasicado como