INFERNCIA BAYESIANA

VICENTE GARIBAY CANCHO

1
Introduo
O objetivo da estatstica a produo da melhor informao possvel a
partir dos dados disponveis.

A estatstica a cincia que utiliza-se das teoria de probabilidades.
Formalmente a probabilidade uma funo que satisfaz certas
condies (axiomas). Mas pode ser entendida como uma medida de
incerteza.

A definio de funo de probabilidade uma, mas, h vrias
interpretao da probabilidade:
2
1. Clssica: Supe que o experimento aleatrio produz resultados
igualmente possveis (plausibilidade) e prope como medida de
probabilidade o quociente entre os casos favorveis e o total casos
possveis.
n
n
A
A
= ) Pr(
2. Frequentista: Supe-se que o experimento aleatrio pode ser repetido
um nmero infinito de vezes sob condies similares e prope como
medida de probabilidade a proporo de vezes que ocorreu o evento de
interesse.
. lim ) Pr(
n
n
A
A
n
=
3
3. Subjetiva: simplesmente uma medida da incerteza, associada a um
evento, atribudo por um indivduo. Isto , um julgamento pessoal
sobre a possibilidade (ou plausibilidade) de que ocorra o evento.
A metodologia Bayesiana baseia-se na interpretao subjetiva da
probabilidade e tem como base o Teorema de Bayes.
Thomas Bayes (1702-1761)
4
5
Seja A
1
,...,A
m
uma partio finita do espao
amostral(). Seja B um evento qualquer, com
P(B)>0, Ento
.
) | ( ) (
) ( ) | (
) | ( . 2
); ( ) | ( ) ( . 1
1
1

=
=
=
=
j
j j
j j
j
j
j
j
A B P A P
A P A B P
B A P
A P A B P B P

Teorema de Bayes
6
- A
j
: antecedentes, causas, hipteses ou estados
que investigador atribui graus de credibilidade ou
probabilidade a priori, P(A
j
), de natureza
subjetiva.
- Depois da informao adicional que consiste em
saber que o acontecimento B se realizou (B pode
ser a observao do conjunto de dados), o
investigador rev as suas probabilidade a priori
atravs da frmula de Bayes e passa atribuir aos
A
j
as probabilidade a posteriori P(A
j
|B), j=1,...,m.

Interpretao
7 7
- Quando o investigador no tem conhecimento
inicial a respeito de A
j
, razovel atribuir a
mesma probabilidade aos A
j
, j=1,...,m, P(A
j
)=1/m,
obtendo ento,

.
) | (
) | (
) | (
1

=
=
j
j
j
j
A B P
A B P
B A P
8
Exemplo
Num processo industrial, o processo pode apresentar-se
em dois estados A1 (bom) e A2 (mau), com
probabilidades 0,90 e 0,10 respectivamente. Sabe-se
que a proporo de peas defeituosas (B) dado que
processo esteja em boas condies 5% e no caso que
no esteja 50%. Suponha que uma pea escolhida ao
acaso resultou defeituosa, qual a probabilidade que o
processo esteja em boas condies.
P(A1)=0,90, P(A2)=0,10, P(B|A1)=0,05 e P(B|A2)=0,50
P(B)=(0,90)(0,05)+(0,10)(0,50)= 0,095
P(A1|B)=P(A1)P(B|A1)/P(B)= 0,4736
O Problema Fundamental da Estatstica
De que maneira, a partir das observaes, possvel saber alguma
coisa relativamente a um certo universo (ou populao)?
Aps uma anlise estatstica descritiva de fenmenos ou
observaes ou observaes passadas, o propsito de qualquer
estatstico fazer inferncia ou predies acerca de novos
fenmenos.
Para investigadores em geral, o aspecto inferencial ou preditivo
mais importante.
Desse necessidade surgem duas escolas:
Inferncia Clssica(frequentista);
Inferncia Bayesiana.
9
Fundamentos da Inferncia Bayesiana
Qual diferena entre a inferncia Clssica (frequentista) e
Bayesiana?
- Para um frequentista os parmetros do modelo so
desconhecidas e somente so estimveis na presena de
replicao de dados de algum experimento.

- Um Bayesiano pensa que os parmetros so aleatrios
tendo uma distribuio de probabilidade.
10
Como trabalha o Bayesiano?
- Um Bayesiano considera uma distribuio a priori u, P(u), ento
combina isto com a informao que os dados
) , (
1 n
X X X =

provem para obter a distribuio a posteriori de u, P(u|X).,
Todas as inferncias estatsticas ( estimao, intervalos de
confianas e teste de hipteses) seguem ento como resumos
apropriados da distribuio a posterior .


- Note que

Informao a posteriori > Informao a priori > 0

com o segundo > substtuido por = somente quando a
distribuio a priori no informativa ( uniforme ou vaga)


11
Teorema de Bayes
Considere uma quantidade de interesse desconhecida
(tipicamente no observvel). A informao de que dispomos
sobre , resumida probabilisticamente atravs de p(), pode ser
aumentada observando-se uma quantidade aleatria X relacionada
com . A distribuio amostral p(x|) define esta relao. A idia
de que aps observar X = x a quantidade de informao sobre
aumenta bastante intuitiva e o teorema de Bayes a regra de
atualizao utilizada para quantificar este aumento de informao,
) 1 (
) | ( ) (
) | ( ) (
) (
) | ( ) (
) (
) , (
) | (
u u u
u u u u u
u
d x p p
x p p
x p
x p p
x p
x p
x p
}
= = =
Para um valor fixo de x, a funo L(; x) = p(x|) fornece a plausibilidade ou
verossimilhana de cada um dos possveis valores de
12
Teorema de Bayes
) (
) ( ) | (
) | (
x p
p x p
x p
u u
u =
Verossimilhana Priori
Preditiva
Posteriori
Note em 1/p(x), que no depende de , funciona como uma constante
normalizadora de p(|x).
Posteriori Verossimilhana Priori
13
A constante normalizadora da posteriori pode ser facilmente recuperada pois
), ( ) | ( ) ( ) | ( ) | ( u u u u u p x p p x kp x p =
onde
| | ), ( ) | ( ) ( ) | (
1
x p x p E d p x p k = = =
}

u u u u
u
chamada distribuio preditiva a priori. Esta a distribuio esperada para a
observao x dado . Assim,
Antes de observar X podemos checar a adequao da priori fazendo
predies via p(x).
Se X observado recebia pouca probabilidade preditiva ento o modelo deve
ser questionado.
Teorema de Bayes
14
Distribuio preditiva
Suponha ento que, aps observar X = x, estamos interessados na
previso de uma quantidade Y , tambm relacionada com , e descrita
probabilisticamente por p(y|x, ). A distribuio preditiva de Y dado x
obtida por integrao como
. ) | ( ) , | ( ) | , ( ) | (
} }
= = u u u u u d x p x y p d x y p x y p
Em muitos problemas estatsticos a hiptese de independncia condicional
entre X e Y dado est presente e a distribuio preditiva fica
| | ) | ( ) | ( ) | ( ) | (
|
u u u u
u
y p E d x p y p x y p
x
= =
}
No caso que seja uma v.a. discreta a integral substituda pelo somatrio.
15
Exemplo 1
Um mdico, ao examinar uma pessoa,desconfia que ela possa ter uma
certa doena. Baseado na sua experincia, no seu conhecimento sobre
esta doena e nas informaes dadas pelo paciente ele assume que a
probabilidade do paciente ter a doena 0,7. Aqui a quantidade de
interesse desconhecida o indicador de doena

=
doena a tem no paciente o se , 0
doena a tem paciente o se , 1
u
Para aumentar sua quantidade de informao sobre a doena o
mdico aplica um teste X (X=1, se positivo ou X=0, se negativo)
relacionado com atravs da distribuio:
95 , 0 ) 1 | 1 ( 40 , 0 ) 0 | 1 ( = = = = = = u u X P e X P
16
e o resultado do teste foi positivo (X = 1).
bem intuitivo que a probabilidade de doena deve ter aumentado aps
este resultado e a questo aqui quantificar este aumento. Usando o
Teorema de Bayes segue que
665 , 0 ) 7 , 0 ( 97 , 0 ) 1 ( ) 1 | 1 ( ) 1 | 1 ( = = = = = = = u u u P X P X P
12 , 0 ) 3 , 0 ( 4 , 0 ) 0 ( ) 0 | 1 ( ) 1 | 0 ( = = = = = = = u u u P X P X P
e
Exemplo 1
17
Uma vez que as probabilidades a posteriori somam 1. Isto
, 1 ) 1 | 0 ( ) 1 | 1 ( = = = + = = X P X P u u
a constante normalizadora obtida fazendo-se,
. 785 , 0 / 1 785 , 0 ) 120 , 0 ( 665) 0, ( = = + k k k
Portanto, a distribuio a posteriori de
847, 0,
785 , 0
665 , 0
) 1 | 1 ( = = = = X P u
153. 0,
785 , 0
120 , 0
) 1 | 0 ( = = = = X P u
Exemplo 1
18
19
Agora o mdico aplica outro teste Y cujo resultado est
relacionado a atravs da seguinte distribuio
99 , 0 ) 1 | 1 ( 04 0, ) 0 | 1 ( = = = = = = u u Y P e Y P
Mas antes de observar o resultado deste teste interessante obter sua
distribuio preditiva. Como uma quantidade discreta segue que
), | ( ) | ( ) | (
1
0

=
=
u
u u x p y p x y p
note que p(|x) a priori em relao a Y . Assim,
155 , 0 845 , 0 1 ) 1 | 1 ( 1 ) 1 | 0 (
845 , 0 ) 847 , 0 )( 99 , 0 ( ) 153 , 0 )( 04 , 0 (
) 1 | 1 ( ) 1 | 1 (
) 1 | 0 ( ) 0 | 1 ( ) 1 | 1 (
= = = = = = =
= + =
= = = = +
= = = = = = =
X Y P X Y P
X P Y P
X P Y P X Y P
u u
u u
Exemplo 1
20
O resultado deste teste foi negativo (Y = 0). Neste caso, tambm intuitivo
que a probabilidade de doena deve ter diminuindo e esta reduo ser
quantificada por uma nova aplicao do teorema de Bayes,
. 1469 , 0 ) 153 , 0 )( 96 , 0 ( ) 1 | 0 ( ) 0 | 0 ( ) 0 , 1 | 0 (
0085 , 0 ) 847 , 0 )( 01 , 0 ) 1 | 1 ( ) 1 | 0 ( ) 0 , 1 | 1 (
= = = = = = = = =
= = = = = = = = =
X P Y P Y X P
X P Y P Y X P
u u u
u u u
A constante normalizadora 1/(0,0085+0,1469)=1/0,1554 e assim a
distribuio a posteriori de ,
945. 0,
1554 0,
1469 , 0
) 0 , 1 | 0 (
055 , 0
1554 0,
0085 , 0
) 0 , 1 | 1 (
= = = = =
= = = = =
Y X P
Y X P
u
u
Exemplo 1
21
Observe como a probabilidade de doena se alterou ao longo do
experimento
( )

= =
Y e X aps , 055 , 0
X teste o aps , 847 , 0
testes dos antes , 70 , 0
1 u P
Observe tambm que o valor observado de Y recebia pouca
probabilidade preditiva. Isto pode levar o mdico a repensar o
modelo, i.e.,
Ser que P( = 1) = 0, 7 uma priori adequada?
Ser que as distribuies amostrais de X e Y esto corretas ? O
teste X to inexpressivo e Y realmente to poderoso?
Exemplo 1
22
Exemplo 2
Um pesquisador estuda determinada populao e est interessado na
verdadeira proporo de fumadores, , (0s s1). Como no tem
nenhuma informao inicial que lhe permita distinguir entre os valores do
intervalo [0,1], parece natural considerar uma distribuio a priori uniforme
( )

s s
=
c c
p
. , 0
1 0 , 1 u
u
O pesquisador colhe uma amostra aleatria de tamanho n e considera a varivel
aleatria X que designa o nmero de fumantes X e{0,1,2,...,n}. fcil
demonstrar que X tem distribuio Binomial,
( )

s s =
|
|
.
|

\
|
= = =

c c
n x
x
n
x p x X P
x n x
. , 0
1 0 , , , 0 , ) 1 (
) | ( |
u u u
u u

23
Exemplo 2
Observando X=x, x e{0,1,2,...,n}, pelo Teorema de Bayes (1) obtemos a
distribuio a posteriori de
sendo B(o,|) a funo beta com,o, | nmeros reais e definidos por
1 0 ,
) 1 , 1 (
) 1 (
) 1 (
) 1 (
) | (
1
0
s s
+ +

=

|
|
.
|

\
|

|
|
.
|

\
|
=

}
u
u u
u u u
u u
u
x n x B
d
x
n
x
n
x p
x n x
x n x
x n x
( )
1
1
0
1
) 1 ( ,

}
=
|
o
o u | o B
Suponha que o pesquisador observou numa amostra de 10 pessoas 2 pessoas
fumantes. Da tem-se
1 0 ,
) 9 , 3 (
) 1 (
) 2 | (
8 2
s s

= = u
u u
u
B
x p
24
Figura 1: Comparao da distribuio a priori e a distribuio a posteriori
de .
Exemplo 2
25
Exemplo 3
Suponha agora que o pesquisador tem algumas ideias ou palpites sobre a
proporo verdadeira de fumantes (parmetro) e da uma elevada
credibilidade a um valor mdio da ordem de 0,4 e uma varincia de 0,04. Com a
finalidade de facilitar os clculos o pesquisador considera a distribuio Beta
com a distribuio a priori
( )

s s
=

c c
b a B
p
b a
. , 0
1 0 , ) 1 (
) , (
1
1 1
u u u
u
Da informao inicial, tem-se
( )
04 , 0
) 1 ( ) (
) ( , 4 , 0 ) (
2
=
+ + +
= =
+
=
b a b a
ab
Var
b a
a
E u u
Da a=2 e b=3. Ento a distribuio a priori: ~ Beta (2,3).
26
Exemplo 3
Teorema de Bayes (1) obtemos a distribuio a posteriori de
Aps um simplicao
1 0 ,
) 1 (
) 3 , 2 (
1
) 1 (
) 1 (
) 3 , 2 (
1
) 1 (
) | (
1
0
1 3 1 2
1 3 1 2
s s
(

|
|
.
|

\
|
(

|
|
.
|

\
|
=
}


u
u u u u u
u u u u
u
d
B x
n
B x
n
x p
x n x
x n x
Como no exemplo 2, suponha que o pesquisador observou numa amostra de 10
pessoas 2 pessoas fumantes. Da tem-se
1 0 ,
) 3 , 2 (
) 1 (
) | (
1 3 1 2
s s
+ +

=
+ +
u
u u
u
x n x B
x p
x n x
1 0 ,
) 11 , 4 (
) 1 (
) | (
10 3
s s

= u
u u
u
B
x p
27
0.0 0.2 0.4 0.6 0.8 1.0
0
.
0
0
.
5
1
.
0
1
.
5
2
.
0
2
.
5
3
.
0
3
.
5
D
e
n
s
i
d
a
d
e
A posteriori
A priori
Figura 2: Comparao da distribuio a priori com a distribuio a posteriori
Exemplo 3
28
Resultado 1
Considere uma observao de varivel aleatria com distribuio normal X~
N(,
2
), onde
2
conhecido e admita-se a priori que ~N(,
2
), Ento, a
distribuio a posteriori de normal com media e varincia respectivamente
|
.
|

\
|
+ =
2 2
1 1
o t
c
.
) ( ) (
2
1
exp ) 2 ( ) ( ) | ( ) , (
2
2
2
2
1
)
`

= =

o
u
t
u
to u u u
x
b p x p x p
2 2
2
1
2 2
2 2
1
e

+ =
+
+
= o t t
o t
o t

x
)
`

|
.
|

\
|
+ =

) ( 2
) (
exp
1
2
1
exp ) 2 ( ) , (
2 2
2
2
2 2
1
o t

o t

u to u
x x
c
c b x p
Prova. A funo densidade conjunta de (X, ) dado por
Considerando,
Obtemos,
29
Resultado 1
Por integrao em a distribuio marginal ou predita de X,

Pelo Teorema de Bayes (1) temos a densidade a posteriori de
ou seja, que | X~N(
1
,
1
2
), onde
)
`

+
=
) ( 2
) (
exp
) ( 2
1
) (
2 2
2
2 2
o t

o t t
x
x p
,
1
2
1
exp
2 ) (
) , (
) | (
2
2 2

|
.
|

\
|
+ = =
o t

u
t
u
u
x
c
c
c
x p
x p
x p
2 2
2
1
2 2
2 2
1
e

+ =
+
+
= o t t
o t
o t

x
30
Exemplo 4
Os fsicos A e B desejam determinar uma constante fsica . O fsico A tem
mais experincia nesta rea e especifica sua priori como N(900, 400). O
fsico B tem pouca experincia e especifica uma priori muito mais incerta em
relao posio de , N(800, 6400).
Figura 3: Comparao entre distribuio a priori dos fsicos A e B
500 600 700 800 900 1000 1100 1200
0
.
0
0
0

0
.
0
0
5

0
.
0
1
0

0
.
0
1
5

0
.
0
2
0

u
A
A
B
31
Exemplo 4
Faz-se ento uma medio X de em laboratrio com um aparelho
calibrado com distribuio amostral X| N(, 1600) e observou-se X=
850. Aplicando o Resultado 1 segue que
) 9 17, 890, ( ~ 850 |
2
N X = u
) 7 35, 840, ( ~ 850 |
2
N X = u
Fsico A
Fsico B
32
Figura 3: Comparao entre distribuio a posteriori dos fsicos A e B
700 750 800 850 900 950 1000
0
.
0
0
0
0
.
0
0
5
0
.
0
1
0
0
.
0
1
5
0
.
0
2
0
Fsico A
Fsico B
Exemplo 4
33
Exemplo 4
)
`

+ =
)
`

n
i
i
n
n
i
i
n
n
x x x
x x x p
1
2 2
2
2 /
1
2
2
2 /
1
) ( ) (
2
1
exp ) 2 (
) (
2
1
exp ) 2 ( ) | , (
u
o
to
u
o
to u
Se ao invs de observar X~N(u,1600) se observa uma amostra aleatria,
seja
( )
n
X X X ,
1
=
. A distribuio conjunta de X dada por


Admitindo que a priori que ~N(,
2
) e do resultado 1 a distribuio a
posteriori normal com media e varincia respectivamente,

2 2
2
1
2 2
2 2
1
e

+ =
+
+
= o t t
o t
o t
n
n
x n
34
Suponha que os fsicos observam uma amostra com n=50 e que a
respectiva mdia resultou 870. Do resultado anterior tem-se

) 5,44 872,2; ( ~ 870 |
2
N x = u
) 64 5, 869,7; ( ~ 870 |
2
N x = u
Fsico A
Fsico B
Exemplo 4
35
Figura 4: Comparao entre distribuio a posteriori dos fsicos A e B
Exemplo 4
840 850 860 870 880 890 900
0
.
0
0
0
.
0
2
0
.
0
4
0
.
0
6
0
.
0
8
Fsico A
Fsico B
36 36
Exerccio
1. Seja X1,...., Xn, uma amostra aleatria de uma distribuio
Poison com mdia u>0.
(a) Obtenha o estimador de mxima verossimilhana.
(b) Suponha que u segue uma distribuio gama com mdia
a/b e varincia a/b
2
obtenha a distribuio a posteriori de u.
(c) Determinar a moda, mdia e varincia a posteriori.
(d) Compare a moda a posteriori e estimador de mxima
verossimilhana.
(e) Se a=2, b=1, n=10 e a mdia amostral resultou em 2,00.
Faa representao grfica da distribuio a priori,
verossimilhana e da distribuio a posteriori.