Bayesian Inference Introduction

Inferencia Bayesiana
Joaquim Neto
joaquim.neto@ufjf.edu.br
www.ufjf.br/joaquim_neto
Departamento de Estatstica - ICE

Universidade Federal de Juiz de Fora (UFJF)
Versao 3.0
Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 1 / 51

Informacoes gerais
Sumario
1 Informacoes gerais
Contato
Referencias Bibliograficas
2 Revisao de probabilidade
Terminologia e notacao
Normal multivariada
3 Relacoes importantes
4 Introducao a Inferencia Bayesiana
Inferencia parametrica e funcao de verossimilhanca
Priori
Distribuicao conjunta
Posteriori
Conjugacao
5 Simulacoes
6 OpenBUGS
Bugs, WinBugs e OpenBugs
7 Exemplos
Regressao linear
Regressao nao linear
Ponto de mudanca

Informacoes gerais
Informacoes gerais

Informacoes gerais Contato
Contato
E-mail
joaquim.neto@ufjf.edu.br
Site pessoal
http://www.ufjf.br/joaquim_neto
Site do Departamento de Estatstica (UFJF)

http://www.ufjf.br/estatistica

Informacoes gerais Referencias Bibliograficas
Referencias Bibliograficas
Barry, R. James
(1981)
Probabilidade: um curso em cvel intermediario.
Rio de Janeiro: Instituto de Matematica Pura e Aplicada (Projeto Euclides).
Bussab, Wilton de O. & Morettin, Pedro A.
(2005)
Estatstica Basica, 5a ed. edn.
Sao Paulo: Saraiva.
Carlin, B. P. & Gelfand, A. E.
(1991)
An interative monte carlo method for nonconjugate bayesian analysis.
Statistics and Computing, 1, 11928.
Degroot, M. H. & Schervish, M. J.
(2001)
Probability and Statistics, 3rd Edition, 3 edn.
Addison Wesley.
Meyer, P. L.
(2000)
Probabilidade: Aplicacoes a Estatstica, 2 ed. edn.
LTC.
Revisao de probabilidade
Revisao de probabilidade

Revisao de probabilidade Terminologia e notacao
Terminologia e notacao
Como sabemos, os termos densidadee funcao de probabilidadesao usados para funcoes que
descrevem probabilisticamente variareis contnuas e discretas, respectivamente. Aqui, usaremos
frequentemente o termo densidade, assumindo que as variaveis sao contnuas. No entanto, os
comentarios e resultados podem ser estendidos a variaveis discretas substituindo o termo
densidadepor funcao de probabilidadee integrais por somatorios.
As frases abaixo definem a notacao adotada.

A densidade de uma variavel aleatoria X sera denotada por p(x).
A densidade de um vetor aleatorio X = (X1 , X2 , ..., Xn ) sera denotada por p(x), onde
x = (x1 , x2 , ..., xn ).
Se X = (X1 , ..., Xm ) e Y = (Y1 , ..., Yn ) forem vetores aleatorios, a densidade conjunta do
vetor (X, Y) sera denotada por p(x, y), onde x = (x1 , ..., xm ) e y = (y1 , ..., yn ).
A distribuicao condicional de Y dado X sera denotada por Y | X.
A densidade de Y | X sera denotada por p(y | x) e chamada de densidade condicional.
Se (X, Y) e um vetor aleatorio, as distribuicoes de X e Y sao chamadas de distribuicoes
marginais, enquanto p(x) e p(y) sao suas densidades marginais.

Revisao de probabilidade Terminologia e notacao
Resumo
X variavel aleatoria
p(x) densidade de X
X = (X1 , X2 , ..., Xn ) vetor aleatorio
p(x) = p(x1 , x2 , ..., xn ) densidade de X
(X, Y) vetor aleatorio
p(x, y) densidade conjunta de (X, Y)
p(x) densidade marginal
p(y) densidade marginal
Y | X distribuicao condicional de Y dado X
X | Y distribuicao condicional de X dado Y
p(x | y) densidade condicional de X dado Y
p(y | x) densidade condicional de Y dado X

Revisao de probabilidade Normal multivariada
Normal multivariada
Exemplo 1: (normal multivariada) Seja uma matriz n n positiva definida. Dizemos que um
vetor aleatorio X = (X1 , ..., Xn )T tem distribuicao normal multivariada (de dimensao n) com
vetor de medias = (1 , ..., n )T e matriz de covariancias , se sua densidade for
n 1

p (x | , ) = (2) 2 (det ()) 2 exp 0.5 (x )T 1 (x ) ,
onde x = (x1 , ..., xn ) Rn e det() e o determinante de . Neste caso, o vetor parametrico

contem as componentes do vetor e da matriz .
OBS: Se n = 1, dizemos que a distribuicao e normal univariada e, se n = 2, normal bivariada.

A figura abaixo exibe a densidade de uma normal bivariada.
o
et
o
et
_n
20 40 60 80
1e03
_n
m
8e04 1e03
im
ui
8e04
u
x2
6e04
aq
aq 6e04 100
4e04
/jo
4e04 80
jo
2e04
0e+00
r/
60
r
2e04
.b
.b
0 40
fjf
fjf
0e+00 20
0
.u
.u
0 20 40 60 40 20
w
w
w
60
w
x1 0
w
w
Grafico de contorno
Superfcie
Figura: Densidade T
de uma normal
bivariada com vetor de medias = [30, 50] e matriz de
150 70
covariancias = .
70 150

A figura abaixo ilustra a distribuicao conjunta e a condicional.
o
et
| = .
_n
m
ui

aq
/jo

| = .
. br
fjf
.u
w
w
Figura: Ilustracao para as densidades conjunta e condicional.

Normal bivariada (clique aqui)

Distribuicao normal condicional (clique aqui)
Distribuicao marginal discreta (clique aqui)

Relacoes importantes
Probabilidade condicional
p (x, y)
p (y | x) = .
p (x)
o
et
_n
m

ui
aq
jo
r/

.b
fjf
.u

w
w

Teorema da Probabilidade Total

Z Z
p (x) = p (x, y) dy = p (x | y) p (y) dy.
o
et
_n
m
ui

aq
/jo
. br
fjf
.u
w

w
w

Teorema de Bayes
p (y | x) p (x)
p (x | y) = R .
p (y | x) p (x) dx
o
et
_n
m

ui
aq
jo

r/
.b
fjf
.u

w
w

Introducao a Inferencia Bayesiana
Introducao a Inferencia Bayesiana

Introducao a Inferencia Bayesiana Inferencia parametrica e funcao de verossimilhanca
Inferencia parametrica e funcao de verossimilhanca

Para estabelecer conclusoes (inferir algo) a respeito de um vetor de quantidades desconhecidas
a partir de um vetor de observacoes x = (x1 , x2 , ..., xn ), devemos relacionar estes dois vetores
de alguma forma. Na teoria de inferencia estatstica parametrica, estabelecemos esta relacao
assumindo que x e uma amostra de X = (X1 , X2 , ..., Xn ) com distribuicao de probabilidades que
representa, ou aproxima suficientemente, o verdadeiro mecanismo de obtencao de x.
Funcao de verossimilhanca
Para um vetor de observacoes x, a funcao de verossimilhancas e definida por
l() = p(x | )
o
et
_n
m
ui
aq
X
jo
r/
.b
fjf
.u
w
w
w

Exemplo 2: Seja X uma v.a com distribuicao Bin(20, ). Neste caso, a funcao de probabilidade
de X e dada por

20
x (1 )20x , para x = 1, 2, ..., 20

p (x|) = x .
0, caso contrario

a) Construa o grafico da funcao de probabilidade de X assumindo = 0.25.

b) Construa o grafico da funcao de verossimilhanca assumindo que x = 5 e uma amostra de X .
Solucao:

Exemplo 2: Seja X uma v.a com distribuicao Bin(20, ). Neste caso, a funcao de probabilidade
de X e dada por

20
x (1 )20x , para x = 1, 2, ..., 20

p (x|) = x .
0, caso contrario

a) Construa o grafico da funcao de probabilidade de X assumindo = 0.25.

b) Construa o grafico da funcao de verossimilhanca assumindo que x = 5 e uma amostra de X .
Solucao:
a) b)
0.20
0.20

o
o
et
et

_n
_n
5|)
m
m
p(x| )
ui
0.10
ui
0.10

aq
aq
p(x =
/jo
jo

r/
br
.b

.
fjf
fjf
0.00
0.00
.u
.u
0.0 0.2 0.4 0.6 0.8 1.0
w
0 5 10 15 20
w
w
w
w
x
w
Funcao de probabilidade de uma Bin(20, 0.25). Verossimilhanca de uma Bin(20, ) para x = 5.
Clique aqui para acessar um aplicativo relacionado a este exemplo.

Exemplo 3: Seja x = (x1 , x2 , ..., xn ) uma amostra aleatoria de uma distribuicao normal com
media e variancia 3. Determine a funcao de verossimilhanca.
Solucao:

Exemplo 3: Seja x = (x1 , x2 , ..., xn ) uma amostra aleatoria de uma distribuicao normal com
media e variancia 3. Determine a funcao de verossimilhanca.
Solucao: Temos que
p (x|) = p (x1 , x2 , ..., xn |)

n
Y
= p (xi |)
i=1
n
!
Y 0.5 (xi )2
= 232 exp 0.5
i=1
32
n
(xi )2
P
0.5n i=1
= 232

0.5
exp
32
n n
xi2 2 xi + n2
P P
0.5n i=1 i=1
= 232

0.5
exp .
32
Clique aqui para ver um aplicativo relacionado a este exemplo.

Introducao a Inferencia Bayesiana Priori
Priori
Seguindo o paradigma Bayesiano, informacoes previas sobre o vetor sao representadas
matematicamente usando uma distribuicao de probabilidade, chamada de distribuicao a priori
(ou simplesmente priori), que estabelece (pondera) quais valores de sao mais provaveis,
segundo informacoes disponveis antes de conhecer as observacoes. Uma distribuicao a priori
deve entao representar a informacao do pesquisador sobre antes de conhecer as observacoes.
Neste contexto, e natural que diferentes pesquisadores possam ter diferentes graus de incerteza
sobre , (especificando distribuicoes distintas).
o
0.008
et
_n
m
p ( )
ui
0.004
aq
jo
r/
.b
0.000
fjf
.u
w
750 850 950 1050

w
OBS: A priori nao e uma distribuicao para , uma vez que este e fixo, mas sim uma distribuicao
que representa a incerteza do pesquisador diante do valor desconhecido . No entanto, num
abuso de linguagem e notacao, e comum dizermos priori para e usarmos p() para a
densidade de , por exemplo.
Introducao a Inferencia Bayesiana Priori
Exemplo 4: Dois fsicos desejam determinar uma constante fsica. Um dos fsicos tem mais
experiencia nesta area e especifica sua priori como N(900, 202 ). O outro fsico tem pouca
experiencia e especifica uma priori N(800; 802 ), que e muito mais incerta. A figura abaixo exibe
as densidades destas prioris.
0.020
o
et
N(900, 202)
_n
N(800, 802)
im
0.010
p ( )
u
aq
/jo
. br
fjf
w0.000
.u
w
600 700 800 900

w

Introducao a Inferencia Bayesiana Distribuicao conjunta
Distribuicao conjunta
Ao definir uma distribuicao a priori p() e uma funcao de verossimilhancas l() = p(x | ),
temos que
p (x, ) = p (x|) p ()
| {z } | {z }
verossimilhanca priori
Priori
o
et
_n
m

ui
aq
jo
r/

.b
fjf
.u

w
w
Verossimilhana

Introducao a Inferencia Bayesiana Posteriori
Posteriori
Posteriori
A distribuicao de dado um conjunto de observacoes em x = (x1 , ..., xn ) e chamada
de distribuicao a posteriori (ou simplesmente posteriori) de . Pelo teorema de Bayes,
temos que a densidade da posteriori e dada por
p (x | ) p ()
p ( | x) = R
p (x | ) p () d
Priori
o
et
_n
m

ui
aq
jo

r/

.b
fjf
.u

w
w
Verossimilhana

Introducao a Inferencia Bayesiana Conjugacao
Conjugacao
Para os modelos estatsticos mais populares, existem famlias de distribuicoes com uma
caracterstica muito especial.
Famlia conjugada
Suponhamos que uma distribuicao a priori pertence a uma determinada famlia de dis-
tribuicoes. Se, para um determinado modelo e paramero, a posteriori pertencer a mesma
famlia, dizemos que esta e uma famlia conjugada de distribuicoes a priori para o
parametro.

Resultado 1 (binomial - beta): Seja x1 , ..., xn uma amostra aleatoria da Bin(m, ), com m
conhecido. Supondo uma priori Be(a, b) temos que
n n
!
X X
( | x1 , ..., xn ) Be a+ Yi , nm + b xi .
i=1 i=1
0.20
1.5

o
et
et

_n
_n
1.0
m

m
p(x| )
ui
0.10
ui

p ( )
aq
aq
0.5
/jo
jo

r/
br
.b

.
fjf
fjf
0.00
0.0

.u
.u
w
0 5 10 15 20
w
0.0 0.2 0.4 0.6 0.8 1.0
w
w
w
x
w
Funcao de probabilidade de uma Bin(20, 0.25). Densidade de uma Be(2,1.5).
OBS: Lembre-se que a distribuicao uniforme e um caso particular da beta (basta fazer a = 1 e
b = 1). Assim, pelo resultado acima, um modelo binomial combinado com uma priori uniforme
produz uma posteriori beta.

Exemplo 5: Suponha que a proporcao de itens defeituosos em uma grande lote e

desconhecida. Para estimar , uma amostra de 100 itens e selecionada aleatoriamente e com
reposicao. Nesta amostra, apenas 3 destes itens sao defeituosos. Em seguida, uma nova
amostra de 100 itens e selecionada e agora apenas 5 itens defeituosos sao encontrados. Assuma
uma distribuicao a priori Be(2, 200) para e determine a distribuicao a posteriori de .
Solucao:

Exemplo 5: Suponha que a proporcao de itens defeituosos em uma grande lote e

desconhecida. Para estimar , uma amostra de 100 itens e selecionada aleatoriamente e com
reposicao. Nesta amostra, apenas 3 destes itens sao defeituosos. Em seguida, uma nova
amostra de 100 itens e selecionada e agora apenas 5 itens defeituosos sao encontrados. Assuma
uma distribuicao a priori Be(2, 200) para e determine a distribuicao a posteriori de .
Solucao: Seja X a variavel aleatoria associada ao numero de itens defeituosos da amostra.
Neste caso, temos que x = (3, 5) e uma amostra aleatoria de X Bin(100, ) e que
Be(2, 200). Logo, pelo resultado anterior, a distribuicao a posteriori de tambem e beta,
mais especificamente:
( | x) Be(2 + 3 + 5, 2 100 + 200 3 5)

Be(10, 392).

o
0.12
o
et

et

Priori Be(2,200)
60
_n
_n
Posteriori Be(10,392)
m
w 0.00 0.04 0.08
m

p(x, )
ui
ui
40

aq
aq

jo
jo
20
r/
r/

.b
.b
fjf
fjf
.u
.u
w
0 5 10 15 20 25 30 0.00 0.04 0.08
w
w
x
w
w
Funcao de probabilidade de uma Bin(100, 0.1). Priori e posteriori para os dados do exemplo 5.

Resultado 2 (Poisson - gamma): Seja x1 , ..., xn uma amostra aleatoria da Poi(). Supondo
uma priori Ga(a, b) temos que
n
!
X
( | x1 , ..., xn ) Ga a+ xi , b + n .
i=1

Exemplo 6: Suponha que o numero de chamadas recebidas por uma central telefonica no
perodo de uma hora segue uma distribuicao de Poisson com parametro (media de
ocorrencias). Suponhamos ainda que o perodo de 9 as 10 horas da manha foi monitorado por 3
dias e o numero de chamadas recebidas foi 50, 55 e 60. Assuma uma distribuicao a priori
Ga(20, 0.5) para e determine sua distribuicao a posteriori.
Solucao:

Exemplo 6: Suponha que o numero de chamadas recebidas por uma central telefonica no
perodo de uma hora segue uma distribuicao de Poisson com parametro (media de
ocorrencias). Suponhamos ainda que o perodo de 9 as 10 horas da manha foi monitorado por 3
dias e o numero de chamadas recebidas foi 50, 55 e 60. Assuma uma distribuicao a priori
Ga(20, 0.5) para e determine sua distribuicao a posteriori.
Solucao: Seja x = (50, 55, 60). Pelo resultado anterior, temos que
( | x1 , ..., xn ) Ga (20 + 50 + 55 + 60, 0.5 + 3)

Ga(185, 3.5).

0.20
o
et
et
0.08
_n

_n
Priori Ga(20,0.5)
m
Posteriori Ga(185,3.5)
m
ui
0.10
ui
p(x)
aq
aq
0.04
jo
jo

r/
r/
.b
.b
0.00
fjf
fjf

0.00
.u

.u
w
0 10 30 50 70
w
w
0 5 10 15
w
w
w
x
Priori e posteriori do exemplo 6.
Funcao de probabilidade de uma Poiss(4).

Resultado 3 (normal - normal): Seja x1 , ..., xn uma amostra aleatoria da N(, 2 ), com 2
conhecido. Supondo que N(m, v 2 ) entao | x1 , ..., xn tem distribuicao normal com
2 m + nv 2 Y
E (|x1 , ..., xn ) =
2 + nv 2
n
P
xi
2 v 2 i=1
Var (|x1 , ..., xn ) = , onde x = .
2 + nv 2 n
Clique aqui para ver um aplicativo relacionado a este resultado.

Resultado 4 (normal - gamma): Seja x1 , ..., xn uma amostra aleatoria da N(, 1 ), com
conhecido. Supondo uma priori Ga(a, b) entao
n
(xi )2
P
n i=1
( | x1 , ..., xn ) Ga
2 + a, b +
.
2

A existencia de uma famlia conjugada permite a determinacao analtica da distribuicao a

posteriori. Porem, uma famlia conjugada pode nao traduzir a informacao subjetiva a ser descrita
probabilisticamente. Alem disso, uma famlia conjugada nem sempre existe ou nao e facilmente
identificada. Para contornar estes problemas, os estatsticos Bayesianos usam tecnicas para
simular da distribuicao a posteriori e, consequentemente, resumir suas caractersticas.
A seguir, veremos como um (grande) conjunto de valores simulados pode ser usado para
recuperar caractersticas de uma distribuicao de probabilidades.

Simulacoes
Simulacoes

Simulacoes
Recuperando distribuicoes a partir de valores simulados
Usando metodos para simular valores que seguem uma determinada distribuicao de
probabilidade, podemos estimar informacoes/caractersticas desta distribuicao. Naturalmente,
quanto maior a quantidade de valores simulados, melhores sao as estimativas.

Simulacoes
Por exemplo, podemos usar o histograma para estimar a densidade. Na figura abaixo, foram
10000 valores simulados de uma Ga(2, 1) foram usados nesta estimacao.
o
et
_n
m
ui
aq
jo
r/
.b
fjf
.u
w
w
w

Simulacoes
Podemos usar a funcao de distribuicao acumulada emprica para estimar a funcao de

distribuicao acumulada. Na figura abaixo, 50 valores simulados de uma Ga(2, 1) foram usados
nesta estimacao.
o
et
_n
m
ui
aq
jo
r/
.b
fjf
.u
w
w
w

Simulacoes
Podemos ainda usar

os quantis da amostra para estimar os quantis da distribuicao e
a media da amostra para estimar o valor esperado.

OpenBUGS
OpenBUGS

OpenBUGS Bugs, WinBugs e OpenBugs
Breve historia
O projeto comecou em 1989 com uma versao para UNIX chamada BUGS (Bayesian
inference Using Gibbs Sampling ).
Programa para analise Bayesiana de modelos estatsticos complexos usando Cadeias de
Markov Monte Carlo (Markov Chain Monte Carlo, MCMC ).
Duas versoes do BUGS: WinBUGS e OpenBUGS.
WinBUGS versao estavel para Windows que ficara disponvel, mas nao sera
desenvolvida.
OpenBUGS roda nos sistemas operacionais: Windows, Unix/Linux e Macintosh
(usando o Wine).
OpenBUGS futuro do projeto BUGS.
OpenBUGS versao livre e aberta.

e to
_n
u im
aq
/jo
r
.b
fjf
.u
w
w
w

Princpio chave
Voce especifica o modelo (verossimilhanca) e a priori o programa usa

algoritmos para simular valores da distribuicao a posteriori.

Exemplos
Exemplos

Exemplos
Exemplo 7: Refaca os exemplos da secao Conjugacaousando o OpenBUGS para simular

valores da distribuicao a posteriori. Aproveite para formular suas proprias distribuicoes a priori.

Exemplos Regressao linear
Regressao linear
Exemplo 8: Um biologo investiga o efeito de diferentes quantidades de fertilizante na producao

de grama em solo calcario. Dez areas de 1 m2 foram escolhidas ao acaso e diferentes
quantidades do fertilizante foram aplicadas a cada area. Dois meses depois, as producoes de
grama foram anotadas. Os dados desta investigacao sao apresentados na tabala abaixo.
Massa de fertilizante (g /m2 ) Producao de grama (g /m2 )

25 84
50 80
75 90
100 154
125 148
150 169
175 206
200 244
225 212
250 248

Considere o modelo de regressao linear descrito pelas equacoes
Yi = i + ei
e
i = Xi + ,
onde ei N(0, 2 ).
Assuma a priori que

N(0, 106 ),
N(0, 106 ) e
2 U(0, 500).

a) Construa o grafico de dispersao com as massas de fertilizante no eixo das abscissas e as

producoes de grama no eixo das ordenadas.
b) Construa uma tabela com as medias a posteriori e intervalos de 95% de credibilidade a
posteriori para os parametros , e 2 .
c) Acrescente ao grafico de dispersao obtido no item (a) a funcao f (x) = x + , onde e
sao, respectivamente, a media a posteriori de e .
d) Compare as medias a posteriori com as estimativas de maxima verossimilhanca dos
parametros , e 2 .
e) Usando 60 g /m2 de fertilizante, qual e o intervalo de 95% de credibilidade para a producao
de grama em 1 m2 .
d) Suponha que a grama foi plantada em 50 m2 usando 60 g /m2 de fertilizante. Qual e o
intervalo de 95% de credibilidade para a producao de grama em toda a area plantada.

Exemplos Regressao nao linear
Regressao nao linear

Exemplo 9: Dugongues sao animais da mesma ordem dos peixes-bois (ordem Sirenia). Dentre
suas principais caractersticas, temos: narinas no topo da cabeca, labio superior voltado para
baixo e nadadeira dividida em duas partes (como a das baleias e golfinhos). Os Dugongues sao
encontrados na costa leste da Africa, India, Indonesia, Malasia e Australia.
o
et
_n
mi
a qu
jo
/
br
jf.
f
.u
w
w
w
Figura: Foto de um dugongue

A tabela abaixo exibe tamanhos e idades de 27 Dugongues.
Idades Tamanhos Idades Tamanhos

xi yi xi yi
1 1.80 10 2.50
1.5 1.85 12 2.32
1.5 1.87 12 2.32
1.5 1.77 13 2.43
2.5 2.02 13 2.47
4 2.27 14.5 2.56
5 2.15 15.5 2.65
5 2.26 15.5 2.47
7 2.47 16.5 2.64
8 2.19 17 2.56
8.5 2.26 22.5 2.70
9 2.40 29 2.72
9.5 2.39 31.5 2.57
9.5 2.41

Carlin and Gelfand (1991) propoem um modelo descrito pelas equacoes:
Yi i + ei
e
i = xi ,
onde ei N(0, 2 ).
Assuma a priori que

N(0, 106 ),
N(0, 106 ),
U(0, 105 ) e
2 U(0, 105 ).

a) Construa um grafico de dispersao com as idades no eixo das abscissas e os tamanhos no eixo
das ordenadas.
b) Construa uma tabela as medias a posteriori e intervalos de 95% de credibilidade a posteriori
para os parametros , , e 2 .
c) Construa um grafico com as idades no eixo das abscissas e medias a posteriori dos
parametros 1 , ..., 27 no eixo das ordenadas. Neste mesmo grafico, exiba os intervalos de
credibilidade destes parametros.
d) Seja y28 o tamanho de um dugongue com 26 anos (x28 = 26). Qual e a media a posteriori e o
intervalo de 95% de credibilidade a posteriori de y28 ? Em outras palavras, faca a previsao de y28 .
e) Estime o tamanho medio dos dugongues com 26 anos de idade (28 ) e informe o intervalo de
95% de credibilidade desta estimativa.
f) Estime a idade (x29 ) de um dugongue com 2.1 metros de comprimento (y29 = 2.1).

Exemplos Ponto de mudanca
Ponto de mudanca
Exemplo 10: Sejam X1 , X2 , ..., Xn uma sequencia de variaveis aleatorias com distribuicao de
Poisson e xi uma observacao de Xi , i {1, ..., n}. Suponhamos ainda que existe uma suspeita
de mudanca de ponto, ou seja, suspeita-se que, para algum m {1, ..., m 1}, a sequencia
X1 , ..., Xm1 tem media 1 e a sequencia Xm , ..., Yn tem media 2 . A tabela abaixo apresenta
as n = 112 observacoes x1 , ..., x112 .
4 5 4 1 0 4 3 4 0 6 3 3 4 0
2 6 3 3 5 4 5 3 1 4 4 1 5 5
3 4 2 5 2 2 3 4 2 1 3 2 2 1
1 1 1 3 0 0 1 0 1 1 0 0 3 1
0 3 2 2 0 1 1 1 0 1 0 1 0 0
0 2 1 0 0 0 1 1 0 2 3 3 1 1
2 1 1 1 1 2 4 2 0 0 0 1 4 0
0 0 1 0 0 0 0 0 1 0 0 1 0 1
Tabela: Observacoes x1 , ..., x112

a) Construa um grafico de linha com o conjunto de observacoes.

b) Estime a media e o intervalo de 95% de credibilidade a posteriori dos parametros 1 , 2 e m.
Para tal, assuma as distribuicoes a priori independentes: U(0, 1000), U(0, 1000) e m
uniformemente distribudo em {1,...,n}.
c) Construa um grafico com a distribuicao de chances a posteriori para o ponto de mudanca m.

Fim!


Bayesian Inference Introduction

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Bayesian Inference Introduction

Uploaded by

Copyright:

Available Formats

Inferencia Bayesiana

Departamento de Estatstica - ICE

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 1 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 2 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 2 / 51

Site do Departamento de Estatstica (UFJF)

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 3 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 5 / 51

As frases abaixo definem a notacao adotada.

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 6 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 7 / 51

onde x = (x1 , ..., xn ) Rn e det() e o determinante de . Neste caso, o vetor parametrico

OBS: Se n = 1, dizemos que a distribuicao e normal univariada e, se n = 2, normal bivariada.

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 8 / 51

A figura abaixo exibe a densidade de uma normal bivariada.

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 9 / 51

A figura abaixo ilustra a distribuicao conjunta e a condicional.

Figura: Ilustracao para as densidades conjunta e condicional.

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 10 / 51

Normal bivariada (clique aqui)

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 11 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 12 / 51

Teorema da Probabilidade Total

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 13 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 14 / 51

Introducao a Inferencia Bayesiana

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 15 / 51

Inferencia parametrica e funcao de verossimilhanca

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 16 / 51

a) Construa o grafico da funcao de probabilidade de X assumindo = 0.25.

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 17 / 51

a) Construa o grafico da funcao de probabilidade de X assumindo = 0.25.

0.0 0.2 0.4 0.6 0.8 1.0

Funcao de probabilidade de uma Bin(20, 0.25). Verossimilhanca de uma Bin(20, ) para x = 5.

Clique aqui para acessar um aplicativo relacionado a este exemplo.

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 17 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 18 / 51

p (x|) = p (x1 , x2 , ..., xn |)

Clique aqui para ver um aplicativo relacionado a este exemplo.

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 18 / 51

750 850 950 1050

600 700 800 900

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 20 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 21 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 22 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 23 / 51

0.0 0.2 0.4 0.6 0.8 1.0

Funcao de probabilidade de uma Bin(20, 0.25). Densidade de uma Be(2,1.5).

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 24 / 51

Exemplo 5: Suponha que a proporcao de itens defeituosos em uma grande lote e

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 25 / 51

Exemplo 5: Suponha que a proporcao de itens defeituosos em uma grande lote e

( | x) Be(2 + 3 + 5, 2 100 + 200 3 5)

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 25 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 26 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 27 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 28 / 51

( | x1 , ..., xn ) Ga (20 + 50 + 55 + 60, 0.5 + 3)

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 28 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 29 / 51

Clique aqui para ver um aplicativo relacionado a este resultado.

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 30 / 51

Joaquim Neto (UFJF) ICE - UFJF Versao 3.0 31 / 51