Slides Aula AnalMulti

PRO5767 -
Aplicao de mtodos estatsticos

multivariados na anlise de dados
Profa. Linda Lee Ho
1
2
Mtodos estatsticos multivariados:
Vrias variveis medidas simultaneamente em
cada elemento amostral;
Variveis apresentam correlao
Dois grupos de mtodos:
Tcnicas exploratrias de sintetizao da estrutura
de variabilidade dos dados
Tcnicas de inferncia estatstica
3
Sintetizao
Introduo
Anlise de componentes principais
Anlise fatorial
Anlise de correlaes cannicas
Anlise discriminante
Anlise de agrupamento
Anlise de correspondncia

4
Inferncia
Mtodos de estimao dos parmetros
Teste de hiptese
Anlise de varincia, de covarincia, de
regresso multivariada
5
Exemplos de aplicao
Construo de ndices
Classificao e discriminao
Associao entre variveis categricas
Inferncia estatstica
6
Definies
Vetor aleatrio contendo p elementos
Cada componente uma v.a.

1
2
p
X
X
X
(
(
(
=
(
(

X
7
Definies
Funo de densidade de probabilidade ou
funo de probabilidade

Tal que

1 2
( ) ( , , , )
p
f f X X X = X
1 2 1 2
( ) ( , , , ) 1
p p
f f X X X dx dx dx } } } = } } } = X
8
Definies
Funo densidade marginal
1 2 1 1 1
( ) ( , , , )
i p i i p
f X f X X X dx dx dx dx
+
= } } }
9
Definies
Vetor de mdias (esperana/ valor esperado)

1 1
2 2
( )
( )
( )
( )
p p
E X
E X
E
E X
( (
( (
( (
= = =
( (
( (

X
1 2 1
( , , , )
i i p p
x f X X X dx dx = } } }
10
Definies
Varincia do X
i

Covarincia entre X
i
e X
j

2 2
( ) [ ]
i i i i ii
Var X E X o o = = =
( , ) [ ][ ]
i j i i j j ij
Cov X X E X X o = =
11
Definies

- valores de Xi acima (abaixo)
da mdia de
i
tende a estar associadas aos
valores de Xj acima (abaixo) da mdia de j.

- valores de Xi acima (abaixo)
da mdia de
i
tende a estar associadas aos
valores de Xj abaixo (acima) da mdia de j

( , ) 0
i j
Cov X X >
( , ) 0
i j
Cov X X <
12
Definies
Covarincia:

Contm Informao sobre o relacionamento linear
entre 2 v.a.;
Dificuldade de julgar se a relao forte ou no
Medida mais til: correlao
13
Definies
Matriz de varincia-covarincia

11 12 1
12 22 2
1 2
p
p
p p
p p pp
o o o
o o o
o o o
(
(
(
E =
(
(
(

14
Definies
Correlao entre Xi e Xj

Matriz de correlao

0.5
( )
ij
ij
ii jj
o
o o
=
12 1
12 2
1 2
1
1
1
p
p
p p
p p

(
(
(
=
(
(
(

15
Definies
Matriz de covarincias (correlao)
Matriz no negativa definida se

Autovalores da matriz

' 0
p p
> a a
1 2
, , ,
p

0, 1, ,
i
i p > =
p p
16
Definies
Matriz positiva definida se

Autovalores da matriz

Existe

E

' 0
p p
> a a
1 2
, , ,
p
0, 1, ,
i
i p > =
p p
1
p p
| | 0
p p
>
17
Definies
Considere

Ento
1 2
[ , ]; X X =
X
X
1 2 3
[ , , ]; Y Y Y =
Y
Y
(
=
(

X XY
XY Y

18
Definies
Varincia total (VT) de um vetor aleatrio

No leva em considerao as covarincias

Varincia generalizada (VG) de um vetor
aleatrio:

Leva em considerao as covarincias

1
( )
p
p p i ii
VT tr o
=
= = E
| |
p p
VG

=
19
Definies
Combinaes lineares
1
p
i i
i
Z X a
=
=

= aX
1 2
[ ]
p
a a a = a
1 1
( ) ( ) ( )
p p
Z i i i i
i i
E Z E E X a a
= =
= = =

= aX
2 2
1
( ) ' ( )
p p
Z i ii ij ij
i i j
Var Z Var a a o o o
= =
= = +

= a X a
20
Definies
Combinaes lineares
1 1 r r p p
Z = B X
r p
=
Z
B
'
r p p p p r
=
Z
B B
21
Decomposio espectral
Seja

Existe uma matriz ortogonal D, ou seja

tal que

so os autovalores
p p
' ' D D= DD = I
DD=
1
p
| |
|
=
|
|
\ .
0
0
1 2
, , ,
p

22
Propriedades:

1
| | | |
p
p p i
i

=
= =
[

1
( ) ( )
p
p p i
i
tr tr
=
= =

23
As colunas da matriz D so os autovetores
1 2 p
(

D= e e e
1 2 p

(

1
2
i
i
i
ip
e
e
e
(
(
(
=
(
(

e
24
Teorema de decomposio espectral
1
' '
p
p p i i i
i

=
= =

DD e e
0.5
2
1
|| || 1
p
i ik
k
e
=
| |
= =
|
\ .
e
25
Determinao dos autovalores
Soluo do sistema de equaes
| | 0
p p

= I
26
Determinao dos autovetores
Soluo do sistema de equaes

Normalizar v
i
=e
i
p p i i i
= v v
27
Exerccio

Matriz de covarincia de X=

Determinar a matriz de correlao
Determinar VT e VG
8 2
2 5
(
(

28
Exerccio
Determine os autovalores, autovetores
(normalizado e no normalizado) da matriz de
covarincia de X.
Obter a matriz de covarincia de X a partir dos
seus autovalores e autovetores.
Determine E(Y) e Var(Y), dado:
[10 5]' =
X
= Y BX
0.5 0.2
0.5 0.2
(
=
(

B
29
Estimao de Parmetros: vetor de mdias,
matrizes de varincia e correlao
Prticas:
vetor
X
,matriz E
X
so desconhecidos
Estimados a partir de uma amostra aleatria
de tamanho n
n vetores aleatrios independentes e
identicamente distribudos.

30
Estimao
n vetores observados
11
12
1
1
,
...
p
X
X
X
(
(
(
=
(
(

X
21
22
2
2
, ,
...
p
X
X
X
(
(
(
=
(
(

X
1
2
...
n
n
n
np
X
X
X
(
(
(
=
(
(

X
31
Estimao
Matriz de dados
11 12 1
21 22 2
1 2
p
p
n n np
X X X
X X X
X X X
(
(
(
=
(
(
(

X
32
Estimao
Vetor de mdias amostrais
| |
1
2
1 2
...
...
n
p
X
X
X
(
(
(
= + + + =
(
(

X X X X
33
Estimao
Matriz de covarincias amostrais
11 12 1
12 22 2
1 2
p
p
p p
p p pp
s s s
s s s
s s s
(
(
(
=
(
(
(

S
1
( )( )
1
n
ik i jk j
k
ij
X X X X
S
n
=

34
Estimao
Matriz de correlaes amostrais
12 1
12 2
1 2
1
1
1
p
p
p p
p p
R R
R R
R R
(
(
(
=
(
(

R
0.5

35
Estimao

Restrio para estimar matriz de covarincia:
Tamanho de amostra n>p+1
Anlise de dados prejudicada se n=p+1
36
Teste de correlao
Hiptese nula
ij
=0

Utilizar a estatstica

t segue a distribuio t-Student com n-2 graus
de liberdade
2
2
1
ij
ij
n
t R
R
37
Exerccio
Considere os resultados de
uma amostra de n=10
Obter vetor de mdia
amostral;
Obter as matrizes de
covarincia e correlao;
Identifique quais correlao
so no nulas (use o=5%).
7 3 9
4 6 11
4 2 5
5 5 7
5 4 8
8 6 0
2 5 9
3 8 4
2 6 1
4 9 10
(
(
(
(
(
(
(
=
(
(
(
(
(
(
(

X
38
Normal multivariada
Funo densidade normal univariada
2
2 0.5
( ) (2 ) exp 0.5
x
f x

to
o
| |
=
`
|
\ .

)
39
Normal multivariada
Funo densidade de probabilidade

Distncia de Mahalanobis/distncia
padronizada ou distncia estatstica
{ }
0.5
0.5 1
( ) (2 ) exp 0.5( )' ( )
p
f t

= x x x
1
( )' ( )
x x
40
Normal multivariada
Pela decomposio espectral

ento
1 1
1
'
p
i i i
i

=
=

e e
0.5
0.5 1
1
( ) (2 ) exp 0.5( )' ' ( )
p
p
i i i
i
f t
=

| |
=
`
|
\ .
)
x x e e x
( )
2 0.5
0.5 1
1
( ) (2 ) exp 0.5 ' ( )'
p
p
i i
i
f t
=

=
`
)
x e x
41
Normal multivariada
Para vetores x, tais que

C
2
, constante, f(x) assume o mesmo valor
numrico ;

( )
2
2 1 1
1
( )' ( ) ' ( )'
p
i i
i
C

=
= E =
x x e x
42
Normal multivariada

Elipside p-dimensional;
Eixo principal correspondente na direo da
varivel Xi de maior variabilidade (> autovalor);
Segundo eixo: na varivel com segunda maior
varincia;
E assim sucessivamente

( )
2
2 1 1
1
( )' ( ) ' ( )'
p
i i
i
C

=
= E =
x x e x
43
Exerccio
Escrever a funo de densidade normal
multivariada para p=2 nos casos:
Se =0 e =0

Obter as funes densidade condicionais de
X1|X2 e X2|X1
Esperanas e varincias condicionais
44
Normal multivariada
Alguns resultados:
Se X1 e X2 so v.a. ento =0.
Se =0 ento X1 e X2 so independentes se
X1 e X2 forem normalmente distribudas
Estrutura de covarincias esfricas: se
jk
=0,
i,k, e o
11
=...=o
pp

45
Normal multivarida
Seguem distribuio normal:
Distribuies condicionais
Qualquer subconjunto de k variveis:
distribuio k-variada; k<p
46
Verificao da hiptese de normalidade
multivariada
Anlise de distribuies marginais e bivariadas
Normalidade univariada:

Histogramas, grfico de probabilidade ou ramos e
folhas;
Testes de hiptese apropriados: Anderson-Darling,
Shapiro-Wilks, entre outros;

47
multivariada
Normalidade bivariada:

Grficos de disperso entre Xi e Xj devem indicar
uma forma de uma elipse;

48
multivariada
Teoria x prtica:
Prova-se que mesmo tendo todas as distribuies
marginais e bivariadas sendo normais no implica
que o vetor X tenha distribuio normal
multivariada;
Se a distribuies marginais e bivariadas forem
normais, a chance de X seguir distribuio normal
multivariada grande

49
Verificao da hiptese de
normalidade multivariada
Grfico til :q-q plot
Para n suficiente grande

Q
j
segue uma distribuio qui-quadrado com
p graus de liberdade

1
( )' ( ), 1, ,
j j j
Q j n
= = X X S X X
50
Verificao da hiptese de
normalidade multivariada
Grfico til :q-q plot
Comparao dos valores ordenados de Q
j
x os
valores de percentis da distribuio qui-
quadrado
Aspecto do grfico QQ-plot: ~ uma reta
Deteco de valores discrepantes

51
Exerccio
Considere os resultados de uma
amostra de n=10
Faa o grfico de Q-Q plot
Existe algum ponto
discrepante?

7 3 9
4 6 11
4 2 5
5 5 7
5 4 8
8 6 0
2 5 9
3 8 4
2 6 1
4 9 10
(
(
(
(
(
(
(
=
(
(
(
(
(
(
(

X
52
Matriz de correlao
Hiptese nula: E=I

Estatstica do Teste

T segue distribuio Qui-quadrado com 0.5p(p-1)
graus de liberdade
1
1

(2 11) ln( )
6
p
i
i
T n p
=
| || |
= +

| |
\ . \ .
53
Exerccio
Considere os resultados de uma
amostra de n=10
Calcule a estatstica T e
verifique se a hiptese nula
verdadeira ou falsa.
7 3 9
4 6 11
4 2 5
5 5 7
5 4 8
8 6 0
2 5 9
3 8 4
2 6 1
4 9 10
(
(
(
(
(
(
(
=
(
(
(
(
(
(
(

X
54
Anlise de componentes principais
(ACP)
Objetivo:
explicar estruturas de covarincia(correlao) de
vetor aleatrio (p-v.a.) atravs da construo de
combinaes lineares das variveis originais
Reduo do nmero de variveis originais
Interpretar as combinaes lineares
Informao nas p-variveis originais pela
informao em k<p componentes principais

55
ACP
Combinaes lineares:

componentes principais
So no correlacionadas
Entrada :p-variveis originais
Sada: p componentes principais

56
ACP matriz de covarincia
Dados
1
2
p
X
X
X
(
(
(
=
(
(

X
p p
1 2
, , ,
p

1
2
i
i
i
ip
e
e
e
(
(
(
=
(
(

e
57
J-sima componente principal (c.p.)

1
'
p
j j ji i
i
Y e X
=
= =

e X
1 1
( ) ( ' ) ( )
p p
j j ij i ij i
i i
E Y E e E X e
= =
= = =

e X
( ) ( ' ) ( ' )
j j j p p j j
Var Y Var
= = = e X e e
( , ) 0
j k
Cov Y Y =
58
Proporo da varincia explicada pela j-sima
c.p.

1
( )
( )
j j j
p
p p
i
i
Var Y
VT tr

=
= =
59
Varincia explicada pelas k primeiras c.p.
1 1 1
1
( )
( )
k k k
i i i
i i i
p
p p
i
i
Var Y
VT tr

= = =
=

= =
60
Matriz de covarincia desconhecida usa os
estimadores
1

'
p
j j ji i
i
Y e X
=
= =

e X

( ) ( ' ) ( ' )
j j j p p j j
Var Y Var
= = = e X e e
1

( )

( )

j j j
p
p p
i
i
Var Y
VT tr S

=
= =
61
ACP- matriz de covarincia
Correlao entre Yj e Xi
( , )
j i
ij j
Y X
ii
e
r
s
=
62
Pelo teorema da decomposio espectral
1

'
p
p p i i i
i

=
=

S e e
1

'
k
p p i i i
i

=
~

S e e
Exemplo
63
Empres
a
Ganho
bruto
Ganho
lquido patrinmio
1 9893 564 17689
2 8776 389 17359
3 13572 1103 18597
4 6455 743 8745
5 5129 203 14397
6 5432 215 3467
7 3807 385 4679
8 3423 187 6754
9 3708 127 2275
10 3294 297 6754
11 5433 432 5589
12 6287 451 8972
Exemplo
Estatsticas descritivas

64
Ganho bruto Ganho lquido patrinmio
Mdia 6267,417 424,67 9606,42
Erro padro 892,12 79,72 1693,32
Mediana 5432,5 387 7749,5
Desvio padro 3090,406 276,17 5865,84
Varincia da
amostra 9550609 76269,51 34408113
Amplitude 10278 976 16322
Mnimo 3294 127 2275
Mximo 13572 1103 18597
Exemplo
Matriz de covarincia

65
Ganho bruto Ganho lquido Patrimnio
Ganho bruto
9550609 706121 14978233
Ganho lquido
706121 76270 933915
Patrimnio
14978233 933915 34408113
Exemplo
Autovalores
66
Eigenvalue 41474391 2539507 21093 44034991
Proportion 0,941851 0,05767 0,000479
Cumulative 0,941851 0,999521 1
Exemplo
Autovetores

Y1=0,425GB+0.028GL+0.905P
Y2=-0.9GB-0.097GL+0.426P
Y3=0.099GB-0.995GL-0.016P

67
Variable PC1 PC2 PC3
Ganho_bruto(GB) 0,425 -0,9 0,099
Ganho_lquido(GL) 0,028 -0,097 -0,995
Patrinmio(P) 0,905 0,426 -0,016
Exerccio
Refazer a anlise de componentes principais
considerando a matriz de correlao entre as
variveis
Utilize variveis padronizadas e obtenha os
escores das empresas segundo as
componentes principais. Faa interpretao
dos resultados.
68
69
ACP - Exerccio
Dados distritais foram coletados :

Total da populao (Pop),
Mediana dos anos de escolarizao(School),
Total de empregados (Employ);
Empregados em servios de sade (Health),
Valor mediano da moradia (Home).
70
ACP - exerccio
Foi feita uma acp utilizando matriz de
correlao
1. Quantos autovalores deve ter acp?
2. Os menores autovalores so: 1.29; 0.57; 0.09;
0.01, determine o autovalor faltante
3. % varincia explicada de cada c.p.
4. Se o objetivo fosse reduzir o # de v.a. originais,
qual a sua proposio? Justifique

71
ACP - Exerccio
-0,558 -0,131 0,008 0,551 -0,606
-0,313 -0,629 -0,549 -0,453 0,007
-0,568 -0,004 0,117 0,268 0,769
-0,487 0,31 0,455 -0,648 -0,201
0,174 -0,701 0,691 0,015 0,014
Dados os autovetores

Escrever as trs primeiras c.p.s e d uma interpretao

| |
1 2 3 4 5
e e e e e
72
ACP exerccio
Dados de 8 distritos esto reproduzidos

Obter os escores dos 3 primeiros cp destes
distritos, utilizando dados padronizados
Interprete os escores obtidos
Distrito Pop School Employ Health Home
Cana 5,935 14,2 2,265 2,27 2,91
Acar 1,523 13,1 0,597 0,75 2,62
Mandi 2,599 12,7 1,237 1,11 1,72
Oca 4,009 15,2 1,649 0,81 3,02
Algo 4,687 14,7 2,312 2,5 2,22
Do 8,044 15,6 3,641 4,51 2,36
Fumo 2,766 13,3 1,244 1,03 1,97
73
ACP Inferncia estatstica
Hiptese de interesse: H0:
i
=0
Resultado assinttico:

IC para
i

2 1
~ ( ;2 )
i i i
N n

1
(1 / 2)
1 2
i
z n
o
74
ACP: Matriz de correlao
ACP s tem sentido ser aplicado se as v.a.
apresentarem correlao
Hiptese nula: E=I

Estatstica do Teste

T segue distribuio Qui-quadrado com 0.5p(p-1)
graus de liberdade
1
1

(2 11) ln( )
6
p
i
i
T n p
=
| || |
= +

| |
\ . \ .
75
Anlise fatorial (AF)
Objetivo:
descrever a variabilidade original (p v.a.) em # menor de
v.a. denominadas de fatores comuns ou variveis latentes;
V. Originais agrupadas em subconjuntos de novas variveis
mutuamente no correlacionados;

Fatores comuns
relacionadas com v.a. originais atravs de modelo linear;
No correlacionadas
Resumam as informaes das v. originais
76
AF
Identificados os fatores:
Os valores numricos so os escores

Escores:
Utilizados em anlise estatstica
posteriormente
77
AF
AF exploratria:
Desconhecimento do # de fatores

AF confirmatria:
Modelo fatorial hipottico
Verificar se consistente nos dados
amostrados
Exemplo: equaes estruturais
78
AF
Aplicvel aos dados originais
Facilitar interpretao: usar dados
padronizados
79
AF
Notao
1
2
p
X
X
X
(
(
(
=
(
(

X
1 1
1
1
2 2
2
2
p p
p
p
X
Z
X
Z
X
Z
(
=
(
(
(
=
(
=
(
(
(
(
=
(

Z
80
AF
Relaciona v. padronizadas e os m fatores
comuns (desconhecidos)
1 11 1 12 2 1 1
2 21 1 22 2 2 2
1 1 2 2
...
...
...
...
m m
m m
p p p pm m p
Z a F a F a F
Z a F a F a F
Z a F a F a F
c
c
c
= + + + +
= + + + +
= + + + +
81
AF - Notao matricial

- = + D[X ] KF
1
1
1
2
1
0 0
0 0
0 0 0
0 0
p
o
o
o
(
(
(
=
(
(
(

D
1
2
p
X
X
X
(
(
(
=
(
(

X
1
2
p
F
F
F
(
(
(
=
(
(

F
11 12 1
21 22 2
1 2
m
m
p p pm
k k k
k k k
k k k
(
(
(
=
(
(
(

K
1
2
p
c
c
c
(
(
(
=
(
(

1
2
p
(
(
(
=
(
(

82
AF - nomenclatura
F v.a. no observvel fatores variveis
latentes
Relao linear com as v. originais Z
c - v. de erros aleatrios (no explicada pelos
fatores)
kmn cargas (loadings)
Z: p variveis observadas em (p+m) v. no
observveis: (F e c)
83
AF fatores ortogonais
Suposies
( ) Var = F I
( ) ( ) 0, 1, ,
i
E E F i m = = = F 0
( ) ( ) 0, 1, ,
j
E E j p c = = = 0
( , ) Covar = F 0
1
2
0 0
0 0 0
( )
0 0 0
0 0 0
p
Var
(
(
(
= =
(
(

84
AF fatores ortogonais
Matriz de correlao de Z
Var( )=Var( + )
=Var( ) ( )
' '
Var +
= + = +
Z KF
KF
KIK KK
m
2
1i 1 2 1
i=1 1 1
1
m
2
2
2 1 2i 2
1 i=1 1
m
2
1 2 pi
1 1 i=1
0 0
0 0 0
Var( )=
0 0 0
0 0 0
m m
i i i ip
i i
m m
i i i ip
i i
p
m m
pi i pi i
i i
k k k k k
k k k k k
k k k k k
= =
= =
= =
(

(
(
(
(
(

(
+ (
(
(
(
(

(

(

Z
Varincia de Zi
covarincias
85
AF- fatores ortogonais
comunalidade
Varincia especfica
m
2 2
ji
i=1
( ) 1
j j j j
Var Z k h = + = + =
86
AF # de fatores
Alguns critrios para estimar o # de fatores:

# de autovalores > 1
Atravs do grfico scree-plot (autovalores x #)
# de autovalores que representem maiores
propores da varincia total

87
Estimao das matrizes
Mtodos dos componentes principais
Estimado o # de fatores m

( ; ) K
1 1 2 2

p m m m

(
=
(

K e e e
( )

'
p p p p p m m p
diag

= R K K
88
Fatos intuitivos

( ; ) K
' ' '
1 1 1

p p
m
i i i i i i i i i
i i i m

= = = +
= = +

R e e e e e e

' ~ + R KK
'
1

'
p
i i i
i m

= +
= +

R KK e e
( )

' diag = R KK
89

Critrio de ajuste:
Avaliar a matriz residual dada por

( ; ) K

( ' ) + R KK
90
Mtodos dos fatores principais
Considere a matriz:

( ; ) K
2
1 12 1
2
12 2 2
*
2
1 2
p
p
p p
p p p
h R R
R h R
R R h
(
(
(
=
(
(

R
2

1
i i
h = +
91
Utilizando o mtodo dos componentes
principais, pode-se escrever

Os elementos diagonais de R*

( ; ) K
* * *' *
K K = + + R
* * *' *
= + R K K
2 *2 *
i i i
h h = + +
92
Construa outra matriz R**

( ; ) K
*2
1 12 1
*2
12 2 2
**
*2
1 2
p
p
p p p
h R R
R h R
R R h
(
(
(
=
(
(

R
93
Use novamente os componentes principais
para achar a matriz K**K**

E assim recursivamente at satisfazer algum
critrio de parada

( ; ) K
** ** **' **
= + R K K
94
Alguns problemas:
Autovalores da matriz R* podem ter valores
negativos;
Valores de comunalidades > 1

Pode levar a no convergncia do algoritmo;

( ; ) K
95
Mtodos da mxima verossimilhana
Funo de verossimilhana ara uma amostra
aleatria

No caso considerando a matriz de correlao,
consiste em escrever

( ; ) K
( )
{ }
1
0.5 0.5 1
1
(2 ) | | exp 0.5 ( )' ( )
n
np n
i i
i
L t

=
=
x x
= + KK'
96
Mtodos da mxima verossimilhana
Estimativas obtidas atravs de procedimentos
numricos
Estimativas mais precisas
Pode no haver convergncia
Fundamentada na distribuio normal
multivariada
Exige uma especificao da dimenso m a
priori

( ; ) K
97
Fatos relevantes
Caracterstica interessante no mtodo dos
componentes principais:
No h alterao dos coeficientes dos fatores
com a mudana da dimensionalidade
Desejvel iniciar pelos mtodos dos
componentes principais como anlise
exploratria
Uso posterior do Mtodo da mxima
verossimilhana
98
Fatos relevantes
Necessidade de elementos amostrais com
observaes completas
Casos com muitos dados omissos usurio
deve fazer avaliao
Softwares eliminao automtica de
elementos com dados incompletos

99
Estimao dos escores dos fatores F
para elemento amostral
No comeo da estria

1 11 1 12 2 1 1
2 21 1 22 2 2 2
1 1 2 2
...
...
...
...
m m
m m
p p p pm m p
Z a F a F a F
Z a F a F a F
Z a F a F a F
c
c
c
= + + + +
= + + + +
= + + + +
elemento Z
1
... Z
p
F
1
... F
m
1 Z
11
... Z
p1
F
11
... F
m1

2 Z
12
... Z
p2
F
12
... F
m2

3 Z
13
... Z
p3
F
13
... F
m3

4 Z
14
... Z
p4
F
14
... F
m4

... ... ... ... ... ... ...
n Z
1n
... Z
pn
F
1n
... F
mn

100
Dados no observveis
101
Deseja-se estimar o escore do fator Fj do k-
simo elemento amostral, j=1,...,m; k=1,...,n

wij peso da varivel original Zi no Fator Fj
1
p
jk ij ik
i
F w z
=
=
102
Mtodo dos MQP para estimar o escore do
fator Fj do k-simo elemento amostral,
j=1,...,m; k=1,...,n

1 1 1

( ' ) '
jk k
F

= K K K Z
W
103
Mtodo de regresso para estimar o escore
do fator Fj do k-simo elemento amostral,
j=1,...,m; k=1,...,n

W
1

'( ' ' )
jk k
F

= + K KK Z
104
Mtodo ad-hoc para estimar o escore do fator
Fj do k-simo elemento amostral, j=1,...,m;
k=1,...,n
Baseado nas correlao entre as variveis originais
e o fator Fj
Algumas possibilidades:
Igual varivel que apresenta a correlao entre as
variveis originais e o fator Fj
Fator Fj - Uma mdia das variveis originais, (sinal da
varivel original = ao sinal da correlao)

105
Rotao dos fatores
Interpretao difcil dos fatores originais
Motivo: Os elementos k
rs
da matriz

apresentam grandes numricas similares
Conseqncia: violao da ortogonalidade
entre os fatores;
Partio das variveis originais em m grupos
no clara ou difcil de ser justificada

1 1 2 2

p m m m

(
=
(

K e e e
106
Rotao dos fatores
Recurso: transformao ortogonal dos fatores originais
T uma matriz ortogonal, ento

Deste modo

' ' = = TT T T I
* *

' ' = = KK' KTT K' K K
*

= K KT
107
Rotao dos fatores
Critrios para procurar a matriz de
transformao ortogonal T:

Critrio varimax
Critrio quartimax
Critrio ortomax

108
Rotao dos fatores
Critrio varimax:
Procurar para cada fator fixo, um grupo de
variveis originais altamente correlacionados
com os fatores e um outro grupo com
correlao baixa
( )
2
4 2
1 1 1
1 1
p p
m
ij ij
j i i
V k k
p p
= = =
(
=

(

*
ij
ij
i
k
k
h
=
109
Critrio varimax
Valores k*ij (aps a rotao) so determinados
de modo a maximizar
( )
2
4 2
1 1 1
1 1
p p
m
ij ij
j i i
V k k
p p
= = =
(
=

(

*
ij
ij
i
k
k
h
=
110
Critrio quartimax
de modo a maximizar
2
4 2
1 1 1 1
1 1
p p
m m
ij ij
j i j i
V k k
mp mp
= = = =
(
| |
=

|
(
\ .

111
Critrio ortomax
de modo a maximizar

( )
2
4 2
1 1 1
1
p p
m
ij ij
j i i
V k k
p p
= = =
(
=

(

0 1 s s
112
Critrio ortomax
=0.5 , critrio biquartimax
=0.5m, critrio equamax
=1, critrio varimax (sem escalonamento)
=0, critrio quartimax

113 Linda Lee Ho - Nov/ 2006
- Exemplo de anlise fatorial
Dados:
Populao total (Pop)
Anos mediano de escolaridade(School)
# de empregados(Employ)
# empregados em sade (Health)
Valor mediano do imvel(Home)
- Exemplo de anlise fatorial
Matriz de correlao
Pop School Employ Health

School 0,61

0,02

Employ 0,971 0,494

0 0,072

Health 0,74 0,095 0,848

0,002 0,746 0

Home -0,172 0,186 -0,249 -0,358

0,557 0,525 0,39 0,209

Exemplo de anlise fatorial:
Resultados
Variable Factor1 Factor2 Factor3 Factor4 Factor5 Communality
Pop -0,972 -0,149 0,006 0,17 -0,067 1
School -0,545 -0,715 -0,415 -0,14 0,001 1
Employ -0,989 -0,005 0,089 0,083 0,085 1
Health -0,847 0,352 0,344 -0,2 -0,022 1
Home 0,303 -0,797 0,523 0,005 0,002 1

Variance 3,0289 1,2911 0,5725 0,0954 0,0121 5
%Var 0,606 0,258 0,114 0,019 0,002 1
Resultados (com rotao Varimax)
Variable Factor1 Factor2 Factor3 Factor4 Factor5 Communality
Pop 0,836 0,468 -0,078 -0,277 -0,017 1
School 0,186 0,974 0,124 -0,029 -0,012 1
Employ 0,913 0,344 -0,131 -0,125 -0,124 1
Health 0,958 -0,054 -0,195 0,177 0,096 1
Home -0,169 0,099 0,981 0,002 0 1

Variance 2,5135 1,2991 1,0381 0,1242 0,025 5
% Var 0,503 0,26 0,208 0,025 0,005 1
Grficos: Fator 1 x Fator 2
First Factor
S
e
c
o
n
d

F
a
c
t
o
r
1,00 0,75 0,50 0,25 0,00
1,0
0,8
0,6
0,4
0,2
0,0
Home
Health
Employ
School
Pop
Loading Plot of Pop; ...; Home
Exemplo de anlise fatorial
Refazendo Anlise fatorial- s/rotao
Variable_1 Factor1_1 Factor2_1 Factor3_1 Communality
Pop -0,972 -0,149 0,006 0,967
School -0,545 -0,715 -0,415 0,98
Employ -0,989 -0,005 0,089 0,986
Health -0,847 0,352 0,344 0,959
Home 0,303 -0,797 0,523 1

Variance 3,0289 1,2911 0,5725 4,8925
%Var 0,606 0,258 0,114 0,978
Exemplo de anlise fatorial Refazendo
Anlise fatorial (c/ rotao)
Variable_2 Factor1_2 Factor2_2 Factor3_2 Communality
Pop 0,832 0,517 -0,079 0,967
School 0,173 0,967 0,127 0,98
Employ 0,909 0,377 -0,13 0,986
Health 0,958 -0,077 -0,187 0,959
Home -0,174 0,095 0,98 1

Variance 2,4981 1,3593 1,035 4,8925
%Var 0,5 0,272 0,207 0,978
Exemplo de anlise fatorial Cargas
fatoriais
Variable Factor1 Factor2 Factor3
Pop 0,267 0,21 0,027
School -0,257 0,885 -0,125
Employ 0,355 0,051 0,043
Health 0,559 -0,422 0,153
Home 0,209 -0,171 1,073
Comentrios
Utilizar variveis brutas ou padronizadas?
Nmero de fatores;
Agregar as variveis originais nos fatores;
Nomear os fatores resultantes;
Nmero de variveis for elevado:
Os resultados da AF podem ser confusos;
Alternativa: classificar as variveis a prior
em grupos macros;
Fazer anlise fatorial em cada grupo.
122
Inferncia estatstica: # de fatores
Existem vrios testes para avaliar a adequao
do # de fatores na AF
Suposio: dados com distribuio normal
multivariada
Hiptese nula: # de fatores = m
Hiptese alternativa: # de fatores > m
123
Estatstica do teste (Bartlett, 1954)

Sob Ho, a estatstica T segue uma distribuio
qui-quadrado com

Graus de liberdade
(2 4 5) | ' |
1 ln
6 | |
p m
T n
| | + + +
| |
=
|
|
\ .
\ .
KK
R
2
0.5[( ) )] p m p m
124
Cautela no uso da estatstica T:

Se n grande, m<<p, existe a tendncia de rejeitar
a hiptese indicando a necessidade de aumentar
o # de fatores
125
Critrio do Akaike (AIC) e Critrio bayesiano de
Schwarz

onde

o valor de funo de verossimilhana

ln[max ( , )]
ln[max ( , )] 0.5 ln( )
AIC L m
BIC L m n
= E +
= E +
( , ) L E
126
Outras medidas de ajuste para AF
Critrio de Kaiser-Meyer-Olkin (KMO)
Modelo adequado se R
-1
for prxima de uma
matriz diagonal

R
ij
- correlaes amostrais Xi e Xj
Q
ij
- correlaes parciais de Xi e Xj
Adequao do modelo: KMO >0.8
2
2 2
ij
i j
ij ij
i j i j
R
KMO
R Q
=
= =
=
+

127
Outras medidas de ajuste para AF
Teste de esferacidade
Ho: E=I
Estatstica do teste

Sob Ho, T segue distribuio qui-quadrado
com 0.5p(p-1) graus de liberdade
1
2 11

ln( )
6
p
i
i
p
T n
=
+
| |
=

|
\ .
128
Anlise de agrupamento (AA)
Outros nomes: anlise de conglomerados/
cluster analysis
Objetivo:
dividir os elementos da amostra em grupos;
Homogeneidade entre elementos do mesmo
grupos;
Heterogeneidade entre elementos de diferentes
grupos.
129
AA
Tcnicas de conglomerados:
Hierrquicas:
Aglomerativas (1->N); Divisivas (N->1)
Uso em anlise exploratria dos dados;
Identificar possveis agrupamentos e # de grupos;
poucas observaes
No hierrquicas
Conhecer o # de grupos
# moderado de observaes

130
AA Hierrquico aglomerativo
Passo 1: cada elemento define um grupo (N grupos)
Passo 2: escolher uma medida de parecena
mais dissimilares
menos similares
Medida de similaridade
menos dissimilares Medida de dissimilaridade
mais similares
131
Medidas de dissimilaridade s dados quantitativos
Distncia euclidiana(DE)

Distncia generalizada(DG)

A- matriz positiva definida
Se A=I ; DG=DE
A=S
-1
; DG=Distncia de Mahalanobis;
A=diag(1/p)=DG=distncia euclidiana mdia

0.5
( , ) [( ) ( )']
i j i j i j
d = X X X X A X X
0.5
( , ) [( )( )']
i j i j i j
d = X X X X X X
132
Medidas de dissimilaridade dados quantitativos
Distncia de Minkowsky(DM)

=1, distncia city-block ou Manhattan
=2, DM=DE
DM menos afetada por valores discrepantes
na amostra do que DE
1
1
( , ) [ | - | ]
p
i j k ik jk
k
d w X X

=
=

X X
133
Medidas de dissimilaridade s dados qualitativos
Possibilidades:
transformar em dados quantitativos e usar as
distncias anteriores ou
Usar coeficientes de similaridade desenvolvidos
para v. qualitativas
ausncia (0) ou presena (1) da caracterstica de
interesse

134
Medidas de dissimilaridade dados qualitativos
Coeficiente de concordncia simples

Coeficiente de concordncia positiva
#(0, 0) #(1;1)
( , )
i j
d
p
+
= X X
#(1;1)
( , )
i j
d
p
= X X
135
Medidas de dissimilaridade dados qualitativos
Coeficiente de concordncia de Jaccard

Distncia euclidiana mdia
#(1;1)
( , )
#(0;0)
i j
d
p
=
X X
0.5
#(0;1) #(1;0)
( , )
i j
d
p
| | +
=
|
\ .
X X
136
AA dados qualitativos e quantitativos
Possveis alternativas:
Transformar as v. qualitativas (atribuio de
valores numricos as vrias categorias) em v.
quantitativas e utilizar as distncias;
Transformar as v. quantitativas (atravs de
categorias) em v. qualitativas e utilizar os
coeficientes de concordncia
137
Criar medidas de semelhanas mistas

e
(.)
so os pesos de ponderao
c(.) so os coeficientes de similaridade
ql, qualitativas; qt, quantitativas;
( , ) ( , ) ( , )
i j ql ql i j qt qt i j
d c c e e = + X X X X X X
138
Coeficiente de Gower

c
k
coeficientes de similaridade de varivel X
k

1
k
v. indicadora (1 se os elementos i e j podem
ser comparados, 0, c.c.)
permite dados incompletos
1
1
1 ( , ) ( , )
( , )
1 ( , )
p
k i j k i j
k
p i j
k i j
k
c
d
=
=
X X X X
X X
X X
139
Passo 1: cada elemento define um grupo (N grupos)
Passo 2: escolher uma medida de parecena
Passo 3: escolher um mtodo de agrupamento
hierrquico
Em cada estgio do algoritmo de agrupamentos:
Pares de conglomerados mais similares so agrupados
Cada novo conglomerado formado agrupamento de
conglomerados formados nos estgios anteriores

140
Mtodo de agrupamento hierrquico
Mtodo ligao simples (vizinho mais
prximo, single linkage)
Grupos existentes: A1 e B
A2 elemento incorporado ao grupo A1
Distncia entre os grupos (A1,A2) e B;

1 2 1 2
[( , ), )] min[ ( , ), ( , )] d A d d A = A B A B B
141
Mtodo de ligao simples
0
3.20 0
15.7 12.5 0
13.2 12.0 16.3 0
6.40 7.50 17.1 19.3 0
13.4 10.2 4.10 12.2 16.2 0
a b c d e f
a
b
c
d
e
f
(
(
(
(
(
(
(
(
(
(

142
,
, 0
15.7 12.5 0
13.2 12.0 16.3 0
6.40 7.50 17.1 19.3 0
13.4 10.2 4.10 12.2 16.2 0
a b c d e f
a b
c
d
e
f
d[(a,b); c]=min{d(a,c)=15.7 ; d(b,c)=12.5}
d[(a,b); e]=min{d(a,e)=6.40 ; d(b,e)=7.50}
143
,
, 0
12.5 0
12.0 16.3 0
6.40 17.1 19.3 0
10.2 4.10 12.2 16.2 0
a b c d e f
a b
c
d
e
f
(
(
(
(
(
(
(
(
(
(

Novo grupo:(c,f)
, ,
, 0
, 10.2 0
12.0 12.2 0
6.40 16.2 19.3 0
a b c f d e
a b
c f
d
e
(
(
(
(
(
(
(
(
(
(

144
d[(c,f),e]=min[d(c,e)=17.1;d(e.f)=12.2]
145
, , ,
, , 0
, 10.2 0
12.0 12.2 0
a b e c f d e
a b e
c f
d
Prximo passo: Novo conglomerado formado
por (a,b,e + c,f), etc, etc
146
Mtodo ligao completa (vizinho mais longe,
complete linkage)

1 2 1 2
[( , ), )] max[ ( , ), ( , )] d A d d A = A B A B B
147
Mtodo da mdias das distncias (average
linkage)

1
1
1 2 1 2
1
[( , ), )] [ ( , ) ( , )]
1
d A d d A
n n
= +
+ +
A B
A B
A B A B B
148
Mtodo centroide (centroid method)
Distncia entre os grupos A=(A1,A2) e B;

Um vetor com as mdias amostrais dos elementos
do grupo k, k=A e B

[( , )] ( )( )' d =
A B A B
A B X X X X
k
X
149
Mtodo de Ward
Distncia entre os grupos A=(A1,A2) e B;

Um vetor com as mdias amostrais dos elementos
do grupo k, k=A e B

k
X
[( , )] ( )( )'
n n
d
n n
=
+
A B
A B A B
A B
A B X X X X
150
Passo 3: escolher um mtodo de agrupamento
hierrquico
Em cada estgio do algoritmo de agrupamentos:
Pares de conglomerados mais similares so agrupados
Cada novo conglomerado formado agrupamento de
conglomerados formados nos estgios anteriores
Passo 4 : Devido propriedade de hierarquia,
possvel construir um dendrograma (representa o
histrico do agrupamento)
151
Passo 4 : Devido propriedade de hierarquia,
possvel construir um dendrograma (representa o
histrico do agrupamento)
Passo 5: Escolha do nmero final de grupos
subjetiva.
152
Passo 5: Escolha do nmero final de grupos
subjetiva.
Alguns mtodos:
1 - Anlise do comportamento do nvel de fuso

Grfico: # de grupos x nvel de fuso
153
Alguns mtodos para determinar o # de grupos
2 anlise do comportamento do nvel de
similaridade
Grfico: # de grupos x nvel de similaridade
Nvel de similaridade dos grupos i e j unidos num
determinado estgio,

d
jk
= distncia dos elementos j e k, no primeiro estgio
1
max{ }, , 1, ,
ij
ij
jk
d
S
d j k n
=
=
154
3 Anlise da soma de quadrados entre grupos:
uso do R
2
Calcular a soma de quadrados entre os grupos (SQE) e
soma de quadrados total (SQT)
Calcular o coeficiente de determinao R
2
:

Fazer um grfico: # de grupos x R
2

2
SQE
R
SQT
=
155
4 Anlise da soma de quadrados entre grupos:
uso da estatstica pseudo F

Grfico de F versus # d grupos;
Se F monoticamente crescente com g ento no
existe estrutura natural de partio
F* tem distribuio F com p(g*-1);p(n-g*) graus de
liberdade

2
2
( *)
*
( * 1)(1 )
n g R
F
g R
=

156
5 Anlise da correlao semiparcial (CSP) (Mtodo
de Ward)
Num determinado passo,
O coeficiente da correlao semiparcial da partio

Grfico CSP versus # de grupos

= C A B
distnciaWard
CSP
SQT
=
( )( )'
n n
distnciaWard
n n
=
+
A B
A B A B
A B
X X X X
157
6 Anlise da estatstica pseudo T
2
Num determinado passo,
A estatstica pseudo T
2

Grfico PseudoT
2
versus # de grupos
Sob Ho PseudoT
2
segue distribuio F :p;(n
A
+n
B
-2) graus de
liberdade

= C A B
0.5
|| ( ) || [( )'( )]
kj k kj k kj k
= X X X X X X
2
2 2
( 2)
|| ( ) || || ( ) ||
j j
j j
distnciaWard n n
PseudoT
e e
+
=
+

A B
A A B B
A B
X X X X
158
A anlise de agrupamento tambm pode ser
usado para agrupar variveis:
Medidas de similaridade para v. quantitativas:
Matriz de correlao de Pearson
Coeficientes de associao no paramtricos
de Spearman e o de Kendall

159
A anlise de agrupamento tambm pode ser
usado para agrupar variveis:
Medidas de similaridade para v. qualitativas:
Coeficiente qui-quadrado
Coeficientes de contingncia de Pearson
Coeficiente de concordncia de Kappa

Exemplo
Dados

160
Brand Protein Carbo Fat Calories VitaminA
Life 6 19 1 110 0
Grape Nuts 3 23 0 100 25
Super Sugar
Crisp 2 26 0 110 25
Special K 6 21 0 110 25
Rice Krispies 2 25 0 110 25
Raisin Bran 3 28 1 120 25
Product 19 2 24 0 110 100
Wheaties 3 23 1 110 25
Total 3 23 1 110 100
Puffed Rice 1 13 0 50 0
Sugar Corn
Pops 1 26 0 110 25
Sugar Smacks 2 25 0 110 25
Exemplo
161
Observations
S
i
m
i
l
a
r
i
t
y
P
u
f
f
e
d

R
i
c
e
T
o
t
a
l
P
r
o
d
u
c
t

1
9
W
h
e
a
t
i
e
s
R
a
i
s
i
n

B
r
a
n
S
p
e
c
i
a
l

K
S
u
g
a
r

C
o
r
n

P
o
p
s
S
u
g
a
r

S
m
a
c
k
s
R
i
c
e

K
r
i
s
p
i
e
s
S
u
p
e
r

S
u
g
a
r

C
r
i
s
p
G
r
a
p
e

N
u
t
s
L
i
f
e
32,65
55,10
77,55
100,00
Exemplo de anlise de agrupamento
162
AA no hierrquico
Objetivo:
Dividir os n elementos em k grupos
Satisfazendo dois requisitos:
Homogeneidade interna e heterogeneidade entre
grupos
Avaliar a qualidade da partio segundo um
critrio de qualidade
Em cada estgio, novos grupos podem ser
formados atravs da diviso ou juno de grupos
j combinados anteriores
163
AA no hierrquico
Objetivo:
Elementos anteriormente colocados no
mesmo grupo podem estar em grupos
diferentes no final
No possvel construir dendrograma
Tem uma maior capacidade de anlise de
conjunto de dados de maior porte (com > # de
observaes)
164
AA no hierrquico
Alguns mtodos:
Mtodo das k-mdias (k-means)
Passo 1: escolhem-se k centrides iniciais
Passo 2: cada elemento comparado com cada
centride atravs de uma medida de distncia; o
elemento alocado ao grupo cuja distncia a
menor;

165
AA no hierrquico
Alguns mtodos:
Passo 3: aplicado passo 2 para cada um dos n
elementos amostrais, recalculam-se os
centrides para cada grupo formado, e repete-
se o passo 2, considerando os centrides
destes novos grupos
Passo 4: repetir passos 2 e 3at que nenhuma
realocao dos elementos seja necessria.
166
AA no hierrquico
Alguns mtodos:

Mtodo fuzzy-means
Mtodo das redes neurais
AA
Estudos comparativos:
os mtodos de agrupamento hierrquico e
no hierrquico;
Determinao do # final de grupos
167
Anlise de agrupamento:
no hierrquico
Dados:
143 ursos
Medidas de:
Altura
Altura da cabea
Peso
Peso da cabea
Tamanho do pescoo
Tamanho do peito
Objetivo: dividir os ursos em 3 grupos: pequenos,
mdios e grandes
Anlise de agrupamento:no hierrquico
Estatsticas descritivas 3 grupos
Varivel Classe # Mdia D.P. Q1 Mediana Q3
Altura_cab 1 27 10,778 1,013 10 11 11,5
- 2 77 13,195 0,893 12,5 13 13,5
- 3 39 15,679 1,091 15 15,5 16,5
Peso_cab 1 27 4,87 0,614 4,5 5 5
- 2 77 6,101 0,8091 5,5 6 6,5
- 3 39 7,795 1,031 7 8 8,5
Pescoo 1 27 15,463 2,075 15 15,5 17
- 2 77 19,922 2,208 18,75 20 21
- 3 39 28,162 2,639 26,5 28 30
Estatsticas descritivas
Varivel Classe # Mdia D.P. Q1 Mediana Q3
Altura 1 27 47,35 5,51 43,5 48 52
- 2 77 60,713 3,735 58 60,5 63,25
- 3 39 72,051 4,54 69 72 75
Peito 1 27 26,037 3,174 24 26 28,5
- 2 77 34,394 3,42 32 34 36,75
- 3 39 47,218 4,308 44 48 49,5
Peso 1 27 72,81 25,69 60 76 90
- 2 77 155,57 34,55 130 150 180
- 3 39 347 73,3 297 348 398
Box plots
Grupo
A
l
t
u
r
a
3 2 1
80
70
60
50
40
30
Boxplot of Altura vs Grupo
Grupo
P
e
s
o
3 2 1
500
400
300
200
100
0
Boxplot of Peso vs Grupo
Grupo
P
e
i
t
o
3 2 1
60
50
40
30
20
Boxplot of Peito vs Grupo
172
Escalonamento multidimensional (EM)
Representao grfica de n objetos numa
dimenso menor que a original.
Existem 2 tipos de EM:
Mtrico p-variveis quantitativas medidas
em cada elemento amostral;
No mtrico matriz de similaridade no
construda atravs de distncias matemticas
(atravs de julgamentos ou percepes)
173
Escalonamento multidimensional
Teoricamente possvel representar os
objetivos em dimenses maiores que 2;
Em termos prticos opta-se em utilizar duas
dimenses.
EM-mtrico
Considere que tenham uma matriz de
distncia D nxn;
Obter a matriz A nxn, cujos elementos so
dados por

174
2 2 2 2
. . ..
2 1 2 2 1 2
. .
1 1
2 2 2
..
1 1
0.5{ }
; ;
ij ij i j
n n
i ij j ij
j i
n n
ij
i j
a d d d d
d n d d n d
d n d

= =
= =
= +
= =

=

EM-mtrico
Escrevendo matricial A

I= matriz identidade
1 =vetor de uns
D
2
= matriz com elementos da matriz D ao
quadrado
175
1 2 1
0.5 ' ' n n

= ( (

A I 11 D I 11
EM-mtrico
Sejam

i
so os autovalores de A;
v
i
so os autovetores de A.
176
| |
1 2 1
1 2
1 2
( )
( )'
n n
n
i i i in
diag
v v v

=
=
=
V v v v
v
EM- mtrico
A matriz A pode ser escrita como

O posto da matriz A menor ou igual a (n-1)
Suponha q autovalores > 0, pode-se definir as
novas coordenadas (estmulos) dadas por

177
= A VV'
; ' 1
i i i i i
= = y v v v
EM-mtrico
Escrevendo com a notao matricial

Y= matriz nxq;
V*= matriz nxq;
A*=matriz qxq;
178
0.5
* * = Y V
EM-mtrico
Os dados originais X podem ser transformados
numa nova matriz de dados Y, as distncias
euclidianas originais so preservadas.
179
2
( , ) [( )'( )] ( )'( )
i j i j i j i j i j
d = = X X X X X X Y Y Y Y
EM-mtrico
Se r < q novas coordenadas fosse utiliadas, as
novas distncias no sero exatamente iguais
as originais;
Deve-se avaliar a qualidade da aproximao.
180
EM-no mtrico
Com n objetos a avaliar, um total de
M=0.5n(n-1) dissimilaridades entre pares de
objetos diferentes;
Vamos supor que so M valores diferentes
(sem empate);
Ento possvel ordenar as dissimilaridades
da menor para a maior
181
1 1 2 2 M M
i k i k i k
o o o < < <
EM-no mtrico
Objetivo: encontrar q dimenses que
representem as informaes das M
dissimilaridades;
Uso de uma transformao f(.) que aproxima as
dissimilaridades originais a um conjunto novo de
distncias

182
( )
j j j j
i k i k
d f o ~
EM-no mtrico

A funo f(.) montona crescente deve ser tal que

Conhecido como algoritmo de Sheppard-Kruskal
183
( ) ( )
j j c c j j c c
i k i k i k i k
f f o o o o < <
EM-no mtrico
Avaliao da concordncia das dissimilaridades
originais e das novas dimenses
Medida STRESS (standardized residual sum of
squares)

so os coeficientes originais e nas
novas dimenses.
184
0.5
( ) 2
2
( )
STRESS( )
( )
q
ik ik
i k
ik
i k
d d
q
d
<
<
(
(
=
(
(

( )
,
q
ik ik
d d
EM no mtrico
Valores de referncia para STRESS
185
Stress Qualidade do ajuste
0.20 Ruim
0.10 Razovel
0.05 Bom
0.025 Excelente
0 perfeito
EM no mtrico
Medida SSTRESS (Takane et al, 1977)

Valor de referncia < 0.1
186
0.5
2 ( ) 2
4
( ) ( )
SSTRESS( )
( )
q
ik ik
i k
ik
i k
d d
q
d
<
<
(
(
=
(
(

AD
Anlise discriminante (AD)

Classificar elementos de uma amostra
# de grupos conhecidos a priori
Caracterstica diferentes entre os grupos
Regras de alocao funo discriminante
187
AD regra de classificao
Suposio:

2 populaes;
Conjunto de observaes de cada populao;
Distribuio de probabilidades conhecida
Utilizar o princpio da mxima verossimilhana
para construir regra de alocao
188
Razo de verossimilhana

Classificar em I se (x) >1;
Classificar em II se (x) <1;
Se (x)=1, jogue uma moeda
(x) funo discriminante(FD)

189
1
2
( )
( )
( )
f x
x
f x
=
AD- regra de classificao
Se fosse duas populaes normais com varincias
iguais,

ou equivalentemente

-2ln[(x)]<0, populao I
-2ln[(x)] >0, populao II
190
{ }
2 2 2
1 2
( ) exp 0.5 ( ) ( ) x x x o
= (

{ }
2 2 2
1 2
2ln{ ( )} ( ) ( ) x x x o
= (

Se fosse duas populaes normais com varincias
diferentes

-2ln[(x)], FD
191
2 2
2 1 2
1 1 2
2ln{ ( )} 2ln
x x
x
o
o o o

(
| | | | | |

= +
(
`
| | |
\ . \ . \ . (

)
Para duas populaes normais multivariadas com
matriz de varincias-covarincias diferentes

192
{ }
1 2
1 1
1 2 2 2
2ln{ ( )} ln | | ln | |
( )' ( ) ( )' ( )

(

1 1
x =
+ x - x - x - x -
Para duas populaes normais multivariadas com
matriz de varincias-covarincias iguais

-2ln[(x)] - funo de discriminante de Fisher
(FDF)
193
{ }
1 1
2 2
2ln{ ( )} ( )' ( ) ( )' ( )

(

1 1
x = + x - x - x - x -
FDF pode ser escrito como

-

194
{ }
1 1
2 2 2
( ) ( )' 0.5( )' ( ) FDF

+ (

1 1 1
x = x -
1
2
( )'

1
b
x
1
2
2
( )'
2
+
| |
|
\ .
1
1
b

Combinao linear
das variveis
originais
Combinao
linear das
mdias das
duas
populaes
AD-FDF
Valores de b importncia de cada varivel na
FDF;
Sugesto- padronizar os valores de b

195
*
'
=
b
b
b b
AD-FDF
Situao real:
Vetores de mdias e matrizes de varincia-
covarincia desconhecidos;
Estimadores pelos vetores de mdias
amostrais e matriz de covarincias amostrais
FDF vai ser tambm estimado
196
AD-Avaliar a qualidade da FDF
1 uso de teste de Hotelling

197
2
1 2
1 2
2
1 2
1 2
1 2
1
( 2)
[ ( ) ( )]
n n p
F D
p n n
n n
D FDF FDF
n n
+
=
+
=
+
x x
1 2
( , ) x x
Vetores das mdias amostrais
das duas amostras
2 Mtodo da re-substituio
Os escores so calculados para cada
elementos amostral e alocados segundo a
FDF
3 Mtodo holdout
A amostra dividida em 2 partes;
Uma utilizada para construir a FDF
A outra usada para validar e avaliar os erros
de classificao

198
4 Mtodo da Lachenbruch (conhecido como
falso jackknife ou validao cruzada)

Passo 1: uma observao excluda; com o
restante das observaes construir a FDF;
Passo 2: usar a FDF do passo 1 para classificar a
observao excluda e avaliar o erro;
Passo 3: incluir a observao excluda e repetir os
passos 1 e 2 para as demais observaes

199
AD vrias populaes (k>2)
A funo densidade de probabilidade
calculada para a populao i :

Classificar o elemento amostral na populao
j, tal que
200
( )
i
f x
( ) max( ( ), 1, , )
j i
f f i k = = x x
AD vrias populaes
No caso de v.a. p-normal

equivalente a
201
( ) max( ( ), 1, , )
j i
f f i k = = x x
( ) max( ( ), 1, , )
j i
d d i k = = x x
1
( ) 0.5 ln | | ( )' ( )
i i i i i
d

= + (

x x x
AD- vrias populaes
Prtica:
vetores das mdias e matriz da varincia
desconhecidos
Estimados pelo vetor das mdias amostrais e
matriz de covarincias amostrais
No caso de equivarincia, usar a matriz de
covarincia combinada
202
AD- vrias populaes
Avaliao:

similar ao caso de 2 populaes
Teste de Wilks: comparao entre as k mdias
Avaliar os erros de classificao
203
AD: teoria da deciso
Abordagem anterior:
No considera custos na classificao errada

Elaborar regras de discriminao considerando
custos:
Teoria da deciso
Noes da estatstica bayesiana
204
AD: teoria de deciso
Probabilidade de pertencer a uma populao
sem informao a priori

Probabilidade de pertencer a uma populao
com informao a posteriori

205
Caso de 2 populaes:
As probabilidades a priori do grupo 1: p1
As probabilidades a priori do grupo 2: p2
p1+p2=1;
Custos:
C(2|1)- custo de classificar em 2 dado que do
grupo 1;
C(1|2)- custo de classificar em 1 dado que do
grupo 2
206
Resultado a classificao:
A- o elemento classificado em II, porm pertencia
a I;
B elemento classificado em I, porm era de II;
Custo mdio de classificao errada(CM)

CM=c(2|1)*p(A)+c(1|2)p(B)
CM=c(2|1)*p(2|1)*p1+c(1|2)p(1|2)p2

207
desejvel ter CM mnimo
CM vai ser minimizado se considerar a
seguinte regra de classificao:

Classificar em I se:

Classificar em II se:

208
1 2
2 1
( ) (1| 2)
( ) (2| 1)
f x c p
f x c p
>
1 2
2 1
( ) (1| 2)
( ) (2| 1)
f x c p
f x c p
<
No caso de ter duas populaes normais:
Classificar em I se

Caso contrrio, classifique em II
209
{ }
{ }
1 2
1 1
1 2 2 2
2
1
0.5 ln | | ln | |
0.5 ( )' ( ) ( )' ( )
(1| 2)
ln
(2| 1)
c p
c p

| |
>
|
\ .
1 1

x - x - x - x -
Probabilidades a posterior
210
1 1
1 1 2 2
( )
(1| )
( ) ( )
p f
p
p f p f
=
+
x
x
x x
2 2
1 1 2 2
( )
(2| )
( ) ( )
p f
p
p f p f
=
+
x
x
x x
AD: componentes da FD
Fatores de sucesso da FD:

Correta identificao da funo de probabilidade;
Escolha adequada dos componentes da FD;
Equvoco: maior # de componentes no melhor a
discriminao
211
AD: componentes da FD
Alguns mtodos para identificar componentes
importantes numa FD:
Anlise de varincia multivariada
CONTRA: Analisa cada componente separadamente,
no leva em considerao a correlao;
Algoritmos de seleo:
Forward
Backward
stepwise
212
AD: funo discriminante cannica de Fisher
(FDCF)
Obter FD a partir de combinaes lineares das
variveis originais
Suposio:
p variveis; g populaes
possvel construir

c funes discriminantes cannicas
213
min( 1, ) c g p s
AD:FDCF
As FDCF so dadas por:

J-simo autovetor correspondente ao j-
simo maior autovalor da matriz
214
1 1
1
( )( )'
( )( )'
i
n g
ik i ik i
i k
g
i i i
i
X X X X
n X X X X
= =
=
=
W
B
1
W B
'
j
e
'

, 1, ,
j j
j c = = y e x
AD:FDCF
FDCF:

so as combinaes lineares que produzem o
maior poder de discriminao;
H uma ordenao em termos de importncia em
cada combinao linear construda;

215
AD:FDCF
Aps a construo das FDCF
Os escores da i-sima observao com as c
FDCF:

Os escores da mdia da j-sima populao
216
| |
1 2

i i i c i
= y e x e x e x
1 2

j j j c j
( =

y e x e x e x
AD:FDCF
Pode-se calcular a distncia euclidiana (DE)
entre a os vetores

A observao i vai ser classificada na
populao k se
217

( , )
i j
y y
1 2

( , ) min[ ( , ), ( , ), , ( , )]
i k i i i c
d d d d = y y y y y y y y
AD:FDCF
Geralmente usa-se a primeira FDCF;
O # de FDCF pode ser determinado analisando
os autovalores de

AS FDCF so correlacionadas
FDCF: uso de combinaes lineares mais
informativas; pode ser aplicado para
distribuies no normais
218
1
W B
Exemplo
Regularizar capturas de salmo;
Deseja identificar se o peixe pescado do
Alaska ou do Canad;
50 peixes de cada lugar foram capturados;
Crescimento dos anis diametrais medidos
quando eles estavam guas salinas e no
salinas;
Objetivo: identificar a origem de novos peixes
pescados
219
Exemplo
Put_into_Group Alaska Canada
Alaska 44 1
Canada 6 49
Total_N 50 50
N_correct 44 49
Proportion 0,88 0,98
220
Exemplo
Variable Mean Alaska Canada
Freshwater 117,92 98,38 137,46
Marine 398,14 429,66 366,62
221
Matriz de varincia-covarincia (ponderada)E
Freshwater 293,35 -27,29
Marine -27,29 1146,17
Exemplo

FD:F(x)=
F(x)=-0,128x1+ 0,052X2

222
Matriz inversa de E
Freshwater(x1) 0,003416465 8,13451E-05
Marine(x2) 8,13451E-05 0,000874408
2
39, 08
63, 04
(
=
(

1

1
2
( ) '

1
x
Exemplo
Critrio:

Classificar um salmo novo pescado como:

Alaska se F(x) > 5.54
Canad se F(x) <5.54
223
1
2 2
0.5( ) ' ( ) 5.54
=
1 1

Regresso logstica (RL)
AD:
Input: variveis quantitativas

Situaes prticas:
Variveis quantitativas e qualitativas
Uso da RL passa a ser mais adequada

224
Introduo
Modelos de regresso quando a varincia
funo da mdia
Exemplos:
Regresso logstica
Regresso Poisson

que so membros dos modelos lineares
generalizados
Introduo
Varivel resposta binria (0 ou 1)
Uma distribuio razovel para a v. resposta
a distribuio Bernoulli

X
i
vetor de regressores

( ) ( )
i i i
E y p P = = X
( ) (1 ) ( )[1 ( )]
i i i i i
Var y p p P P = = X X
Introduo
Varivel resposta Contagens
Um modelo de probabilidade razovel:
Distribuio Poisson

X
i
vetor de regressores

( ) ( )
i i
E y = X
( ) ( )
i i
Var y = X
Introduo
Mtodo dos mnimo quadrados ordinrios
inadequado para estimar os parmetros na

Regresso logstica
Regresso Poisson

Varincia no constante;
funo da mdia.
Regresso logstica
Origem

Ferramenta muito utilizada nos anos 50 para
modelar curvas dose-resposta

Exemplo de Curva dose-resposta :

Relao entre fraes de pacientes reincidentes em
funo de tipo particular de protocolo quimioterpico.
Regresso logstica
Dados:
N unidades experimentais com respostas binrias
dependendo de um conjunto de covariveis.

Exemplos:
Resposta: o cliente vai pagar ou no faturas do carto
de crdito;
Covariveis: renda, sexo, idade, escolaridade;

Resposta: droga fez efeito ou no
Covariveis: idade, peso,

Regresso logstica
Notao:
Y=1, sucesso;
Y=0, fracasso;

P(X
i
) = probabilidade de sucesso dado um
vetor de covariveis X
i
expresso por um
modelo logstico
1
( )
1 exp( )
i
i
P =
+
X
X
Regresso logstica
1
2
3
...
k
Condio
experimental
n1
n2
n3
...
nk
y1
n1-y1
y2
n2-y2
y3
n3-y3
yk
nk-yk
Unidades
experimentais
...
1 1 1
1
1 1
1
( ) [1 ( )]
y n y
n
p p
y

| |

|
\ .
x x
2 2 2
2
2 2
2
( ) [1 ( )]
y n y
n
p p
y

| |

|
\ .
x x
3 3 3
3
3 3
3
( ) [1 ( )]
y n y
n
p p
y

| |
|
\ .
x x
( ) [1 ( )]
k k k
k y n y
k k
k
n
p p
y

| |
|
\ .
x x
...
Regresso logstica
Funo de verossimilhana

Log da funo de verossimilhana
1
( , ) ( ) [1 ( )]
j j j
k
j y n y
j j
j j
n
L p p
y

=
| |
=
|
\ .
[
y p x x
1
( )
ln[ ( , )] ln ln[1 ( )]
1 ( )
k
j
j j j
j
j
p
L y n p
p
=
(
= +
(
x
y p x
x
Regresso logstica
Funo logit

Reescrevendo a log f verossimilhana

( )
ln '
1 ( )
j
j
j
p
p
(
=
(
(

x
x
x
1
ln[ ( , )] ' ln[1 exp( ' )]
k
j j
j
L n
=
=
y p Xy x
Regresso logstica
Estimadores de MV

Como
1
ln[ ( , )]
' exp( ' )
1 exp( ' )
k
j
j j
j
j
n
L
=
c
= =
c +
y p
X y x x 0
x
exp( ' )
1
( )
1 exp( ' ) 1 exp( ' )
j
j
j j
p = =
+ +
x
x
x x
Regresso logstica
Estimadores de MV

a soluo do sistema equaes score:

Pode-se usar o mtodo de Newton-Raphson para
achar a soluo do sistema.

1
ln[ ( , )]
' ( )
k
j j j
j
L
n p
=
c
= =
c

y p
X y x x 0
Mdia da binomial
'( ) = X y 0
Regresso logstica (EMV x MQP)
Uso da soma de quadrados dos resduos
ponderados
2
1
2
2
1
( )
1 exp( )
exp( )
( )[1 ( )]
[1 exp( )]
m
i i
i
i i i
i
i
i i i
i
y
S
n p
n p p
o
=
(
=
(

= =
+
= =
+
x
x
x
x x
x
Regresso logstica

Relao entre MQP e MV
Min S:

Escrevendo com
a notao matricial
2
1
2
m
i i i
i
y S
o
=
c c
(
=
(
c c

2
( )[1 ( )]( )
i
i i i i i
n p p
o
c
= =
c
x x x x
1
( )
m
i i i
i
y
=
=
x 0
'( ) = X y 0
Regresso logstica

Procedimentos de mnimos quadrados
ponderados pode ser usado iterativamente
para obter soluo das equaes scores e da
ter os EMV.
Regresso logstica
Exemplo simples
X=0, grupo com treinamento
X=1, grupo sem treinamento
Y=0, no defeituoso
Y=1, defeituoso

0 1
( )
ln
1 ( )
i
i
i
P x
x
P x
| | = +
0 1
1
( )
1 exp[ ( )]
i
i
P x
x | |
=
+ +
Regresso logstica
Exemplo simples (odd ratios)
Y=0, no defeituoso
Y=1, defeituoso

exp(|
0
)=razo entre as fraes de itens defeituosos
e no defeituosos no grupo dos treinados;

0 1
( )
ln
1 ( )
i
i
i
P x
x
P x
| | = +
0
( | / )
ln
( . | / )
P defeituoso c trein
P n defeituoso c trein
| =
Regresso logstica
Exemplo simples (odd ratios)
Y=0, no defeituoso
Y=1, defeituoso

exp(|
1
)=razo (def x n. def) entre os grupos no
treinados e treinados

0 1
( )
ln
1 ( )
i
i
i
P x
x
P x
| | = +
0
( | / )
ln
( . | / )
P defeituoso c trein
P n defeituoso c trein
| =
0 1
( | / )
ln
( . | / )
P defeituoso s trein
P n defeituoso s trein
| | = +
Regresso logstica
Matriz de Informao:

- (menos) a segunda derivada da funo do ln(L);
Inversa da matriz de Informao matriz da
varincia;

1
2 2 2
1 2
2
( ) ( ' )
[ , , , ]
( )[1 ( )]
k
i i i i
Var
V diag
n p p
o o o
o
=
=
=
X VX
X X
Regresso logstica
Procedimentos inferenciais (Teste de Wald)
Teste de hiptese:
Hiptese nula:|
i
=0
Estatstica do teste

Segue uma distribuio normal (0;1)
( )
i i
i
i
z
| |
o |
=
Elemento diagonal da
matriz varincia-covarincia
Regresso logstica
Intervalo de confiana de uma probabilidade
dado um vetor X :

Estimativa pontual

1
( )

1 exp( )
i
i
p =
+
x
x
Regresso logstica
dado um vetor X :
Varincia da estimativa (mtodo Delta):
'
1

( ) ( )
[ ( )] ( ' )
i i
i
p p
Var p

| | | | c c
=
| |
c c
\ . \ .
x x
x X VX

( )
( )[1 ( )]
i
i i i i
p
n p p
| | c
=
|
c
\ .
x
x x x
Regresso logstica
dado um vetor X :
Varincia da estimativa (mtodo Delta):

Intervalo de confiana de uma probabilidade:

Intervalo de confiana de uma previso:

2 1
[ ( )] var( ) '( ' )

i i i i
Var p y

= x x X VX x
1
/ 2
( )] var( ) '( ' )

i i i i
p z y
o

x x X VX x
1
/ 2
( )] var( ) 1 '( ' )

i i i i
p z y
o

+ x x X VX x
Regresso logstica
Medidas de ajuste: deviance
Hiptese nula: modelo saturado com m
parmetros;
Hiptese alternativa: modelo reduzido com p < m
parmetros (modelo hierrquico)
( )
2ln
( )
L saturado
Deviance
L reduzido
=
Regresso logstica
Distribuio assinttica do Deviance

Regra de prtica (bom ajuste)

2
~
m p
Deviance _

1
Deviance
m p
~
Regresso logstica
Medida de ajuste: Estatstica Qui-quadrado de
Pearson

Assintoticamente segue uma distribuio qui-
quadrado com m-p graus de liberdade
2
2
1

(1 )
m
i i i
i
i i i
y n p
n p p
_
=
| |
=
|
\ .
Outros modelos para resposta binria

Regresso logstica
A tolerncia (distribuio acumulada) segue uma
distribuio logstica

Modelo probit
A tolerncia segue uma distribuio normal

Modelo log-log complementar
1
[ ( )] '
i i
p
u = x x
log{log[1 ( )]} '
i i
p = x x
Regresso logstica
Principais motivos da falta de ajuste na
regresso logstica:

Especificaes incorretas em:
A varivel resposta : Modelo binomial
Modelo logit (pode ser probit?)
Estrutura linear
Presena de outlier nos dados
Regresso logstica
Principais motivos da falta de ajuste na
regresso logstica:

Sobredisperso
Parmetro extra que faz alterao a varincia da
varivel resposta : Modelo binomial
Var(y) > np(1-p)
Causas:
unidades experimentais muito heterogneas
Correlao entre observaes

Conceito de sobredisperso
a probabilidade de sucesso p (da distribuio
binomial) apresenta algum tipo de
variabilidade;
p , v.a. segue uma distribuio com mdia e
varincia | >0.

( ) [ ( | )] ( ) E Y E E Y p nE p n = = =
Somando as duas partes:

2 2
( ) { ( )}
(1 ) ( 1)
(1 )
Var Y n n
n n n
n
| |
|

= + + +
= +
>
( ) [ ( | )] [ ( | )] Var Y Var E Y p E Var Y p = +
2
[ ( | )] ( ) Var E Y p Var np n | = =
2
2
[ ( | )] [ (1 )]
{ ( ) ( )}
{ ( )}
E Var Y p E np p
n E p E p
n |
=
=
= +

Efeito da sobredisperso nos resultados

Subestimao dos erros padro das estimativas
dos parmetros da regresso logstica
Ajuste para corrigir os erros padro dos
coeficientes

Multiplicar os erros padro por uma
estimativas de parmetro de escala(pe) dados
por :
deviance
n p
2
n p
_
Um exemplo
Dados
Horas Total N com fissuras
400 39 0
1000 53 4
1400 33 2
1800 73 7
2200 30 5
2600 39 9
3000 42 9
3400 13 6
3800 34 22
4200 40 21
4600 36 21

Um exemplo
Um exemplo
Logistic Regression Table

Odds 95% CI
Predictor Coef SE Coef Z P Ratio Lower Upper
Constant -3,92 0,38 -10,38 0,000
horasx100 0,10 0,011 8,75 0,000 1,11 1,08 1,13

Log-Likelihood = -189,537
Test that all slopes are zero: G = 102,339, DF = 1, P-Value = 0,000

Um exemplo
Interpretao

Para cada centena de horas a razo entre %
fissurados e % no fissurados 1,11

0 1
exp( )
1
exp(0,0999237 )=1,11
= +
+
p
x
p
| |
Um exemplo
Ajuste
Goodness-of-Fit Tests

Method Chi-Square DF P
Pearson 9,2508 9 0,414
Deviance 10,3315 9 0,324
Hosmer-Lemeshow 7,2811 4 0,122

Um exemplo

Slides Aula AnalMulti

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Slides Aula AnalMulti

Uploaded by

Copyright:

Available Formats

PRO5767 -

Aplicao de mtodos estatsticos

[ ( )] var( ) '( ' )

( )] var( ) '( ' )

( )] var( ) 1 '( ' )

Outros modelos para resposta binria

You might also like