Estatística - Descritiva OUTLIER

Estatstica Descritiva e Anlise Exploratria
de Dados
Estatstica Descritiva e Anlise Exploratria de Dados
1
ipinto@deetc.isel.ipl.pt

Ano Letivo 2012/2013

Instituto Superior de Engenharia de Lisboa

Iola Maria Silvrio Pinto

Populao um conjunto vasto de elementos cujas caractersticas se
pretendem estudar;

2
de Dados
Pode ser estudada pelo censo ou pela sondagem
Exemplo: nmero total de alunos do ISEL no ano letivo 2011-2012
Populao finita
Exemplo: populaes de determinadas espcies que se estudam em
Biologia Marinha.
Tem de ser estudadas atravs de amostras
Populao infinita

A Estatstica Descritiva tem como objetivo descrever e manipular a
informao que nos fornecida, caracterizando assim o conjunto de
dados de que se dispe.

Visa classificar e organizar os dados;
Reduzir a quantidade de informao presente numa grande base de dados,
atravs do clculo de medidas de estatstica descritiva e de grficos;
Quando exista, ser conhecida uma certa estrutura ou padro presente nos
dados.

3
de Dados
Amostra um subconjunto representativo de dados ou
observaes recolhidas aleatoriamente de uma populao, que
se estuda com o objetivo de tirar concluses para a populao
de onde a amostra teve provenincia, no que respeita a
determinadas caratersticas de interesse.
Para obter a amostra utilizam-se as:
Tcnicas de Amostragem

4
de Dados
Estatstica Indutiva tem como objetivo a
aprendizagem de tcnicas, que a partir da
informao contida na amostra, permitem tirar
concluses cerca de caratersticas
desconhecidas da populao.

5
de Dados
Exemplos de reas onde se utiliza a estatstica
Na rea do controle de qualidade, principalmente quando os riscos
so grandes:
Indstria farmacutica;
Construo e manuteno de avies;
Centrais termonucleares;

Na rea econmica e de gesto:
Bancos e seguradoras ( gesto de carteiras de risco mdio-alto);
Administrao estatal;

6
de Dados
Exemplos de reas onde se utiliza a estatstica

reas de Biologia e Bio-medicina: controle estatstico de
experincias;

rea da epidemiologia: estudos sobre a prevalncia de certas
doenas contagiosas como por exemplo a SIDA;

reas da Engenharia: estudo do desempenho de tecnologias de
redes de comunicaes mveis;

7
de Dados
Fases do mtodo estatstico:
- definio e identificao do problema;
- Planificao do estudo a desenvolver;
- recolha de informao ( dados) de acordo com o objetivo;
- classificao e organizao dos dados em suporte informtico;
- anlise dos dados e apresentao dos resultados;
- interpretao dos resultados, e de acordo com o problema,
elaborar a deciso mais adequada .

8
de Dados

Varivel uma caracterstica ou um atributo da populao que se
apresenta em vrias modalidades.
A cada modalidade corresponde um valor assumido pela varivel.

Dado estatstico o resultado da observao de um atributo da ou
caraterstica de interesse da populao, para cada elemento da
amostra.

9
Dados Estatsticos
Amostra
Caraterstica de interesse
Medio ou classificao
Dados Estatsticos em bruto
Ordenao crescente
Dados ordenados
Construo de uma Tabela de
Frequncias
Estatstica Descritiva e Anlise
Exploratria de Dados
10
Processo a seguir com uma amostra de
dados
1,..., ,
i
i n x =
( )
1,..., ,
i
i n x =
11
Dados Estatsticos - natureza
Qualitativa
As variveis qualitativas so utilizadas para o estudo de
caractersticas no numricas da populao. Em geral, so
estudadas por contagens ou frequncias absolutas, ou
percentagens ou frequncias relativas das classes ou categorias.
Quantitativa
so dados que se conseguem medir, ou seja, descrevem
caractersticas numricas da populao. Utilizam-se para estes
dados as escalas intervalares ou de razo.
2.Os Dados Qualitativos

12
Dados Qualitativos Escalas
Escala Nominal caso particular escala binria ou dicotmica
Os dados esto expressos numa escala nominal quando so identificados pela
atribuio de um nome que designa uma classe.
As classes devem ser:
Exaustivas (qualquer dado pertence a uma das classes);
mutuamente exclusivas (cada dado pertence a uma s classe);
no ordenveis (no existem critrios que definam preferncias por qualquer
classe em relao s restantes).
Exemplos
Classificao de pessoas pela cor do Cabelo;
Classificao dos consumidores de bens de primeira necessidade pelos escales
etrios.
13
Dados Qualitativos Escalas
Escala Ordinal
Os dados esto expressos numa escala ordinal quando so identificados pela
atribuio de um nome que designa uma classe, no entanto existe a
possibilidade de estabelecer uma ordenao das classes, segundo um
critrio relevante.
Exemplos
Classificaes obtidas pelos alunos num teste de Estatstica: mau, medocre,
suficiente, bom e muito bom.
Classificao dos clientes segundo o volume de encomendas que colocam:
clientes muito importantes (A), clientes importantes (B) ou clientes menos
importantes (C).

Exerccio 1:
No DEETC existem 4 impressoras que se encontram
disponveis no servidor Safira. Com o intuito de
conhecer as preferncias dos utilizadores quanto
impressora que usualmente selecionam, realizou-se um
estudo com 50 utilizadores, tendo-se obtido os
resultados que constam do quadro seguinte:

14
Tratamento de dados Qualitativos
Impressora
seleccionada
N de
utilizadores
Frequncia
relativa %
1 - Oki C9200
4 8%
2 - HP Color Laserjet
4700 dtn
23 46%
3 - HP Laserjet 4200
dtn
16 32%
4 - HP Laserjet 4500
dtn
7 14%
15
Categorias ou
classes
Frequncia absoluta
4 / 50
i
i
F
f
N
= =
i
F
MODA
1 1
50, 4, 50, 1
k k
i i
i i
N k F f
= =
= = = =

A partir dum conjunto de dados, identifica-se a varivel a estudar, bem
como o conjunto de valores (categorias) que a varivel pode assumir.
ORGANIZAO DOS DADOS: Distribuio de frequncias
permite conhecer o nmero de vezes que cada uma das categorias da
varivel foi observada.
Frequncia absoluta F
i

obtm-se a partir da frequncia absoluta, dividindo cada frequncia
absoluta pelo nmero total de observaes, N.
Frequncia relativa, f
i

16
Tratamento de dados Qualitativos
Grfico de Barras
17
Grfico circular
Representao grfica de dados
Qualitativos
Grfico de Barras
uma representao dos dados em que se usam barras
separadas de igual largura, cuja altura proporcional frequncia ( absoluta
ou relativa) que corresponde a cada valor ou categoria que a varivel assume.

Grfico Circular
Representa os dados num crculo dividido em sectores circulares cuja rea ( e
o ngulo ao centro correspondente) proporcional frequncia da
Categoria/ classe que representam.

18
Representao grfica de dados
Qualitativos
Dados Quantitativos: so dados que se conseguem medir, ou seja,
descrevem caractersticas numricas da populao. Utilizam-se para
estes dados as escalas intervalares ou de razo.
Discretos: Assumem um n finito de observaes ou infinito
numervel;
Contnuos: Assumem valores num intervalo ou sub-intervalo
real, tomando uma infinidade de valores;
19
Dados Quantitativos - mtricos
20
Dados Quantitativos - Escalas
Os valores assumidos pela varivel em estudo esto ordenados
estabelecendo-se ainda uma distncia entre os pontos da escala,
baseada na existncia de uma unidade de medida. A origem da
escala arbitrria.
Ex: temperatura, altitude;
Escala Intervalar
Nesta escala encontramos as mesmas caractersticas que na
escala intervalar, no entanto a origem fixa e o zero significa
ausncia ou nada.
Ex: altura, % de concentrao de um gs.
Escala Absoluta

Dados Discretos
A tabela de frequncias constri-se do mesmo modo que vimos para os dados
qualitativos onde se tinham as categorias, tem-se agora os diferentes
valores da varivel que surgem na amostra de observaes a tratar;
Dados Contnuos
Constroem-se classes e contam-se quantas observaes esto contidas
dentro de cada intervalo de classe, obtendo-se assim a coluna que
corresponde s frequncias absolutas, na tabela de frequncias.

21
Organizao de dados Quantitativos
Tabela de Frequncias
Tabela de frequncias dados discretos

ai

Valores distintos
na amostra
F
i

Frequncias
absolutas

Frequncias absolutas
acumuladas

f
i

Frequncias
relativas

Frequncias relativas
acumuladas

a1 F1 F1 f1 f1
a2 F2 F1+F2 f2 f1+f2

ai Fi fi
N 1
TOTAL N 1
22
Dados Quantitativos caso discreto
1
i
F
j
j
=
1
i
f
j
j
=
, 1,...,
i
i
F
f i k
N
= =
i
F
i
f
Exerccio 3: Dados Quantitativos Caso Discreto
Foram inquiridos 48 alunos de um curso do DEETC do perodo
diurno, relativamente sua idade, tendo-se obtido os seguintes
resultados:
DADOS BRUTOS
Idades 18 19 20 21 22 23
N alunos 15 15 7 4 3 4
23
Varivel em estudo: idade dos alunos inquiridos;
Tabela de frequncias dados agrupados

Idades F
i
f
i
18 15 15 15/48 0,3125
19 15 30 15/48
0,625
20 7 37 7/48

21 4 41 4/48
22 3 44 3/48
23 4 48 4/48
1
24
i
F i
f
Exerccio 5: Suponhamos que foi retirado da produo de uma fbrica um
conjunto de 30 lmpadas de 60 Watts. Foi realizado um teste durabilidade (em
horas) das lmpadas e os resultados obtidos esto registados no quadro
seguinte:
963,4 1175,9 1001,7 1198,2 1078,3 1065,4 1124,8 1083,8
1092,7 1143,8 1087,3 1114,1 1089,5 1133,5 1072,8 1003,4
922,0 1121,8 1142,0 950,1 1021,7 1052,1 987,2 1108,4
1099,3 1075,6 901,3 988,8 1074,1 1109,8
25
Varivel em estudo: nmero de horas que a lmpada funciona
at se fundir;
Dados Quantitativos Caso Contnuo

Para proceder ao agrupamento destes dados torna-se mais adequado a
construo de classes, dado que se utilizssemos as observaes e
construssemos uma tabela de frequncias iramos obter demasiados
casos diferentes, cujas frequncias relativas iriam ser muito baixas.

26
Dados Quantitativos caso contnuo
27
Dados Quantitativos caso contnuo
Agrupamento de dados em intervalos de classe:
mais indicado para variveis contnuas, quando o nmero de
valores assumidos pela varivel grande;
No existem normas muito rgidas para construir os
intervalos, no entanto podemos dar algumas indicaes:

Nenhuma classe deve ter frequncia nula;
Os limites das classes devem ser definidos de forma a que
cada observao seja includa num s intervalo e que
todos os elementos da amostra estejam includos em
algum intervalo;
> 25, N k N
em intervalos de classe
1) Ordenao dos dados;
2) Determinar a amplitude total: I = max (xi) min (xi)
3) Definio do nmero de classes, k:
Frmula de Sturges

Menor inteiro k tal que

Regra emprica

28
25 > N vem k N
25 5 s = N vem k
2
k
N >
10
Int[1 3,321928.log ( )] k N = +
> 25, N k N
em intervalos de classe
4) Amplitude das classes ( valor arredondado por excesso)
5) Metodologia para construo das classes:
Determinar: e considerar

29
I
a
k
>
1 (1)
2
e
c x =
1 1 1 1 2
2 2 2 2 3
1 1 ( )
] , ] ] , ]
] , ] ] , ]
] , ] ] , ], com
2
k k k a k k k N
C c c a c c
C c c a c c
e
C c c c c c x
+ + +
= + =
= + =
= = = +
. e k a I =
em intervalos de classe: exerccio 5
30
X:durabilidade das lmpadas em horas

Dados brutos Dados ordenados
Dimenso da amostra N=30
Amplitude da amostra I = 1198,20-901,3=296,9
N de classes k = 6
Amplitude da classe a=296,9/6=49,483 a=49,5
e=6.49,5-296,9=0,1
c1=901,3 (0,1/2)=901,25 (limite inferior da primeira classe)

> 25, N k N
Tabela de frequncias dados agrupados em
intervalos de classe: exerccio 5

classes
(ponto mdio classe)

F
i

f
i
]901,25; 950,75]
926
3 3/30
]950,75; 1000,25]
975,5
3 3/30
]1000,25; 1049,75]
1025
3 3/30
]1049,75; 1099,25]
1074,5
10 10/30
]1099,25; 1148,75]
1124
9 9/30
]1148,75; 1198,25]
1173,5
2 2/30
31
'
i
x
Histograma (dados quantitativos contnuos)
uma representao dos dados em que se marcam as classes no
eixo horizontal e as frequncias no eixo vertical (pode-se utilizar
qualquer frequncia). Desenham-se barras de rea proporcional
frequncia de cada classe. As barras so contguas.

32
Representao grfica dos dados
quantitativos contnuos
Cada um dos retngulos do histograma tem rea dada por (a x f
i
)
onde a representa a amplitude de cada um dos intervalos de classe
e f
i
representa a frequncia relativa da classe i.

Quando os intervalos de classe no tm todos a mesma amplitude,
a constante de proporcionalidade entre as reas dos retngulos e
as respetivas frequncias deixa de ser idntica para todos os
intervalos. Neste caso, o histograma deve ser construdo utilizando
para cada retngulo a altura f
i
/a
i.
33
Polgono de frequncias ordinrias (dados quantitativos
contnuos)
uma representao dos dados em que se une por
segmentos de reta todos os pontos cuja abcissa o centro
duma classe e a ordenada a frequncia dessa classe. Em
cada extremo coloca-se, habitualmente, uma classe
adicional de frequncia nula.

34
Polgono de frequncias acumuladas ou Ogiva
(dados quantitativos contnuos)
uma representao dos dados em que se une por
segmentos de reta todos os pontos cujas abcissas so os
limites superiores das classes e as ordenadas as
correspondentes frequncias acumuladas. esquerda
comea-se a unir no limite inferior da primeira classe que
tem ordenada zero.

35
Mdia
Com x
1
, x
2
,,x
N
, uma amostra com N observaes,

Dados no agrupados

Dados agrupados

=
=

1
N
i
i
x
x
N
=
=

1
.
, : n de valores distintos
j
i i
i
F a
x j
N
36
Medidas Descritivas localizao central
Mdia

Dados agrupados em intervalos de classe:

37
=
=

'
1
.
k
i i
i
F x
x
N
+
+
=
'
1
2
i i
i
c c
x
valor que representa a classe
ponto mdio do intervalo de classe

K: nmero de classes
Dados agrupados ou no agrupados
Mediana o valor da varivel que divide as observaes em duas
partes iguais. Considerando N observaes ordenadas por ordem
crescente:
Se o N mpar,

Se N par,

( ) ( ) ( )
s s s
1 2 N
x x ... x
| | | |
+
| |
\ . \ .
+
=
N N
1
2 2
x x
Me
2
38
+ | |
|
\ .
=
N 1
2
Me x

39
Dados agrupados ou no agrupados
Moda o valor da varivel a que corresponde a mais elevada
frequncia absoluta ou relativa ordinria.
A classe mediana aquela a que corresponde uma frequncia
absoluta (relativa) acumulada igual ou superior a N/2 , (1/2).

A classe modal aquela a que corresponde a frequncia
absoluta (relativa) de maior valor.
1.Distribuio Simtrica Mdia = Mediana = Moda

2. Distribuio Assimtrica positiva ou enviesada esquerda

Moda < Mediana < Mdia

3. Distribuio Assimtrica negativa ou enviesada direita

Mdia < Mediana < Moda
Graficamente:
40
2
1
3
Quantis:

41
Medidas Descritivas localizao no
central
( )
( ) ( 1)
[ ] 1
1
, . int
2
, . int
Np Np
p
Np
x x se N p eiro
Q
x se N p no eiro
+
+
( +
| |
. parte inteira de . N p N p
1/4
3/4
1
(1 , )
4
1
( )
2
3
(3 , )
4
p quartil Q
p mediana
p quartil Q
=
=
=
Quartis, Decis e Percentis

Existem 3 quartis:

Q
1
tambm se pode obter determinando a mediana do conjunto de
valores observados que fica esquerda da mediana;
Q
2
corresponde exatamente mediana;
Q
3
tambm se pode obter calculando a mediana do conjunto de
valores que fica direita da mediana;
42
Medidas Descritivas localizao no
central
43
Intervalo inter-quartis:

3/4 1/4
IQ Q Q =
Medida de disperso absoluta
mais resistente quando existe
grande variabilidade nos dados
Diagrama de extremos e quartis
Min
1/4
Q
1/2
Q Me =
3/4
Q
Mx
44
Diagrama de extremos e quartis - outliers

*

*

Me=Q
2

Outlier: valor superior a [Q
3/4
+1,5IQ)
(ou inferior a [Q
1
-1,5IQ])
Maior valor que no um outlier
Q
3

Menor valor que no um outlier
Extremo: valor superior a [Q
3
+3IQ]
(ou inferior a [Q
1
-3IQ])
Q
1
1
31

Varincia e Desvio padro
A Varincia uma medida da variabilidade dos valores das observaes
relativamente ao valor mdio. A varincia vem expressa em unidades ao quadrado,
sendo por isso utilizado a raiz quadrada do seu valor, o Desvio Padro.
45
Medidas Descritivas Disperso
Dados no agrupados

Varincia

Desvio padro
( )
2
2 2 2
1 1
1 1
N N
i i
i i
s x x x x
N N
= =
= =

( )
2
2
1
1
N
i
i
s x x s
N
=
= =
Varincia e Desvio padro corrigidos

46
Dados no agrupados Amostras de pequena dimenso

Varincia corrigida

Desvio padro corrigido
( )
2
2 2 2
1 1
1 1
1 1 1
N N
i i
i i
N
s x x x x
N N N
= =
'
= =

( )
2
2
1
1
1
N
i
i
s x x s
N
=
' '
= =

Dados agrupados
varincia

varincia corrigida
= =
= =

2 2
2 2
1 1
( )
j j
i i i i
i i
a x F Fa
s x
N N
47
: n de valores distintos j
= =
'
= =

2 2
2 2
1 1
( )
1 1 1
j j
i i i i
i i
a x F Fa
N
s x
N N N
Nota: Se os dados estiverem agrupados em intervalos de classe no
lugar de ficar o valor que representa a classe e em vez de j
tem-se k, o n de classes.
i
a '
i
x
Coeficiente de variao medida de disperso relativa
Utiliza-se frequentemente quando o objetivo proceder a um
estudo comparativo das disperses de dois conjuntos de
observaes expressas em diferentes unidades de medida.

Nota: Quando se pretende comparar a disperso dos valores observados em duas
amostras, com mdias amostrais realmente diferentes, devem comparar-se os
coeficientes de disperso (medida de disperso relativa) e no os desvios padro.

'
= 100%
s
cv
x
48
49
Medidas de Assimetria

Coeficiente de assimetria: mede o desvio que a distribuio de
frequncias apresenta relativamente recta vertical que passa
pela abcissa correspondente ao valor da mdia aritmtica.

Medidas de Achatamento ou Kurtosis
Coeficiente de achatamento: mede o grau de achatamento duma
curva simtrica, tendo como padro a curva da distribuio
normal, cujo valor de achatamento 3.
Medidas Descritivas Assimetria e
Achatamento
A assimetria a falta de simetria do histograma, ou da
curva de frequncias, em relao reta vertical que passa
pela abcissa correspondente mdia aritmtica.

As medidas de assimetria sintetizam o enviesamento, a
deformao ou a assimetria de uma distribuio.
50
Medidas Descritivas Assimetria
O coeficiente de assimetria permite medir o grau
de assimetria, que tanto mais acentuado quanto
mais elevados so os valores absolutos do
coeficiente de assimetria.
51
( )

= =
'

3
3
3
3
.( )
, com
i i
i
a
i
i
F x x
m
C m
s
F
Coeficiente de assimetria baseado nos
momentos

C
a
< 0 : distribuio assimtrica negativa

C
a
= 0 : distribuio simtrica

C
a
> 0 : distribuio assimtrica positiva

52
Medidas Descritivas Assimetria
O achatamento de uma distribuio refere-se intensidade das
frequncias nos valores vizinhos dos valores centrais.

As medidas de achatamento ou curtose medem o grau de
afunilamento, ou de achatamento de uma curva simtrica, em
relao curva normal ( simtrica em relao recta vertical que
passa pelo ponto mdio).
53
Medidas Descritivas Achatamento

O coeficiente de curtose baseado nos momentos uma
medida de achatamento relativa:

54
( )

= =
'

4
4
4 4
( )
, com
i i
i
cr
i
i
F x x
m
C m
s
F

C
cr
< 3 : curva platicrtica
(mais achatada que a curva da distribuio normal)

C
cr
=3 : curva mesocrtica
(o achatamento igual ao da curva da distribuio normal)

C
cr
> 3 : curva letocrtica
(menos achatada do que a curva da distribuio normal)

55

Estatística - Descritiva OUTLIER

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Estatística - Descritiva OUTLIER

Uploaded by

Copyright:

Available Formats

Estatstica Descritiva e Anlise Exploratria

Varincia e Desvio padro corrigidos

You might also like