Aprendizagem de Mquina

Avaliao de Paradigmas
Alessandro L. Koerich
Mestrado/Doutorado em Informtica
Ponti f ci a Uni ver si dade Catli ca do Par an (PUCPR)
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 2 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Introduo
Vimos anteriormente muitos algoritmos de
aprendizagem
A pergunta que sempre se faz :
Qual deles o melhor?
Pode existir uma preferncia por aqueles de
menor complexidade computacional, ou que
levam em conta algum conhecimento a priori da
forma dos dados, etc.
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 3 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Introduo
Entretanto, quando isso no importa...
Existem razes para escolher um algoritmo em
relao a outros?
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 4 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Introduo
Quando temos dois algoritmos que possuem a
mesmo desempenho sobre um conjunto de
exemplos de treinamento:
Escolhemos sempre o mais simples, pois ele deve
apresentar um desempenho melhor sobre um
conjunto de exemplos de teste!
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 5 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Introduo
Entretanto, a maneira utilizada para avaliar o
desempenho de algoritmos de aprendizagem :
Avaliar o erro (ou acerto) em exemplos fora do
conjunto de exemplo de treinamento!
Ou seja, sobre um Conjunto de Exemplos de
Testes.
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 6 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Avaliao de Desempenho
Para que avaliar desempenho (generalizao)?
1. Para verificar se o algoritmo possui um
desempenho bom o suficiente para ser til
2. Para comparar seu desempenho com o de
outros algoritmos
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 7 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Instabilidade
Um algoritmo de aprendizagem pode ser
considera instvel se:
uma pequena alterao nos dados de
treinamento levar a classificadores
significativamente diferentes e mudanas
relativamente grandes na preciso
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 8 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Mtodo da Validao Cruzada
Particionar aleatoriamente o conjunto de dados em
trs partes
Passo 1: Define pelo menos trs conjuntos disjuntos:
1. Conjunto de exemplos de treinamento
2. Conjunto de exemplos de validao
3. Conjunto de exemplos de teste
Passo 2: Utiliza o Conjunto de Treinamento para fazer
a aprendizagem do algoritmo. Utiliza o Conjunto de
Validao para verificar a generalizao do algoritmo
(ajustar os parmetros).
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 9 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Mtodo da Validao Cruzada
Passo 3: Depois do algoritmo treinado, avalia
sua generalizao sobre o Conjunto de Testes.
OBS 1: O Conjunto de Testes no pode ser utilizado
para ajustar parmetros!
OBS 2: Cuidar com a distribuio de exemplos por
classe que compem os conjuntos. Probabilidades a
priori diferentes!
OBS 3: Mtodo melhor adaptado a grandes
conjuntos de dados.
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 10 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Mtodo da Validao Cruzada
Como calcular o desempenho?
1. Taxa de acerto (%):
Num. Exemplos Classif. Corretamente
Num Total de Exemplos
2. Taxa de erro (%):
Num. Exemplos Classif. Incorretamente
Num Total de Exemplos
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 11 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Mtodo da Validao Cruzada
Como calcular o desempenho mdio e
varincia?
1. Treinar n vezes o algoritmo (diferentes
parmetros)
2. Avaliar os n algoritmos treinados (taxa de
acerto)
3. Calcular a taxa de acerto mdia
4. Calcular a varincia
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 12 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Mtodo Validao Cruzada n-Fold
Chamado de n-fold cross validation
uma generalizao do mtodo validao
cruzada
Passo 1: O conjunto de dados de tamanho n (n
exemplos) dividido em mconjuntos disjuntos
de tamanho n/m
Passo 2: O algoritmo treinado mvezes, cada
vez com um conjunto diferente sendo deixado
de fora para fazer a validao.
Mestrado/Doutorado em Informtica Aprendizagem de Mquina 13 Alessandro L. Koerich (alekoe@ppgia.pucpr.br)
Mtodo Validao Cruzada n-Fold
Passo 3: O desempenho estimado como sendo
o erro mdio ou taxa de acerto mdia sobre
estes mconjuntos de validao.
Tambm chamado de Leave-one-out