You are on page 1of 3

L. A. Passos Jr., Utilizando PSO na otimizao de Perceptron, Junho 2013.

Utilizando PSO na otimizao de Perceptron


Leandro Ap. Passos Jr., Cincias da Computao, UNESP

Abstract the aim of this paper is to demonstrate the results on usingm PSO to find the best learning rate to be used with multi-outputs perceptron to classify a database. Index Terms Neural Networks, Perceptron, Particle Swarm Optimization.

III. PSO Particle Swarm Optimization, ou Otimizao por Enxame de Partculas um algoritmo baseado no comportamento social de indivduos que interagem entre si e com o ambiente. Nele o conjunto de indivduos pode ser imaginado como um enxame de insetos ou pssaros que voa em busca de alimento ou abrigo. Cada indivduo se baseia no seu prprio sucesso em iteraes passadas e no sucesso obtido pela sua vizinhana para se avaliar, comparando-se com o melhor vizinho. O sucesso de cada um definido por uma funo de aptido. No caso abordado, a funo de aptido ser o resultado obtido a partir de execues de uma rede perceptron. Como parmetros de entrada, o algoritmo recebe o nmero mximo de iteraes, duas constantes de acelerao e um valor mnimo e mximo de velocidade. Como sada, temos os melhores valores encontrados pelo enxame de partculas.

I.

INTRODUO

ERCEPRTON foi uma das primeiras idias baseadas em Redes Neurais Artificiais. Estas redes fazem parte de uma rea da computao conhecida como biocomputing ou computao inspirada pela natureza. Ela visa observar o comportamento de fenmenos naturais e, baseado nestas observaes, modelar ferramentas para solues de problemas. PSO, sigla para Particle Swarm Optimization , Otimizao por Enxame de Partculas em portugus, uma tcnica de otimizao baseada em comportamento de enxames de insetos e outros animais, e assim como as Redes Neurais, faz parte dos da rea de computao inspirada pela natureza. Neste trabalho utilizaremos a rede neural do tipo Perceptron para resolver problemas de classificao de dados, e utilizaremos a tcnica de PSO para encontrar a melhor taxa de aprendizagem a ser usada nessa rede, a fim de otimizar este algoritmo.

IV. ALGORITMO UTILIZADO O algoritmo utilizado na funo de aptido o perceptron de uma nica camada com mltiplas sadas. A parte principal do algoritmo de treinamento segue na imagem a seguir, escrito em Java. O restante do cdigo ser anexado ao trabalho.
CODIGO FONTE TREINAMENTO PERCEPTRON

II. PERCEPTRON Perceptron um algoritmo simples baseado em redes neurais utilizado para classificar determinado tipo de dado. Este algoritmo recebe como entradas uma matriz contendo um vetor de caractersticas de cada amostra de um grupo de dados usados para treinamento e vetor de sadas esperadas (ou uma matriz, caso haja mais de uma sada esperada). Para cada amostra de entrada, o algoritmo vai ajustar seus pesos para obter o valor esperado, contido no vetor de sadas. Neste processo, alguns parmetros devem ser adotados, como o critrio de sada, o numero Maximo de iteraes e taxa de aprendizado. No trabalho, a taxa de bias inicial adotada sempre igual a um, todos os pesos so inicializados com o valor de zero e o critrio de sada alcanar o numero mximo de iteraes. Para encontrar a melhor taxa de aprendizado, utilizaremos o algoritmo de otimizao PSO. O algoritmo PSO utilizado para encontrar os melhores valores de taxa de aprendizado para esse perceptron, por isso

L. A. Passos Jr. is with the Universidade Estadual Paulista Julio Mesquita Filho, So jos do Rio Preto / Bauru / Rio Claro, SP Brazil (email:leandropassosjr@hotmail.com).

PDF criado com pdfFactory Pro verso de avaliao www.pdffactory.com

L. A. Passos Jr., Utilizando PSO na otimizao de Perceptron, Junho 2013. tem o mesmo como funo de aptido. O trecho principal segue abaixo, e o restante tambm ser anexado ao trabalho.
1 EXECUO Tempo 1 1 CODIGO FONTE PSO 1 1 18 Partcula Taxa Aprendizagem 0 0.73810 3 0.02867 6 0.07898 28 0.04004 17 0.07117 Mdia de Acertos 5 59 60 62 63

TAXA APRENDIZAGEM = 0.07117 Esperado/Obtido Setosa Versicolor Virginica Setosa 24.66 0.1 0.0 Media: 61.54 Desvio Padro: 18.816 Versicolor 0.34 15.49 3.61 Virginica 0.0 9.41 21.39

ERRO QUADRATICO
TAXA APRENDIZAGEM = 0.07117
Erro Quadratico 60,000 50,000

V. IMPLEMENTAO Na implementao do perceptron, classificaremos a base de dados Iris, disponvel em http://archive.ics.uci.edu/ml/datasets/Iris . O algoritmo deve ser treinado utilizando 50% das amostras (75) e testado utilizando as 75 amostras restantes, que devem ser classificadas como Iris Setosa, Iris Virginica e Iris Versicolor. Em cada iterao do algoritmo PSO, para cada partcula, o algoritmo perceptron executado 50 vezes, com 50 iteraes em cada execuo. A partir destas execues, retornado um valor mdio de acertos para o algoritmo PSO, que o valor utilizado para medir a aptido dos indivduos. O numero de iteraes igual a 100 e o nmero de indivduos igual a 30. Nos testes executados o algoritmo executado 3 vezes. Encontradas as 3 melhores taxas de aprendizado, o algoritmo perceptron executado novamente para cada um desses 3 valores de taxa de aprendizado. Dessa vez o algoritmo executado 100 vezes com nmero de iteraes igual a 100 tambm, e nos resultados mostraremos a mdia e o desvio padro obtidos, alm de uma tabela com as mdias de acertos e erros de classificao e um grfico com a plotagem do erro quadrtico obtido durante a execuo.

40,000 30,000 20,000 10,000 0,000 0 10 20 30 40 50 60 70 80 90 99

2 EXECUO Tempo 1 1 1 6 55 Partcula Taxa Aprendizagem 0 0.73897 1 0.25779 7 0.07228 3 0.04687 15 0.04821 Mdia de Acertos 8 56 61 62 63

TAXA APRENDIZAGEM = 0.04821

Esperado/Obtido Setosa Versicolor Virginica

Setosa 24.72 0.03 0.0 Media: 62.25

Versicolor 0.28 15.37 2.84

Virginica 0.0 9.6 22.16

VI. RESULTADOS A seguir, sero demonstrados os resultados obtidos em 3 execues do PSO, e os valores obtidos executando a rede Perceptron com o valor obtido como melhor taxa de aprendizagem:

Desvio Padro: 19.072

PDF criado com pdfFactory Pro verso de avaliao www.pdffactory.com

L. A. Passos Jr., Utilizando PSO na otimizao de Perceptron, Junho 2013.


ERRO QUADRATICO
TAXA APRENDIZAGEM = 0.04821
Erro Quadratico 60,000 50,000 40,000 30,000 20,000 10,000 0,000 0 10 20 30 40 50 60 70 80 90 99

semelhantes, pois houve freqncia de confuso entre as duas classes pelo classificador, diferente da Setosa, que no geral foi classificada por unanimidade, continua intacta.

REFERENCIAS
[1] [2] BREVE, Fabrcio Notas de Aula, 2013. PASSOS JR., Leandro A., Perceptron, 2013.

3 EXECUO Tempo 1 1 1 1 1 1 8 Partcula Taxa Aprendizagem 0 0.60067 2 0.00602 8 0.26510 11 0.20301 13 0.13702 28 0.11371 27 0.02905 Mdia de Acertos 33 53 57 59 60 61 62

TAXA APRENDIZAGEM = 0.02905

Esperado/Obtido Setosa Versicolor Virginica

Setosa 24.91 0.06 0.0 Media: 62.14

Versicolor 0.09 14.54 2.31

Virginica 0.0 10.4 22.69

Desvio Padro: 19.031

ERRO QUADRATICO
TAXA APRENDIZAGEM = 0.02905
Erro Quadratico 60.000,000 50.000,000 40.000,000 30.000,000 20.000,000 10.000,000 0,000 0 10 20 30 40 50 60 70 80 90 99

VII. CONCLUSO Pudemos observar que a mdia de acertos quando utilizamos PSO para otimizar a taxa de aprendizagem foi ligeiramente maior que as obtidas em [2], obtendo um ganho de cerca de 1,5% de acertos, com desvio padro similar. A concluso obtida em [2] de que dentre os indivduos da base Iris, as classes Versicolor e Virgnica so mais

PDF criado com pdfFactory Pro verso de avaliao www.pdffactory.com

You might also like