GRADIENTE EVOLUTIVO: UM NOVO MÉTODO DE TREINAMENTO PARA REDES
NEURAIS TIPO MLP
Celso Pascoli Bottura1 and César Daltoé Berci2
1
UNICAMP, CAMPINAS, BRASIL, cesardaltoe@hotmail.com
2
UNICAMP, CAMPINAS, BRASIL, cpbottura@fee.unicamp.br
Resumo
A utilização de algoritmos genéticos no treinamento de
redes neurais artificiais não é um assunto novo, várias ten-
tativas já foram realizadas neste sentido obtendo bons re-
sultados, porém não competitivos para problemas onde o
gradiente do erro é bem definido. O presente documento
propõe uma alternativa ainda inexplorada para aplicação
desses algoritmos no treinamento de redes neurais, utilizando
AG(Algoritmos Genéticos) para evoluir o processo de treina-
mento da rede e não o seu resultado, conseguindo com isso
resultados bastante superiores a outras propostas e tornando
o método proposto competitivo com técnicas procedurais de
otimização, usualmente utilizadas no treinamento de redes
neurais.
Keywords: Algoritmos Genéticos, Método do Gradiente,
Treinamento de Redes MLP
1. INTRODUÇÃO
Redes neurais artificiais representam um paradigma com-
putacional originalmente inspirado no que se conhece a re-
speito do modo de funcionamento do cérebro humano e de
outros animais. Esta inspiração visa emular uma série de
propriedades observadas no processamento biológico da in-
formação realizado no cérebro, muito atrativas do ponto de
vista computacional por apresentarem soluções rápidas para
problemas bastante complexos de serem tratados através de
métodos mais convencionais. Dentre as principais caracterís-
ticas do processamento biológico computacionalmente rele-
vantes, as seguintes podem ser mencionadas [9]:
• Robustez e tolerância a falhas. O cérebro humano
possui um número muito elevado de neurônios ampla-
mente interconectados, formando uma complexa rede
de processamento onde o neurônio é unidade princi-
pal, e mesmo perdendo milhares destas unidades, a rede
pode continuar em operação sem perder nenhuma de
suas funcionalidades.
• Flexibilidade. Estamos sujeitos a grandes variações am-
bientais e comportamentais, porém, jamais é preciso re-
programar o cérebro, que devido a sua flexibilidade as-
simila novos cenários de operação e se adapta a eles.
• Possibilidade de trabalhar com informações nebulosas,
ruidosas, probabilísticas e inconsistentes. Apesar de ser
possível implementar métodos procedurais para tratar a
grande parte dessas informações, esta sem dúvida não
é uma tarefa trivial, e exige um grande conhecimento e
habilidade daquele que se aventura por esse caminho. A
computação biológica, por outro lado, tem a capacidade
intrínseca de tratar essa tipo de informação.
• Paralelismo. A implementação de redes neurais artifi-
ciais em computadores digitais obviamente leva a perda
dessa propriedade, porém, em uma máquina ideal que
melhor represente um sistema de processamento bi-
ológico, a informação é processada simultaneamente
em todos os neurônios, o que proporciona um par-
alelismo intrínseco a esse tipo de sistema, conferindo-
lhe uma grande eficiência, mesmo suas unidades fun-
damentais sendo mais lentas que as de um computador
digital, essencialmente seqüencial.
Outro método computacional, também bio-inspirado, são
os algoritmos genéticos, baseados no trabalho de Charles
Darwin, mais precisamente em seu livro The Origin of
Species [6]. O filosofo Daniel Dennett grande defensor das
terias de Darwin, apresenta em seu livro: Darwin’s Danger-
ous Idea: Evolution and the Meanings of Life [7], uma visão
de engenharia da teoria da evolução, e é atualmente umas das
obras mais influentes sobre o assunto.
Estes algoritmos são baseados em processos evolutivos
biológicos para encontrar soluções ótimas e sub-ótimas para
problemas computacionais. Um caso usual de aplicação é a
otimização de funções, onde os algoritmos genéticos podem
ser vistos como uma ferramenta de otimização global multi
objetivo, que encontra extremos de funções através de uma
meta meta-heurística bio-inspirada.
O problema de otimização se estende a várias áreas das
ciências exatas, sendo uma delas a otimização dos pesos
sinápticos e polarizações de uma rede neural artificial, dora-
vante referidos apenas como parâmetros da rede. O processo
de se otimizar esses parâmetros é conhecido também como
treinamento da rede, pois nele a mesma é treinada para re-
conhecer um determinado padrão relacionando sua entrada e
saída, donde diz-se que a rede aprendeu um comportamento.
Esse treinamento geralmente se dá através de métodos it-
erativos de otimização, baseados no gradiente da superfície
de erro da rede neural, calculado através do algoritmo back-
propagation [14, 15]. Dentre os métodos mais eficientes para
treinamento de redes neurais, pode-se citar o método quasi-
Newton: BFGS [1] e o método de direções conjugadas: Gra-
diente Conjugado Escalonado [11, 12].
Uma maneira alternativa de se realizar a otimização dos
parâmetros de uma rede neural, é a utilização de métodos
meta-heurísticos de otimização, como os algoritmos genéti-
cos e algoritmos baseados em inteligência coletiva. Vários
pesquisadores vem utilizando esses algoritmos diretamente
no ajuste dos parâmetros da rede [13, 16, 17], visando com
isso encontrar um ponto de otimalidade da superfície de
erro. Existem também propostas que buscam otimizar não
somente os pesos sinápticos e polarizações da rede, como
também outros parâmetros como sua topologia [4, 8], ten-
tando com isso encontrar uma rede que melhor se adapte aos
dados utilizados no seu treinamento.
Apesar dos algoritmos genéticos representarem uma fer-
ramenta de grande poder computacional, treinar uma rede
neural utilizando esse método, apesar de gerar bons resulta-
dos, não oferece a mesma eficiência do que métodos deter-
minísticos de otimização, que geralmente produzem resulta-
dos melhores com relação a taxa de convergência, visto que
estes utilizam um maior conhecimento a respeito do prob-
lema, oriundo de informações de ordem 1 e 2 a respeito da
superfície de erro.
O presente documento, introduz um novo conceito de
otimização via algoritmos genéticos para treinamento de re-
des neurais, onde é utilizado um gradiente evoluído, e passos
são dados na direção desse gradiente. Esta proposta faz uso
da capacidade exploratória dos algoritmos genéticos, unida
a eficiência de métodos determinísticos de otimização, al-
cançando resultados superiores do que aqueles obtidos por
ambas as técnicas quando utilizadas separadamente.
2. APRENDIZADO DE REDES NEURAIS
Redes neurais artificiais, são dispositivos com a capaci-
dade universal de aproximação, utilizadas para assimilar ma-
peamentos, com base em uma cadeia de neurônios artifi-
cias interconectados. De maneira matematicamente formal, a
saída de uma rede neural pode ser expressa como uma função
não linear de sua entrada da seguinte forma:
y = F(x, θ) (1)
onde θ é um vetor de parâmetros da rede contendo empilha-
dos os valores dos pesos sinápticos e as polarizações.
A priori não é possível determinar um vetor de parâmetros
θ de forma tal que a rede expresse corretamente qualquer
mapeamento y = H(x), portanto, é necessário treinar a rede
para representar o mapeamento desejado.
Este processo de aprendizagem da rede é em geral iter-
ativo, pois não se tem meios para calcular um vetor θ ade-
quado analiticamente, e visa aumentar a adaptação da rede
ao mapeamento desejado a cada iteração, também chada de
época do treinamento. Para tanto é definido um erro para
a saída da rede, que expressa a diferença entre o estado at-
ual do seu treinamento e um estado desejado. Uma possível
definição para o erro da rede pode ser a seguinte:
e = (H(x) − F(x, θ)) (2)
onde H é o mapeamento que se deseja assimilar pela rede
neural.
Este erro cria uma superfície no espaço RN , onde N é a
dimensão do vetor θ, portanto o processo de treinamento da
rede neural pode ser visto como a minimização da superfície
de erro com relação a θ, onde iterativamente se locomove por
esta superfície em direção a um mínimo local.
Vários métodos de aprendizado são propostos na liter-
atura de redes neurais, incluindo métodos meta-heurísticos
de otimização como os algoritmos genéticos aqui utilizados,
porém sem grande expressão devido a diferença de eficiência
existente entre estes métodos e procedimentos de otimização
determinísticos que levam em conta maior informação sobre
a superfície de erro acarretando em aprendizado mais rápido
da rede.
3. ALGORITMOS GENÉTICOS
Algoritmos genéticos são essencialmente métodos de
busca cega podendo ser estes aplicados à otimização de fun-
cionais, inspirados na evolução de processos naturais, prin-
cipalmente na teoria da seleção natural proposta por Darwin
[6].
Sistemas baseados neste princípio tem certas vantagem
sobre métodos convencionais de otimização, quando aplica-
dos a problemas muito complexos, com espaços de busca
muito grandes, sendo de difícil modelagem matemática, e
conseqüente obtenção do vetor gradiente do problema.
Para aplicar processos naturais de evolução em problemas
de otimização, codifica-se cada possível solução do problema
como sendo um cromossomo, que representa um individuo
da população e baseado na adaptação de cada cromossomo
fitness, aplica-se à população regras de seleção, reprodução
e mutação, obtendo assim, ao final do processo, indivíduos
melhor adaptados ao problema, ou seja, soluções melhores
para o problema de otimização.
4. O GRADIENTE EVOLUTIVO
São encontradas na literatura, algumas propostas de uti-
lização de algoritmos genéticos na otimização da superfí-
cie de erro da rede neural. Este processo é em geral mais
oneroso do ponto de vista do custo computacional1 , e os re-
sultados pobres com relação a taxa de convergência, quando
1 Entende-se aqui por custo computacional de um procedimento, o
número de operações de soma e multiplicação necessários para realização
deste
comparado a métodos convencionais de otimização baseados
no gradiente do erro.
Tendo em vista este cenário, o presente documento, ap-
resenta uma solução alternativa inspirada no trabalho de
Chalmers The Evolution of Learning: An Experiment in
Genetic Connectionism[5], que aplicou processos evolutivos
para tentar evoluir o aprendizado de redes neurais de uma
única camada, ao invés de tentar evoluir apenas a solução
deste processo como é usual.
No método EG: Gradiente Evolutivo, os algoritmos
genéticos são utilizados no processo de treinamento não para
otimizar os pesos sinápticos, e sim o processo de otimização,
evoluindo o vetor gradiente.
4.1. Codificação
O algoritmo genético introduzido no algoritmo hibrido
EG, utiliza uma população de np indivíduos, com uma codi-
ficação real (não binaria) descrita a seguir:
• Cromossomos: Vetores contendo valores reais perten-
centes ao espaço RN
• Fitness: exp (−αe(x, θ − p)) onde α é um parâmetro a
ser ajustado, e p é um cromossomo.
• Seleção: Roleta e Elitista.
• Reprodução: Método matricial [2] baseado no sube-
spaço gerado pelos vetores pais.
• Mutação: Mutação Gaussiana, onde soma-se um ve-
tor aleatório (com distribuição retangular) de norma pe-
quena ao cromossomo, a fim de introduzir um pertur-
bação.
Nesta codificação, são escolhidos nrep pares para repro-
dução através de um mecanismo de roleta, onde nrep ∈
[1, np ] é número aleatório, o restante da população np − nrep
é escolhida de forma elitista, visando com isso preservar a
melhor solução, bem como preservar a diversidade da popu-
lação.
4.2. Algoritmo EG
Neste algoritmo utiliza-se um método de descida do gra-
diente, onde passos são dados na direção de um pseudo-
gradiente calculado com base em um algoritmo genético:
AG, préviamente discutido.
A cada iteração do algoritmo, dado um vetor de parâmet-
ros θi , uma nova população de inmdivíduos é criada em torno
da origem do espaço RN , e então inicia-se o a evolução
destes via algoritmo genético por ni gerações, o qual retorna
uma direção de descida evoluída gi sub-ótima, que minimiza
o erro com relação ao parâmetro θi + gi . Feito isso, é calcu-
lado um novo vetor de parâmetros θi+i = θi + gi , através de
um passo unitário na direção gi . Esse processo é repetido até
que um critério de parada tenha sido atendido.
É possível ainda, inserir na população inicial um vetor
gradiente calculado via Backpropagation. Isso irá propor-
cionar em muitos casos uma condição inicial ainda melhor o
algoritmo genético, podendo aumentar a taxa de convergên-
cia do algoritmo. Porém, esse não é um requisito para apli-
cação do método, que pode ser utilizado mesmo quando não
se pode calcular o gradiente do erro, como é o caso em [2, 3],
onde não se tem referência direta da saída desejada da rede
para realizar a retropropagação do erro.
A seguir é mostrado o algoritmo EG para treinamento de
redes neurais.
Determinar np , ni , nmax ;
Inicializar θ;
for i=1 to nmax do
Calcular g0 pela retropropagação do erro, ou
simplesmente fazer g0 = 0;
Evoluir o gradiente g = AG(np , ni , g0 ) ;
θi+1 = θi − g
end
Algorithm 1: Evolving Gradient
5. EXEMPLOS E COMPARAÇÕES
Com a intensão de determinar a eficiência relativa do
método proposto, quando comparado com outros métodos
de treinamento de redes neurais, foram formulados alguns
exemplos de aplicação de redes neurais, a fim de avaliar o
processo de treinamento da rede com relação exclusivamente
a sua taxa de convergência.
A fim de formar uma base consistente de comparação, são
considerados neste documento, dois métodos quasi-Newton,
dois métodos de direções conjugadas e um método de de-
scida do gradiente, todos descritos a seguir:
• GRAD: Gradiente Ótimo [10]: Método de descida do
gradiente com convergência superlinear.
• DFP: Davidon Fletcher Powell [10]: Método quasi-
Newton com convergência quadrática.
• BFGS:Broyden Fletcher Goldfarb Shanno [1]: Método
quasi-Newton com convergência quadrática e maior ro-
bustez ao mal condicionamento dos dados quando com-
parado ao método DFP.
• FR: Fletcher Reeves [1]: Método de direções conju-
gadas com convergência n-passos quadrática.
• SCG: Scaled Conjugated Gradient[12]: Método
de direções conjugadas com convergência n-passos
quadrática, porém, não utiliza cálculos de buscas unidi-
mensionais, o que o torna computacionalmente menos
oneroso, sendo atualmente considerado o método mais
rápido para o treinamento de redes neurais.
O processo de busca unidimensional utilizado neste docu-
mento é o método da sessão áurea, aplicado por 30 iterações
sobre o intervalo inicial.
A seguir são definidos os problemas aqui propostos para
as comparações em questão.
5.1. Corrente Em Motores de Indução
Teoricamente a corrente de um motor de indução trifásico
pode ser facilmente calculada com base em sua tensão e
potência, como mostra a equação (3).

P
I=√ (3)
3V η
onde P e V representam a potência e tensão do motor
respectivamente.
A variável η da equação (3) leva em conta vários fatores
construtivos do motor, bem como fatores de operação como
a sua condição de carga. Dessa forma, claramente não se
dispõe de meios para determinar com precisão esta variável,
e conseqüentemente, não é possível o calculo exato da sua
corrente.
O problema em questão propõe a utilização de uma rede
neural para estimar o valor dessa corrente, com base na
potência, tensão e rotação do motor, através de uma rede
MLP com 3 neurônios em sua camada sensorial e 1 neurônio Figura 2 – Treinamento da Rede
em sua camada de saída.
O conjunto de treinamento utilizado na assimilação desse
mapeamento, consiste em 300 amostras obtidas diretamente
de catálogos de fabricantes, que por sua vês baseiam-se em
ensaios práticos para obtenção desses valores. As amostras
utilizadas incluem motores que encontram-se nas seguintes
faixas de valores:

• Potência: 0.1 a 330 KW.

• Rotação: 600,900,1200,1800 e 3600 rpm.

• Tensão: 220, 380 e 440 V.

• Corrente: 0.3 a 580 A.

Em um primeiro teste, visando determinar a eficiência rela-

tiva entre o método proposto e os métodos previamente cita-
dos, foi utilizada uma rede neural contendo 3 neurônios em
sua camada intermediaria, tendo assim a seguinte configu-
ração: 3-3-1. O resultado do treinamento da rede pode ser
visualizado nos gráficos que seguem.
Figura 1 – Treinamento da Rede
Dada a característica estocástica do método proposto, os
gráficos mostram o comportamento médio deste para um to-
tal de 20 repetições.
O método proposto apresentou resultados bastante superi-
ores para o problema em questão, em comparação aos méto-
dos determinísticos avaliados. Uma outra análise relevante,
é comparar o resultado do treinamento da rede pelo método
EG e pela utilização do algoritmo genético diretamente na
obtenção do vetor θ ótimo.
Para realização desta análise, consideremos um algoritmo
genético, GA, implementado com o mesmo número de in-
divíduos com que o foi o método proposto EG. Este algo-
ritmo genético é então aplicado ao problema em questão por
100 gerações na busca do vetor de parâmetros ótimo. Por
outro lado, o algoritmo EG, é aplicado por apenas 5 épocas,
porém, realizando 20 gerações por época, o que confere a
ambos os métodos, exatamente o mesmo número de ger-
ações, e como estes tem ainda a mesma implementação com-
putacional, pode-se realizar uma análise comparativa bas-
tante consistente.
O resultado médio de 20 repetições de ambos os proces-
sos de treinamento, podem ser visualizados na Figura 3:

Figura 3 – Treinamento da Rede: EG × GA
Nota-se claramente na Figura 3 que o método proposto
apresentou resultados superiores ao algoritmo genético para
o caso em tela.
Outra análise bastante relevante neste estudo, é a veri-
ficação das diversidades de ambas as populações, tanto no
algoritmo EG quanto no algoritmo GA. A análise conjunta
dos resultados anteriores com a diversidade das populações,
provê um entendimento mais preciso e maduro do processo
de busca.
A métrica escolhida neste documento para avaliar a diver-
sidade da população, é a variância do fitness dos indivíduos.
A Figura 5 mostra o valor médio das diversidades de ambas
as populações para cada geração e/ou época do processo de
treinamento.
Figura 4 – Diversidade das Populações
Fica claro na Figura 3 a superioridade do algoritmo pro-
posto com relação a preservação da diversidade da população
com relação ao algoritmo genético, que apresenta um perda
gradual de diversidade durante o processo de treinamento.
Apesar de conseguir proporcionar uma significante re-
dução do erro médio quadrático da rede a cada iteração, o
algoritmo proposto é bastante oneroso do ponto de vista com-
putacional, dado que um processo de evolução deve ser com-
pletado a cada época do treinamento. Dessa forma, a ex-
ecução do algoritmo pode tornar-se bastante lenta, depen-
dendo das escolhas feitas em sua implementação.
Em [12], o autor comprova a superioridade do método
SCG sobre os outros aqui métodos analisados, este fato
decorre diretamente da necessidade da maioria dos métodos
determinísticos de executarem buscar unidimensionais, que
tem um custo computacional O(N 2 ) por iteração, tornando
o processo final bastante oneroso. Assim, o método SCG ap-
resenta um custo computacional: O(N 2 ) por iteração, o que
é muito inferior a aos métodos GRAD, DFP, BFGS e FR que
possuem um custo computacional O(31N 2 )2 .
O método proposto por sua vez, apresenta um custo to-
tal O(ni np N 2 ), que pode se tornar bastante superior aos
outros métodos dependendo da escolha de ni e np . A ráp-
ida convergência do método, por outro lado, tente a equi-
librar este alto custo computacional, garantindo a viabili-
dade do algoritmo. A Figura 5 ilustra um comparativo sim-
ples da evolução temporal do método do gradiente conju-
gado escalonado e o método do gradiente evolutivo, para a
configuração da rede: 3-9-9-1 contendo duas camadas inter-
mediárias. Para o método SCG foram realizadas 500 épocas
enquanto que para o método EG foram apenas 5 épocas,
visando com isso compensar a diferença de custo computa-
cional.
Figura 5 – Evolução temporal do treinamento
Dessa forma, o método proposto neste documento, apesar
de computacionalmente oneroso, tem uma convergência bas-
tante acelerada, e em alguns casos essa característica com-
pensa o alto custo computacional, como na situação mostrada
na figura 5. A característica de estocasticidade presente no
método proposto e também na inicialização do treinamento,
impede que se conclua que o algoritmo EG é mais rápido que
o método SCG, porém, deste resultado pode-se afirmar que o
método EG, é competitivo em relação a outras propostas, do
ponto de vista da eficiência computacional do treinamento.
2 Este valor é atribuído ao fato da busca linear realizar 30 iterações a cada
iteração do método de treinamento
 5.2. Aproximação de Curvas Outra característica vantajosa ao método proposto, é o
fato de que o este permite uma implementação paralela, dev-
Neste exemplo foi utilizado um conjunto de testes de 100
ido ao paralelismo intrínseco a meta-heurística aplicada, o
amostras de pares estrada-saída para uma função quadrática
que em uma máquina paralela hipotética representaria um
y = x2 , onde foi inserido um ruido branco de amplitude
método muito mais eficiente que métodos procedurais, in-
10−4 em ambos os sinais (entrada e saída). O treinamento
trinsecamente seqüenciais.
foi realizado para varias configurações da rede utilizando o
Dessa forma, conclui-se que o método Gradiente Evo-
algoritmo proposto e os algoritmos citados anteriormente, os
lutivo aqui apresentado, representa uma solução alternativa
resultados podem ser observados na tabelas que seguem.
viável para o treinamento de redes neurais artificiais em qual-
quer situação, especialmente em situações mais complexas,
Tabela 1 – Resultados do Treinamento: EG, SCG e FR principalmente onde há dificuldades, ou mesmo a impossi-
Arquitetura EG SCG FR bilidade da construção do vetor gradiente.
1-3-1 0.00016 0.00066 0.00030
1-6-1 0.00019 0.00069 0.00031 Referências
1-6-6-1 0.00024 0.01065 0.01395 [1] R. Battiti and F. Masulli. Bfgs optimization for faster
1-6-12-6-1 0.00014 0.00667 0.05779 and automated supervised learning. INNC 90 Paris,
International Neural Network Conference,, pages 757–
760, 1990.
Tabela 2 – Resultados do Treinamento: BFGS, DFP e GRAD
[2] César Daltoé Berci. Observadores Inteligentes
Arquitetura BFGS DPF GRAD de Estado: Propostas. Tese de Mestrado,
1-3-1 0.00032 0.00079 0.01012 LCSI/FEEC/UNICAMP, Campinas, Brasil, 2008.
1-6-1 0.00037 0.00529 0.01197
[3] César Daltoé Berci and Celso Pascoli Bottura. Ob-
1-6-6-1 0.01161 0.00959 0.01342
servador inteligente adaptativo neural não baseado em
1-6-12-6-1 0.00070 0.01060 0.01268
modelo para sistemas não lineares. Proceedings of 7th
Brazilian Conference on Dynamics, Control and Appli-
É possível notar que convergência do método proposto, cations. Presidente Prudente, Brasil, 7:209–215, 2008.
foi também bastante acelerada para este problema, sendo su-
perior aos outros algoritmos testados. Outra característica [4] Jürgen Branke. Evolutionary algorithms for neural net-
marcante observada nos resultados expostos, é a robustez do work design and training. In 1st Nordic Workshop on
método com relação a variações na topologia da rede neu- Genetic Algorithms and its Applications, 1995. Vaasa,
ral, pois devida a estocasticidade inerente ao algoritmo EG, é Finland, January 1995.
possível inferir que o mesmo apresentou o mesmo resultado [5] D.J. Chalmers. The evolution of learning: An ex-
para as várias configurações testadas. periment in genetic connectionism. Proceedings of
the 1990 Connectionist Summer School, pages 81–90,
6. CONCLUSÃO 1990.
O método proposto neste documento, representa uma [6] Charles Darwin. On the Origin of Species by Means
nova abordagem para utilização de métodos meta-heurísticos of Natural Selection, or the Preservation of Favoured
no treinamento de redes neurais artificiais tipo MLP. Races in the Struggle for Life. John Murray, London,
Até então esse procedimento apresentava um desem- 1859.
penho inferior quando comparado a métodos procedurais
de otimização. Esta nova abordagem, porém, mostra- [7] D.C. Dennett. Darwin’s Dangerous Idea: Evolution
se competitiva neste cenário, alcançando resultados com- and the Meanings of Life. Penguim Books, 1995.
paráveis com métodos usuais de treinamento de redes neu- [8] A. Fiszelew, P. Britos, A. Ochoa, H. Merlino, E. Fer-
rais, e ainda preservando características presentes em méto- nández, and R. García-Martínez. Finding optimal neu-
dos meta-heurísticas, como a possibilidade de otimizar fun- ral network architecture using genetic algorithms. Soft-
cionais dos quais não se conhece o gradiente, ampliando a ware & Knowledge Engineering Center. Buenos Aires
sua aplicação a problemas de maior complexabilidade em seu Institute of Technology. Intelligent Systems Laboratory.
modelamento, como o problema proposto em [3]. School of Engineering. University of Buenos Aires.,
O custo computacional elevado, característica de metas 2004.
eurísticas como os algoritmos genéticos, também esta pre-
sente no método proposto, que mostra-se muito mais oneroso [9] C. Fyfe. Artificial Neural Networks. Department of
do ponto de vista do número de cálculos numéricos em sua Computing and Information Systems, The University
execução, do que os outros métodos aqui discutidos. Porém, of Paisley, Edition 1.1, 1996.
fica claro nos exemplos mostrados, que este alto custo com- [10] D.G. Luenberger. Linear and Nonlinear Programming.
putacional, é compensado pela taxa de convergência aceler- Addison-Wesley, 2nd edition, 1984.
ada do método, tornando sua evolução temporal, comparável
a outros algoritmos de treinamento aqui análisados. [11] M.F. Møller. Learning by conjugate gradients. The
 6th International Meeting of Young Computer Scien-
tists, 1990.
[12] M.F. Møller. A scaled conjugate gradient algorithm
for fast supervised learning. Computer Science Depart-
ment, University of Aarhus Denmark, 6:525–533, 1990.
[13] D. Montana and L. Davis. Training feedforward neu-
ral networks using genetic algorithms. Proceedings of
the International Joint Conference on Artificial Intelli-
gence, pages 762–767, 1989.
[14] D. E. Rumelhart, R. Durbin, R. Golden, and Y. Chau-
vin. Backpropagation: The basic theory. Lawrence
Erlbaum Associates, Inc., 1995.
[15] D. E. Rumelhart, G. E. Hinton, and R. J. Williams.
Learning internal representations by error propagation,
in: Parallel distributed processing: Exploration in the
microstructure of cognition. Eds. D.E. Rumelhart, J.L.
McClelland, MIT Press, Cambridge, MA., pages 318–
362, 1986.
[16] Udo Seiffert. Multiple layer perceptron training using
genetic algorithms. ESANN’2001 proceedings - Euro-
pean Symposium on Artificial Neural Networks, pages
159–164, 2001.
[17] Zhi-Hua Zhou, Jian-Xin Wu, Yuan Jiang, and Shi-Fu
Chen. Genetic algorithm based selective neural net-
work ensemble. Proceedings of the 17th International
Joint Conference on Artificial Intelligence., 2:797–802,
2001.