Rna

Contedo
Introduo G
Nota Histrica sobre IA G
Inspirao Biolgica G
Caractersticas das Redes
Neurais
G
O que uma Rede Neural ? G
O Neurnio Artificial G
Aprendizado das Redes
Neurais
G
Estratgias de
aprendizado
G
Classificao com base no
grau de independncia
daquele que aprende
G
Classificao do
aprendizado segundo a
retroao do mundo
G
Classificao quanto a
finalidade do aprendizado
G
Algoritmos de
Aprendizado
G
Regra de Hebb G
Regra Delta G
Aprendizado Competitivo G
WTA G
Retropropagao G
Topologias bsicas G
Redes Neurais Diretas G
Redes com Realimentao G
Rede Simtrica G
Alguns tipos de Redes
Neurais
G
Modelo de McCulloch-Pitts G
Percptron G
Perceptron Multicamadas G
Adaline e Madaline G
ART (Adaptive Ressonance
Theory)
G
Redes BAM G
Redes de
Contra-propagao
G
Rede de Hopfield G
Rede de Kohonen G
Aplicaes das Redes
Neurais
G
Bibliografia G
Glossrio G
Universidade Federal de Santa Catarina - UFSC
Departamento de Informtica e de Estatstica - INE
Curso de Ps-graduao em Cincia da Computao - CPGCC
INTRODUO AO ESTUDO DAS REDES
NEURAIS ARTIFICIAIS
Motivao: Este trabalho tem por objetivo fazer uma pequena apresentao
sobre o estudo das Redes Neurais Artificiais oferecendo uma viso geral sobre
esta tecnologia, no pretendendo de maneira alguma substituir um curso de
Redes Neurais a qualquer nvel. Foi inspirado em notas de aulas de disciplinas de
Redes Neurais dos cursos de Ps-graduao em Engenharia Eltrica e
Ps-graduao em Cincia da Computao da Universidade Federal de Santa
Catarina - UFSC. Agradeo a todos pela colaborao e conto com novas
sugestes.
Apresentao: Nas prximas pginas voc encontrar os seguintes tpicos
bsicos sobre as Redes Neurais Artificiais, aqui denominadas RNA ou
simplesmente Redes Neurais:
Introduo ao estudo das RNA - suas origens e inspirao biolgica. G
Caractersticas gerais das Redes Neurais e descrio do neurnio
artificial.
G
Aprendizado das Redes Neurais e tipos de Aprendizado G
Algoritmos de Aprendizado e Topologias bsicas G
Algumas aplicaes das RNA. G
Maria Aparecida Fernandes Almeida. Florianpolis, Santa Catarina - Brasil
mafa@inf.ufsc.br
Esta pgina est em construo !
Copyright - Todos direitos reservados.
Redes Neurais Artificiais (RNA)
file:///E|/downloadbarreto/rna/index.html [04/12/2000 18:09:04]
INTRODUO
As origens das redes neurais artificiais remontam no desejo de construir artefatos capazes de exibir
comportamento inteligente, ou seja, na inteligncia artificial ( I. A. ). A inteligncia artificial definida como um
campo da cincia da computao que visa reproduzir por meios computacionais as caractersticas
normalmente atribudas inteligncia humana, tais como:
Compreenso da linguagem; G
Aprendizagem; G
Raciocnio; G
Reconhecimento de padres; G
Soluo de problemas; G
Induo e deduo lgica. G
O crebro humano
O Prof. Dr. Jorge Muniz Barreto (Barreto, 1995) explica que o conceito de Inteligncia Artificial (IA) varia com o
tempo, com a poca e com o contexto: " ... H muitos sculos na Grcia, se chamava de mquina inteligente,
um distribuidor de gua, onde o indivduo colocava uma moeda e em funo do peso desta moeda, a
quantidade de gua saa. Bem mais recentemente, com a aproximao entre coisas biolgicas e mecnicas
na Ciberntica, entendia-se que algo que tivesse "feedback" (realimentao) seria considerado inteligente. Por
volta dos anos 50, a preocupao em construir artefatos que tivessem comportamento inteligente, era
considerado aquele que tinha a propriedade de manter certos valores de sada independentemente da
perturbao. No incio dos anos 60, haviam muitas expectativas sobre IA, algumas delas infrutferas como o
projeto de traduo automtica de lnguas (ingls-russo) desenvolvido pelo MIT, devido ao problema da
dimensionalidade. Atualmente, jogos de computadores que eram alguns anos considerados de IA, hoje no
so mais porque seu funcionamento tornou-se conhecido e estes tornaram-se operacionais. Assim pode-se
considerar a IA como uma espcie de desejo de se reproduzir tarefas que diriam ser inteligentes se fossem
desenvolvidas por seres naturais, porm no possvel fazer uma transio abrupta na considerao de
coisas inteligentes e no inteligentes...".
Em seu livro "Inteligncia Artificial no Limiar do Sculo XXI" , o Prof. Barreto nos explica que at o final dos
anos 50 os computadores eram olhados com certa desconfiana por executarem tarefas ento designadas a
humanos, da sua denominao de "crebros eletrnicos". Todavia, no incio dos anos 60 a popularizao
destas mquinas destruiu tal mito. Apesar de no manifestarem qualquer tipo de inteligncia os computadores
eram extremamente teis em tarefas correntes e sua "burrice" era sua maior qualidade. Entretanto, pesquisas
voltadas a dotar o computador de caractersticas inteligentes comearam a ter resultados significativos. Mas o
cidado comum s ouviu falar em "Inteligncia Artificial" (IA) com o retumbante anncio do projeto japons de
quinta gerao (1981) que pretendia construir uma nova gerao de computadores inteligentes. Mas afinal o
que inteligncia artificial? Muita discusso existe e muito difcil uma definio, pois j mesmo difcil definir
o que inteligncia e o que artificial ou natural...
Introduo
file:///E|/downloadbarreto/rna/introduo.htm (1 of 2) [04/12/2000 18:09:08]
Para Russel (1995) o campo da IA tenta entender as entidades inteligentes mas ao contrrio da filosofia e da
psicologia que tambm se preocupam com a inteligncia, a IA esfora-se para construir, bem como entender,
as entidades inteligentes. Russel afirma que um sistema dito racional se faz a coisa certa. Esta abordagem
dita racionalista envolve uma combinao de matemtica e Engenharia. Os sistemas "que agem como
humanos" (isto , podem desempenhar alguma(s) das funes humanas) so ilustrados pelo Teste de Turing.
Em 1950, Alan Turing props um teste para oferecer uma definio satisfatria operacional de inteligncia.
Definiu o comportamento inteligente como a habilidade de executar um desempenho em todas as tarefas
cognitivas, suficientes para enganar um interrogador num teste no qual um computador deveria ser interrogado
por um humano via um teletipo, ambos em locais separados.
Para que o computador passe no teste ele dever ter as seguintes habilidades:
processamento de linguagem natural: G
ser capaz de comunicar efetivamente em qualquer linguagem humana; G
representao do conhecimento: para armazenar a informao antes ou durante o interrogatrio. G
raciocnio autnomo: para usar a informao armazenada de forma a responder as questes do
interrogador e traar novas concluses;
G
aprendizado de mquina: para adaptar a novas circunstncias e para detectar e extrapolar padres. G
O teste de Turing evita a interao fsica entre o interrogador e o computador, devido a simulao fsica uma
pessoa seja desnecessria para inteligncia. Todavia, o teste de Turing total incluiria um sinal de vdeo (para o
interrogador testar as habilidades de percepo do sujeito) e um dispositivo para o interrogador passar
fisicamente objetos (atravs de uma portinhola). Para isso o computador precisar de:
viso de computador para perceber objetos; G
robtica para se mover. G
Introduo
file:///E|/downloadbarreto/rna/introduo.htm (2 of 2) [04/12/2000 18:09:08]
Nota Histrica sobre IA
A IA origina-se de cerca de 2000 anos de tradio na filosofia, na qual emergiram as teorias de raciocnio e
aprendizado, dentro do ponto de vista de como a mente constituda pela operao de um sistema fsico. Nos
ltimos 400 anos, os matemticos desenvolveram teorias de lgica, probabilidade, tomadas de decises e
computao. Da psicologia, tem-se para investigao da mente humana, uma linguagem cientfica para
expressar as teorias existentes. Da lingstica, temos teorias de estrutura e significado da linguagem. Muito se
passou desde a referncia de Lady Lovelace (1842) mquina "inteligente" de Babbage ao encontro de
McCarthy, Minsky, Newell e Simon no Dartmouth College em 1956. Desse encontro surge o termo "Inteligncia
Artificial" e origina o livro "Automata Studies" onde se tem o primeiro artigo sobre Redes Neurais Artificiais.
Linha do tempo das Redes Neurais Artificiais
1875 - O italiano Camilo Golgi descobre o neurnio. Posteriormente, Cajal usa o mtodo de Golgi para
cada parte do sistema nervoso.
G
1917 - Karel Capek inventa a expresso 'Robot' (em tcheco 'robot' significa 'trabalhador', mas a
traduo em 1923 para o ingls manteve a palavra original.
G
1928 - John von Neumann demonstra seu teorema "minimax" (usado mais tarde em programao de
jogos).
G
1930 - Claude Shannon demonstra a lgica Booleana usando chaveamento de circuitos. G
1937 - Turing publica "On Computable Numbers" (Mquina de Turing). G
1941 - Zuse constroi o Z3 na Alemanha, o primeiro computador programvel. G
1943 - McCulloch e Pitts propem arquiteturas de rede neural para explicar a inteligncia. G
1949 - Donald Hebb prope a "Lei de Hebb". G
1950 - proposto o Teste de Turing Test (Turing's "Computing Machinery and Intelligence"). G
1955 - Newell, Shaw e Simon desenvolvem a primeira linguagem de IA "IPL-11". G
1956 - Newell, Shaw, e Simon criam "The Logic Theorist", para soluo de problemas matemticos. G
1956 - Denominao de IA na conferncia do Dartmouth College, primeiro encontro de McCarthy,
Minsky, Newell e Simon.
G
1956 - Ulam desenvolve o MANIAC I. G
1957 - Newell, Shaw e Simon criam o "General Problem Solver" (GPS) G
1958 - McCarthy introduz o "LISP" no MIT. G
1959 - Minsky e McCarthy estabelecem o Laboratrio de IA no MIT. G
1959 - Rosenblatt introduz o Perceptron. G
1959 - B. Widrow e M. Hoff introduzem o Adaline (elemento linear adaptativo). G
1962 - J.McCarthy muda-se para Stanford, fundando o Stanford AI Lab em 1963. G
1963 - M. Ross Quillian introduz as redes semnticas como representao do conhecimento. G
1963 - Trabalho de Minsky "Steps Towards Artificial Intelligence". G
1965 - Simon afirma que "perto de 1985 as mquinas sero capazes de fazer qualquer trabalho que o
homem pode fazer "
G
1965 - Dreyfus argumenta contra a possibilidade da inteligncia artificial. G
1966 - Donald Michie funda o Edinburgh AI lab. G
1968 - O computador "HAL" de Clarke brilha no filme "2001" de Kubrick G
1968 - Tem-se o primeiro PhD em "computer science" (Wexelblat at Univ. of Penn.) G
1968 - Trabalho de Minsky "Semantic Information Processing" G
file:///E|/downloadbarreto/rna/notahist.htm (1 of 2) [04/12/2000 18:09:13]
1969 - A tese de doutorado de Alan Kay descreve um computador pessoal. G
1969 - Publicao do livro "Perceptrons" de Minsky e Papert mostra as limitaes das redes neurais. G
1972 - T. Kohonen e J. Anderson propem os modelos lineares. G
1974 - lanado o primeiro rob controlado por computador. G
1974 - Trabalho de Minsky "A Framework for Representing Knowledge". G
1974 - estabelecido a rede SUMEX-AIM (aplicaes da IA na medicina). G
1975 - Cooper e Erlbaum encontram Nestor para desenvolver a tecnologia da rede neural. G
1976 - Carpenter e Grossberg propem as redes ART (Adaptive Ressonance Theory). G
1977 - Andersen prope o modelo BSB (brain state in a box). G
1977 -Os computadores "3CPO e R2D2" brilham no filme "Star Wars" G
1978 - Grossberg introduz a ART (Adaptive Ressonance Theory). G
1980 - Produo de sistemas especialistas com milhares de regras G
1981 - Kazuhiro Fuchi anuncia o projeto japons de quinta gerao (Japanese Fifth Generation Project) G
1982 - A publicao "Alvey Report" do governo britnico sobre informao tecnolgica avanada
aumenta o uso da IA (sistemas especialistas) na indstria
G
1982 - John Hopfield ressuscita as redes neurais com seu modelo no linear (Rede de Hopfield). G
1983 - Feigenbaum e McCorduck publicam "The Fifth Generation" G
1985 - Minsky publica "The Society of Mind" G
1986 - Trabalho de McClelland e Rumelhart "Parallel Distributed Processing" apresentando o algoritmo
de retropropagao para redes multi-camadas.
G
1986 - Nielsen prope o paradigma neural de aprendizado denominado de Contrapropagao
(Counterpropagation).
G
1986 - As empresas de Redes Neurais comeam a aparecer. G
1986 - OCR (reconhecimento tico de caracteres) j uma indstria de $100 milhes. G
1987 - Kohonen apresenta seu mapa de caractersticas (rede de Kohonen). G
1987 - Bart Kosko introduzem os modelos das memrias associativas (BAM). G
1988 - Minsky e Papert publicam a edio revisada do livro "Perceptrons". G
1990 - Fukushima apresenta seu Neocognitron. G
1992 - Termina o projeto japons de quinta gerao. G
1992 - Inicia-se o projeto japons "Real World Computing". G
De 1993 a 2000 - ser atualizada posteriormente. G
file:///E|/downloadbarreto/rna/notahist.htm (2 of 2) [04/12/2000 18:09:13]
Inspirao Biolgica
As redes neurais artificiais tm sua inspirao biolgica originada de um neurnio tpico, formado basicamente
por dendritos, o corpo celular e os axnios, que junto com outros neurnios podem ter vrias combinaes
com as mais variadas topologias. A idia bsica sumarizada na abordagem Reducionista: reproduzindo-se
com suficiente detalhe a suposta "mquina" biolgica responsvel pelo comportamento inteligente (ou seja , o
crebro), um comportamento inteligente emergir do sistema. Historicamente, os primeiros trabalhos nessa
rea iniciaram-se na dcada de 40 com a Ciberntica. Todavia, somente a partir da dcada de 80 esta
tecnologia tomou impulso para a representao do conhecimento e para o aprendizado de mquina.
Esquema simplificado de um neurnio
Para a compreenso do funcionamento das Redes Neurais Artificiais torna-se necessrio entender o
mecanismo de atuao de sua mais forte inspirao, as Clulas Neurais Naturais, ou seja, do neurnio
biolgico.
A clula composta basicamente de gua, eletrlitos, protenas, lipdios e carbohidratos. Sua configurao
tpica dividida em duas partes: ncleo e citoplasma. Dividindo o meio intracelular do meio extracelular existe
a membrana citoplasmtica.
A membrana citoplasmtica de uma clula nervosa permite o transporte de eletrlitos que modificam o
potencial eltrico entre as partes externas e internas da clula. Esta diferena de potencial provoca um trem de
pulsos de freqncia gerado pela clula nervosa, isto , do neurnio, atravs do axnio para os dendritos de
outras clulas , ante um estmulo de amplitude e durao definida, onde codificada a informao e que
posteriormente decodificada por dendritos.
Sinapses
No interior da membrana h uma alta concentrao de molculas especficas de neurotransmissores. Os
neurotransmissores ficam armazenados em vesculas especiais denominadas de vesculas sinpticas. Quando
a membrana despolarizada, isto , quando o potencial do citoplasma torna-se maior que o potencial de
repouso, os canais da membrana permitem ons como o clcio fluir para dentro da clula, estes ativaro a
liberao dos neuro-transmissores (tal como a acetilcolina) constituindo-se assim a sinapse , que a ligao
entre a terminao axnica e os dendritos e que permite a propagao dos impulsos nervosos de uma clula a
outra. As sinapses podem ser excitatrias ou inibitrias. As sinapses excitatrias cujos neuro-excitadores so
os ons sdio permitem a passagem da informao entre os neurnios e as sinapses inibitrias, cujos
neuro-bloqueadores so os ons potssio, bloqueiam a atividade da clula, impedindo ou dificultando a
passagem da informao.
Resumo da funo de cada elemento componente do neurnio biolgico:
Soma (corpo da clula): o centro dos processos metablicos da clula nervosa, a partir do qual,
projetam-se extenses filamentares, os dendritos e o axnio.
G
Dendritos - cobrem um volume muitas vezes maior do que o prprio corpo celular e formam uma
rvore dendrital, que so "dispositivos de entrada", que conduzem sinais das extremidades para o corpo
G
Inspirao Biolgica
file:///E|/downloadbarreto/rna/inspirao.htm (1 of 2) [04/12/2000 18:09:17]
celular.
Axnio - um dispositivo de sada que transmite um sinal do corpo celular para as extremidades. As
extremidades do axnio so conectadas com dendritos de outros neurnios pelas sinapses.
G
Sinapse - a ligao entre a terminao axnica e os dendritos e que permite a propagao dos
impulsos nervosos de uma clula para outra.
G
Inspirao Biolgica
file:///E|/downloadbarreto/rna/inspirao.htm (2 of 2) [04/12/2000 18:09:17]
CARACTERSTICAS DAS REDES NEURAIS
As Redes Neurais Artificiais (RNA), aqui denominadas apenas de Redes Neurais, no so programadas, elas
aprendem por exemplos. Tipicamente apresentado a uma rede neural um conjunto de treinamento, que
consiste de um grupo de exemplos com os quais a rede pode aprender. Estes exemplos, conhecidos como
padres de treinamento, so representados como vetores e so originados de fontes tais como imagens,
sinais de voz, dados de sensores, movimentos de braos de robs, dados financeiros e informaes de
diagnstico. Devido a este aprendizado por exemplo, elas possuem um grande potencial para construo de
sistemas computacionais que no necessitam ser programados. Isto uma grande vantagem em relao aos
sistemas computacionais tradicionais (mquinas de Von Neumann).
Mquinas deVon Neumann Neurocomputadores (baseados em RNA)
Executa programas Aprende
Executa operaes lgicas Executa operaes no lgicas
Depende do modelo ou do programador Descobre as relaes ou regras dos dados e exemplos
Testa uma hiptese por vez Testa todas as possibilidades em paralelo
As redes neurais so modelos "inspirados biologicamente" e esto muito longe de representar os neurnios
biolgicos naturais. Na verdade, esta inspirao freqentemente muito limitada pois as redes neurais
naturais no so circuitos digitais, no podem ter excitao negativa, no so homogneas, no tem relgio de
sincronizao, os neurnios e sinapses no podem ter dois valores e os circuitos cerebrais no so capazes
de executar clculos recursivos como os modelos artificiais.
As caractersticas gerais das Redes Neurais Artificiais podem ser resumidas como a seguir:
So modelos adaptativos, treinveis; G
Podem representar domnios complexos (no lineares); G
So capazes de generalizao diante de informao incompleta; G
Muitos modelos so robustos; G
So capazes de fazer armazenamento associativo de informaes; G
Processam informaes Espao/temporais; G
Possuem grande paralelismo, o que lhe conferem rapidez de processamento. G
Para informaes complementares consulte (Krose, 1993).
CARACTERSTICAS DAS REDES NEURAIS
file:///E|/downloadbarreto/rna/caracter.htm [04/12/2000 18:09:22]
O que uma Rede Neural ?
As redes neurais so paradigmas importantes para mquinas cognitivas. Elas fazem uma representao
distribuda da informao, na forma de conexes entre um grande nmero de elementos simples (neurnios
artificiais). Todos esses elementos realizam operacionalmente a mesma funo que executar a soma
ponderada de suas entradas e executar uma transformao (linear ou no linear) entre a entrada e a sada do
sistema. Assim as redes neurais so modelos matemticos dos neurnios e suas interconexes em redes e
permitem a representao do processamento da informao dos neurnios biolgicos.
A grande premissa do conexionismo para aplicaes em processamento de informaes e/ou inteligncia
artificial o fato de que se pode analisar um problema de acordo com o funcionamento do crebro humano. O
crebro processa informaes atravs da ativao de uma srie de neurnios biolgicos. Os neurnios por
sua vez, interagem numa rede biolgica atravs da intercomunicao entre seus nveis de ativao.
O sistema, uma vez treinado, capaz de reconhecer a informao aprendida mesmo que esteja incompleta e
difusa. capaz de executar generalizao e associao, tarefas consideradas at pouco, puramente
humanas. Sendo assim pode-se dizer que o paradigma das redes neurais uma tcnica aplicada a
Inteligncia Artificial, inspirada em processos cognitivos, para resoluo de problemas complexos.
O que uma Rede Neural ?
file:///E|/downloadbarreto/rna/oquefaz.htm [04/12/2000 18:09:27]
O Neurnio Artificial
O corpo faz a soma ponderada do produto dos pesos da entrada e uma funo de transferncia aplicada
sobre a funo de ativao para gerar a sada. Os pesos, so a intensidade da fora sinptica e podem ser
fixos ou treinveis implementando as ligaes entre as unidade e a intensidade com que o sinal transmitido
de um neurnio ao outro.
O modelo do neurnio artificial de acordo com (Dayhoff,1992) apresentado a seguir:
Modelo do Neurnio Artificial
Unidade Sigma (Soma)- As entradas depois de multiplicadas pelos pesos, recebem o nome de entradas
ponderadas, ou unidades sigma.
Funo de Transferncia - depois de acumulado o valor somado, o neurnio deve comparar esse valor com
um valor de limiar (um valor estipulado), e atingindo-o, o valor ento passado adiante atravs da sada. A
esse processo chamamos de funo de transferncia. Caso contrrio, se o valor no atinge o limiar, o sinal
no passado adiante. A lgica neural expe, que a intensidade dos sinais de entrada, dispara ou no, o sinal
do neurnio, fazendo com que este estimule o neurnio seguinte. A funo de transferncia define e envia
para fora do neurnio o valor passado pela funo de ativao
Funo de ativao - A funo de ativao antecede a funo de transferncia, e tem por atribuio repassar
o sinal para a sada do neurnio. A funo de ativao uma funo de ordem interna, cuja atribuio fazer
acontecer um nvel de ativao dentro do prprio neurnio, ou seja uma deciso tomada pelo prprio
neurnio sobre o que fazer com o valor resultante do somatrio das entradas ponderadas. Essa deciso ter
efeito restrito ao prprio neurnio. Em modelos simples de redes neurais, a funo de ativao pode ser a
prpria funo soma das entradas ponderadas do neurnio. Em modelos mais complexos, a funo de
ativao possui um processamento atribudo. Esse processamento, pode usar, por exemplo, o valor prvio de
sada como uma entrada para o prprio neurnio (uma auto-excitao). Aps ter sido processado pela funo
de ativao, ento passado pela funo de transferncia que produzir o valor de sada do neurnio.
O Neurnio Artificial
file:///E|/downloadbarreto/rna/oneurnio.htm [04/12/2000 18:09:33]
APRENDIZADO DAS REDES NEURAIS
A propriedade mais importante das Redes Neurais a habilidade de aprender seu ambiente e com isso
melhorar seu desempenho. Isso feito atravs de um processo iterativo de ajustes aplicado a seus pesos, o
treinamento. O aprendizado ocorre quando a rede neural atinge uma soluo generalizada para uma classe de
problemas.
Se uma rede aprende, ela retm conhecimento. O seu conhecimento no est localizado em um endereo de
memria especfico e dessa forma a rede no separa memria de dados armazenados. O conhecimento est
distribudo por toda a rede.
A maioria dos modelos de redes neurais possui alguma regra de treinamento, onde os pesos de suas
conexes so ajustados de acordo com os padres apresentados. Em outras palavras, elas aprendem atravs
de exemplos. A rede neural passa por um processo de treinamento a partir de casos reais conhecidos,
adquirindo, a partir da, a sistemtica necessria para executar adequadamente o processamento desejado
dos dados fornecidos. Sendo assim, a rede neural capaz de extrair regras bsicas a partir de dados reais,
diferindo da computao programada, onde necessrio um conjunto de regras pr-fixadas e algoritmos.
Estratgias de aprendizado
Outro fator importante a maneira pela qual uma rede neural se relaciona com o ambiente. Neste contexto,
existem os seguintes paradigmas de aprendizado, encontrados em Barreto (Barreto, 1999):
1) Classificao com base no grau de independncia daquele que aprende:
Aprendizado por decorar - corresponde a aprender sem a preocupao de associar significado ao que
est aprendendo. Exemplo: aprender tabuada. No caso de aprendizado de mquina corresponde a
carregar um programa na mquina a qual no faz nenhuma inferncia sobre o que est no programa
que carregado. No aprendizado conexionista o caso em que se colocam os valores de conexes
sinpticas, os quais foram encontrados anteriormente;
G
Aprendizado por ser contado - o conhecimento apresentado ao computador que deve organizar o
conhecimento para uso futuro e da maneira adequada. Na mquina isto corresponde a programar o
computador com uma linguagem declarativa. Declaraes so feitas e o computador deve ter a
possibilidade de montar as instrues que o faro resolver o problema;
G
Aprendizado por analogia - o computador deve extrair o modo de resolver um problema por analogia
a problemas semelhantes. Na redes neurais isto uma propriedade intrnseca. Com efeito, comum
usar um conjunto de exemplos para treinar uma rede neural. Aps o treinamento pode-se observar que
a rede capaz de resolver de modo satisfatrio problemas parecidos com os que estavam no conjunto
de exemplos de treinamento (esta propriedade denominada de generalizao ou em alguns casos de
interpolao ou extrapolao);
G
Aprendizado por exemplos - estes exemplos podem ser originrios de um "professor" ou do prprio
uso do sistema que neste caso aprende progressivamente.
G
Aprendizado por elaborao e descoberta - Pode ser considerado com o mais alto grau de
independncia por parte do aluno e, de certa forma corresponde ao paradigma do Construtivismo de
Piaget. Embora pouco estudos tem sido feitos, pode-se conjecturar que uma rede contendo uma ou
vrias retroaes, por serem mais prximas da topologia do crtex, poderia levar a um aprendizado
construtivista por parte das redes neurais.
G
2) Classificao do aprendizado segundo a retroao do mundo
Um neurnio considerado adaptativo. Seus pesos sinpticos so modificveis dependendo do algoritmo de
file:///E|/downloadbarreto/rna/aprendiz.htm (1 of 3) [04/12/2000 18:09:38]
aprendizado. Em alguns casos, existe uma espcie de "professor" que supervisiona os valores de sada
relacionados a cada sinal de entrada (aprendizado supervisionado). Em outros casos, o sinal do "professor"
no est disponvel e no h informao de erro que possa ser utilizada para correo dos pesos sinpticos,
assim o neurnio modificar seus pesos baseado somente no sinal de entrada e/ou sada (aprendizado
no-supervisionado).
Aprendizado Supervisionado - No aprendizado supervisionado, a rede neural treinada com o auxlio de um
professor, ou um treinador. Para tanto, a rede dever possuir pares de entrada e sada, ou seja, um conjunto
de entradas e um conjunto com as sadas desejadas para cada entrada. Toda vez que for apresentada rede
uma entrada, dever ser verificado a sada obtida (gerada a partir de clculos efetuados com os pesos que a
rede possui) confere com a sada desejada para quela entrada. Sendo diferente, a rede dever ajustar os
pesos de forma que armazene o conhecimento desejado. Essa iteratividade do treino dever ser repetida com
todo conjunto de treinamento (entradas e sadas), at que a taxa de acerto esteja dentro de uma faixa
considerada satisfatria. Essa forma de aprendizado bem conhecida e tem demonstrado excelentes
resultados em aplicaes reais.
Neste caso, o "professor" indica explicitamente um comportamento bom ou ruim. Por exemplo, seja o caso de
reconhecimento de caracteres e para simplificar, seja reconhecer entre um A e um X. Escolhe-se uma rede
direta, com dois neurnios na camada de sada, uma ou vrias camadas internas e um conjunto de neurnios
na camada de entrada capaz de representar com a preciso desejada a letra em questo. Apresentam-se
estas letras sucessivamente a uma retina artificial constituda de uma matriz de elementos foto-sensveis, cada
um ligado a um neurnio da rede neural artificial direta (feedforward). Observa-se qual dos dois neurnios de
sada est mais excitado. Se for o que se convencionou representar a letra que for apresentada nada deve ser
corrigido, caso contrrio modifica-se os valores das conexes sinpticas no sentido de fazer a sada se
aproximar da desejada. Foi exatamente isto que Rosenblatt fez com o seu Perceptron. Como a cada exemplo
apresentado uma correo introduzida depois de observar a sada da rede, este um caso de aprendizado
supervisionado (Barreto, 1995).
Aprendizado Supervisionado
Aprendizado No Supervisionado (Auto-organizao) - Este tipo de aprendizado tambm conhecido
como aprendizado de auto-supervisionado ou de auto-organizao. Esse aprendizado no requer sadas
desejadas, e por isso conhecido pelo fato de no precisar usar "professores" para seu treinamento. Para o
treinamento da rede, so usados apenas os valores de entrada. A rede trabalha essas entradas e se organiza
de modo que acabe classificando-as usando, para isso, seus prprios critrios. Esse tipo de rede utiliza os
neurnios como classificadores, e os dados de entrada, como elementos para classificao. O processo de
classificao fica por conta da rede neural e o seu algoritmo de aprendizado. A auto-organizao demonstrada
nas redes neurais no-supervisionadas, envolve, o processo de competio e o processo de cooperao entre
neurnios da rede. Muitos pesquisadores tm utilizado esse tipo de rede como detector de caractersticas,
dada a sua capacidade de aprender a discriminar estmulos ocorrendo em partes especialmente diferentes.

Aprendizado No-supervisionado
3) Classificao quanto a finalidade do aprendizado
Auto-associador - uma coleo de exemplos apresentado ao sistema, a qual suposto memorizar
os exemplos. Depois, quando um destes exemplos for novamente apresentado de modo deteriorado
supe-se que o sistema restitua o original sem deteriorao. Neste caso, aprende-se a funcionar como
um filtro;
G
Rede Neural Auto-associativa
Hetero-associador - uma variante do auto-associador que memoriza um conjunto de pares. O
sistema aprende a reproduzir o segundo elemento do par mesmo que o primeiro seja apresentado
contendo pequenas alteraes. Este hetero-associador tambm conhecido como reconhecedor de
padres, onde o primeiro elemento apresentado o elemento a ser reconhecido e o segundo um
elemento do conjunto de padres considerado (Barreto, 1995).
G
Rede Neural Hetero-associativa

A Rede de Hopfield e a rede BAM so exemplos de redes neurais artificiais que podem representar a funo
biolgica da memria associativa. A rede de Hopfield autoassociativa e a rede BAM heteroassociativa.
ALGORITMOS DE APRENDIZADO
Denomina-se algoritmo de aprendizado a um conjunto de regras bem definidas para soluo de um problema
de aprendizado. Existem muitos tipos de algoritmos de aprendizado especficos para determinados modelos
de redes neurais. Esses algoritmos diferem entre si principalmente pelo modo como os pesos so modificados.
A rede neural se baseia nos dados para extrair um modelo geral. Portanto, a fase de aprendizado deve ser
rigorosa e verdadeira, a fim de se evitar modelos esprios. Todo o conhecimento de uma rede neural est
armazenado nas sinapses, ou seja, nos pesos atribudos s conexes entre os neurnios. Cerca de 50 a 90 %
do total de dados deve ser separado para o treinamento da rede neural, dados estes escolhidos
aleatoriamente, a fim de que a rede "aprenda" as regras e no "decore" os exemplos. O restante dos dados s
apresentado rede neural na fase de testes a fim de que ela possa "deduzir" corretamente o
interrelacionamento entre os dados.
A rede neural no deve ser treinada 100 % para cada fato, mas treinada com o conjunto inteiro, sendo
apresentado s entradas vrias vezes o conjunto de treinamento de forma iterativa. Caso a rede seja treinada
100% para um fato de cada vez, afetar, negativamente o conhecimento de todos os fatos previamente
aprendidos, ou seja, implicar em esquecer alguma coisa do fato anteriormente apresentado, e assim, quando
chegar ao final do conjunto de treinamento, muito provavelmente, a rede j ter esquecido o primeiro fato
apresentado.
Regra de Hebb
A base da teoria de Hebb, talvez a mais antiga regra de aprendizado usada. Data do ano de 1949 com a
publicao do livro "The Organization of Behavior", escrito por Hebb. A idia central estava na seguinte
afirmao:
"Se um neurnio B repetidamente estimulado por outro neurnio A, ao mesmo tempo que ele est ativo, ele
ficar mais sensvel aos estmulos de A, e a conexo sinptica de A para B ser mais eficiente. Deste modo, A
achar mais fcil estimular B para produzir uma sada".
Pelo fato das conexes atravs de neurnios ocorrerem atravs de sinapses, realmente razovel imaginar
que qualquer mudana que ocorra durante o aprendizado ocorra nestas. Hebb teorizou que a rea de juno
sinptica aumenta. Esta teoria de aprendizagem no explica tudo sobre o tema, porm, de uma forma ou de
outra, ela est presente em muitos modelos de redes neurais que conhecemos hoje.
Portanto, a idia bsica que se duas unidades so ativadas simultaneamente, suas interconexes tendem a
se fortalecer. Se i recebe o sinal de entrada de j, o peso Wij modificado de acordo com :
onde (lambda) uma constante de proporcionalidade representando a taxa de aprendizado e ai e aj so
ativaes das unidades i e j respectivamente. Alguns autores representam alternativamente a matriz Wij por
Wji.
Representao da Regra de Hebb
file:///E|/downloadbarreto/rna/algoritm.htm (1 of 2) [04/12/2000 18:09:54]
file:///E|/downloadbarreto/rna/algoritm.htm (2 of 2) [04/12/2000 18:09:54]
Regra Delta
O treinamento supervisionado do modelo de rede Perceptron, consiste em ajustar os pesos e a polarizao
(bias ou threshold) de suas unidades para que a classificao desejada seja obtida. Para adaptao da
polarizao juntamente com os pesos pode-se consider-lo como sendo o peso associado a uma conexo
cuja entrada sempre igual a -1 e adaptar o peso relativo a essa entrada. Quando um padro inicialmente
apresentado rede, ela produz uma sada. Aps medir a distncia entre a resposta atual e a desejada, so
realizados os ajustes apropriados nos pesos das conexes de modo a reduzir esta distncia. Esse
procedimento conhecido por Regra Delta. uma variante da Regra de Hebb, introduzida por Widrow-Hoff
(Widrow,1988), a diferena quanto a de Hebb que possui uma sada desejada dj assim o peso ser
proporcional sada.
Sendo aj e ai os nveis de ativaes das unidades j e i respectivamente, a variao dos pesos :
A Regra Delta depende da funo de ativao dos neurnios e minimiza o erro entre a sada desejada e o
valor de ativao do neurnio (Widrow, 1988). aplicvel para o treinamento de redes neurais com
aprendizado supervisionado.
Deste modo, tem-se o seguinte esquema de treinamento:
Iniciar todas as conexes com pesos aleatrios; G
Repita at que o erro seja satisfatoriamente pequeno G
Para cada par de treinamento faa: G
Calcular a Resposta Obtida G
Se o erro no for satisfatoriamente pequeno ento G
Atualizar os pesos: peso novo := peso anterior + taxa de aprendizado G
Onde:
1. O par de treinamento corresponde ao padro de entrada e a sua respectiva resposta desejada;
2. O erro definido como: Resposta Desejada - Resposta Obtida
3. A taxa de aprendizado uma constante positiva, que corresponde velocidade do aprendizado
As respostas geradas pelas unidades so calculadas atravs de uma funo de ativao.
Regra Delta
file:///E|/downloadbarreto/rna/regra.htm (1 of 2) [04/12/2000 18:10:06]
Regra Delta
file:///E|/downloadbarreto/rna/regra.htm (2 of 2) [04/12/2000 18:10:06]
Aprendizado Competitivo
No aprendizado competitivo, os neurnios so inibidos por outros neurnios de modo que a competio entre
eles leva apenas um acabar excitado. Assim, enquanto uma rede neural baseada em aprendizado Hebbiano,
vrios neurnios de sada podem estar simultaneamente ativos, no caso do aprendizado competitivo, somente
um neurnio de sada fica ativo a cada vez. Fundamentalmente existem trs elementos que caracterizam o
aprendizado competitivo:
Existe um conjunto de neurnios idnticos, ligados por valores de conexes sinpticas de valores
distribudos de modo aleatrios.
1.
Existe um valor mximo bem definido para ativao dos neurnios. 2.
Existe um mecanismo que permite que os neurnios entrem em competio pelo direito de
permanecerem excitados.
3.
No aprendizado competitivo, entradas possuindo alguma semelhana tendem a excitar o mesmo neurnio na
sada (Barreto, 1999).
Dois modelos de Redes Neurais Artificiais utilizam o aprendizado competitivo: a rede Counterpropagation e a
rede auto-organizvel de Kohonen.
Aprendizado Competitivo
file:///E|/downloadbarreto/rna/compet.htm [04/12/2000 18:10:11]
Aprendizado "o vencedor leva-tudo" WTA ("winner-take-all")
A regra WTA (winner-take-all), isto , o vencedor leva-tudo" usada para anlise de propriedades de
aprendizagem estatstica das entradas.
O aprendizado baseado na premissa de que um dos neurnios de uma camada, tem a mxima resposta
devido a uma entrada qualquer, assim este neurnio considerado vencedor. A seleo do neurnio vencedor
baseada no critrio de mxima ativao entre os tantos neurnios participantes da competio. um
aprendizado no supervisionado, os pesos so inicializados com valores randmicos e corrigidos durante a
aprendizagem.
O aprendizado WTA est relacionado com a aprendizado competitivo e as redes de contra-propagao.
Maiores informaes podem ser obtidas no trabalho de Narendra (Narendra,1990).
Aprendizado WTA
file:///E|/downloadbarreto/rna/wta.htm [04/12/2000 18:10:17]
Al gor i t mo de Ret r opr opaga o (Bac k -pr opagat i on)
A retropropagao (RP) ("back-propagation - BP") pode ser considerada como a generalizao da Regra Delta
para redes diretas com mais de duas camadas. Neste caso, ao menos uma camada de neurnios no est
envolvida com a entrada ou sada e portanto interna rede. Esta camada e suas conexes quando
aprendem a efetuar uma funo, agem como se houvesse uma representao interna da soluo do
problema. A RP aplicvel a redes com neurnios tendo funo de ativao diferencivel, mas pode tambm
ser usadas no caso de redes com ciclos.
O algoritmo de retropropagao foi desenvolvido por Paul Werbos em 1974 e redescoberto
independentemente por Parker (1982) e Rumelhart (1986). Desde sua redescoberta, ele tem sido muito
utilizado como um algoritmo de aprendizado para as redes diretas e mltiplas camadas. A RP uma regra de
aprendizado supervisionado. Apresenta-se rede um exemplo e verifica-se a sada da rede, sada esta que
comparada sada esperada dando um erro. Calcula-se o gradiente deste erro com relao aos valores
sinpticos da camada de sada que atualizada por um passo escolhido, na direo da diminuio deste erro,
podendo-se ento calcular o erro da sada da penltima camada, e assim por diante, propagando para trs o
erro (origem do termo "backpropagation") por todas as camadas de conexes. A seguir apresenta-se mais um
exemplo (pode ser o mesmo repetido) e continua-se o processo. O processo de reduo gradativa do erro,
que acompanha a minimizao, denomina-se convergncia. medida que a rede aprende, o valor do erro
converge para um valor estvel, normalmente irredutvel. O processo de aprendizagem prossegue, at que
algum critrio seja estabelecido, como por exemplo, um valor mnimo global, ou uma diferena sucessiva
mnima entre erros calculados para cada iterao (Barreto, 1999).
A retropropagao tem passos "forward" (para frente) e "backward" (para trs). Estes passos so feitos para
cada apresentao, durante o treinamento da rede, visando o ajuste dos pesos e a minimizao do erro, entre
a sada que a rede oferece (com ajuste de seus parmetros) e a sada que se deseja obter.
O passo forward comea com a apresentao de cada padro de entrada para cada elemento de entrada da
rede e continua com os clculos do nvel de ativao propagando para frente atravs das unidades das
camadas escondidas. Nas camadas sucessivas, soma as entradas a cada elemento de processamento e
ento aplica uma funo linear que poder ser a funo sigmode para computar sua sada. As unidades da
camada de sada produzem a sada da rede.
O passo backward comea com a comparao dos padres de sada com o vetor de sada e quando h
diferena, o erro calculado. O passo backward calcula os valores de erro para as unidades escondidas e
troca seus pesos, comeando com a camada de sada e movendo para trs atravs das sucessivas camadas
intermedirias e continua corrigindo os pesos de maneira a decrescer o erro (Azevedo,1995).
O esquema abaixo ilustra uma configurao tpica de uma rede com algoritmo back-propagation.
Algoritmo de Retropropagao
file:///E|/downloadbarreto/rna/backprop.htm (1 of 2) [04/12/2000 18:10:22]
O poder da retroprogao est na habilidade de encandear camadas escondidas (alguns denominam de
ocultas), isto , quando duas ou mais camadas de pesos so ajustadas, a rede tem camadas no meio -
escondidas - e cada camada escondida age como uma camada detectora de caracterstica, que responde a
caractersticas especficas do padro de entrada. Sendo assim, conhecendo as caractersticas do padro a
rede pode identificar caractersticas efetivas automaticamente (Azevedo, 1995).
O aprendizado de retropropagao tem como principal finalidade encontrar o ponto de erro mnimo, mas
muitas vezes a superfcie de erro pode conter pontos de erro mnimo local que no representa o melhor ponto,
o chamado erro mnimo global.
Algoritmo de Retropropagao
file:///E|/downloadbarreto/rna/backprop.htm (2 of 2) [04/12/2000 18:10:22]
TOPOLOGIAS DAS REDES NEURAIS
Segundo Barreto (Barreto, 1999), qualquer dgrafo (grafo dirigido) pode dar lugar a uma topologia de RNA.
Entretanto, algumas topologias particulares receberam maior ateno dos pesquisadores e so conhecidas
com nomes especficos. Aqui so mostradas apenas as das redes abordadas no escopo deste trabalho:
Redes Neurais Diretas
As redes diretas ("feedforward") so aquelas cujo grafo no tem ciclos. Freqentemente comum representar
estas redes em camadas e neste caso so chamadas redes em camadas. Nesta topologia, os neurnios que
recebem sinais de excitao so chamados de camada de entrada, ou primeira camada. Os neurnios que
tem sua sada como sada da rede pertencem a camada de sada, ou ltima camada (Barreto,1995). Os
neurnios que no pertencem nem a camada de entrada nem a de sada so neurnios internos rede e
pertencem a uma ou mais camadas internas, tambm chamadas de camadas intermedirias ou camadas
escondidas ("hidden layers"). Alguns autores tambm chamam estas camadas de ocultas.
A figura extrada de (Barreto, 1999) ilustra uma rede direta com quatro camadas onde as conexes sinpticas
so representadas apenas por setas.
Exemplo de Rede Neural Direta com 4 camadas

TOPOLOGIAS DAS REDES NEURAIS
file:///E|/downloadbarreto/rna/topologi.htm [04/12/2000 18:10:27]
Redes com Realimentao (Feedback)
Redes com "feedback" so aquelas cujo grafo de conectividade contm pelo menos um ciclo. Por esta razo
McCulloch chamou-as de "networks with cycles", ou redes com ciclos. Quando alm disso envolvem neurnios
dinmicos, contendo um retardo, so chamadas de recorrentes. Exemplos destas redes so as redes
propostas por Hopfield e algumas redes bidirecionais com unidades de neurnios realimentadas.
Conceito de ciclos:
Ciclos so a apresentao de todos os N pares (entrada e sada) do conjunto de treinamento no processo de
aprendizado. A correo dos pesos num ciclo pode ser executado de dois modos:
Modo padro: quando a correo dos pesos acontece a cada representao rede de um exemplo do
conjunto de treinamento, ou seja, a cada ciclo ocorrem N correes.
1.
Modo por lotes ("batch"): quando apenas uma correo feita por ciclo. Todos os exemplos do
conjunto de treinamento so apresentados rede, seu erro mdio calculado e, a partir deste erro as
correes dos pesos so efetuadas.
2.
As principais vantagens so das redes com ciclos so:
Uso de representao de conhecimento localizada, facilitando a extrao de explicaes; G
Ausncia do mtodo de aprendizagem; G
Transitrio da rede pode ser interpretado como metfora do raciocnio, podendo-se esperar deste
paradigma, mais do que um simples ato reflexo.
G
Seus principais pontos fracos so:
difcil saber se a rede vai ou no parar em um ponto de equilbrio; G
o tempo correspondente ao transitrioda rede pode ser longo. G
Maiores informaes sobre este tipo de rede podem ser obtidas em (Hopfield, 1982).
Uma tpica rede com realimentao representada na figura a seguir extrada de (Azevedo, 1995).
Exemplo de Rede com ciclos
Redes com Realimentao
file:///E|/downloadbarreto/rna/redescom.htm (1 of 2) [04/12/2000 19:57:36]
Rede Simtrica
Numa rede simtrica todas as conexes esto nos dois sentidos e so iguais. um caso especial de rede com
ciclos. Os grafos destas redes tem arcos no orientados. Da mesma forma que outras redes elas podem ter
neurnios de entrada, neurnios de sada e neurnios internos. O paradigma das redes simtricas, tambm
conhecido como BAM ("Bidirectional Associative Memories") foi estudado por Kosko.
Neste caso, possui a matriz de conexes simtricas podendo ou no ter camadas escondidas.
Exemplo de Rede Simtrica
Redes com Realimentao

file:///E|/downloadbarreto/rna/redescom.htm (2 of 2) [04/12/2000 19:57:36]
ALGUNS TIPOS DE REDES NEURAIS
Modelo de McCulloch-Pitts
Este modelo foi introduzido por McCulloch e Pitts em 1943. As entradas do neurnio so binrias e
combinadas por uma somatria de pesos:
O modelo de McCulloch-Pitts ilustrado a seguir, no qual se tem T como a unidade de processamento bsica
- neurnio, X
1
a X
n
sendo as entradas W
1
a W
n
os pesos das conexes e a sada. Deve-se observar que as
entradas so valores binrios e os pesos +1 e -1 para sinapses excitatrias e inibitrias respectivamente. Vale
ressaltar que este modelo no tem aplicao prtica e serviu somente como ponto de partida para o
desenvolvimento das redes neurais.
ALGUNS TIPOS DE REDES NEURAIS
file:///E|/downloadbarreto/rna/alguns.htm [04/12/2000 19:57:47]
Percptron
O Perceptron foi proposto por Rosenblatt (1959) para reconhecimento de letras maisculas do alfabeto. uma
rede direta consistindo de unidades binrias, que aprendem a classificar padres atravs de aprendizado
supervisionado. Os perceptrons introduzem formalmente a uma lei de treinamento. Modelam o neurnio
fazendo a soma ponderada de suas entradas e enviando o resultado 1 se a soma for maior do algum resultado
inicial ajustvel (caso contrrio, ele envia 0). A figura mostra que a
0
, a
1
, a
2
, ... a
n
so as unidades de entrada e
w
jo
, w
j1
, w
j2
, ..., w
jn
so os pesos das conexes e xj a sada do Perceptron.
Os padres so classificados usando vetores binrios 0 e 1. A unidade de processamento do Perceptron

executa uma somatria de pesos e por seus valores de entrada. A soma dada por:
w
ij
peso associado a cada conexo da unidade de processamento j para a unidade i e a
i
o valor da sada
da unidade i.
Uma entrada especial denominada polarizao ("bias" - a
0
) tem um valor fixo de +1 . O perceptron testa se a
soma ponderada dos pesos est acima ou abaixo de um valor de polarizao usando a regra:
Se Sj > 0 ento xj = 1
Se S =< 0 ento xj = 0
onde xj = valor de sada da unidade de processamento j.
Percptron
file:///E|/downloadbarreto/rna/percptro.htm (1 of 5) [04/12/2000 19:58:13]
Se a presena de alguma caracterstica a
i
tender a disparar o Perceptron, w
ji
ser positivo, se a caracterstica
inibir o Perceptron w
ji
ser negativo.
Problema de classificao de padres linearmente separveis
Dados os valores para a
1
e a
2
treinar o Perceptron para produzir a sada 1 se ele achar que entrada pertence
classe dos pontos amarelos e para produzir a sada 0 para a classe dos pontos vermelhos.
Observao de como o Perceptron se comporta:
Seja A um vetor de entrada (a
1
, a
2
, ..., a
n
), observa-se que a funo da soma ponderada Sj(a) e a funo de
sada xj(a) so definidas como:
No caso para duas entradas:
Percptron
Tem-se que: Sj(x) = w
0
+ w
1
a
1
+ w
2
a
2
Se Sj(a) for exatamente igual a zero, o Perceptron no pode decidir se dever disparar ou no. Uma
modificao nas entradas pode fazer com que o dispositivo siga um dos caminhos propostos. Em Sj(a) = 0, a
equao da linha obtida:
Nota-se assim que a localizao da linha totalmente determinada pelos pesos w
0
, w
1
e w
2
. Se um vetor
estiver em um lado da linha produzir 1, se estiver no outro lado produzir 0.
Superfcie de deciso: a linha que separa corretamente as instncias de treinamento, corresponde ao
funcionamento perfeito do Perceptron.
Por no conseguirem classificar padres no linearmente separveis, os modelos Perceptrons foram criticados
por Minsky e Papert em 1969 o que causou uma polmica no estudo das redes neurais !
Problema da classificao de padres no linearmente separveis
Considerando-se um Perceptron de uma camada com duas entradas conforme a figura a seguir:
Conforme visto, a sada do Perceptron 0 quando a soma ponderada negativa e igual a 1 se a soma
positiva. A figura a seguir mostra a representao geomtrica no domnio da entrada para as funes E, OU e
Percptron
OU-EXCLUSIVO:
Representao geomtrica do espao de entrada
A tabela verdade, a seguir, mostra a relao desejada entre a entrada e a as unidades de sada para uma
funo ou-exclusivo:
x
0
x
1
sada
-1 -1 -1
-1 1 1
1 -1 1
1 1 -1
Nota-se na figura que uma soluo no pode ser encontrada. O espao de entrada consiste de quatro pontos
e os dois crculos vermelhos em (1,-1) e (-1,1) no podem ser separados por uma linha reta dos dois crculos
Percptron
amarelos em (-1,-1) e (1,1).
Como resolver o problema?
Minsky e Papert provaram em seu livro "Perceptrons" que para entradas binrias qualquer transformao pode
ser feita adicionando-se mais uma camada que deve ser conectada a todas entradas. Para o Problema do
OU-EXCLUSIVO (XOR Problem) a adio de camadas escondidas, (Perceptron de Multicamadas) pode
resolver o problema pois os quatro pontos estaro no espao tri-dimensional definidos por duas entradas mais
a camada escondida separados por um plano em dois grupos conforme mostra a figura abaixo.
A adio de camadas soluciona problemas de classificao para redes diretas, como redes perceptron
multicamadas. Todavia, para generalizaes desta arquitetura bsica tem-se o problema do aprendizado, o
que foi solucionado atravs do algoritmo de retropropagao. Maiores detalhes podem ser obtidos em Barreto,
(Barreto, 1999).
Percptron
Perceptrons multi-camadas
O perceptron tem sada de cada neurnio binria. Entretanto, comum chamar de perceptron multicamada, a
uma rede em que se distinguem neurnios de entrada, neurnios de sada, e neurnios internos, arrumados
formando camadas, se bem que os neurnios no sejam binrios e tenham uma no linearidade do tipo
funo logstica, tangente hiperblica, ou outra funo qualquer. Muitas vezes, esta funo derivvel e se
emprega o algoritmo de retropropagao ("backpropagation"), o que conduz a ambigidades na denominao
dessas redes como sendo redes de retropropagao ou apenas em ingls redes backpropagation (Barreto,
1999). Estritamente falando o perceptron multicamada uma rede direta multicamada com neurnios binrios.
Deve ser notado que, na rede direta multicamada cada neurnio de uma camada se liga somente a neurnios
da camada vizinha.
A limitao do Perceptron foi superada pela implementao de redes multicamadas com algoritmo de
aprendizado de retropropagao.
A figura a seguir mostra um exemplo de um Perceptron com trs camadas. Neste exemplo, a camada de
entrada toma o valor 0/1 em uma grade bidimensional. A grade aqui a representao da letra E tomada
como entrada. Cada unidade na camada de entrada usa o valor da grade correspondente a sua sada.
Um perceptron de trs camadas

O exemplo abaixo apresenta uma rede de trs camadas, onde se tem uma camada de entrada, uma camada
escondida (ou oculta) e uma camada de sada, os pesos Wij podem ser ajustados com um algoritmo de
aprendizado, por exemplo, de retropropagao:
Perceptrons Multicamadas
file:///E|/downloadbarreto/rna/redes.htm (1 of 2) [04/12/2000 19:58:49]
Redes multicamadas
Perceptrons Multicamadas
file:///E|/downloadbarreto/rna/redes.htm (2 of 2) [04/12/2000 19:58:49]
Adaline e Madaline
Proposta por Widrow e Hoff em 1959 (Widrow, 1988) uma rede linear onde as conexes so ajustadas, isto
adaptativas. O neurnio tem uma sada proporcional a soma ponderada das excitaes sendo portanto
utilizado o modelo linear que foi chamado de Adaline (do ingls "ADAptiveLInear Element"). Mais tarde criaram
uma generalizao multidimensional denominada MADALINE (Multiple ADALINE)
Para treinar a Adaline Widrow-Hoff formularam o algoritmo dos mnimos quadrados, atualmente conhecido
como Regra Delta, que mais tarde foi generalizada para redes neurais mais elaboradas. Este mesmo algoritmo
foi utilizado em outros domnios tais como filtragem de sinais telefnicos, supresso de rudos em antenas, etc.
Pode-se dizer que este algoritmo tem papel importante em processamento de sinais em geral (Barreto, 1999).
Se as condutncias de entrada so denotadas por Wi , i = 0, 1, ... n , e os sinais de entrada e sada por x e a ,
respectivamente, ento a sada do bloco central definido como:
onde (teta) denominado limitador - "threshold" ou bias . A caracterstica de bias se refere a um valor
somado entrada do neurnio. Esse efeito como se houvesse uma conexo de valor constante como
entrada ligado a esse elemento.
Adaline
file:///E|/downloadbarreto/rna/adaline.htm [04/12/2000 19:58:57]
ART (Adaptive Ressonance Theory)
Os primeiros modelos foram propostos por Gail Carpenter & Stephen Grossberg em 1976. Eram destinados a
reconhecimento de tarefas no familiares aos seres humanos tais como reconhecimento de sinais de radares,
impresso de voz, etc. Uma das limitaes destes modelos sua sensibilidade a variaes dos sinais de
entrada, tais como distores e mudanas de escala (Grossberg, 1988). O sistema consiste de duas camadas,
F1 e F2 , as quais so implementadas por mecanismos LTM (long-term memory) de classificao e STM
(short-term memory) de contraste.
O padro de entrada classificado em F1 e colocado em F2 , assim a sada classificada diretamente. A
classificao comparada com a sada esperada da rede, se existir um casamento de padres a classificao
reforada, caso contrrio rejeitada.
ART (Adaptive Ressonance Theory)

file:///E|/downloadbarreto/rna/art.htm [04/12/2000 19:59:02]
Redes BAM
A memria bi-direcional associativa (BAM) uma rede heteroassociativa e contedo enderevel, consistindo
de duas camadas. Ela usa o fluxo de informao forward e backward para produzir uma pesquisa associativa
em resposta a um estmulo. Suas mais populares aplicaes so em processamento de imagem, controle e
alocao de recursos na rea financeira.
Dado um par de vetores L constituindo o conjunto de exemplos a serem armazenados pela rede, a matriz de
pesos dada por:
w= y
1
x
1
t
+ y
2
x
2
t
+ ... + y
L
x
L
t
Esta equao oferece os pesos da conexo da camada x para a camada y. Por exemplo, o valor de w
23
o
peso da conexo da terceira unidade da camada x para a segunda unidade da camada y. Para obter os pesos
para as unidades da camada x, deve ser feita a transposio da matriz de pesos w
t
.
Para a BAM agir como uma memria autoassociativa a matriz de pesos pode ser construda como:
w= x
1
x
1
t
+ x
2
x
2
t
+ ... + x
L
x
L
t
Neste caso, a matriz de pesos quadrada e simtrica.
A figura a seguir ilustra uma rede que tem n unidades na camada x (entrada) e m unidades na camada y
(sada). Todas as conexes entre as unidades so bidirecionais, com pesos no final de cada uma. A
informao passa e volta de uma camada a outra. As conexes de realimentao podem estar ou no
presentes nas arquiteturas BAM.
A figura a seguir mostra um diagrama simplificado da BAM encontrada em Narendra (Narendra, 1990).
Redes BAM
file:///E|/downloadbarreto/rna/redesbam.htm (1 of 2) [04/12/2000 19:59:10]
As camadas A e B operam de modo alternativo - primeiro transferindo os sinais de sada dos neurnios em um
sentido utilizando a matriz W e em outro utilizando a matriz W transposta o que lhe confere a habilidade de
aprendizado "on-line".
Redes BAM
file:///E|/downloadbarreto/rna/redesbam.htm (2 of 2) [04/12/2000 19:59:10]
Redes de Contra-propagao
A rede de Contra-propagao (Counterpropagation) foi proposta por Robert Nielsen em 1987. muito utilizada
em classificao de padres, aproximao de funes, anlise estatstica e aplicaes que requerem
compresso de dados.
A primeira camada funciona com o aprendizado competitivo e a segunda com aprendizado supervisionado.
Segundo Cellier (Cellier apud Barreto, 1999) o mais interessante que este paradigma permite obter valores
das conexes sinpticas de modo algortmico, sem iteraes.
Um vetor de entrada aplicado na camada de entrada, pr-processado e propagado para a camada
intermediria. Na camada intermediria, cada neurnio calcula o seu net (produto escalar de um vetor de
entrada pelo vetor de pesos) e compete com outros neurnios da mesma camada para ver quem tem o maior
valor de net. Apenas a unidade vencedora que manda o seu sinal para os neurnios da camada de sada.
Componentes da CNP
Uma camada de entrada realiza o pr-processamento nos dados de entrada; G
Um neurnio denominado "instar" que representa um "cluster" ou uma "classe" de padres, calculando
o net;
G
Uma camada de instars chamada de "camada competitiva"; G
Uma estrutura conhecida como "outstar", composta por todas as unidades da camada de sada do CPN
e por uma nica unidade da camada escondida.
G
A primeira camada de unidades somente para entrada, a segunda (instar) competitiva - que oculta e com
unidades competitivas e a terceira a camada de sada (outstar) - que tem algoritmo de aprendizado no
supervisionado e no competitiva.
Quando apresentado um padro de entrada rede, as unidades da camada oculta somam suas entradas e
competem para responder ao padro de entrada., somente uma unidade ganha a competio e ativada. Esta
unidade ganhadora representa a categoria de classificao para o padro de entrada.
A figura a seguir mostra a topologia de uma rede counterpropagation, tpica de trs camadas.
file:///E|/downloadbarreto/rna/redesde.htm (1 of 2) [04/12/2000 19:59:16]
file:///E|/downloadbarreto/rna/redesde.htm (2 of 2) [04/12/2000 19:59:16]
Rede de Hopfield
A rede de Hopfield uma rede binria, recursiva, ou seja , todas as sadas de cada unidade realimentam as
entradas de outras unidades na mesma camada.
Esta rede possue uma nica camada de processamento e cada unidade de processamento tem um valor de
atividade , ou "estado" que binrio - com um ou dois valores possveis, usualmente, a entrada um vetor de
" 0 " e " 1" .
Cada entrada no vetor corresponde a um a unidade de processamento individual da rede. Assim , para um
dado momento, o estado da rede representado por um vetor de estado tal como:
U = (u
1
, u
2
, ... u
n
) = (0 0 0 1 1. . .1 1 1 0 0)
Este vetor de estados reflete uma rede de n unidades de processamento, onde o elemento i tem o estado u
i
.
Nesta notao um "1" representa uma unidade de processamento com valor binrio "1" e um " 0 " uma
unidade de processamento com valor binrio "0" . As unidades de processamento so completamente
interconectadas ou seja cada unidade conectada a todas as outras unidades. Cada conexo tem um peso
associado. O peso denotado Tji quando a conexo da unidade j para a unidade i e o contrrio para Tij.
Assim a matriz de conexes simtrica e tem o mesmo valor Tji = Tij .
A figura a seguir mostra uma diagrama de unidades de processamento em uma rede de Hopfield e em
conjunto com um exemplo de "estados" (Hopfield, 1987).
Quando a somatria calculada , a unidade de processamento avalia se a soma maior ou menor do que " 0
" . Se a soma maior do que " 0 " ento a sada da unidade ajustada a " 1 " caso contrrio ajustada a " 0 "
. (Dayhoff, 1992)
A figura ilustra as unidades de processamento binrio de uma Rede de Hopfield:
Rede de Hopfield
file:///E|/downloadbarreto/rna/redede.htm (1 of 4) [04/12/2000 19:59:25]
No processo de atualizao dos pesos de uma rede de Hopfield simtrica, cada neurnio toma a somatria de
pesos de suas entradas de acordo com a equao:
Relaxamento paralelo:
Uma conexo com peso positivo indica que as duas unidades tendem a ativar uma a outra. Uma conexo
negativa permite que a unidade ativa desative uma unidade vizinha.
Rede de Hopfield
Uma unidade aleatria escolhida. Se qualquer um dos vizinhos estiver ativo, a unidade computar a soma
dos pesos das conexes com os neurnios vizinhos ativos. Se a soma for positiva, a unidade ficar ativa, caso
contrrio, ficar inativa.
Uma outra unidade aleatria escolhida e o processo se repete at que toda a rede atinja um estado estvel,
isto , at que mais nenhuma unidade possa mudar de estado.
Rede de Hopfield
Estados da rede
Dado um estado inicial qualquer, a rede fixa-se em uma das muitas configuraes. O estado estvel no qual
todas as unidades esto inativas s pode ser alcanado se ele tambm for um estado inicial.
Dado qualquer conjunto de pesos e qualquer estado inicial, seu algoritmo de relaxamento paralelo acabar
conduzindo a rede para um estado estvel. No pode haver divergncia nem oscilao.
importante destacar a caracterstica de memria auto-associativa da rede de Hopfield. A rede poder ser
usada como memria acessvel pelo contedo se as ativaes das unidades forem ajustadas para
corresponder a um padro parcial. A rede ento ir para um estado estvel que mais se aproximar do padro
parcial. Se uma unidade falhar (tornando-se ativa ou inativa quando no for o caso) as unidades vizinhas
reajustam-se rapidamente para o estado correto.
Alguns caractersticas da memria:
Representao distribuda: uma memria armazenada como padro de ativao de um conjunto de
elementos de processamento. Memrias podem ser superpostas umas s outras, memrias diferentes
so representadas por padres diferentes, no mesmo conjunto de processamento.
G
Controle distribudo e assncrono: cada elemento de processamento toma decises baseadas
apenas em sua prpria situao local. Todas essas aes locais formam uma soluo global.
G
Memria acessvel pelo contedo: vrios padres podem ser armazenados em uma rede. Para
recuperar um padro, precisa-se apenas especificar uma parte dele. A rede automaticamente encontra
o casamento mais aproximado.
G
Tolerncia a falhas: se alguns elementos de processamento se comportarem mal ou falharem
totalmente, a rede ainda funcionar de modo adequado.
G
Rede de Hopfield
Rede de Kohonen
O pioneiro no desenvolvimento da teoria das Redes Competitivas foi Teuvo Kohonen, e por esta razo os
neurnios de uma rede competitiva so muitas vezes chamados de neurnios de Kohonen. Do mesmo modo,
as redes auto-organizveis so tambm conhecidas como Redes de Kohonen ou Mapas topolgicos de
caractersticas auto-organizativas, nos quais a caracterstica do objeto a ser mapeado preservado.
A rede de Kohonen uma estrutura de duas camadas de neurnios. A primeira camada a de Entrada e seus
neurnios esto completamente interconectados aos neurnios da segunda camada - denominada competitiva
- que organizada numa grade bi-dimensional ou em um arranjo dependente do objeto a ser mapeado
(Kohonen, 1987).
Quando padres de aprendizado so apresentados rede, os pesos das unidades so adaptados de maneira
a preservar a topologia do objeto.
A figura a seguir ilustra esta estrutura bsica onde mapeado o caracter " C ":
Um estudo da aplicao na rea biomdica utilizando uma rede de Kohonen proposta por (Azevedo e
Barreto,1994). Este trabalho descreve o desenvolvimento e testes preliminares de um mtodo de anlise da
dinmica de parmetros extrados de sinais eletroencefalogrficos de estados do sono e reconhecimento de
padres utilizando uma topologia de Kohonen. Segundo os autores a vantagem do uso da Rede de Kohonen
para o processamento de sinais biolgicos devido sua tolerncia em lidar com rudos, dados incompletos e
contraditrios, extraindo e reconhecendo padres e caractersticas intrnsecas de fenmenos biolgicos.
Numa rede CPN, a camada competitiva organizada segundo o esquema de "excitao central - inibio
lateral", isto os neurnios excitam a si mesmos e procuram inibir os outros neurnios para que, no equilbrio,
aquele neurnio que possua a maior sada, vena a competio e sada dos outros reduza a zero. Na rede de
Kohonen, durante o processo de treinamento, a realimentao positiva atinge no s o prprio neurnio, como
tambm a uma vizinhana finita em torno do neurnio.
Na rede CPN, apenas ao neurnio vencedor, isto , aqueles cujos pesos melhor representam o vetor de
entrada dada a chance de "aprender" , ou seja, de modificar os seus pesos na mesma direo do vetor de
entrada. Na rede de Kohonen, durante o processo de treinamento, todos os neurnios que recebem sinais
excitatrios do neurnio vencedor tambm tem seus pesos modificados, participando assim do processo de
"aprendizado". Estes sinais excitatrios so propagados atravs das conexes laterais.
Interaes laterais da Rede de Kohonen
Um neurnio no centro, mais fortemente excitado, excita lateralmente uma pequena vizinhana com
realimentaes positivas. medida que a distncia lateral do neurnio central aumenta, a excitao decresce
at que vira uma inibio.
Treinamento da rede de Kohonen
Rede de Kohonen
file:///E|/downloadbarreto/rna/kohonen.htm (1 of 2) [04/12/2000 19:59:38]
O treinamento da rede se faz segundo o seguinte algoritmo (segundo Barreto, 1999):
Atribuir valores aleatrios aos pesos das conexes entre os neurnios de entrada e com os da camada
de Kohonen;
G
Aplicar uma entrada. Como conseqncia alguns neurnios ficaro mais excitados que outros. Devido
s conexes inibitrias, um neurnio excitado far com que os que se encontram perto dele, ou a ele
diretamente ligados, sejam inibidos;
G
Reforar as conexes para o neurnio que ficou mais excitado; G
Repetir. G
Intuitivamente, pode-se concluir que medida que o algoritmo avana, a aplicao de entradas semelhantes
reforaro cada vez mais uma certa configurao de neurnios excitados. Entradas diferentes, se aplicadas
desde o incio do processo de aprendizado provocaro neurnios diferentes da camada de Kohonen,
excitados. Generalizando, pode-se dizer que para cada tipo de entrada se estabelecer uma configurao de
neurnios excitados. Entradas semelhantes provocaro configuraes semelhantes, e sero estas
configuraes que iro permitir classificar entradas.
Rede de Kohonen
file:///E|/downloadbarreto/rna/kohonen.htm (2 of 2) [04/12/2000 19:59:38]
ALGUMAS APLICAES DAS REDES NEURAIS
Para desenvolver aplicaes, de modo genrico, utilizando redes neurais, geralmente so necessrios os
seguintes passos:
Coleta de dados a serem utilizados pela rede; 1.
Separao dos dados em conjunto de treinamento e conjunto de testes; 2.
Configurao da rede (escolha do paradigma neural apropriado, determinao da topologia e
determinao dos algoritmos de treinamento e funes de ativao);
3.
Treinamento (inicializao da rede, modo de treinamento e tempo de treinamento); 4.
Teste da rede (utilizando o conjunto de testes separado no passo 2); 5.
Integrao (a rede estando treinada e avaliada pode ser integrada no sistema do ambiente operacional
da aplicao);
6.
Implementao. 7.
A ttulo de ilustrao so mencionadas algumas aplicaes das redes neurais. Maiores informaes devem ser
procuradas na literatura especializada.
Biomedicina
Tm sido apresentado um grande nmero de aplicaes dos sistemas conexionistas. Devido ao fato destes
sistemas possurem propriedades como memrias associativas, processamento paralelo distribudo e
aprendizado, isto tem favorecido a uma larga variedade de tarefas envolvendo classificao e reconhecimento
de padres. Muitos trabalhos tem sido encontrados em aplicaes no processamento e interpretao de
imagens e sinais biolgicos e em sistemas de suporte a deciso mdica.
Aplicadas s mais diversas reas dentro da Biologia, das Neurocincias e Medicina muitos modelos de Redes
Neurais tem sido propostos para:
Processamento de sinais biolgicos - anlise de sinais de eletrocardiogramas, eletromiogramas,
eletroencefalograma entre outros;
G
Processamento de imagens mdicas e biolgicas - radiografia digital, tomografia computadorizada,
cintilografia, ultrasons e microscopia;
G
Sistemas de deciso mdica - representao do conhecimento mdico em sistemas especialistas em
diagnose mdica e terapia na neurofisiologia, oftalmologia, endocrinologia, cardiologia,
gastroenterologia, dermatologia, neonatalogia, cirurgia, ortopedia, anestesiologia, oncologia, radiologia,
patologia clnica, enfermagem e medicina alternativa;
G
Tcnicas computacionais na Biologia Molecular e Gentica - comparao de sequncias de cidos
nucleicos, classificao de cromossomos e genes, entre muitos outros trabalhos.
G
Neurocomputadores
Os Neurocomputadores so computadores que "simulam" o processamento de informao humana, com uma
arquitetura baseada na abstrao do princpio computacional do crebro. Os neurocomputadores devem ter
capacidade de possuir aprendizado por experincia, habilidade de relembrar e recuperar informaes parciais,
capacidade de reconhecimento e raciocnio. O processador deste tipo de computador deve ser uma pastilha
de rede neural que pode ser implementado analgica, digital ou oticamente. Muitos estudos tem sido feitos
para torn-los comerciais e diminuir seus problemas de implementao.
Sistemas Especialistas
De uma maneira geral, pode-se definir funcionalmente um sistema especialista como um programa que
funciona num determinado sistema de computao e que procura ter um desempenho em um campo bem
definido como a de um especialista humano num campo de domnio bem definido. (Barreto, 1994).
file:///E|/downloadbarreto/rna/algumas.htm (1 of 2) [04/12/2000 19:59:50]
O conexionismo das redes pode ser usado como bases de conhecimento de sistemas especialistas
principalmente em problemas de classificao. O trabalho de F. M. Azevedo et al (em AINN'91) prope dois
mtodos para a implementao de um sistema especialista. Um mtodo utilizando uma arquitetura de rede
direta ("feedforward) com um algoritmo de aprendizado de retropropagao ("backpropagation") e outro
mtodo baseado em memrias associativas. Estes mtodos so aplicados a um problema de diagnose mdica
onde o conhecimento mdico de vrios sintomas de doenas e casos associados, so as bases de
conhecimento para um sistema especialista conexionista. Maiores informaes podem ser encontradas em
(Gallant, 1988).
Controle Neural
O Controle Neural utiliza Redes Neurais em problemas de controle. Muitos trabalhos tm sido feitos nesta
rea, vrios paradigmas tem surgido com vrios tipos de modelos de controladores, aproximadores,
identificadores e controle adaptativo nas mais diversas topologias de controle aplicado aos mais diversos
campos.
As Redes Neurais so consideradas como sistemas dinmicos, pois s vezes os modelos de controle clssico
so considerados complexos demais para serem modelados matematicamente, neste caso o uso das Redes
Neurais permite a modelagem da planta a ser controlada e do controlador em um problema de controle. Mais
informaes podem ser obtidas em (Narendra, 1990).
As Redes Neurais so importantes pois tratam com sistemas no lineares e processam naturalmente em
sistemas com muitas entradas e sadas.
Azevedo e Barreto (1992) apresentaram por exemplo, um modelo de controlador de braos de um rob
utilizando uma rede neural com topologia feeedforward e algoritmo de aprendizado back-propagation.
file:///E|/downloadbarreto/rna/algumas.htm (2 of 2) [04/12/2000 19:59:50]
BIBLIOGRAFIA
(Algarve, 1994) Algarve, Almoraci S. Algoritmos Genticos - Reviso da Teoria e Exemplo Didtico Simples -
GPEB - UFSC, 1994.
(Azevedo, 1995) Azevedo Fernando M. - Notas de Aulas da disciplina "Redes Neurais por Software"- Curso
de Mestrado em Engenharia Biomdica - GPEB-DEE, Universidade Federal de Santa Catarina - UFSC, 1995.
(Azevedo,1992) Azevedo, Fernando Mendes & Barreto, Jorge Muniz - "IMC Scheme using Neural Networks
for Robot Arm" - Mini and Microcomputers in Medicine and Healthcare, p. 891-896, 1992.
(Azevedo, 1994) Azevedo, Fernando Mendes & Barreto, Jorge Muniz - "Automatic Detection of Sleep-waking
states using Kohonen Neural Networks" - 1 Congresso Brasileiro de Redes Neurais, Escola Federal de
Engenharia de Itajub, 1994.
(Azevedo, 1993) Azevedo, Fernando Mendes - "Connectionist Networks:Insight towards a more operational
Technology" - Artificial Intelligence in Medicine, p. 65-69, 1993.
(Barreto, 1993) Barreto, Jorge Muniz - "Neural Networks Theorical Foundations and Applications", Curso
apresentado na UFSC-DEE-GPEB, 1993.
(Barreto, 1991) Barreto, Jorge Muniz et al. - "A Neural Network Approach for Medical Diagnosis"- Proceedings
of the ISMM International Conference, Califrnia, USA, p. 78-81, 1991.
(Barreto, 1991) Barreto, Jorge Muniz - "Associative Memories in Medical Diagnostic" - 10th. International
Congress on Medical Informatics, Viena, Astria, 1991.
(Barreto, 1995) Barreto, Jorge Muniz - "Redes Neurais - Fundamentos e Aplicaes" 2
o.
Simpsio Brasileiro
de Automao Inteligente, CEFET-PR, 1995.
(Barreto, 1996) Barreto, Jorge Muniz - "Conexionismo e a Resoluo de Problemas" - Trabalho apresentado
no Concurso Pblico de Prof. Titular - Departamento de Informtica e Estatstica - Centro Tcnico e Cientfico -
UFSC, 1996.
(Barreto, 1997) Barreto, Jorge Muniz. Inteligncia Artificial no Limiar do Sculo XXI, 1a. Ed., Florianpolis:
Duplic Edies, 1997.
(Barreto, 1999) Barreto, Jorge Muniz. Inteligncia Artificial no Limiar do Sculo XXI, 2a. Ed., Florianpolis:
Duplic Edies, 1999.
(Dasdan, 1995) Dasdan, Ali & Oflazer, Kemal - "Genetic Synthesis of Unsupervised Learning Algorithms" -
Department of Computer Engineering and Information Science, Bilkent University, Ankara, Turquia, 1995.
(Dayhoff,1992) Dayhoff, Judith E., Neural Networks Architectures, New York: Van Nostrand Reinhold,1992.
(Denis, 1991) Denis, Fernando A.R.M. - "O Modelo Conexionista Evolutivo" - IBM Brasil, Centro Cientfico Rio
- Relatrio Tcnico CCR-128, set., 1991.
(Grossberg, 1988) Grossberg, S. - Neural Networks and Natural Intelligence, Cambridge: MIT Press, 1988.
(Gallant, 1988) Gallant, Stephen - "Connectionist Expert Systems", Communications of ACM, vol.31, no. 2,
february, 1988.
(Hopfield, 1987) Hopfield, J.J. - "Neural Networks and Physical Systems with emergent collective
computational abilities" - Proc. of the National Academy of Sciences, n.79, p.2554-2558, 1987.
(Kohonen, 1987) Kohonen, T. - Self-Organization and Associative Memory, Berlin: Springler-Verlarg, 1987.
BIBLIOGRAFIA
file:///E|/downloadbarreto/rna/bibliogr.htm (1 of 2) [04/12/2000 19:59:58]
(Kosko, 1988) Kosko, B. Bidirectional associative memories. IEEE Trans. on Systems, Man and Cybernetics,
vol. 18, no. 1, 1988.
(Kovcs, 1996) Kovcs, Z.L. - Redes Neurais Artificiais - Fundamentos e Aplicaes, So Paulo: Edio
Acadmica, 1996.
(Krose, 1993) Krose, Ben J. A & Van der Smagt, P. Patrick - An Introduction to Neural Networks, Amsterdan:
The Netherlands, 1993.
(Lippman, 1987) Lippman, R. - "An Introduction To Computing With Neural Networks" - IEEE-ASSP Magazine,
abril, 1987.
(Lawrence, 1990) Lawrence, Jeanette J. - "Untanling Neural Nets", Dr. Dobb's Journal,1990.
(Narendra, 1990) Narendra, K . S. - Neural Networks for Control , Cambrigde: MIT Press, 1990.
(Reilly,1990) Reilly, Douglas L. & Cooper, Leon N. - "An Overview of Neural Networks Early Models to Real
World Systems " - IEEE An Introduction to Neural and Electronic Networks, 1990.
(Rumelhart, 1990) Rumelhart, David E. - " Brain Style Computation Learning and Generation " - IEEE An
Introduction to Neural and Electronic Networks, 1990.
(Russell, 1995) Russel, S. J. and Norvig, P. Artificial Intelligence: a modern approach, London, UK: Prentice
Hal, 1995.
(Widrow,1988) Widrow, Bernard & Winter, Rodney - " Neural Nets for Adaptive Filtering and Adaptive Pattern
Recognition" - IEEE An Introduction to Neural and Eletronic Networks, 1988.
BIBLIOGRAFIA
file:///E|/downloadbarreto/rna/bibliogr.htm (2 of 2) [04/12/2000 19:59:58]
Glossrio
A
aprendem por exemplos: Segundo Dietterich (1983) possvel ter um programa aprendendo por exemplos.
Neste caso, o conhecimento extrado de um conjunto de exemplos escolhidos. Estes exemplos podem vir de
um agente externo rede.
G
generalizao : Normalmente, uma vez que a rede aprendeu um conceito, ela capaz de funcionar com
conceitos similares que no foram aprendidos (Barreto, 1996).
M
mquinas cognitivas: As mquinas cognitivas so aquelas com potencial de aprender. Nestas mquinas
ocorrem os chamados processos cognitivos, que constituem a aquisio de conhecimentos.
T
treinamento : o treinamento o ajuste de pesos das conexes entre os neurnios. O objetivo minimizar o
erro entre a sada da rede e a sada desejada.
treinveis : os modelos ditos "treinveis" so aqueles com habilidade de adaptao ou de aprendizado, cujas
conexes entre as unidades de processamento podem ser fixas ou inicializadas aleatoriamente.
Glossrio
file:///E|/downloadbarreto/rna/glossrio.htm [04/12/2000 20:00:04]
John McCarthy
Nascido em Boston em 1927. Recebeu seu Ph.D. em Matemtica (Princeton,1951).Demonstra interesse em IA
desde 1948. Definiu o termo IA em 1956 no Dartmouth College. Em 1948, inventou a linguagem de
programao LISP e um mtodo de raciocnio no monotnico (circumscription method) em 1978.
Ultimamente, suas principais pesquisas baseiam-se na formalizao de conhecimento de senso-comum e
raciocnio. Um de seus primeiros artigos o "Programs with Common Sense,". Este, provavelmente, o
primeiro trabalho de lgica em IA e mostra a lgica como um mtodo de representao da informao na
memria do computador.
McCarthy em 1995
John McCarthy
file:///E|/downloadbarreto/rna/john.htm [04/12/2000 20:01:04]
Marvin Minsky
Marvin Minsky recebeu seu Ph.D. em Matemtica em Princeton, 1954. Desde os anos 50 trabalha utilizando
modelos computacionais para caracterizao dos processos psicolgicos humanos. Seus trabalhos muito
contribuiram para os avanos tericos e prticos da IAS (Inteligncia Artificial Simblica), cincia cognitiva,
Redes Neurais, teoria das mquinas de Turing e funes recursivas. Foi um dos pioneiros da inteligncia
baseada em dispositivos mecnicos- robticos projetando e construindo os primeiros sensores tteis,
varredores visuais com interfaces computadorizadas.
Em 1951, Minsky construiu um simulador de redes neurais para aprendizado de mquina (denominado
SNARC). Este simulador era baseado no reforo da transmisso sinptica entre os neurnios. Em 1959, ele
fundou junto com McCarthy, o que tornou-se o "MIT Artificial Intelligence Laboratory". Construiu e projetou a
linguagem LOGO. Dentre suas mais influentes publicaes incluem o livro "Perceptrons" (com Papert, 1969).
O primeiro explora as limitaes dos modelos conexionistas e no segundo, "A Framework for Representing
Knowledge" (1975), proposto um modelo de representao do conhecimento, envolvendo "frames".
Em 1985, Minsky publicou "The Society of Mind" propondo uma teoria da mente que teria comeado a
desenvolver nos anos 70 e 80. De acordo com esta teoria, a inteligncia no somente o produto de qualquer
mecanismo singular, mas emerge da interao direcionada de vrias habilidades atuantes.
Foto: David Stork, Marvin Minsky e Murray Campbell cortando o bolo de comemorao do aniversrio de 30
anos do computador HAL do filme "2001: uma odissia no espao". Janeiro de 1997 no MIT Press Bookstore.
(hal.gif)
Marvin Minsky
file:///E|/downloadbarreto/rna/marvin.htm [04/12/2000 20:01:11]
Allen Newell
Nascido em San Francisco e morto em 1992. Graduou-se em Princeton e recebeu seu Ph.D. em
Administrao Industrial no Carnegie Institute of Technology em 1957. Newell foi um matemtico que aplicou a
psicologia cognitiva para projetar sistemas computacionais. Dedicou os ltimos quarenta anos de sua vida,
relacionando a Psicologia Cognitivista e suas implicaes para a Inteligncia Artificial. Outros trabalhos de
Newell focalizaram as diferenas de memria em especialistas e aprendizes. Com Herbert Simon, Newell
props a hiptese dos sistemas fsicos simblicos em 1957. Foi professor na Cincia da Computao da
Carnegie Mellon University. Seu trabalho concentrou-se no SOAR, uma arquitetura para resoluo inteligente
de problemas e aprendizado. Escreveu cerca de 250 publicaes e 10 livros. Entre seus trabalhos mais
conhecidos esto "Elements of Human Problem Solving" (1958) e "GPS: A Program That Simulates Human
Thought" (1963), "Computer Science as Empirical Inquiry" (com Simon, 1976), e "Physical Symbols Systems"
(1980).
Allen Newell
file:///E|/downloadbarreto/rna/allen.htm [04/12/2000 20:01:16]
Herbert Simon
Herbert Simon, nasceu em 1916. Recebeu seu Ph.D em Cincia Poltica na Universidade de Chicago. Sua
tese de doutorado foi sobre processo de deciso nas empresas, mais tarde expandida em Comportamento
Administrativo (1947). Em 1954, Simon e Newell usaram uma linguagem de programao de processamento
de listas no computador para construir teorias simblicas do comportamento humano e leis do pensamento.
Simon e seus colaboradores demonstraram que uma ampla faixa de processos cognitivos podem ser
explicados em termos de processamento da informao e modelados com programas de computador.
Construram e testaram empiricamente uma srie de programas de simulao, sintetizados no trabalho "
Human Problem Solving". Simon participou ativamente de teorias de matemtica econmica e teorias das
organizaes o que lhe valeu o Prmio Nobel de Economia em 1978. Pertenceu a Carnegie-Mellon University
e participou da National Academy of Science, do National Research Council e foi Presidente do Science
Advisory Committee.
Herbert Simon
file:///E|/downloadbarreto/rna/herbert.htm [04/12/2000 20:01:20]
Warren Sturgis McCulloch
Warren Sturgis McCulloch, nascido em Orange (1898) e morto em Detroit (1972), recebeu seu M.D. da
Columbia University's College of Surgeons and Physicians. Talvez seu trabalh o mais conhecido seja "A
Logical Calculus Immanent in Nervous Activity", em co-autoria com Walter Pitts. Este trabalho tornou-se uma
grande contribuio para a teoria das redes neurais, teoria dos autmatas, teoria da computao e ciberntica.
Foto: W.Ross Ashby, Warren McCulloch, Grey Walter, e Norbert Wiener em encontro em Paris (de Latil, P. de:
Thinking By Machine, 1956)
Warren Sturgis McCulloch

file:///E|/downloadbarreto/rna/warren.htm [04/12/2000 20:01:27]
Walter Pitts
Walter Pitts fez grandes contribuies a teoria das redes neurais. Seu mais conhecido trabalho " A Logical
Calculus of Ideas Immanent in Nervous Activity" (1943), em co-autoria com Warren McCulloch. Trabalhando
com Nicolas Rashevsky no grupo de matemtica biofsica da Universidade de Chicago, suas duas primeiras
publicaes na rea examinava as propriedades de laos fechados de neurnios em termos de equaes
diferenciais. Em 1947, Pitts mudou-se para o MIT para trabalhar com Norbert Wiener. Ele tambm associou-se
com o Laboratrio de Pesquisa para Eletrnica.
Walter Pitts
file:///E|/downloadbarreto/rna/walter.htm [04/12/2000 20:01:32]
Donald Hebb
Donald O. Hebb, nascido em 1904 em Chester, Nova Esccia e falecido em 1986 no Canad era Ph.D em
Psicologia pela Universidade de Harvard em 1936. Hebb fez sua carreira acadmica na McGill University em
Montreal, onde tornou-se um influente terico da relao entre o crebro e o comportamento. Seu mais
importante livro "The Organization of Behavior" (1949), teve grande influncia no desenvolvimento do
conexionismo.
Hebb tomou uma abordagem biolgica para a psicologia combinando o comportamento e a neurofisiologia.
Seu livro "A Textbook of Psychology" promoveu sua posio psicobiolgica e foi traduzido para cerca de 11
lnguas.
Donald Hebb
file:///E|/downloadbarreto/rna/donald.htm [04/12/2000 20:01:37]
Seymour Papert
Em 1969, Minsky e Seymour Papert publicaram uma edio revisada do livro "Perceptrons". Aps os anos 80,
Papert concentrou suas idias para transformao da educao enquanto Minsky continuou a trabalhar na
suas primeiras teorias. Em 1985, Minsky publicou "The Society of Mind," um livro no qual as idias refletem a
estrutura da teoria em si mesma.
Seymour Papert
Seymour Papert
file:///E|/downloadbarreto/rna/seymour.htm [04/12/2000 20:02:00]
Teuvo Kohonen
Doutor em Engenharia, professor da Academia da Finlndia, do Centro de Pesquisas em Redes Neurais da
Universidade de Helsinki.
Suas reas de pesquisas so: teoria da auto-organizao, memrias associativas, redes neurais e
reconhecimento de padres. Tambm trabalha em projetos para a indstria eletrnica. Desde 1960, Kohonen
introduziu novos conceitos na computao neural com as teorias de memrias associativas distribudas e
mapeamento timo associativo.
Seu trabalho mais divulgado o sistema de reconhecimento de voz por redes neurais. Recebeu vrios
prmios dentre eles "Honorary Prize" da Fundao Emil Altonen (1983), "Cultural Prize" da rede de televiso
MTV (1984), da IEEE Neural Networks Society (1991), IEEE Signal Processing Society (1996).
Teuvo Kohonen
Teuvo Kohonen
file:///E|/downloadbarreto/rna/teuvo.htm [04/12/2000 20:02:06]
David Rumelhart
Rumelhart e McClelland so os primeiros exemplos de psiclogos cognitivos modernos. Seus nomes so
associados com o Processamento Paralelo Distribudo (PDP). Rumelhart obteve seu Ph.D. em Psicologia
Matemtica em Standford, 1967. Foi professor assistente de 1967 a 1987 na UC, em San Diego at tornar-se
Professor de Psicologia na Stanford. Quando este na UCSD foi co-fundador do Instituto de Cincia Cognitiva.
Seu trabalho contribuiu para a emergncia da cincia cognitiva na dcada de 70. Seu livro "Explorations in
Cognition" (1975), em co-autoria com Donald Norman e o LNR Research Group, um trabalho pioneiro neste
campo.
McClelland
Nascido em 1948, Ph.D em Psicologia Cognitiva na University of Pennsylvania em 1975. Foi professor
assistente e associado na Universidade da Califrnia de 1974 a 1984 at se mudar para a Universidade
Carnegie-Mellon em 1984 onde se tornou professor de Psicologia em 1985. A principal contribuio de
McClelland em cooperao com David Rumelhart e o grupo PDP uma "re-introduo" de modelos
computacionais paralelos distribudos das funes mentais para estudos de cincia cognitiva
David Rumelhart
file:///E|/downloadbarreto/rna/david.htm [04/12/2000 20:02:12]
Norbert Wiener
Nascido em 1894 na Columbia e morto em 1964 em Estocolmo na Sucia. Recebeu seu Ph.D. em Filosofia na
Universidade de Harvard University em 1913.
De 1919 a 1960 ocupou posies no Massachusetts Institute of Technology (MIT). Lanou a disciplina
Ciberntica com a publicao de seu livro "Cybernetics" em 1948. Definiu o termo 'cybernetics' como uma
disciplina relacionada com o estudo comparativo de mecanismos de controle no sistema nervoso e
computadores de alta velocidade.
Norbert Wiener:
file:///E|/downloadbarreto/rna/norbert.htm [04/12/2000 20:06:08]

Rna

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Rna

Uploaded by

Copyright:

Available Formats

Contedo

APRENDIZADO DAS REDES NEURAIS

Rede Neural Hetero-associativa

Exemplo de Rede Neural Direta com 4 camadas

Redes com Realimentao

Os padres so classificados usando vetores binrios 0 e 1. A unidade de processamento do Perceptron

Um perceptron de trs camadas

ART (Adaptive Ressonance Theory)

Warren Sturgis McCulloch

You might also like