Professional Documents
Culture Documents
Sumrio
1 - Introduo 2 - Sistema de Inferncia Fuzzy 3 - Redes adaptativas 4 - ANFIS 5 - Algoritmo de aprendizado 6 - Exemplos 7 - Concluses 8 - Bibliografia
1. Introduo
Soft Computing
A essncia da Soft Computing integrar as diferentes tcnicas, de maneira que a sinergia desta integrao resulte em sistemas computacionais que incorporarem o conhecimento humano e que sejam capazes de aprender e se adaptarem em ambientes com incerteza e impreciso.
1. Introduo
REDES NEURAIS ARTIFICIAIS Qualidade : capacidade de aprendizagem permite a extrao das informaes contidas em um conjunto de observaes ( pares entrada/sada ). Inconveniente : uma abordagem do tipo caixa preta, pois os resultados no so interpretveis. SISTEMAS DE INFERNCIA FUZZY Qualidade : atravs de regras fuzzy SE-ENTO possvel incorporar o conhecimento de um especialista em um sistema computacional. Inconveniente : dificuldades na determinao da base de regras e das funes de pertinncia.
Uma forma de aproveitar as qualidades de cada tcnica e eliminar os inconvenientes consiste em integrar os Sistemas de Inferncia Fuzzy e Redes Neurais, formando um Sistema Neuro-Fuzzy (SNF).
1. Introduo
CARACTERSTICAS DOS SISTEMAS NEURO FUZZY
1) um Sistema de Inferncia Fuzzy implementado atravs de uma arquitetura paralela distribuda de maneira que os paradigmas de aprendizado, comuns s Redes Neurais, possam ser aproveitados. 2) Combina as caractersticas de aprendizado das Redes Neurais com a interpretabilidade dos Sistemas de Inferncia Fuzzy, so encarados como caixas cinzas (gray box). 3) Permite a integrao do conhecimento implcito (conjunto de dados) e explcito (bom senso, conhecimento preliminar ou um especialista). 4) uma mquina para extrao de conhecimento sob o formato de regras fuzzy SE-ENTO. 5) Natureza interdisciplinar
1. Introduo
EXEMPLOS DE SISTEMAS NEURO-FUZZY
ANFIS - Adaptative Network Fuzzy Inference System (Jang 1993) NEFCLASS - Neuro- Fuzzy CLASSification (Nauck 1994) FSOM - Fuzzy Self Organized Map ( Vuorimaa 1996) NFH - Neuro-Fuzzy Hierrquico (Souza1997)
1) Habilidade de modelar problemas com propriedades no-lineares 2) Capaz de incorporar tanto o conhecimento objetivo (modelos matemticos) quanto o conhecimento subjetivo (informao lingustica de difcil tratamento formal) 3) Habilidade de modelar sistemas que envolvam mltiplos especialistas (Importante em anlise de deciso) 4) Tratam de forma adequada as incertezas
2) SUGENO
Regras so do tipo se x A e y B ento z = f(x,y) O consequente da regra uma funo no fuzzy das variveis de entrada , em geral um polinmio.
3) TSUKAMOTO
Regras so do tipo : se x A e y B ento z=C O consequente de cada regra um conjunto fuzzy, cuja funo de pertinncia montona
A diferena entre os trs tipos est nos consequentes das regras , e por isso cada tipo de FIS apresenta um mtodo de agregao e defuzzyficao prprio.
A1
Mximo
Z = centro de gravidade
A1
Produto w1 z = p1 X + q1 Y +r 1 1
z= w1 z1 + w2 z2 w1 + w2
w2 X Y
z2 = p2 X + q 2 Y + r 2
= w1 z1 + w 2 z 2
A1
Produto w1
z1
z=
w1 z1 + w 2 z2 w1 + w 2
w2
z2
= w1 z1 + w 2 z 2
MANDANI : A defuzzyficao pelo centro de gravidade demanda bastante tempo computacional. SUGENO : Dificuldade de atribuir um conceito lingustico ao consequente das regras, pois este uma funo no-fuzzy das variveis de entrada. TSUKAMOTO : A funo de pertinncia do consequente uma funo montona o que incompatvel com o termo lingustico mdio.
FIS com 2 variveis de entrada, cada uma representada por trs conjuntos difusos
Fuzzy Grid
A efetividade do mapeamento no linear dos espao de entrada no espao de sada depende da partio fuzzy neste espaos.
As 4 etapas do primeiro estgio podem ser executadas a partir do conhecimento que um especialista tem sobre o sistema que est sendo modelado.
2.3 Faa um ajuste fino dos parmetros das funes de pertinncia para melhorar o desempenho do modelo fuzzy. No caso do modelo Sugeno ajuste tambm os coeficientes dos polinmios nos consequentes.
As etapas 2.1 e 2.2 podem ser feitas por um especialista. Entretanto, a execuo da etapa 3 depende da disponibilidade de um conjunto observaes com pares das variveis de entrada e sada e de uma ferramenta que use os dados numricos para ajustar os parmetros
3. Redes adaptativas
Redes adaptativas so sistemas paralelos distribuidos, compostos por unidades de processamento (ns) dispostas em uma ou mais camadas que so interligadas por conexes geralmente unidirecionais.
Vetor de entrada
Vetor de sada
Cada n uma unidade de processamento : atravs de uma funo, processa os sinais que recebe e gera uma sada. Os ns podem ser de dois tipos: Adaptativos : quando a funo do n paramtrica ( y = p*x1 +q*x2 ) Fixos : quando a funo do n fixa ( y = min (x1,x2) )
3. Redes adaptativas
A rede faz o mapeamento do vetor de entrada no vetor de sada. A partir de um conjunto de dados ( pares de entrada e sada ) o que se deseja ajustar os pesos dos ns adaptativos de forma a minimizar a diferena entre a sada da rede e a sada desejada ( minimizar o erro ). O processo de ajuste dos pesos conhecido como TREINAMENTO onde usado um algoritmo de otimizao ( REGRA DE APRENDIZADO ) para ajustar os pesos de forma a minimizar o erro na sada da rede.
Y*
Erro = E = Y-Y*
Retropropaga o erro para ajustar os parmetros pelo gradiente descendente
4. ANFIS
1) Desenvolvida por Jang em 1993 cujas motivaes foram : a) A necessidade de um mtodo objetivo para inserir o conhecimento de um especialista dentro de uma base de regras de um sistema de inferncia fuzzy. b) A necessidade de ajustar as funes de pertinncia com o objetivo de minimizar o erro na resposta do sistema de inferncia fuzzy 2) um Sistema de Inferncia Fuzzy organizado na forma de uma rede adaptativa. 3) Tem a capacidade de fazer o mapeamento de entrada e sada com base no conhecimento de um especialista e em um conjunto de dados formado por pares entrada/sada. 4) um aproximador universal, ou seja, pode aproximar qualquer funo.
4. ANFIS
5) Na ANFIS o conhecimento do especialista necessrio na definio das variveis de entrada e sada e na definio do nmero de termos lingusticos. 6) O especialista tambm define os parmetros iniciais das funes de pertinncia. 7) O nmero de regras definido pelo nmero de funes de pertinncia em cada varivel de entrada (Arquitetura Rgida). 8) A partir de um conjunto de treinamento ( pares de entrada e sada ) o algoritmo de aprendizagem ajusta os parmetros das funes de pertinncia para minimizar o diferena entre a sada deseja e a resposta da ANFIS-
4. ANFIS
Arquitetura ANFIS para o modelo Sugeno se x A1 e y B1 ento z1 = p1 x + q1 y + r1 se x A2 e y B2 ento z2 = p2 x + q2 y + r2
A1
Produto w1 z = p1 X + q1 Y +r 1 1
z= w1 z1 + w2 z2 w1 + w2
FIS
w2 X
a1 ad Ca m
z2 = p2 X + q 2 Y + r 2
= w1 z1 + w 2 z 2
Y
Ca m ad 2 da da 3 Ca ma Ca ma a4
A
(x)
f(x,y)
ANFIS
Y
w z 1 1 z
B1
(x)
A2
B
(x)
w 2 w 2
f(x,y)
w z 2 2
B2
Ca m
A1
w 1
w 1
ad
(x)
a5
A X A
(x)
A1
(x)
w 1
w 1
Ca ma da
1) Cada neurnio representa um conjunto nebuloso das variveis de entrada. 2) Os neurnios so adaptativos. Em cada neurnio a funo de pertinncia uma funo parametrizada.
z
f(x,y)
wz 1 1
B1
B Y B
(x)
A2
(x)
w 2 w 2
f(x,y)
w z 2 2
Funo sino :
i ( x ) =
1 x ci 1+ ai
2 bi
B2
B Y* B
=
2
(Y*)
B2
3) O neurnio produz uma resposta igual ao grau de pertinncia da varivel de entrada no conjunto nebuloso associado ao neurnio.
Y*
A X A
(x)
A1
(x)
w 1
w 1
f(x,y)
wz 1 1 z
2) Cada neurnio est associada a uma regra SE-ENTO 3) A sada do neurnio o produto dos graus de pertinncia dos antecedentes da regra. Em geral qualquer T-norma pode ser usada
B1
B Y B
(x)
A2
(x)
w 2 w 2
f(x,y)
w z 2 2
B2
(x)
A2
(x)
B2
w = (x)(x) A2 B2 2
Finalidade : Clculo do valor normalizado do grau de ativao da regra 1) Os neurnios so fixos. 2) Cada neurnio est associada a uma regra SE-ENTO 3) A sada do neurnio o valor normalizado do grau de ativao da regra, igual a razo do grau de ativao da regra associada ao neurnio pela soma dos graus de ativao de todas as regras ( wi / w ).
z
5
A X A
(x)
A1
(x)
w 1
w 1
f(x,y)
wz 1 1
B1
B Y B
(x)
A2
(x)
w 2 w 2
f(x,y)
w z 2 2
B2
w 1 w 2
w 2=
Ca ma da
w 2 w 1 +w 2
A X A
(x)
A1
(x)
w 1
w 1
f(x,y)
1) Cada neurnio est associada a uma regra SE-ENTO 2) Os neurnios so adaptativos. A reposta produzida por cada neurnio o valor da funo no consequente da regra multiplicada pelo grau de ativao normalizado. 3) No modelo Sugeno de primeira ordem a sada deste n :
wz 1 1 z
B1
B Y B
(x)
A2
(x)
w 2 w 2
f(x,y)
w z 2 2
B2
f(x,y) w i X*
w zi i
Y*
Ca ma da 2
Ca ma da 3
A X A
(x)
A1
(x)
w 1
w 1
f(x,y)
wz 1 1 z
B1
2) A resposta do modelo a mdia ponderada dos consequentes das regras, dada por :
B Y B
(x)
A2
(x)
w 2 w 2
f(x,y)
w z 2 2
B2
w1 z1 + w 2 z2 z= w1 + w 2
wz 1 1 w z 2 2 z
= w1 z1 + w 2 z 2
4. ANFIS
Arquitetura ANFIS para o modelo Tsukamoto se x A1 e y B1 ento z = C1 se x A2 e y B2 ento z = C2
A1
Produto w1
z1
FIS
z=
w1 z1 + w 2 z2 w1 + w 2
w2
z2
= w1 z1 + w2 z 2
X
Ca ma da 1
Y
Ca ma da 2 Ca ma da 3 Ca ma da 4 Ca ma da 5
A X
(x)
A1
A 2
(x)
B1
w 1
w 1
w 1 z1
ANFIS
Y
w z 1 1 z
(x)
A2
B
(x)
w 2
w 2
w 2 z2
w z 2 2
B2
5. Algoritmo de aprendizado
a) Usualmente, a identificao dos parmetros de uma rede adaptativa feita pelo algoritmo de retropropagao do erro, um algoritmo de otimizao, baseado no gradiente descendente (GD), que ajusta os parmetros visando minimizar o erro na resposta gerada pela rede b) Este algoritmo tem como desvantagem o fato de convergir lentamente.e um mnimo local c) Uma meio de acelerar a identificao dos parmetros, consiste em decompor o conjunto de parmetros da rede (S) nos subconjuntos nolineares (S1) e lineares (S2) e utilizar um algoritmo hbrido, uma combinao de mnimos quadrados (MQ) e GD, para identificar os parmetros
5. Algoritmo de aprendizado
ANFIS tipo Sugeno de primeira ordem com duas variveis de entrada e com dois conjuntos nebulosos para cada varivel.
Produto w1 z = p1 X + q1 Y +r 1 1
z= w1 z1 + w2 z2 w1 + w2
A1
w2 X Y
z2 = p2 X + q 2 Y + r 2
= w1 z1 + w 2 z 2
Com os parmetros premissa fixos (S1), a sada da ANFIS uma combinao linear dos parmetros dos consequentes (S2) :
w1 w1 z= z1 + z 2 = w1 z1 + w 2 z 2 w1 + w2 w1 + w2
z = w1 x p1 + w1 y q1 + w1r1 + w 2 x p2 + w 2 y q2 + w 2 r2
Neste caso os consequentes so funes lineares dos parmetros p, q , r
( ) ( )
( )
( )
5. Algoritmo de aprendizado
O algoritmo de aprendizagem tem duas fases : FORWARD e BACKWARD , executadas de forma alternada at a convergncia do algoritmo. Fase Forward
Ca ma da 1 Ca ma da 4
ad a2
ad a3
A X A
(x)
A1
(x)
w 1
w 1
f(x,y)
w z 1 1 z
B1
B Y B
(x)
A2
(x)
w 2 w 2
f(x,y)
w z 2 2
B2
Fase Backward Na FORWARD os parmetros no lineares so mantidos fixos; os dados de entrada alimentam a rede e so propagados para frente at a que as sadas dos ns da camada 3 sejam obtidas. Em seguida os parmetros lineares (S2) so identificados por MQ, a sada da rede obtida e o erro calculado. Na BACKWARD os parmetros lineares so mantidos fixos ; o sinal de erro propagado na direo da camada de entrada para e o gradiente descendente usado para ajustar os parmetros no lineares (S1)
Ca ma da 5
Ca m
Ca m
4. Algoritmo de aprendizado
a) A aplicao do algoritmo hbrido requer a decomposio do conjunto de parmetros em dois subconjuntos : lineares e no lineares. b) Na rede ANFIS para o modelo Sugeno isso conseguido se forem utilizadas funes lineares nos consequentes. c) Na rede ANFIS do modelo Tsukamoto deve-se aproximar as funes de pertinncia nos consequentes por funes lineares, conforme mostra a figura :
6. Exemplos
Exemplo 1 - ANFIS como aproximador de funo Exemplo 2 - ANFIS como modelo de previso Exemplo 3 - Programa em MATLAB
sen( x) sen( y ) z= xy
2 variveis de entrada x[-10,10] e y[-10,10] 4 conjuntos nebulosos para cada varivel Particionamento do espao de entrada tipo fuzzy grid Funo de pertinncia dos antecedentes a funo sino : i (x ) =
1 x ci 1+ ai
2 bi
Dimenses do modelo ANFIS / Sugeno 2 4 = 16 regras ( se x A e y B ento z = px + qy + r ) (2+1)*16 = 48 parmetros lineares no consequente 4*2*3 = 24 parmetros no lineares no antecedente
72 parmetros
A RNA com 73 parmetros (pesos mais thresholds) foi treinada com o algoritmo quick propagation No grfico cada curva a mdia de 10 rodadas da ANFIS e 10 rodas da RNA. As 10 rodadas da ANFIS usaram 10 valores diferentes para o tamanho do passo 0.01,0.02,..., 0.10 As 10 rodadas da RNA foram incializadas com 10 conjuntos de diferentes de pesos aleatrios.
Dimenses do modelo ANFIS / Sugeno 2 = 16 regras se x(t-18) LARGE1 e x(t-12) LARGE2 e x(t-6) LARGE3 e x(t) LARGE4 ento z=px(t-18)+qx(t-12) + rx(t-6) + sx(t) + t 4*2*3 = 24 parmetros no lineares no consequente (4+1)*16 = 80 parmetros lineares no antecedente 104 parmetros
4
validao treinamento
Erro
X(t-18)
X(t-12)
X(t-6)
X(t)
2)Gera o FIS
3)Treina a ANFIS
sada entrada
3 conjuntos difusos para a varivel de entrada com MF tipo sino Sada com MF tipo linear
y=
sen (2 x ) e
x 5
5 conjuntos fuzzy para cada varivel funo de pertinncia tipo sino (gbellmf) 20 pocas de treinamento
Grfico dos valores reais e a sada da rede plot(x,y,x,evalfis(x,out_fismat),'+'); legend('DADOS DO TREINAMENTO','SAIDA DA ANFIS'); xlabel ('X') ylabel ('Y')
[w,mf] = plotmf(in_fismat,'input',1); plot(w,mf); xlabel (' variavel de entrada X') ylabel (' grau de pertinencia')
[w,mf] = plotmf(out_fismat,'input',1); plot(w,mf); xlabel (' variavel de entrada X') ylabel (' grau de pertinencia')
7. Concluses
1) A definio dos conjuntos difusos das variveis de entrada uma deciso do especialista e que reflete seu conhecimento. O treinamento da ANFIS no define a funo de pertinncia, mas apenas faz um ajuste fino nos parmetros de forma minimizar o erro na sada da rede. 2) Algumas limitaes so o pequeno nmero de entradas, a criao da estrutura de forma limitada ou inexistente. 3) Os exemplos mostram que a ANFIS consegue mapear funes altamente no lineares. Mesmo sem um conhecimento a priori, a definio inicial dos parmetros da ANFIS so intuitivamente razoveis e orientam para o rpido treinamento. 4) Sob certas condies a ANFIS equivalente a Redes RBF. 5) Na arquitetura ANFIS apresentada s existe um n na ltima camada, mas atualmente j existem extenses da ANFIS para mltiplas sadas, so as arquiteturas MANFIS (Multiple ANFIS) e CANFIS (Coactive Neuro-Fuzzy Inference System).
8. Bibliografia
Jang, J.-S. R.; ANFIS: Adaptive-Network-based Fuzzy Inference Systems, IEEE Transactions on Systems, Man, and Cybernetics, Vol. 23, No. 3, pp. 665-685, May 1993. Jang, J.-S. R.; Sun, C.T.; Mizutani, E; Neuro-Fuzzy and Soft Computing : A Computational Approach to Learming and Machine Intelligence, Prentice Hall Inc, 1997.