Reporte Perceptron Multicapa

Jesica Cervantes Montalvo Raul Enrique Guerrero Hernandez Martha Alicia Sosa Romero Samuel Perez Bacilio Cristian Trejo Calva 6 de marzo de 2014

 Indice
1. Que es un algoritmo genetico 2. Tipos 3. Caracteristicas 4. Algortimo en MatLab 3 3 3 4

1.

Que es un algoritmo genetico

El perceptron multicapa es una red neuronal articial (RNA) formada por multiples capas, esto le permite resolver problemas que no son linealmente separables, lo cual es la principal limitacion del perceptron (tambien llamado perceptron simple). El perceptron multicapa puede ser totalmente o localmente conectado. En el primer caso cada salida de una neurona de la capa .es entrada de todas las neuronas de la capa +1, mientras que en el segundo cada neurona de la capa .es entrada de una serie de neuronas (region) de la capa +1.

2.

Tipos
Las capas pueden clasicarse en tres tipos:

1. Capa de entrada: Constituida por aquellas neuronas que introducen los patrones de entrada en la red. En estas neuronas no se produce procesamiento. 2. Capas ocultas: Formada por aquellas neuronas cuyas entradas provienen de capas anteriores y cuyas salidas pasan a neuronas de capas posteriores. 3. Capa de salida: Neuronas cuyos valores de salida se corresponden con las salidas de toda la red. La propagacion hacia atras (tambien conocido como retropropagacion del error o regla delta generalizada), es un algoritmo utilizado en el entrenamiento de estas redes, por ello, el perceptron multicapa tambien es conocido como 3 n(noconf undirconlareddecontrapropagacion). red de retropropagaciA

3.

Caracteristicas
La principal caracteristica del perceptron multicapa es:

1. Las funciones de transferencia de los elementos de procesado (neuronas) han de ser derivables.

4.

Algortimo en MatLab
Generacion de Numeros Aleatorios.

1 2 3 4 5 6 7

f u n c t i o n random = GenerateRandom h e l p e r = rand ( 1 ) ; i f helper > 0.5 random = rand ( 1 ) 1 ; else random = rand ( 1 ) 1; end Generacion de Sigma.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

clc clear close x1 =[0 x2 =[0

all all 1 0 1]; 0 1 1];

w 1 1 a c t u a l = GenerateRandom ( ) ; w 1 1 s i g u i e n t e =0; w 1 1 a n t e r i o r =0; w 1 2 a c t u a l = GenerateRandom ( ) ; w 1 2 s i g u i e n t e =0; w 1 2 a n t e r i o r =0; b1 actual =0.1; b 1 s i g u i e n t e =0; b 1 a n t e r i o r =0; b2 actual =0.1; b 2 s i g u i e n t e =0; b 2 a n t e r i o r =0; 4

22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58

w 2 2 a c t u a l = GenerateRandom ( ) ; w 2 2 s i g u i e n t e =0; w 2 2 a n t e r i o r =0; w 2 1 a c t u a l = GenerateRandom ( ) ; w 2 1 s i g u i e n t e =0; w 2 1 a n t e r i o r =0; w 3 1 a c t u a l = GenerateRandom ( ) ; w 3 1 s i g u i e n t e =0; w 3 1 a n t e r i o r =0; w 3 2 a c t u a l = GenerateRandom ( ) ; w 3 2 s i g u i e n t e =0; w 3 2 a n t e r i o r =0; b3 actual =0.2; b 3 s i g u i e n t e =0; b 3 a n t e r i o r =0; d e s i r e d =[0 1 1 0 ] ; eta =0.25; a lpha = 0 . 0 0 0 1 ;

tic

f o r n =1:3000 % disp (n) f o r j =1:4 % conta =0; % i t e r a c i o n e s =200; % %%%% Propagacion %% hacia adelante % % % % %

59

60 61 62

v1=1 b 1 a c t u a l+x1 ( j ) w 1 1 a c t u a l+x2 ( j ) w12 actual ; y1=sigma ( v1 ) ; v2=1 b 2 a c t u a l+x1 ( j ) w 2 1 a c t u a l+x2 ( j ) w22 actual ; y2=sigma ( v2 ) ; v3=1 b 3 a c t u a l+y1 w 3 1 a c t u a l+y2 w 3 2 a c t u a l ; y3=sigma ( v3 ) ; e r r o r=d e s i r e d ( j )y3 ; % i f ( e r r o r > =0.00001) i f ( n==1) % %% Propagacion h a c i a a t r a s % % % d e l t a o u t=sigma ( v3 ) (1 sigma ( v3 ) ) e r r o r ; % %% Condicion de parada ; e j e m p l o : i f ( e r r o r > 0.0001) % % % % % % %% D e l t a de s a l i d a % d e l t a o u t=sigma ( v3 ) (1 sigma ( v3 ) ) e r r o r ; % %% Delta oculta 1 d e l t a h i d e 1=sigma ( v1 ) (1 sigma ( v1 ) ) ( deltaout w31 actual ) ; % %% Delta oculta 2 d e l t a h i d e 2=sigma ( v2 ) (1 sigma ( v2 ) ) ( deltaout w32 actual ) ;

63 64 65 66 67 68 69 70 71 72 73 74 75 76

77 78 79 80

81 82

83 84 85 86 87 88

% %% A c t u l a i z a c i o n de p e s o s % f o r j= 1 : i t e r a c i o n e s ; w 3 1 s i g u i e n t e=w 3 1 a c t u a l+alpha w 3 1 a c t u a l+ e t a d e l t a o u t y1 ; w 3 2 s i g u i e n t e=w 3 2 a c t u a l+alpha w 3 2 a c t u a l+ e t a d e l t a o u t y2 ; 6

89

90

91

92

93

w 1 1 s i g u i e n t e=w 1 1 a c t u a l+alpha w 1 1 e t a d e l t a h i d e 1 x1 ( j ) ; w 2 1 s i g u i e n t e=w 2 1 a c t u a l+alpha w 2 1 e t a d e l t a h i d e 2 x1 ( j ) ; w 1 2 s i g u i e n t e=w 1 2 a c t u a l+alpha w 1 2 e t a d e l t a h i d e 1 x2 ( j ) ; w 2 2 s i g u i e n t e=w 2 2 a c t u a l+alpha w 2 2 e t a d e l t a h i d e 2 x2 ( j ) ;

a c t u a l+ a c t u a l+ a c t u a l+ a c t u a l+

94 95 96 97

98

99

% % bias b 3 s i g u i e n t e=b 3 a c t u a l+alpha b 3 a c t u a l+e t a deltaout 1; b 1 s i g u i e n t e=b 1 a c t u a l+alpha b 1 a c t u a l+e t a deltahide1 1; b 2 s i g u i e n t e=b 2 a c t u a l+alpha b 2 a c t u a l+e t a deltahide2 1; w11 w12 w21 w22 w31 w32 w11 w12 w21 w22 w31 w32 b1 b2 b3 b1 b2 b3 a n t e r i o r=w 1 1 a n t e r i o r=w 1 2 a n t e r i o r=w 2 1 a n t e r i o r=w 2 2 a n t e r i o r=w 3 1 a n t e r i o r=w 3 2 a c t u a l=w 1 1 a c t u a l=w 1 2 a c t u a l=w 2 1 a c t u a l=w 2 2 a c t u a l=w 3 1 a c t u a l=w 3 2 actual ; actual ; actual ; actual ; actual ; actual ;

100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120

siguiente ; siguiente ; siguiente ; siguiente ; siguiente ; siguiente ;

a n t e r i o r=b 1 a c t u a l ; a n t e r i o r=b 2 a c t u a l ; a n t e r i o r=b 3 a c t u a l ; a c t u a l=b 1 s i g u i e n t e ; a c t u a l=b 2 s i g u i e n t e ; a c t u a l=b 3 s i g u i e n t e ; 7

121 122 123 124 125 126 127 128

disp ( true ) else % % propagacion hacia atras d e l t a o u t=sigma ( v3 ) (1 sigma ( v3 ) ) e r r o r ; % % d e l t a o c u l t a una d e l t a h i d e 1=sigma ( v1 ) (1 sigma ( v1 ) ) ( deltaout w31 actual ) ; % % delta oculta 2 d e l t a h i d e 2=sigma ( v2 ) (1 sigma ( v2 ) ) ( deltaout w32 actual ) ; % %% Actualizacion del bias % %% % % % b3=b3+alpha+b3+e t a d e l t a o u t 1 ; % % b2=b2+alpha b2+e t a d e l t a h i d e 2 1 ; % b1=b1+alpha b1+e t a d e l t a h i d e 1 1 ; % % ajustar l o s pesos w 3 1 s i g u i e n t e=w 3 1 a c t u a l+alpha w 3 1 +e t a d e l t a o u t y1 ; w 3 2 s i g u i e n t e=w 3 2 a c t u a l+alpha w 3 2 +e t a d e l t a o u t y2 ; w 1 1 s i g u i e n t e=w 1 1 a c t u a l+alpha w 1 1 +e t a d e l t a h i d e 1 x1 ( j ) ; w 2 1 s i g u i e n t e=w 2 1 a c t u a l+alpha w 2 1 +e t a d e l t a h i d e 2 x1 ( j ) ; w 1 2 s i g u i e n t e=w 1 2 a c t u a l+alpha w 1 2 +e t a d e l t a h i d e 1 x2 ( j ) ; w 2 2 s i g u i e n t e=w 2 2 a c t u a l+alpha w 2 2 +e t a d e l t a h i d e 2 x2 ( j ) ; anterior anterior anterior anterior anterior anterior

129 130

131 132 133 134 135 136 137 138 139

140

141

142

143

144

145 146 147 148

% % bias b 3 s i g u i e n t e=b 3 a c t u a l+alpha b 3 a n t e r i o r+ eta deltaout 1;

149

150

b 1 s i g u i e n t e=b 1 a c t u a l+alpha b 1 a n t e r i o r+ eta deltahide1 1; b 2 s i g u i e n t e=b 2 a c t u a l+alpha b 2 a n t e r i o r+ eta deltahide2 1; w11 w12 w21 w22 w31 w32 w11 w12 w21 w22 w31 w32 b1 b2 b3 b1 b2 b3 a n t e r i o r=w 1 1 a n t e r i o r=w 1 2 a n t e r i o r=w 2 1 a n t e r i o r=w 2 2 a n t e r i o r=w 3 1 a n t e r i o r=w 3 2 a c t u a l=w 1 1 a c t u a l=w 1 2 a c t u a l=w 2 1 a c t u a l=w 2 2 a c t u a l=w 3 1 a c t u a l=w 3 2 actual ; actual ; actual ; actual ; actual ; actual ;

151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184

siguiente ; siguiente ; siguiente ; siguiente ; siguiente ; siguiente ;

a n t e r i o r=b 1 a c t u a l ; a n t e r i o r=b 2 a c t u a l ; a n t e r i o r=b 3 a c t u a l ; a c t u a l=b 1 s i g u i e n t e ; a c t u a l=b 2 s i g u i e n t e ; a c t u a l=b 3 s i g u i e n t e ;

end % % % % end end toc else break ; end

185 186 187 188 189 190 191 192

w11 w12 w21 w22 w31 w32

siguiente siguiente siguiente siguiente siguiente siguiente

error Principal.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

clc clear all close all b1 = 0 . 1 ; b2 = 0 . 1 ; b3 = 0 . 2 ; x1 =0; x2 =0;

w11 w12 w21 w22 w31 w32

siguiente siguiente siguiente siguiente siguiente siguiente

= = = = = =

10.0756 10.2293 5.1299 5.1481 8.2817 8.6355

% %%%% Propagacion %% hacia adelante % % % % %

24 25

v1 = 1 b1 + x1 w 1 1 s i g u i e n t e + x2 w12 siguiente ; y1 = sigma ( v1 ) ;

10

26

27 28 29

v2 = 1 b2 + x1 w 2 1 s i g u i e n t e + x2 w22 siguiente ; y2 = sigma ( v2 ) ; v3 = 1 b3 + y1 w 3 1 s i g u i e n t e + y2 w32 siguiente ; y3 = sigma ( v3 )

30

11