Acercamiento a redes neuronales artificiales Madaline y

Base Radial aplicndolas a un decodificador binario de

9 bits

Diomer D. Giraldo Ramrez, Esteban Lozada Giraldo, Juan Diego Jimnez Vargas
diomergiraldo@hotmail.com, lozadagiraldo.esteban111@gmail.com,
juandijim@outlook.com
Escuela de ingeniera de Antioquia (EIA). Medelln, Colombia

Resumen. -- en este artculo se pretende hacer un acercamiento a dos de los diferentes

modelos de Redes Neuronales Artificiales (RNA) existentes, comparando diferentes
parmetros de las RNA y demostrando la ecuacin de cada una, todo esto aplicado a un
decodificador binario de 9 bits. Los 2 modelos neuronales probados fueron el multiadaptive lnear (Madaline) y red neuronal de base radial (RNBR), entrenando a estos
con 50% de los datos y dejando el otro 50% para la validacin, lo que arroj como
resultado que la RNA Madaline con funcin de activacin sigmoidal y momento de
aprendizaje diera el menor error cuadrtico medio (ERS) entre las probadas con un
valor de 0.01.
Palabras claves Red Neuronal, Madaline, Base Radial.

Abstract. this article attempts approaching two of the many existing models of Artificial Neural Networks (ANN), comparing different parameters of the ANN and showing
each equation, all applied to a binary decoder 9 bits. The 2 neural models tested were
multiadaptive lnear (Madaline) and radial basis neural network (RBN networks),
training these with 50% of the data, leaving the remaining 50% for validation, yielding
results in the ANN Madaline with sigmoidal activation function and learning time gave
the lowest mean square error (ERS) among tested with a value of 0.01.
Keywords -- Neural Network, Madaline, Radial Basis.

INTRODUCCIN

Las redes neuronales surgieron a partir del desarrollo de la inteligencia computacional con mtodos subsimbolicos e inductivos que extraen la informacin necesaria
para resolver un problema. 1 ste mtodo est inspirado en redes neuronales biolgicas
con el objetivo de entender el cerebro humano.
Las redes neuronales artificiales (RNA) son un mtodo donde sus principales caractersticas estn dadas por el aprendizaje, stas adquieren el conocimiento por medio del estudio y a su vez cambian su comportamiento en relacin al entorno. Por
medio de la generalizacin, ampla su conocimiento debido a su propia estructura y
por ltimo, caracteriza por separado las cualidades de un objeto2.
Las RNA funcionan de manera semejante a las redes biolgicas; comenzando con
el procesamiento de datos, es decir las conexiones de entradas (neuronas), se da una
propagacin por medio de seales transferidas entre neuronas, mediante enlaces sinpticos. Cada conexin tiene un peso asociado y el ncleo central del proceso es
donde se realiza la funcin de activacin, para luego determinar su salida.
El convertir un espacio de entrada en un espacio de salida deseado ha generado
grandes problemas en las RNA, por lo tanto se han desarrollado diversos modelos de
RNA en busca de nuevas aproximaciones para mltiples casos. A lo largo de la historia, mltiples autores se han pronunciado acerca de los sistemas conexionistas y la
persepctiva de las redes neuronales artificiales; algunos de ellos son: Warren McCulloch, Walter Pitts, Frank Rosenblat John Hopfield, entre otros.
McCulloch y Pitts presentaron, en la segunda mitad de los aos 50, la primera red
neuronal una unidad bajo la nueva perspectiva de construccin de mquinas inteligentes por medio de arquitectura computacional con cierta semejanza a las redes neuronales del cerebro. En oposicin a lo anterior, Frank Rosenblatt cre la red conocida
como Perceptrn en 1957, el cual es un sistema clasificador de patrones que puede
identificar patrones geomtricos y abstractos.3 Este modelo tuvo ciertas limitaciones
que fueron expuestas por Minsky y Papert, quienes resaltaron la incapacidad del Perceptrn para resolver tareas o problemas sencillos como la funcin lgica OR exclusivo. Luego, en 1959, Bernard Widrow desarroll un RNA llamado Adaline (Adaptive Linear Neuron)4 junto con una versin de dos capas conocida como Madaline, las
cuales fueron utilizadas diversas tareas como el control adaptativo, reconocimiento de
voz y filtros adaptativos para la eliminacin de ecos en las redes telefnicas. Por ltimo, es importante mencionar el algoritmo de Backpropagation tambin conocido
como regla delta generalizada o mtodo gradiente decreciente, el cual fue inventado
1
2
3
4

(in chaos)
(Olabe)
(MORENO, 2002)
(Universidad Tecnolgica de Pereira, 200)

por John Hopfield en 1982. El objetivo del algoritmo backpropagation es propagar

los errores cometidos por las unidades de salida hacia atrs, ya que, en un sistema de
este tipo, el error cometido por una unidad intermedia depende del error cometido por
las unidades de salida a las que dicha unidad intermedia est conectada5 Broomhead
y Lowe (1988) introdujeron un mtodo llamado Radial Basis Function tambin
conocido como redes de funcin de base radial, el cual es una alternativa al Perceptrn multicapa (Backpropagation) y es reconocida por su aplicabilidad en problemas de prediccin y clasificacin. Este mtodo est diseado con neuronas en la capa
oculta, las cuales se activan por medio de funciones radiales de carcter no lineal y en
cuanto a la capa de salida son funciones lineales.
El objetivo de este artculo es analizar el comportamiento de los diferentes modelos
de RNA frente a un decodificador general, tomando como referencia el decodificador
binario de 9 bits el cual se valid con diferentes modelos como Madaline, Madaline
con funcin de activacin tangente hiperblica y Madaline con un factor de momento;
adems con el modelo de base radial gaussiana y el modelo de cuadrtica inversa.
Con cada uno de los modelos de RNA se realiz una gran cantidad de repeticiones
variando el nmero de interacciones, factor de aprendizaje y nmero de neuronas
ocultas o radio de la base radial dependiendo del caso; generando de esta manera un
aprendizaje con el 50% de los datos, validando el mtodo con el resto, comparando
los errores obtenidos por estos procedimientos para determinar las mejores combinaciones y mtodos para el decodificador de 9 bits.

METODOLOGA

Para desarrollo de la prctica descripta de un decodificador de 9 bits y se debe tener presente realizar los siguientes procedimientos
Construir la base de datos acorde al decodificador propuesto
Normalizar los datos entradas y de salida por algunos de los mtodos como normalizacin mxima, centedecimal o lineal
Disear los modelos neuronales basados en la construccin de RNA
Dividir los datos una para el aprendizaje de la red neuronal y la otra parte para el
pronstico.
Para realizar este proyecto, se construye una base de datos en Microsoft Excel que
nos permite realizar el proceso de aprendizaje por medios de los principios de inteli5

(MORENO, 2002)

gencia computacional y se enlaza con una herramienta orientada a objetos (Visual

Studio); Para nuestro caso se crea nueve entradas a la red (2 9 =512 datos) donde los

datos estn normalizados entre [0,1] generando todas las combinaciones,

adems de manera aleatoria de distribuyen todas la entradas para evitar sesgos
en el aprendizaje de la red.
Despus, para el aprendizaje y pronstico de la RNA, se construyen los siguientes
modelos de neuronales:
1.
2.
3.
4.
5.

Red Neuronal MADALINE

Red Neuronal MADALINE con funcin de activacin tangente hiperblica
Red Neuronal MADALINE con factor de momento
Red Neuronal de base radial (RNF) con funcin de activacin gaussiana
Red Neuronal RNF con funcin de activacin inversa cuadrtica.

Para estos modelos neuronales se construye la ecuacin de aprendizaje a partir de la

regla delta generalizada la que permite al algoritmo modificar los pesos neuronales.
Para cada uno de los mtodos realizados se calcula el error cuadrtico medio, este
se acumula en cada iteracin del proceso. Si el error es menor a 0.005 se detiene las
iteraciones del proceso y grfica, pero si no se llega a este error continua el proceso
hasta terminar las iteraciones.
Para cada algoritmo se ingresa el nmero de neuronas ocultas o radio de la base dependiendo de la red neuronal a realizar, factor de aprendizaje, el nmero de iteraciones y porcentaje de los datos para entrenamiento con el fin de crear dos grupos, uno
de estos realizar el proceso de aprendizaje (Feed-Back) y el otro para realizar el pronstico de lo aprendido (Feed-Forward).

4
4.1

ANLISIS DE RESULTADOS

Ecuaciones de actualizacin de los pesos para los modelos propuestos

Para la realizar estas ecuaciones se parte de la regla delta que se define:

A continuacin, se presentan las ecuaciones de actualizacin de los pesos que dieron cada uno de los modelos.

 Modelo MADALINE

Modelo MADALINE con funcin de activacin tangente hiperblica

Para este proceso de va a realizar una breve demostracin de cmo se obtuvo el
modelo de actualizacin de pesos a partir de esta funcin de activacin.
Regla delta generalizada

(1)
(2)

Error cuadrtico medio

(3)

Funcin de activacin
(4)

Ecuaciones de los pesos

Desarrollo

(5)
(6)
(7)

Reemplazando las ecuaciones 5, 6 y 7 en 1 se obtiene

Ahora para obtener la actualizacin de los pesos

se procede

(8)
(9)
(10)
(11)

Reemplazando las ecuaciones 8, 9, 10 y 11 en 2 se obtiene

Modelo MADALINE con el momento de aprendizaje

 Modelo RNF mediante la utilizacin de la funcin gaussiana

(

Modelo RNF mediante la utilizacin de la funcin inversa cuadrtica

Para este proceso se va a realizar una breve demostracin de cmo se obtuvo el
modelo de actualizacin de pesos a partir de esta funcin.

Para las RNBR se tienen tres grupos de parmetros (13), (14) y (15)
(12)
(

(13)
(14)
(15)
Derivando la ecuacin (3)
(16)
(17)
Reemplazando las ecuaciones (3), (16) y (17) en (13) se obtiene

(18)
(

Derivando la ecuacin (18) con respecto a

(
((

)
)

(19)

Reemplazando (19) en (16) y esta en la (14), se obtiene:

(
((

4.2

)
)

Seleccin de factor de aprendizaje y nmero de neuronas o radio de la

base ptimo para cada modelo

Para cada uno de los modelos neuronales enunciados, y con base a los parmetros
para el aprendizaje, se seleccion el factor de aprendizaje y nmero de neuronas o
radio de la base ptimo para cada modelo de la funcin.
Esta seleccin fue realizada teniendo en cuenta el ltimo valor de la grfica ERS
luego de un nmero fijo de iteraciones.
En la siguiente tabla se muestra el ltimo valor de ERS obtenido para cada modelo, el factor de aprendizaje, nmero de neuronas y el nmero de iteraciones de la red.
Table 1. Seleccin del factor de aprendizaje y nmero de neuronas ocultas ptimo basado del
ERS del modelo MADALINE

Modelo

Red
neuronal
MADALINE

Neuronas
Ocultas
10
6
2
8
6
4
6
8
10
8
4
10

Nmero
de iteraciones
9
8
8
9
4
10
8
9
10
9
8
9

Factor de
aprendizaje
0,02
0,02
0,02
0,03
0,03
0,03
0,035
0,035
0,04
0,04
0,04
0,045

ERS
20,982
13,3307
29,571
13,4692
10,3376
21,7641
20,9256
22,3446
4,4152
16,8131
26,8549
9,8637

Table 2. Seleccin del factor de aprendizaje y nmero de neuronas ocultas ptimo basado del
ERS del modelo MADALINE con funcion de activacion tangente hiperbolica.

Modelo

Neuronas
Ocultas
10
8
6
4
10
8
6
10
8
6

Red
neuronal
MADALINE
con
funcin de
activacin
tangente
hiperblica

Nmero
Factor de
de
aprendizaje
iteraciones
9
0,09
8
0,09
7
0,09
7
0,09
7
0,095
6
0,095
9
0,095
10
0,08
10
0,08
7
0,08

ERS
13,8088
16,6458
14,6395
17,0695
17,3444
14,2961
25,7545
12,7104
11,4547
12,7881

Table 3. Seleccin del factor de aprendizaje y nmero de neuronas ocultas ptimo basado del
ERS del modelo MADALINE con momento de aprendizaje.

Modelo

Neuronas
Ocultas

Red
neuronal
MADALINE
con factor
de
momento

10
8
6
10
6
2
10
6

Momento
Nmero
Factor de
de
de
aprendizaje
aprendizaje iteraciones
0,1
0,1
0,1
0,1
0,1
0,1
0,1
0,1

10
10
8
7
6
9
10
10

0,04
0,04
0,04
0,03
0,03
0,03
0,02
0,02

ERS
0,0154
6,4847
7,2354
7,87
5,2294
33,4088
6,4845
14,7108

Table 3. Seleccin del factor de aprendizaje y el radio de la base radial ptimo basado del ERS
del modelo de la red de base radial con activacion gaussiana

Modelo

Red de
base radial
con
activacin
gaussiana

Radio de la Nmero de Factor de

base radial iteraciones aprendizaje

ERS

10
8
10
2
6
6
8

10
10
7
10
10
20
10

0,4
0,3
0,2
0,6
0,6
0,6
0,6

6,6680
8,4729
9,1908
14,3069
4,4706
1,4564
9,5559

10

10

0,6

4,8322

Table 5. Seleccin del factor de aprendizaje y el radio de la base radial con activacion
cuadratica inversa ptimo basado del ERS del modelo de la red de base radial con activacion
gaussiana.

Modelo

Red base
radial con
activacin
cuadrtica
inversa

Radio de la Nmero de Factor de

base radial iteraciones aprendizaje
10
6
6
10
10
10
10
8
6
4

10
10
10
10
10
10
10
10
10
10

0,09
0,2
0,3
0,6
0,7
0,9
0,7
0,7
0,7
0,7

ERS
49,9459
6,302
8,8804
6,9233
3,4946
4,3675
2,807
4,732
3,2467
3,1785

4.3

Comportamiento de la curva Error cuadrtico medio (ERS) para cada

uno de los modelo

En funcin del factor de aprendizaje y nmero de neuronas seleccionado para cada

modelo, se ilustra a continuacin el comportamiento, entre el nmero de iteraciones y
el ERS de cada uno de ellos. Adems se mostrara otra figura por cada modelo donde
se representa la variacin de neuronas ocultas con el valor ERS del grupo donde se
encuentra el ptimo de cada red neuronal.
RNA Madaline: Funcin de activacin sigmoidal exponencial inversa

Fig. 1. Grfica red MADALINE del valor ERS respecto a las iteraciones.

Fig. 2. Grfica red MADALINE del valor ERS respecto a las neuronas ocultas

Con estas dos graficas se observa que a medida que se aumenta el nmero de neuronas ocultas el error en la red neuronal tiende a disminuir.

RNA Madaline: Funcin de activacin sigmoidal tangente hiperblica

Fig. 3. Grfica del valor ERS respecto a las iteraciones

Fig. 4. Grfica del valor ERS respecto a las neuronas ocultas

En este caso se observa que se encontr un valor ptimo de neuronas ocultas, pues
valores por encima o por debajo de este aumentan el error.

RNA Madaline: Funcin de activacin sigmoidal exponencial inversa y momento de

aprendizaje

Fig. 5. Grfica del valor ERS respecto a las iteraciones

Fig. 6. Grfica del valor ERS respecto a las neuronas ocultas

Con esta red neuronal y con parmetros de 10 neuronas ocultas, 10 iteraciones y un

factor de aprendizaje de 0.04, se consigui el menor error de todos los experimentos,
con un ERS de 0.01.

RNBR: con funcin de base radial Gaussiana

Fig. 7. Grfica red neuronal de base radial con activacin gaussiana del valor ERS respecto a
las iteraciones

Fig. 8. Grfica red neuronal de base radial con activacin gaussiana del valor ERS respecto a
las neuronas ocultas con igual de iteraciones para cada caso.

Ac se observa todo lo contrario de lo que pasaba en la red neuronal Madaline con

funcin de activacin sigmoidal tangente hiperblica, en donde 8 era el valor optimo,
en este caso se ve que este valor es el que arroja mas error.

RNBR: Funcin de base radial cuadrtica inversa

Fig. 9. Grfica del valor ERS respecto a las iteraciones

Fig. 10. Grfica del valor ERS respecto al radio con igual de iteraciones para cada caso.

Se observa un comportamiento muy similar a la RNBR con funcin de base radial

gaussiana, pero con un ERS menor al anterior.

CONCLUSIONES

-Al aplicar el momento de aprendizaje o razn de aprendizaje a la ecuacin de actualizacin de los pesos sinpticos en funcin del error, de la RNA Madaline. Se observ una mejora notable en la reduccin del error esto gracias a que actualiza la
ecuacin actual con la anterior, haciendo que su aprendizaje sea ms rpido y efectivo.
- Las redes neuronales Madaline, con funcin de activacin sigmoidal con valores
de 0 a 1 demostraron ser las ms funcionales para este tipo de aplicaciones de decodificador pues, como se observ en la grfica de la Madaline con funcin de activacin
tangente hiperblica, su error empieza en valores muy elevados, y lo que alcanza a
bajar el error no iguala la primera funcin de activacin probada, esto se puede explicar por los valores con los que trabajan cada una de ellas pues la inversa de Euler
trabaja con los valores normalizados, tal y como se tomaron la salida de la red neuronal
.
-En las RNBR aunque hacen el recorrido de entrenamiento ms rpido que las Madaline, pues su espacio de solucin est acotado, la red neuronal no se actualiza tan
bien como la Madaline y sus errores nunca llegan a ser tan bajos como los logrados
por la Madaline.
-En las RNBR al momento de graficar el error, sin importar los parmetros ingresados, la grfica se comportaba como una exponencial negativa, en cambio la Madaline
puede presentar algunos saltos en su grafica del error, esto puede verse como que el
control de los RNBR pueden ser ms estables en comparacin con las Madaline.

6. REFERENCIAS
in chaos. (s.f.). Redes Neuronales Artificiales. Recuperado el 30 de Agosto de 2014,
de http://magomar.webs.upv.es/rna/tutorial/RNA_marcos.html
MORENO, J. J. (2002). Redes Neuronales Artificiales aplicadas al Anlisis de Datos.
Recuperado
el
30
de
Agosto
de
2014,
de
http://www.tdx.cat/bitstream/handle/10803/9441/tjjmm1de1.pdf?sequence=1
Olabe, X. B. (s.f.). REDES NEURONALES ARTIFICIALES Y SUS APLICACIONES.
Recuperado
el
30
de
Agosto
de
2014,
de
http://cvb.ehu.es/open_course_ware/castellano/tecnicas/redes_neuro/conteni
dos/pdf/libro-del-curso.pdf
Universidad Tecnolgica de Pereira. (200). Recuperado el 30 de Agosto de 2014, de
http://medicinaycomplejidad.org/pdf/redes/Perceptron.pdf
Pedro Isasi Viuela, I. M. (2004). Redes de Neuronas Artificiales Un Enfoque
Prctico. Madrid: PEARSON.