INTRODUCCION A LAS REDES NEURONALES ARTIFICIALES

INTRODUCION:

El cerebro es un procesador de informacin con unas caractersticas muy notables: es capaz

de procesar a gran velocidad grandes cantidades de informacin procedentes de los sentidos,
combinarla o compararla con la informacin almacenada y dar respuestas adecuadas incluso
en situaciones nuevas. Logra discernir un susurro en una sala ruidosa, distinguir una cara en
una calle mal iluminada o leer entre lneas en una declaracin poltica; pero lo ms
impresionante de todo es su capacidad de aprender a representar la informacin necesaria
para desarrollar tales habilidades sin instrucciones explcitas para ello.

Aunque todava se ignora mucho sobre la forma en que el cerebro aprende a procesar la
informacin, se han desarrollado modelos que tratan de mimetizar tales habilidades;
denominados redes neuronales artificiales modelos de computacin conexionista (otras
denominaciones son computacin neuronal y procesamiento distribuido paralelo o P.D.P.).
La elaboracin de estos modelos supone en primer lugar la deduccin de los rasgos o
caractersticas esenciales de las neuronas y sus conexiones, y en segundo lugar, la
implementacin del modelo en una computadora de forma que se pueda simular. Es obvio
decir que estos modelos son idealizaciones burdas de las autnticas redes neuronales, en
muchos casos de dudosa plausibilidad neurofisiolgica, pero que sin embargo resultan
interesantes cuando menos por sus capacidades de aprendizaje.

De la prehistoria al futuro que tal vez Babbage nunca so. El desarrollo de mquinas que
puedan imitar la capacidad de aprendizaje del hombre es actualmente un desafo en el que
pone sus miras buena parte de la comunidad cientfica. Con esta amplia Introduccin a las
redes neuronales, se pretende dar a conocer los elementos bsicos de lo que comnmente se
denomina Inteligencia Artificial, para as comprender de qu modo pueden llegar a pensar
y aprender las mquinas.

El hombre se ha caracterizado siempre por una bsqueda constante de nuevas vas para
mejorar sus condiciones de vida. Estos esfuerzos le han servido para reducir el trabajo en
aquellas operaciones en las que la fuerza juega un papel primordial. Los progresos obtenidos
han permitido dirigir estos esfuerzos a otros campos, como por ejemplo, a la construccin de
mquinas calculadoras que ayuden a resolver de forma automtica y rpida determinadas
operaciones que resultan tediosas cuando se realizan a mano.

Uno de los primeros en acometer esta empresa fue Charles Babbage, quien trat
infructuosamente de construir una mquina capaz de resolver problemas matemticos.
Posteriormente otros tantos intentaron construir mquinas similares, pero no fue hasta la
Segunda Guerra Mundial, cuando ya se dispona de instrumentos electrnicos, que se
empezaron a recoger los primeros frutos. En 1946 se construy la primera computadora
electrnica, ENIAC. Desde entonces los desarrollos en este campo han tenido un auge
espectacular.

Estas mquinas permiten implementar fcilmente algoritmos para resolver multitud de

problemas que antes resultaban engorrosos de resolver. Sin embargo, se observa una
limitacin importante: qu ocurre cuando el problema que se quiere resolver no admite un
tratamiento algortmico, como es el caso, por ejemplo, de la clasificacin de objetos por
rasgos comunes?.

Este ejemplo demuestra que la construccin de nuevas mquinas ms verstiles requiere un

enfoque del problema desde otro punto de vista.

Los desarrollos actuales de los cientficos se dirigen al estudio de las capacidades humanas
como una fuente de nuevas ideas para el diseo de las nuevas mquinas. As, la inteligencia
artificial es un intento por descubrir y describir aspectos de la inteligencia humana que
pueden ser simulados mediante mquinas. Esta disciplina se ha desarrollado fuertemente en
los ltimos aos teniendo aplicacin en algunos campos como visin artificial, demostracin
de teoremas, procesamiento de informacin expresada mediante lenguajes humanos... etc.

Las redes neuronales son otra forma de emular otra de las caractersticas propias de los
humanos: la capacidad de memorizar y asociar hechos. Si examinamos con atencin aquellos
problemas que no pueden expresarse a travs de un algoritmo nos daremos cuenta de que
todos ellos tienen una caracterstica comn: la experiencia. El hombre es capaz de resolver
estas situaciones acudiendo a la experiencia acumulada. As, parece claro que una forma de
aproximarse al problema consista en la construccin de sistemas que sean capaces de
reproducir esta caracterstica humana. En definitiva, las redes neuronales no son ms que un
modelo artificial y simplificado del cerebro humano, que es el ejemplo ms perfecto del que
disponemos de sistema que es capaz de adquirir conocimiento a travs de la experiencia. Una
red neuronal es un nuevo sistema para el tratamiento de la informacin cuya unidad bsica
de procesamiento est inspirada en la clula fundamental del sistema nervioso humano, la
neurona.

1.1 MARCO HISTORICO DE LAS REDES NEURONALES

Fue en 1943 cuando Warren McCulloch y Walter Pitts propusieron el clsico modelo de
neurona en el que se basan las redes neuronales actuales. Seis aos despus, en 1949, en su
libro The Organization of Behavior, Donald Hebb presentaba su conocida regla de
aprendizaje.

En 1956 se organiz en Dartmouth la primera conferencia sobre IA. Aqu se discuti el uso
potencial de las computadoras para simular todos los aspectos del aprendizaje o cualquier
otra caracterstica de la inteligencia y se present la primera simulacin de una red neuronal,
aunque todava no se saban interpretar los datos resultantes.

En 1957, Frank Rosenblatt present el Perceptron, una red neuronal con aprendizaje
supervisado cuya regla de aprendizaje era una modificacin de la propuesta por Hebb. El
Perceptron trabaja con patrones de entrada binarios, y su funcionamiento, por tratarse de una
red supervisada, se realiza en dos fases: una primera en la que se presentan las entradas y la
salidas deseadas; en esta fase la red aprende la salida que debe dar para cada entrada. La
principal aportacin del Perceptron es que la adaptacin de los pesos se realiza teniendo en
cuenta el error entre la salida que da la red y la salida que se desea. En la fase siguiente, de
operacin, la red es capaz de responder adecuadamente cuando se le vuelven a presentar
los patrones de entrada. Se crearon grandes expectativas sobre sus aplicaciones, que
posteriormente se tornaron en gran decepcin cuando en 1969 Minsky y Papert demostraron
las grandes limitaciones de esta red.

En 1959, Widrow publica una teora sobre la adaptacin neuronal y unos modelos inspirados
en esa teora, el Adaline (Adaptative Linear Neuron) y el Madaline (Multiple Adaline). Estos
modelos fueron usados en numerosas aplicaciones y permitieron usar, por primera vez, una
red neuronal en un problema importante del mundo real: filtros adaptativos para eliminar
ecos en las lneas telefnicas.

En los aos 60 se propusieron otros dos modelos, tambin supervisados, basados en el

Perceptron de Rosenblatt denominados Adaline y Madaline. En estos, la adaptacin de los
pesos se realiza teniendo en cuenta el error, calculado como la diferencia entre la salida
deseada y la dada por la red, al igual que en el Perceptron. Sin embargo, la regla de
aprendizaje empleada es distinta. Se define una funcin error para cada neurona que da cuenta
del error cometido para cada valor posible de los pesos cuando se presenta una entrada a la
neurona. As, la regla de aprendizaje hace que la variacin de los pesos se produzca en la
direccin y sentido contrario del vector gradiente del error. A esta regla de aprendizaje se la
denomina Delta.

En 1962, Rosemblatt publica los resultados de un ambicioso proyecto de investigacin, el

desarrollo del Perceptrn, un identificador de patrones pticos binarios, y salida binaria. Las
capacidades del Perceptrn se extendieron al desarrollar la regla de aprendizaje delta, que
permita emplear seales continuas de entrada y salida.

1.2 DEFINICINES DE REDES NEURONALES

Una red neuronal es un sistema compuesto de muchos elementos procesadores simples

operando en paralelo, cuya funcin es determinada por la estructura de la red, fuerza en las
conexiones y el procesamiento realizado por los elementos computacionales en los nodos.

Haykin, S. (1994, Neural Networks: A comprehensive foundation, NY, McMillan,

P.2):
"Una red neuronal es un procesamiento distribuido masivamente paralelo que tiene
una tendencia natural para almacenar conocimiento emprico y hacerlo disponible
para el uso. Recuerda al cerebro en dos aspectos:
1.- Conocimiento se adquiere por la red a travs de un proceso de aprendizaje.
2.- Las conexiones interneurnicas se conocen como pesos synapticos y se usan para
almacenar el conocimiento."

Zurada,J.M. (1992, Introduction to artificial neural nsystems, Boston: PWS

Publishing Company, P. XV):
 "Sistemas de redes neuronales artificiales, o redes neuronales son sistemas celulares
fsicos que puedan adquirir, almacenar y usar conocimiento emprico."

Las redes neuronales son una forma de un sistema computarizado multi-proceso con:
Elementos de procesamiento sencillos.
Alto grado de interconexin.
Mensajes simples escalares.
Interaccin adaptable entre elementos.

El concepto de Red Neuronal Artificial est inspirado en las Redes Neuronales Biolgicas.
Una Red Neuronal Biolgica es un dispositivo no lineal altamente paralelo, caracterizado por
su robustez y su tolerancia a fallos. Sus principales caractersticas son las siguientes:

Aprendizaje mediante adaptacin de sus pesos sinpticos a los cambios en el

entorno.
Manejo de imprecisin, ruido e informacin probabilstica.
Generalizacin a partir de ejemplos.

Las Redes Neuronales Artificiales intentan imitar algunas, o todas, de estas caractersticas.
Este paradigma de programacin difiere de las secuencias de instrucciones en que la
informacin se encuentra almacenada en las conexiones sinpticas. Cada neurona es un
procesador elemental con operaciones muy primitivas como la suma ponderada de sus pesos
de entrada y la amplificacin o umbralizacin de esta suma.

Una Red Neuronal viene caracterizada por su topologa, por la intensidad de la conexin
entre sus pares de neuronas (pesos), por las propiedades de los nodos y por las reglas de
actualizacin de pesos. Las reglas de actualizacin, tambin llamadas de aprendizaje,
controlan los pesos y/o estados de los elementos de procesados (neuronas).

Los principales aspectos de este modelo de computacin distribuida son los siguientes:

Un conjunto de unidades de procesamiento.

Un estado de activacin para cada unidad, que es equivalente a la salida de la
unidad.
Conexiones entre unidades, generalmente definida por un peso , que determina
el efecto de la unidad j sobre la unidad k.
Una regla de propagacin que determina la entrada de la unidad a partir de sus
entradas externas.
Una funcin de activacin que determina el estado de activacin en funcin de la
entrada de la unidad (en algunos casos la funcin de activacin tiene en cuenta la
activacin actual de la unidad).
Una entrada externa (o offset) para cada unidad.
Un mtodo para modificar los valores de los pesos (regla de aprendizaje).
Un entorno de trabajo en el que sistema opere, compuesto por seales de entrada y,
si es necesario, seales de error.
Normalmente, la dinmica de actuacin es definir una funcin objetivo que representa el
estado completo de la red y localizar el conjunto de mnimos de esa funcin que se
corresponden con los diferentes estados estables de la red.

1.3 CARACTERISTICAS DE LAS REDES NEURONALES.

Desde hace algunos aos, algunos investigadores han estado creando modelos, tanto en
hardware como en software, que interpretan la actividad cerebral en un esfuerzo por producir
una forma de inteligencia artificial.

Las RNA estn compuestas de un gran nmero elementos de procesamiento altamente

interconectados (Neuronas) trabajando al mismo tiempo para la solucin de problemas
especficos. Las RNA, tal como las personas, aprenden de la experiencia.

Las RNA estn compuestas de muchos elementos sencillos que operan en paralelo, el diseo
de la red est determinado mayormente por las conexiones entre sus elementos. Al igual que
las conexiones de las neuronas cerebrales.

Las RNA han sido entrenadas para la realizacin de funciones complejas en variados campos
de aplicacin. Hoy en da pueden ser entrenadas para la solucin de problemas que son
difciles para sistemas computacionales comunes o para el ser humano.

Las caractersticas de operacin son las siguientes:

Pesos

Las RNA puede tener factores de peso fijos o adaptables. Las que tienen pesos adaptables
emplean leyes de aprendizaje para ajustar el valor de la fuerza de un interconexin con otras
neuronas. Si las neuronas utilizan pesos fijos, entonces su tarea deber estar previamente
definida. Los pesos sern determinados a partir de una descripcin completa del problema.
Por otra parte, los pesos adaptables son esenciales si no se conoce previamente cual deber
de ser su valor correcto.

Dos tipos de aprendizaje

Existen dos tipo de aprendizaje: supervisado y no supervisado. El primero ocurre cuando se

le proporciona a la red tanto la entrada como la salida correcta, y la red ajusta sus pesos
tratando de minimizar el error de su salida calculada. Este tipo de entrenamiento se aplica
por ejemplo, en el reconocimiento de patrones. El entrenamiento no supervisado se presenta
cuando a la red se le proporcionan nicamente los estmulos, y la red ajusta sus
interconexiones basndose nicamente es sus estmulos y la salida de la propia red. Las leyes
de aprendizaje determinan como la red ajustar sus pesos utilizando una funcin de error o
algn otro criterio. La ley de aprendizaje adecuada se determina en base a la naturaleza del
problema que se intenta resolver.

Dos fases de operacin

Las RNA adaptables tienen dos fases en su operacin.

1. Entrenamiento de la red. El usuario proporciona a la red un nmero "adecuado" de

estmulos de entrada, y de salida, la red entonces ajusta su pesos de interconexin o
sinpsis hasta que la salida de la red esta "lo suficientemente cerca" de la salida
correcta.

2. Recuperacin de lo aprendido. A la red se le presenta un conjunto de estmulos de

entrada y esta simplemente calcula su salida. Cuando la red emplea entrenamiento no
supervisado, algunas veces ser necesario que reajuste su sinpsis durante la fase de
recuperacin.

No son algortmicas

La gran diferencia del empleo de las redes neuronales en relacin con otras aplicaciones de
la computacin radica en que no son algortmicas, esto es no se programan hacindoles seguir
una secuencia predefinida de instrucciones. Las RNA generan ellas mismas sus propias
"reglas", para asociar la respuesta a su entrada; es decir, aprende por ejemplos y de sus
propios errores.

El conocimiento de una RNA se encuentra en la funcin de activacin utilizada y en los

valores de sus pesos.

Asociar y generalizar sin reglas como en el cerebro humano

Las redes neuronales formadas por los perceptrones se interconectan en forma muy similar a
como las neuronas humanas se disponen en la corteza cerebral humana, y lo ms importante,
son capaces de asociar y generalizar sin reglas. Han sido utilizadas con gran xito para
reconocer retornos de sonar bajo el agua, escritura a mano, voz, topografa de terrenos,
controlar brazos de robots, evaluar datos personales, modelar fenmenos cognoscitivos, y,
predecir tendencias financieras.

Requieren de algn tipo de patrn

La clase de problemas que mejor se resuelven con las redes neuronales son los mismos que
el ser humano resuelve mejor: Asociacin, evaluacin, y reconocimiento de patrones. Las
redes neuronales son perfectas para problemas que son muy difciles de calcular pero que no
requieren de respuestas perfectas, slo respuestas rpidas y buenas. Tal y como acontece con
el escenario burstil en el que se quiere saber compro?, vendo?, mantengo?, o en el
reconocimiento cuando se desea saber se parece? es el mismo pero tienen una ligera
modificacin?

Por otra parte, las redes neuronales son muy malas para clculos precisos, procesamiento
serie, y no son capaces de reconocer nada que no tenga inherentemente algn tipo de patrn.
Es por esto, que no pueden predecir la lotera, ya por definicin es un proceso al azar.

Existen varias formas de hacer las conexiones en una RNA, as como existen varias formas
de conectar neuronas biolgicas en el cerebro. Cada tipo sirve para diferentes procesos, el
elegir la correcta topologa y sus caractersticas, es imprescindible para lograr fcilmente la
solucin del problema.

1.4 APLICACIONES DE LAS REDES NEURONALES.

Desde el punto de vista de la aplicaciones, la ventaja de las Redes Neuronales Artificiales

(RNA), reside en el procesado paralelo, adaptativo y no lineal. Las (RNA) han encontrado
muchas aplicaciones con xito en la visin artificial, en el procesado de seales e imgenes,
reconocimiento del habla y de caracteres, sistemas expertos, anlisis de imgenes mdicas,
control remoto, control de robots, inspeccin industrial y exploracin cientfica. El dominio
de aplicacin de las (RNA) se puede clasificar de la siguiente forma: asociacin y
clasificacin, regeneracin de patrones, regresin y generalizacin, y optimizacin.

Con el fin de llegar al entendimiento global de (RNA), adoptamos la siguiente perspectiva,

llamada top-down que empieza por la aplicacin se pasa al algoritmo y de aqu a la
arquitectura, como se muestra en la figura 1.1

Figura 1.1 Diagrama Topdow

Esta aproximacin a las (RNA) est motivada por la aplicacin, basada en la teora y
orientada hacia la implementacin. Las principales aplicaciones son para el procesado de
seal y el reconocimiento de patrones. La primera etapa algortmica representa una
combinacin de la teora matemtica y la fundamentacin heurstica por los modelos
neuronales. El fin ltimo es la construccin de neurocomputadores digitales, con la ayuda de
las tecnologas VLSI y el procesado adaptativo, digital y paralelo.

Las Redes Neuronales son tiles para::

Clasificacin de patrones
Aproximacin de funciones
Mapeo
En los que exista informacin imprecisa y con tolerancia a fallos
Aprendizaje Adaptativo.
Autoorganizacin.
Tolerancia a Fallos.
Operacin en tiempo real.
Fcil construccin en circuitos integrados.

1.5 MODELO BIOLGICO NEURONAL.

El cerebro, como todo el organismo animal, est formado por clulas llamadas neuronas. La
estructura y la comunicacin de las neuronas fueron descritas por el espaol Santiago Ramn
y Cajal, quien encontr una caracterstica fundamental de la comunicacin entre las clulas
nerviosas: casi nunca se tocan, estn separados por pequesimos espacios, cuyo significado
y enorme importancia vendra a conocerse mucho tiempo despus. A pesar de las diferencias
en la forma de las neuronas, su estructura en los sitios en que se comunican unas con otras es
muy similar. La parte de la neurona que se comunica con otra neurona tiene siempre una
estructura tpica, y la regin de la neurona que recibe ese contacto tambin tiene una forma
caracterstica. A esta zona de integracin de la neurona se le llama sinapsis, y su
funcionamiento es esencial para explicar prcticamente todas las acciones del cerebro, desde
la ms sencilla como ordenar a los msculos que se contraigan y se relajen en forma
coordinada para llevar a cabo un simple movimiento, hasta las ms complicadas tareas
intelectuales, pasando tambin por las funciones que originan, controlan y modulan las
emociones.

A travs de esta comunicacin las neuronas forman redes complicadsimas, que por supuesto
estamos lejos de conocer por completo. Sabemos que unos de estos circuitos estn
relacionados con el sueo, otros con el movimiento, y otros ms con las emociones y la
conducta. La identificacin de stos circuitos puede lograrse con distintos mtodos, pero uno
relativamente simple consiste en estimular una neurona o un grupo de neuronas y luego tomar
un registro en las neuronas que sospechamos se comunican con las primeras.

Estos experimentos demostraron la localizacin de las funciones motoras en la corteza del

cerebro y la existencia de conexiones neuronales desde sa hasta los msculos. Se observ
en stos experimentos que el movimiento y la sensibilidad de algunas regiones del cuerpo
requieren un mayor nmero de neuronas en la corteza.
El cerebro humano contiene aproximadamente 12 billones (1014)de clulas nerviosas o
neuronas. Cada neurona tiene de 5.600 a 60.000 (103 a 104) conexiones dendrticas
provenientes de otras neuronas. Estas conexiones transportan los impulsos enviados desde
otras neuronas y estn conectadas a la membrana de la neurona. Cada neurona tiene una
salida denominada axn. El contacto de cada axn con una dendrita se realiza a travs de la
sinapsis. Tanto el axn como las dendritas transmiten la seal en una nica direccin. La
sinapsis consta de un extremo presinptico de un axn conectado a un extremo postsinptico
de una dendrita, existiendo normalmente entre stos un espacio denominado espacio
sinptico.

Las neuronas son elctricamente activas e interactan entre ellas mediante un flujo de
corrientes elctricas locales. Estas corrientes se deben a diferencias de potencial entre las
membranas celulares de las neuronas. Un impulso nervioso es un cambio de voltaje que
ocurre en una zona localizada de la membrana celular. El impulso se transmite a travs del
axn hasta llegar a la sinapsis, produciendo la liberacin de una sustancia qumica
denominada neurotransmisor que se esparce por el fluido existente en el espacio sinptico.
Cuando este fluido alcanza el otro extremo transmite la seal a la dendrita. Los impulsos
recibidos desde la sinapsis se suman o restan a la magnitud de las variaciones del potencial
de la membrana. Si las contribuciones totales alcanzan un valor determinado (alrededor de
10 milivoltios) se disparan uno o ms impulsos que se propagarn a lo largo del axn.

Aunque todava no est del todo claro, parece que este impulso se inicia en la conexin entre
el axn y la membrana. Su amplitud y velocidad dependen del dimetro del axn y su
frecuencia del nmero de disparos que se efecten.

Las redes neuronales artificiales basan su funcionamiento en las redes neuronales reales,
estando formadas por un conjunto de unidades de procesamiento conectadas entre s. Por
analoga con el cerebro humano se denomina neurona a cada una de estas unidades de
procesamiento. Cada neurona recibe muchas seales de entrada y enva una nica seal de
salida (como ocurre en las neuronas reales).

Recordemos que el cerebro humano se compone de decenas de billones de neuronas

interconectadas entre s formando circuitos o redes que desarrollan funciones especficas.

Una neurona tpica recoge seales procedentes de otras neuronas a travs de una plyade de
delicadas estructuras llamadas dendritas. La neurona emite impulsos de actividad elctrica a
lo largo de una fibra larga y delgada denominada axn, que se escinde en millares de
ramificaciones.
 Figura 1.2: Neurona y conexiones sinpticas

Las extremidades de estas ramificaciones llegan hasta las dendritas de otras neuronas y
establecen unas conexiones llamadas sinpsis, en las cuales se produce una transformacin
del impulso elctrico en un mensaje neuroqumico, mediante la liberacin de unas sustancias
llamadas neurotransmisores.

Figura 1.3: Detalle de una sinpsis

El efecto de los neurotransmisores sobre la neurona receptora puede ser excitatorio o

inhibitorio, y es variable (la intensidad del efecto depende de numerosos factores que no sera
oportuno describir aqu) , de manera que podemos hablar de la fuerza o efectividad de una
sinpsis. Las seales excitatorias e inhibitorias recibidas por una neurona se combinan, y en
funcin de la estimulacin total recibida, la neurona toma un cierto nivel de activacin, que
se traduce en la generacin de breves impulsos nerviosos con una determinada frecuencia o
tasa de disparo, y su propagacin a lo largo del axn hacia las neuronas con las cuales sinapta.
 Figura 1.4: Activacin y disparo de una neurona

De esta manera la informacin se transmite de unas neuronas a otras y va siendo procesada

a travs de las conexiones sinpticas y las propias neuronas. El aprendizaje de las redes
neuronales se produce mediante la variacin de la efectividad de las sinpsis, de esta manera
cambia la influencia que unas neuronas ejercen sobre otras, de aqu se deduce que la
arquitectura, el tipo y la efectividad de las conexiones en un momento dado, representan en
cierto modo la memoria o estado de conocimiento de la red.

1.6 ELEMENTOS DE UNA RED NEURONAL.

Los elementos individuales de clculo que forman los modelos de sistemas neuronales
artificiales reciben el nombre de Elementos de Procesado o Neuronas Artificiales. Cada
unidad realiza un trabajo muy simple: recibe impulsos de otras unidades o de estmulos
externos y calcula una seal de salida que propaga a otras unidades y, adems, realiza un
ajuste de sus pesos. Este tipo de modelos es inherentemente paralelo en el sentido de que
varias unidades pueden realizar sus clculos al mismo tiempo. El elemento de procesado ms
simple suele tener el siguiente esquema:

Figura 1.5. Esquema de una neurona artificial

Este esquema de elemento de procesado tiene las siguientes caractersticas:

 Cada elemento de procesado puede tener varias entradas asociadas a propiedades
diferentes.
La entrada de tendencia es opcional (valor constante).
Las entradas pueden ser: Excitadoras, inhibidoras, de ganancia, de disparo fortuito o
de amortiguamiento.
Las entradas estn ponderadas por un factor multiplicativo de peso o intensidad de
conexin que resaltan de forma diferente la importancia de cada entrada..
Cada elemento de procesado tiene un valor de activacin calculado en funcin del
valor de entrada neto (calculado a partir de las entradas y los pesos asociados a ellas).
En algunos casos, el valor de activacin, depende adems de la entrada neta del valor
anterior de activacin.
Una vez calculado el valor de activacin, se determina un valor de salida aplicando
una funcin de salida sobre la activacin del elemento de procesado.

Conexin entre unidades

En la mayor parte de los casos se asume que cada unidad recibe contribuciones aditivas de
las unidades que estn conectadas a ellas. La entrada total de la unidad k es la suma ponderada
de las entradas que recibe ms el trmino de offset

Cuando el peso de la contribucin es positivo se considera que la entrada es excitatoria y

cuando el peso es negativo que es inhibitoria.

Este tipo de expresiones que calculan la entrada total se denominan reglas de propagacin y,
en general, pueden tener diferentes expresiones.

Funciones de activacin y salida

Adems de la regla de propagacin es necesario poseer expresiones para las funciones de

activacin (calculan la activacin en funcin de la entrada total) y funciones de salida
(calculan la salida en funcin de la activacin).

La funcin de activacin calcula la activacin de la unidad en funcin de la entrada total y la

activacin previa, aunque en la mayor parte de los casos es simplemente una funcin no
decreciente de la entrada total. Los tipos de funcin ms empleados son: la funcin signo,
funciones con umbral lineal y la funcin sigmoidal.

La funcin de salida empleada usualmente es la funcin identidad y as la salida de la unidad

de procesado es idntica a su nivel de activacin.

Las redes neuronales estn formadas por un conjunto de neuronas artificiales interconectadas.
Las neuronas de la red se encuentran distribuidas en diferentes capas de neuronas, de manera
que las neuronas de una capa estn conectadas con las neuronas de la capa siguiente, a las
que pueden enviar informacin.

La arquitectura ms usada en la actualidad de una red neuronal se presente en la figura 1.5,

la cual consista en:

Una primera capa de entradas, que recibe informacin del exterior.

Una serie de capas ocultas (intermedias), encargadas de realizar el trabajo de la red.
Una capa de salidas, que proporciona el resultado del trabajo de la red al exterior.

Figura 1.6. Esquema de una red neuronal antes del entrenamiento. Los crculos representan neuronas,
mientras las flechas representan conexiones entre las neuronas

El nmero de capas intermedias y el nmero de neuronas de cada capa depender del tipo de
aplicacin al que se vaya a destinar la red neuronal.

1.7 ESTRUCTURAS GENERALES DE LAS REDES NEURONALES

PERCEPTRON

En 1943, Warren McCulloc y Walter Pitts originaron el primer modelo de operacin

neuronal, el cual fu mejorado en sus aspectos biolgicos por Donald Hebb en 1948.
En 1962 Bernard Widrow propuso la regla de aprendizaje Widrow-Hoff, y Frank Rosenblatt
desarroll una prueba de convergencia, y defini el rango de problemas para los que su
algoritmo aseguraba una solucin. El propuso los 'Perceptrons' como herramienta
computacional.
 Figura 1.7 Modelo del perceptron simple.

BACKPROPAGATION

En esta red, se interconectan varias unidades de procesamiento en capas, las neuronas de cada
capa no se interconectan entre s. Sin embargo, cada neurona de una capa proporciona una
entrada a cada una de las neuronas de la siguiente capa, esto es, cada neurona transmitir su
seal de salida a cada neurona de la capa siguiente. La figura muestra un ejemplo esquemtico
de la arquitectura de este tipo de redes neuronales.

Figura 1.8 Red backpropagation.

HOPFIELD

La Red de Hopfield es recurrente y completamente conectada. Funciona como una memoria

asociativa no lineal que puede almacenar internamente patrones presentados de forma
incompleta o con ruido. De esta forma puede ser usada como una herramienta de
optimizacin. El estado de cada neurona puede ser actualizado un nmero indefinido de
veces, independientemente del resto de las neuronas de la red pero en paralelo.
 Figura 1.9 Red de Hopfield de 3 unidades

KOHONEN

Existen evidencias que demuestran que en el cerebro existen neuronas que se organizan en
muchas zonas, de forma que las informaciones captadas del entorno a travs de los rganos
sensoriales se representan internamente en forma de capas bidimensionales. Por ejemplo, en
el sistema visual se han detectado mapas del espacio visual en zonas de crtex (capa externa
del cerebro). Tambin en el sistema auditivo se detecta organizacin segn la frecuencia a la
que cada neurona alcanza la mayor respuesta (organizacin tono tpica).
Aunque en gran medida esta organizacin neuronal est predeterminada genticamente, es
probable que de ella se origine mediante el aprendizaje. Esto sugiere, por tanto, que el cerebro
podra poseer la capacidad inherente de formar mapas topolgicos de las informaciones
recibidas del exterior. De hecho, esta teora podra explicar su poder de operar con elementos
semnticos: algunas reas del cerebro simplemente podran crear y ordenar neuronas
especializadas o grupos con caractersticas de alto nivel y sus combinaciones. Se tratara, en
definitiva, de construir mapas espaciales para atributos y caractersticas.

1.8 TOPOLOGAS DE REDES NEURONALES.

La topologa es el nmero de elementos de procesado que forman la red y las interconexiones

existentes entre ellos.

Los elementos de procesado de una red neuronal se distribuyen por capas (conjunto de
elementos de procesado que se encuentran en el mismo nivel en la estructura). Existen tres
tipos de capas:

1. Capa de entrada: Dependen del problema a abordar.

 2. Capa de salida: Salidas que proporciona la estructura.
3. Capas ocultas: conjunto de elementos de procesado asociados en capas que se
encuentran entre la capa de entrada y la capa de salida.

El nmero de elementos de procesado puede variar en unas capas respecto a otras. Las
funciones (tanto de activacin como de salida) de los elementos de procesado pueden ser
diferentes. No existe limitacin en el nmero de capas ocultas. En general, cuanto mayor sea
la diferencia entre los elementos de entrada y los de salida, ser necesario dotar a la estructura
de ms capas ocultas. Estas capas ocultas crean una representacin interna de los patrones de
entrada. La habilidad de la red para procesar informacin crece en proporcin directa al
nmero de capas ocultas.

Segn el nmero de interconexiones entre capas las redes se clasifican en: totalmente
conectadas y localmente conectadas. En las redes totalmente conectadas la salida de un
elemento de procesado de la capa i es entrada a todos los elementos de procesado de la capa
i+1. Por contra, en las redes localmente conectadas, la salida de un elemento de procesado
de la capa i es entrada a una regin de elementos de procesado de la capa i+1.

En funcin de la direccin del movimiento de la informacin se puede realizar una

clasificacin en: redes feedforward, redes feedback, redes feedlateral y redes recurrentes, tal
como puede verse en la siguiente figura:

Figura 1.10 Tipos de conexiones entre neuronas

Conexiones hacia delante(Feed Forward): para todos los modelos neuronales, los datos de
las neuronas de una capa inferior son propagados hacia las neuronas de la capa superior por
medio de las redes de conexiones hacia adelante.

Conexiones hacia atrs(Feed Bade): estas conexiones llevan los datos de las neuronas de una
capa superior a otras de la capa inferior.

Conexiones laterales. Un ejemplo tpico de este tipo es el circuito el ganador toma todo,
que cumple un papel importante en la eleccin del ganador.
Conexiones con retardo: los elementos de retardo se incorporan en las conexiones para
implementar modelos dinmicos y temporales, es decir, modelos que precisan de memoria.

Tambin es posible que las redes sean de una capa con el modelo de pesos hacia atrs o bien
el modelo multicapa hacia adelante. Es posible as mismo, el conectar varias redes de una
sola capa para dar lugar a redes ms grandes.

A continuacin se describirn algunas topologas de RNA:

Figura 1.11. Perceptron simple

Figura 1.12. Topologa con conexiones hacia delante, hacia atrs,

laterales y de retroalimentacin
Figura 1.13. Topologa con conexiones hacia delante y laterales.

Figura 1.14. Topologa con conexiones hacia delante.

Figura 1.15. Topologa con conexiones hacia delante,

hacia atrs, laterales y de retroalimentacin.

Figura 1.16. Topologa con conexiones hacia delante.

Figura 1.17.Topologa con conexiones hacia delante.

 Figura 1.18. Topologas con conexiones hacia delante,
con diferente tipo de correspondencia.

1.9 MECANISMOS DE APRENDIZAJE

Construir un sistema que aprenda ha sido tradicionalmente uno de los objetivos ms

escurridizos de la inteligencia artificial. El aprendizaje es un proceso de adaptacin al
entorno; durante el se crean y manipulan representaciones que sean capaces de explicar dicho
entorno.

En las redes neuronales la esencia del aprendizaje se encuentra en la modificacin colectiva

de los pesos de los elementos de procesado. Una definicin de aprendizaje en redes
neuronales podra ser la siguiente: Proceso por el cual los parmetros libres de una red
neuronal son ajustados a travs de un proceso continuo de estimulacin por parte del entorno
en donde se sita el sistema. El tipo de aprendizaje viene determinado por la forma en la que
tienen lugar dichos cambios. Esta definicin implica tres hechos fundamentales:

La red neuronal se encuentra estimulada por el entorno, cambia como consecuencia

de esos estmulos y responde de manera diferente al entorno a causa de los cambios
que se han producido en sus estructura interna.

Existen tres paradigmas de aprendizaje: Supervisado, No supervisado (o auto supervisado) y

Reforzamiento (se puede considerar como un caso especial del aprendizaje supervisado).

Hay bastantes algoritmos dentro de cada una de estas categoras.

Supervisado

En el aprendizaje supervisado (aprender con un maestro), la adaptacin sucede cuando el

sistema compara directamente la salida que proporciona la red con la salida que se deseara
obtener de dicha red. Existen tres tipos bsicos: por correccin de error, por refuerzo y
estocstico.
En el aprendizaje por correccin de error el entrenamiento consiste en presentar al sistema
un conjunto de pares de datos, representando la entrada y la salida deseada para dicha entrada
(este conjunto recibe el nombre de conjunto de entrenamiento). El objetivo es minimizar el
error entre la salida deseada y la salida que se obtiene.

El aprendizaje por refuerzo es ms lento que el anterior. No se dispone de un ejemplo

completo del comportamiento deseado pues no se conoce la salida deseada exacta para cada
entrada sino que se conoce el comportamiento de manera general para diferentes entradas.
La relacin entrada-salida se realiza a travs de un proceso de xito o fracaso, produciendo
este una seal de refuerzo que mide el buen funcionamiento del sistema. La funcin del
supervisor es ms la de un crtico que la de un maestro.

El aprendizaje estocstico consiste bsicamente en realizar cambios aleatorios de los valores

de los pesos y evaluar su efecto a partir del objetivo deseado.

Regla del Perceptron

Supongamos que tenemos un conjunto de muestras de aprendizaje consistentes en vectores

de entrada x y salidas deseadas d(x) (en tareas de clasificacin d(x) es, usualmente, +1 o -1).
La regla de aprendizaje del perceptrn es muy simple y se desarrolla a travs de los siguientes
pasos:

1. Iniciar la red con un conjunto aleatorio de pesos para las conexiones.

2. Seleccionar un vector de entrada x del conjunto de muestras de entrenamiento.
3. Si el perceptrn proporciona una salida incorrecta, modificar todas las conexiones
mediante la expresin .
4. Volver al paso 2.

Cuando la red responde de forma correcta los pesos de la conexiones no se modifican

Regla delta

Para una red con una nica capa con un nico elemento de procesado en la salida con una
funcin de activacin lineal, la salida viene dada por

Una red simple con una nica capa es capaz de representar relaciones lineales entre el valor
del elemento de procesado de la salida y el valor de los elementos de procesado de la entrada.
umbralizando el valor de la salida se puede construir un clasificador. Pero tambin se pueden
realizar otras tareas como aproximacin de funciones. En espacios de entrada
multidimensionales la red representa un hiperplano de decisin y es trivial asumir que se
pueden definir varias unidades de salida.

Supongamos que vamos a entrenar una red para localizar el hiperplano de decisin ms
idneo para un conjunto de muestras de entrada consistente en valores de entrada y valores
de salida deseada . Para cada muestra dada del conjunto de entrada, la salida real de la red
difiere de la salida deseada en , donde es la salida real para el patrn de entrada
. La regla delta una funcin de error (o funcin de coste) basada en dicha diferencia para
realizar el ajuste de los pesos.

La funcin de error, dada por el mtodo del menor error cuadrtico medio, es la suma de los
cuadrados de los errores individuales de cada patrn. Es decir, el error total E viene dado por

donde el ndice p recorre el conjunto de patrones de entrada y representa el error del

patrn p-simo. Los valores de los pesos de conexin se buscan de forma tal que se minimice
la funcin y este proceso se realiza por un mtodo conocido gradiente descendiente. La idea
del mtodo es realizar un cambio en los pesos inversamente proporcional a la derivada del
error respecto al peso para cada patrn

donde es una constante de proporcionalidad. La derivada se puede descomponer mediante

la siguiente expresin

Dado que la funcin de activacin es lineal, como se comentaba al comienzo,

con lo cual

donde es la diferencia entre la salida deseada y la salida real para el patrn de

entrada p.

La regla delta modifica los pesos como funcin de las salidas deseada y real para unidades
de entrada y salida binarias o continuas. Estas caractersticas abrieron un nuevo campo de
posibilidades para las redes neuronales.

Regla delta generalizada

La regla delta generalizada, ampla la regla delta al caso de usar unidades de procesamiento
con funciones de activacin no lineal. La activacin es una funcin diferenciable de la entrada
total dada por

donde
Para realizar la generalizacin de la regla delta debemos considerar

La medida de error viene definida como el error cuadrtico total para el patrn p en las
unidades de salida

Considerando E como la suma de los errores cuadrticos podemos ver que la variacin del
error respecto a los pesos viene dada por

A partir de la expresin de la salida total y definiendo

se puede obtener una regla de actualizacin de pesos equivalente a la regla delta, resultando
un descenso en el valor del gradiente sobre la superficie de error si se realizan los cambios
de los pesos de acuerdo a la expresin

La conclusin ms importante es que el clculo recursivo de los factores delta puede

implementarse propagando las seales de error desde la capa de salida a capas ocultas de la
red.
El clculo de puede realizarse en trminos de un producto de dos factores; uno que refleje
el cambio del error como funcin de la salida de las unidades y otro que refleje el cambio de
la salida como funcin de los cambios en la entrada, es decir

Ahora bien, el segundo factor no es otro que la derivada de la funcin de activacin F. Para
calcular el primer factor vamos a considerar dos casos: que la unidad k es una unidad de
salida de la red y que la unidad k es una unidad de una capa oculta.

En el primer caso, a partir de la definicin del error para el patrn p, podemos obtener que

que es el mismo resultado que en la regla delta bsica. Por tanto, para las unidades de la capa
de salida
en el segundo caso, no se conoce como contribuye la unidad al error de salida de la red, pero
la medida de error se puede escribir como funcin de los pesos de las unidades de la capa
oculta a la capa de salida

con lo cual

Extendiendo este clculo de forma recursiva se pueden calcular los cambios en los pesos de
todas las unidades de la red. Este procedimiento se denomina regle delta generalizada para
redes feedforward con unidades no lineales.

No supervisado

En el aprendizaje no supervisado (o auto supervisado), la red se sintoniza a las regularidades

estadsticas de datos de entrada de forma tal que se formen categoras que optimizan, respecto
a los parmetros libres de la red, una medida de calidad de la tarea que se quiere realizar con
la red. El funcionamiento de estas redes se basa en la bsqueda de caractersticas,
regularidades, correlaciones y categoras del conjunto de datos de entrada.
Existen diferentes interpretaciones que se le pueden dar a las salidas generadas por una red
que utilice este tipo de aprendizaje: similaridad (semejanzas entre la informacin actual y la
informacin pasada), clusterizacin (establecimiento de clases), codificacin (versin
codificada de las entradas) o mapeo (representacin topogrfica de los datos de entrada).

Aprendizaje competitivo

El aprendizaje competitivo es un proceso que divide el conjunto de patrones de entrada en

clusters inherentes a los datos de entrada. El procedimiento de entrenamiento es muy simple:
cuando se presenta un patrn de entrada se selecciona una nica unidad de salida (la unidad
ganadora) y se modifican los pesos de esa unidad.

Seleccin de la unidad ganadora mediante producto:

Asumamos que los patrones de entrada y los pesos estn normalizados a la unidad. Cada
unidad de salida o calcula su valor de activacin a partir del producto del vector del patrn
de entrada por el vector de pesos

A continuacin, se selecciona el elemento de procesado de salida que presenta mayor valor

de activacin. Su activacin se pone a valor 1 y la del resto de elementos de procesado a 0.
En este hecho radica el aspecto competitivo de la red.

Una vez que se ha seleccionado el elemento de procesado k ganador, se adaptan sus pesos
(slo del elemento ganador) de acuerdo a la expresin
Seleccin de la unidad ganadora mediante distancia:

Cuando no se pueden utilizar patrones normalizados la eleccin del elemento de procesado

ganador se realiza mediante el clculo de la distancia Euclidea entre el vector del patrn y el
vector de pesos. Aquel vector de pesos que presente una distancia mnima determinar el
elemento ganador. La ley de actualizacin de pesos del elemento ganador es la misma que
en el caso anterior, sin el denominador pues los vectores no estn normalizados.

Reforzamiento

En el aprendizaje con reforzamiento, la red aprende de relaciones entrada-salida. Sin

embargo, al contrario que en el aprendizaje supervisado, el sistema conoce si la salida es
correcta o no, pero no conoce la salida correcta.