REDES NEURONALES RECURRENTES FEEDFORWARD

Una red neuronal puede ser caracterizada por el modelo de la

neurona, el esquema de conexin que presentan sus neuronas, o sea
su topologa, y el algoritmo de aprendizaje empleado para adaptar su
funcin de cmputo a las necesidades del problema particular.

Existe una amplia variedad de modelos de neuronas, cada uno se

corresponde con un tipo determinado de funcin de activacin y de
salida de la neurona.

La topologa es la forma especfica de conexin (arquitectura) y la

cantidad de neuronas conectadas (el nmero de parmetros libres)
que describen una red.

En los ltimos aos se ha producido una amplia variedad de

topologas de redes neuronales, sin embargo, la mayora de ellas se
encuentran ubicadas en dos grandes grupos: las redes multicapa de
alimentacin hacia adelante (feed-forward) y las redes recurrentes
(RNR).

Las redes feed-forward no tienen ciclos, las neuronas estn

organizadas en capas que se conectan de manera unidireccional.
Generalmente estas redes son denominadas estticas, pues producen
una nica salida para un conjunto de entrada, o sea, el estado de una
red es independiente del estado anterior.

Por otro lado las redes recurrentes son sistemas dinmicos. El clculo
de una entrada, en un paso, depende del paso anterior y en algunos
casos del paso futuro.

Una RNR se puede clasificar en parcial y/o totalmente recurrente.

Las totalmente recurrentes son aquellas que cada neurona puede
estar conectada a cualquier otra y sus conexiones recurrentes son
variables.

Las redes parcialmente recurrentes son aquellas que sus conexiones

recurrentes son fijas. Estas ltimas son la forma usual para reconocer
o reproducir secuencias. Generalmente tienen la mayora de las
conexiones hacia delante pero incluyen un conjunto de conexiones
retroalimentadas.

Dependiendo de la arquitectura e interconexin de todas las neuronas

de una red, puede clasificrsele en distintas categoras.

La primera de ellas es la de las redes conocidas como feedforward.

Como su nombre indica, en este tipo de redes se empieza con un
vector de entradas el cual es equivalente en magnitud al nmero de
neuronas de la primera capa de la red, las cuales procesan dicho
vector elemento por elemento en paralelo.

La informacin, modificada por los factores multiplicativos de los

pesos en cada neurona, es transmitida hacia adelante por la red
pasando por las capas ocultas para finalmente ser procesada por la
capa de salida.

En este tipo de redes, todas las seales neuronales se propagan hacia

adelante a travs de las capas de la red. No existen conexiones hacia
atrs y normalmente tampoco auto recurrentes, ni laterales.
Este tipo de redes son especialmente tiles en aplicaciones de
reconocimiento o clasificacin de patrones.

Generalmente estas redes son denominadas estticas, pues producen

una nica salida para un conjunto de entrada.

Se necesitan muchos prerrequisitos para implementar un sistema fee

dforward: las alteraciones deben poder
medirse, sus efectos en la salida del sistema deben ser conocidos y
el tiempo durante el que las alteraciones afectan a la salida debe ser
mayor que el del sistema en s.
Si estas condiciones se cumplen, el sistema feedforward
debe ser afinado para que sea extremadamente efectivo.

El sistema feedforward puede responder ms rpidamente a los tipos

de alteraciones medibles y conocidas,pero apenas lo consigue con aq
uellas de nueva aparicin.

Un sistema retroalimentado maneja cualquier tipo de

alteracin del comportamiento deseado,
pero requiere que la variable medible del sistema (la salida) reaccione
a las alteraciones para registrar as su aparicin.

Un claro ejemplo de sistema retroalimentado es la regulacin homeos

ttica de los latidos del corazn en respuesta al ejercicio fsico.

Sin embargo, un sistema feedforward se parece ms un conjunto

de respuestas aprendidas para indicaciones conocidas. Esto
sistemas suelen utilizarse en teora de control, fisiologa o
computacin.

REDES NEURONALES RECURRENTES

Redes formadas por muchas neuronas fuertemente interconectadas y
que interaccionan muchas veces cuando la red es activada.
Uso: Desarrollo de las denominadas memorias asociativas.

Cualidades de la memoria en el cerebro humano:

Reproducir en la conciencia conceptos previamente

elaborados o recordar impresiones pretritas.
Evocar ideas desde conceptos parecidos o situaciones
semejantes.
Por su modo de operacin, esta memoria se puede
describir como un sistema asociativo de procesamiento
de informacin.
Son redes neuronales que aplican la misma operacin a cada
elemento de una secuencia de datos de entrada (texto, voz, video,
etc) por eso, se llaman recurrentes; y cuya salida depende tanto de
los datos de entrada presentes como pasados incorporando un estado
variante en el tiempo.

Las redes neuronales recurrentes son sistemas dinmicos. El clculo

de una entrada, en un paso, depende del paso anterior y en algunos
casos del paso futuro.

Las RNR son capaces de realizar una amplia variedad de tareas

computacionales incluyendo:

El tratamiento de secuencias,

La continuacin de una trayectoria

La prediccin no lineal

Para qu sirve? Para tareas que requieren memoria

Donde el estado interno de la red se mezcla con la entrada para

predecirla salida (leer requiere recordar las palabras pasadas,
clasificar eventos tambin, a veces para entender una escena es
importante conocer como evolucion en el pasado).

Para tareas que involucran datos secuenciales como el lenguaje, la

voz y el video, frecuentemente es mejor usar redes recurrentes. Ellas
procesan los datos uno a la vez, manteniendo en sus capas ocultas el
vector de estado que contiene informacin acerca de la historia de
todas las entradas pasadas. En general, las redes recurrentes son
ms poderosas computacionalmente que las redes feed-forward.

Una RNN se puede clasificar en parcial y/o totalmente recurrente.

Las totalmente recurrentes son aquellas que sus conexiones

recurrentes son variables.

Las redes parcialmente recurrentes son aquellas que sus

conexiones recurrentes son fijas.
Estas ltimas son la forma usual para reconocer o reproducir
secuencias

Aplicaciones
Crear modelos de lenguaje que sirven para
Medir que tan correcta es la gramtica y semntica de una
sentencia escrita.

Generar texto escrito con el estilo del texto de entrenamiento:

Aprende la sintaxis, por ejemplo, abrir y cerrar

parntesis,puntos, comas, etc.

Puede generar cdigo en Linux, texto semejante a

Wikipediay Shakespeare, y hasta cdigo para latex
(obiviamente conalgunos errores).

Traduccin de Idiomas
Convierte una secuencia de palabras en otra secuencia de palabras
pero dado en otro idioma.
Reconocimiento de voz