Ciencia

Cognitiva

Redes Neuronales Artificiales

Marcos Marn Quintero x6954163k

 Emular la mente humana a sido como un santo grial de la bsqueda cientfica, distintas aproximaciones han surgido, muchas de ellas resuelven los mismos problemas que de una manera u otra resuelve la mente humana pero pocas siguen los mismos procedimientos por lo que sta aparentemente los resuelve. El procesamiento serial es la base de la programacin, logrando resultados veloces en la resolucin de problemas, muchos ms veloces que la mente humana. Pero carecen en general, como los llamados sistemas expertos, de la capacidad de tomar decisiones partiendo de reglas poco definidas (o inexistentes), datos incompletos y un alto grado de incertidumbre, que es justamente el medio natural en el que nuestro cerebro trabaja. El texto repasa los conceptos ms importantes que rodean las redes neuronales artificiales, cuyo origen estuvo en la bsqueda de analogas cerebrales con base en estudios fisiolgicos del cerebro. La razn por la que surge tecnolgicamente estas redes es justamente para resolver aquellos problemas para los que parece que el cerebro es ms eficaz: problemas difusos y que requieren un profundo y complicado procesado. El cerebro no es la creacin de un gran Ingeniero Divino, sino es el producto de millones de aos de evolucin, y su adaptacin se relaciona con un mundo incierto y borroso. Las estrategias que utiliza el cerebro para organizar, modelar, simplificar e incluso completar el ambiente que nos rodea son de una complejidad inmensa y vemos como parece ocurrir en gran medida inmediata y automticamente. Parte de la capacidad de ste sistema para resolver la inmensa cantidad de data es un procesado paralelo masivo con las neuronas y sus conexiones. Tres puntos especficos se intentan imitar de las neuronas en los sistemas artificiales: la integracin de impulsos, la transmisin de la excitacin puede actuar excitando o inhibiendo la siguiente neurona y la plasticidad. La principal cualidad que se busca con estos sistemas es la adaptabilidad dinmica, su capacidad de variar de comportamiento en situaciones cambiantes. El texto comparte una de las definiciones ms comnmente utilizadas escrita por Robert Hetch-Nielsen : Sistema de computacin que consta de un gran nmero de elementos simples, muy interconectados, que procesan la informacin respondiendo dinmicamente frente a unos estmulos externos. La neurona es el ltimo componente de las redes neuronales, y se reduce a un sumador. Es en esta simpleza que recae una de las caractersticas ms importantes de este sistema, as las propiedades emergentes, diferentes a la suma total de capacidades, aparecen como un resultado del sistema como un todo. Se comenta como en la arquitectura bsica hay tres niveles o capas, la capa de entrada cuyo nmero depende de los datos del problema, la capa intermedia que pueden ser varias y son las que se deben tratar adecuadamente para conseguir diferentes propiedades como la adaptabilidad, y la capa de salida cuyo nmero depende del formato esperado de salida de la red. La construccin de una red consta de cuatro fases: conceptualizacin, diseo, implementacin y mantenimiento. Interesante ampliar sobre la segunda fase porque ayuda a entender el proceso de cmo una red

hace el trabajo que hacer. Dentro de la fase de implementacin se encuentra el proceso de entrenamiento en la que se consigue que la arquitectura y los pesos sinpticos de la red sean adecuados para suministrar la respuesta correcta cuando se presenta un input determinado. Este entrenamiento se lleva a cabo con la presentacin de ejemplos de entrada que estn asociados con una respuesta, modificando paulatinamente los pesos sinpticos se intenta buscar la menor discrepancia promedio entre las respuestas de la red y la respuesta asociada con la entrada. Las propiedades emergentes de este sistema son resultado de los procesos dinmicos de autoorganizacin y producen las caractersticas diferenciadoras de este procesamiento frente a uno lineal. Para las redes neuronales artificiales el aprendizaje consiste en la modificacin de los pesos de la conexiones neuronales hasta que podamos dar con la respuesta adecuada frente al input. Esto se logra mediante el entrenamiento, la presentacin de ejemplos con respuesta asociada explicada anteriormente. Ahora bien esto sigue la llamada Ley de Hebb a la que hay que agregar algn medio de tratamiento con conexiones negativas o inhibitorias: Si habitualmente la activacin de la neurona i tiene lugar cuando la neurona j, cuya salida es una entrada de i, est activada (por cualquier razn), en posteriores ocasiones, la activacin de la neurona j facilitar la activacin de la neurona i. As formulada y sin agregarle el tratamiento con conexiones inhibitoria tendramos un sistema que no proveera ningn medio para reducir la fuerza de una conexin neuronal, por tanto esta fuerza tendera al infinito a lo largo del tiempo. Esto no se asemeja a ningn sistema real, que hay mecanismos como el olvido de os que se infiere alguna forma de reduccin de esta fuerza. Una de las aplicaciones ms interesantes esta en el procesamiento del lenguaje natural. Con las caractersticas bsicas de las redes neuronales como el aprendizaje, el tratamiento masivo de la informacin y la reconstruccin de los datos distorsionados incompletos este sistema se convierte en una manera muy adecuada de tratar problemas relacionados con el lenguaje natural. Por otra parte la clasificacin de patrones es un rea con una capacidad econmica gigante. Anlisis de riesgo en el mercado, predicciones de movimientos de la bolsa, aplicaciones en medicina con diagnsticos y en la industria con el control de calidad y planificacin son unas pocas aplicaciones fcilmente imaginables. El texto luego realiza una clasificacin de los modelos ms importantes con su correspondiente explicacin. Existen varios paradigmas que surgen por las caractersticas diferenciadoras como el tipo de neurona (binarias o continuas, tipo de funcin de transferencia y valores de los parmetros caractersticos de la funcin de transferencia), distribucin espacial de las neuronas y las leyes de aprendizaje que se aplican.

Los modelos feedback se caracterizan porque la entrada de una neurona en un instante de tiempo depende de los valores que ha tomado anteriormente y esto se logra conectando la salida de la neurona con su entrada y las del resto del sistema. Dentro de estas tenemos el modelo Hopfield, BAM y la teora de resonancia adaptativa. Esta ltima abreviada ART fue diseada para ser lo bastante estable para preservar el aprendizaje pasado ms significativo pero al mismo tiempo suficientemente inestable como para la incorporacin de nueva informacin en cuanto aparezca. Esto se refiere a la polaridad plasticidad vs. estabilidad, siendo el primero los cdigos adaptativos que se generan en respuesta a la serie de entraras del entorno, estas interacciones entre las entradas y el sistema son las que generar nuevos estados estables. La estabilidad se refiere a que los cdigos aprendidos deben permanecer inalterados ante las entradas que no sean suficientemente significativas. Luego vemos como el ART incluye la combinacin de las leyes de Botton-Up y Top-Down para lidiar con la problemtica que expresa esta polaridad necesaria. Para explicar este proceso se debe diferenciar los tres niveles de la red, F3 que es el nivel superior y F1 el inferior, quedando obviamente el F2 como nivel intermedio. Las seales top-down, que representan el aprendizaje pasado encuentran las seales de entrada de la capa inferior de la red, la actividad de esta capa ser funcin de lo aprendido en el pasado y de la entrada presente. As las seales botton-up y top-down se refuerzan ,mutuamente por retroalimentacin

entrando en un estado que llama el texto como resonante, de ah el nombre de teora resonante adaptativa, el aprendizaje se efecta solo en este estado resonante. Existe una variante del modelo ART llamado ART2 donde incluye un nivel cero, previo a al nivel de entrada y que pertenece al llamado Short Time Memory (STM), este se encarga de la normalizacin del patrn de entrada, adems de acentuar los componentes de estos vectores eliminando ruidos. El problema de este modelo es que esta caracterstica puede ser peligrosa en casos en los que valores pequeos son muy significativos y se pueden confundir con los ruidos que este sistema elimina. Los modelos feedforward se caracterizan porque la salida de una neurona est conectada a las entradas de otras neuronas pero no a su propia entrada, por tanto los impulsos se propagan en una sola direccin. ltimamente estos modelos estan dando mejores resultados porque llegan a las soluciones ms rpidamente una vez entrenadas y requieren menos capacidades de memoria. Dentro de estos se encuentras los modelos lineales como el Perceptrn de Rosenblant. Los modelos lineales se caracterizan porque la salida de las neuronas son una funcin lineal de sus entradas. Actualmente este tipo de modelos solo tiene un valor histrico ya que esta probado que la mayora de problemas se les escapa y ameritan de modelos no lineales. El Perceptrn fue diseado por Frank Rosenblatt en 1958 y la intensin del sistema segn sus propias palabras era: Ilustrar algunas de las propiedades fundamentales de los sistemas inteligentes en general, sin profundizar en las condiciones especiales, y a menudo desconocidas, de los organismos biolgicos Como vemos Rosenblantt con el Perceptrn quera realizar un modelo del funcionamiento del sistema nervioso a partir de sus componentes. Esta necesidad cientfica de emular este complejsimo rgano ha sido la motivacin, ms que cualquier otra funcin ms prctica, llevando a progresos profundos en el mbito tecnolgico que solo posteriormente expresa su naturaleza explcitamente aplicada. Actualmente, el dominio de la empresa privada en todos mbitos limita la investigacin con una motivacin sin intencin de capitalizacin inmediata en busca de la rentabilidad amplia y rpida. Esto cambia por completo la forma e intencin de la investigacin cientfica, llegando por supuesto a resultados diferentes. Tiende a enfocarse en puntos cada vez menos numerosos, que son los que prueban su rentabilidad enfocando ah las inversiones de las empresas, dejando a los investigadores menos rentables sin medios econmicos para seguir sus investigaciones. La falta de diversidad empobrece el avance, aunque en los puntos rentables sea exponencial es difcil encontrar nuevos paradigmas cuando las investigaciones se centran en lo mismo. En este caso Rosenblatt intent realizar su forma de ver la percepcin visual. l crea que la retina posea unos detectores de luz organizados en una matriz que estaban conectados con neuronas a travs de uniones de fuerza variable, estas disparaban si la energa total resultante superaba un umbral dado. As creo el modelo para simular esto estructurando tres niveles: el buffer de entrada, el primer nivel y el nivel final. Si la entrada neta es mayor o igual que el umbral la salida de la neurona es +1, sino la salida es -1. Rosenblatt plantea el

teorema del Perceptrn en el que dice que si existe una solucin ste es capaz de encontrarla, si existe el conjunto de pesos que pueden lograr llegar a ella. Ahora la principal crtica era que para determinados conjuntos de entrada no existe un conjunto de pesos que proporcionen la solucin. Los modelos no lineales surgen para intentar superar las restricciones comentadas anteriormente. Aqu las salidas de las neuronas son funciones no lineales de la sumas de sus entradas. Son los ms usados en las aplicaciones reales y se dividen en aprendizaje supervisado y no supervisado. El paradigma ms utilizado comercialmente es el aprendizaje supervisado llamado perceptrn multicapa, que agrega una o ms capaz intermedias. Tiene dos flujos de datos: hacia delante propagando la entrada a la red a travs de las capas hasta obtener una salida, y hacia atrs propagando el error hacia las capas precedentes en las que se ajustan los pesos de las conexiones. Es importante tener en cuenta las capas intermedias que incluimos dependiendo a la dificultad y tipo de tarea. En el aprendizaje no supervisado encontramos los mapas autoorganizativos. Se basa en la aparicin espontnea de detectores de caractersticas, unidades cercanas responden de una forma similar. Como ejemplo paradigmtico esta el modelo de Kohonen cuyo objetivo era conseguir que el sistema se modifique a s mismo logrando que las neuronas que se encuentran muy prximas respondan de un modo similar, se utiliza un algoritmo de aprendizaje denominado aprendizaje por competicin donde las neuronas compiten por el privilegio de aprender. La excitacin e inhibicin de las neuronas aparecen como una funcin de la distancia existente entre cada neurona y la ganadora generando un grfico similar a un sombrero mejicano. Es importante hacer un repaso de ciertos temas que no estn explcitos en el texto y que se han comentado por encima en prrafos anteriores. El trmino artificial en relacin a las redes neuronales puede expresarse en tres sentidos. En primer lugar los modelos distorsionan y simplifican lo que nosotros conocemos como mecanismos neurales, luego stos normalmente se utilizan para otros propsitos diferentes que modelar neuronas reales y por ltimo estos se implementan en estructuras no neurales. Como comenta Malmgren (2000) cuando los pioneros de las redes comenzaron sus investigaciones a mediados del siglo XX sus objetivos usualmente giraban en torno a al entendimiento de los principios bsicos del funcionamiento del cerebro, la percepcin, memoria y recuerdo. Ahora bien, modelos poderosos de redes se hicieron disponibles con relativa facilidad en los aos 80 pasando a ser usados como herramientas para el manejo de datos por si mismos, independientemente de su adecuada adaptacin como modelos del cerebro. As se divide en dos el desarrollo de redes donde uno se apegaba a las motivaciones originales de desarrollo acadmico llamado actualmente Computational Neuroscience o Brain Theory, mientras que el aspecto ms especfico aplicado y de anlisis estadstico llamado de muchas formas diferentes como Applied Artificial Neural Networks (Applied ANN, ANN for Data Handling o Adaptive Statistical Methods. Pasando por encima temas de financiacin de investigaciones, podremos decir que estas dos reas se complementan, ya que mientras una intenta emular el sistema natural, la otra avanza y da soporte terico matemtico necesario para estructurar modelos ms complejos.

 Existen fortalezas y debilidades en la utilizacin de redes neuronales artificiales como forma de estudiar el funcionamiento del cerebro. La capacidad que tienen estas redes para enfocar un estudio de la relacin de la mente con el cerebro es muy interesante. Comenta en su trabajo Jay McClelland (1994) como la robusta flexibilidad que presentan frente a problemas del mundo real, procesando informacin con mucho ruido o incluso incompletas en sus unidades permite desarrollar una serie de procesos que parecen similares a mecanismos cognitivos como la categorizacin. Con inputs de baja calidad las redes pueden dar outputs estables, aunque con procesamientos ms degradados, pero con estos mismos inputs procesamientos clsicos colapsan por completo. Las redes neuronales artificiales parecen comportarse de una manera similar a los procesamientos cognitivos en el hecho de que las categoras estn delimitadas muy flexiblemente, por comparacin con un elemento prototpico en busca de parecidos y similitudes. Las redes pueden aprender sutiles patrones estadsticos que sera difciles sino imposibles de expresar como reglas fijas. Ahora bien en la arquitectura y funcionamiento de las redes neuronales artificiales no estas expresados muchos elementos claves del funcionamiento del cerebro que seran necesarios para un correcto modelado. Normalmente no se ha intentado emular la diversidad de tipos de neuronas que encontramos en el cerebro as como los efectos de los neurotransmisores y hormonas. Importante tambin es que no esta claro que el las redes neuronales del cerebro tengan las conexiones inversas que se necesitaras si ste aprendiera con mtodos como la propagacin hacia atrs (backpropagation) muy comunes en el modelado, y tampoco parece ser adecuado la cantidad elevadsima de repeticiones que estos modelos deben hacer para concretar un aprendizaje. Principalmente una de las crticas ms importantes es que las redes artificiales parecen no ser particularmente buenas en el procesamiento con bases en reglas que se cree que es la estructura debajo del lenguaje, el razonamiento y los procesos cognitivos complejos. Para poner un ejemplo la sistematicidad del lenguaje se refiere al hecho de que la habilidad para producir, entender y pensar algunas frases esta intrnsecamente conectado al hecho de poder producir, entender y pensar otras de estructura relacionada. Aunque los modelos de redes neuronales artificiales pueden ser entrenadas en ser sistemticas y reconocer una frase especfica y otra diferente pero relacionada, Fodor y McLaughlin (1990) argumentan que stas no garantizan la sistematicidad y menos explican de que forma esta sistematicidad parece se encuentra tan perseverantemente en la cognicin humana. Entre este y otros muchos debates se desarrolla y evoluciona las distintas teoras que reposan en las redes neuronales. Definitivamente cada vez tendrn ms presencia tecnolgica abriendo puertas en posibles aplicaciones, as como en el rea de estudio cognitivo con objetivos ms amplios y arriesgados.

Referencias: Fodor, J., and McLaughlin, B. Connectionism and the Problem of Systematicity: Why Smolensky's Solution Doesn't Work, Cognition, 35: 183204. (1990) Helge Malmgren Artificial Neural Networks in Medicine and Biology. A philosophical introduction. Lecture at the ANNIMAB-1 conference, Gteborg, May 13-16, (2000) McClelland, J.L. The Interaction of Nature and Nurture in Development: A Parallel. Distributed Processing Perspective. International Perspectives on Psychological Science, Volume 1: Leading Themes, Erlbaum: Hillsdale, NJ. (1994)