Introduccin a las Redes Neuronales

Universidad Politcnica Salesiana Facultad de Ingenieras Sede Matriz Cuenca

Esquema de Contenidos
Introduccin Panorama Histrico Modelo Biolgico Elementos de una Red euronal !rti"icial Im#lementaciones de las R ! $enta%as de las R ! !#licaciones de las R !

Esquema de Contenidos
Introduccin Panorama Histrico Modelo Biolgico Elementos de una Red euronal !rti"icial Im#lementaciones de las R ! $enta%as de las R ! !#licaciones de las R !

Introduccin (1)
El cere&ro es un gran #rocesador de in"ormacin' Es ca#az de #rocesar a gran velocidad grandes canti( dades de in"ormacin #rocedentes de los sentidos) com&inarla o com#ararla con in"ormacin almacenada * dar una res#uesta adecuada' +as #rimeras e,#licaciones so&re el cere&ro * su "un( cionamiento "ueron #ro#uestas #or "ilso"os griegos -Platn * !ristteles.' !lan /uring) en 0123) "ue el #rimero en estudiar el ce( re&ro como una "orma de ver el mundo de la com#uta( cin' +os cient"icos llevan dcadas de estudio del cere&ro * 4an creado modelos matem5ticos 6ue tratan de simular su com#ortamiento'

Introduccin (2)
+os estudios se &asan so&re las neuronas) su estructura * cone,iones' Estos modelos no son m5s 6ue a#ro,imaciones le%anas de las neuronas &iolgicas) #ero #ermiten solucionar #ro&lemas 6ue re6uieren ca#acidad #ara asociar #atro( nes * a#render' +as Redes euronales !rti"iciales -R ! o ! en in( gls.) son un #aradigma de a#rendiza%e * #rocesamien( to autom5tico ins#irado en la "orma en 6ue "unciona el sistema nervioso de los animales' +as R ! son ca#aces de mane%ar incertidum&res e im( #recisiones 6ue se #resentan en #ro&lemas del mundo real -reconocimiento de "ormas) a#o*o a la toma de decisiones) etc'. 78 con soluciones ro&ustas'

Introduccin (3)
+as R ! est5n com#uestas #or muc4os elementos sencillos 6ue o#eran en #aralelo) el dise9o de la red est5 determinada #or las cone,iones entre sus elemen( tos' +a ma*or #arte de los tra&a%os iniciales de R ! lo lle( varon a ca&o "isilogos'

Esquema de Contenidos
Introduccin Panorama Histrico Modelo Biolgico Elementos de una Red euronal !rti"icial Im#lementaciones de las R ! $enta%as de las R ! !#licaciones de las R !

Panorama Histrico (1)

+as #rimeras e,#licaciones del cere&ro se #lantean #or #arte de "ilso"os griegos como Platn -:;<(2:< a'C'. * !ristteles -:;;(2=: a'C'.' Hern de !le%andra constru*e un autmata 4idr5ulico alrededor del a9o 0>> a'C' +as mismas ideas las mantiene ?escartes -0@13(03@>.' El neurlogo * ci&erntico estadounidense Aarren McCulloc4 * el matem5tico Aalter Pitts de"inen en 01:2 el concepto de neurona) como una m56uina &i( naria con entradas * salidas' En 01@< FranB Rosen&latt inicia el desarrollo del Perceptrn' Es la red neuronal m5s antigua * se usa en varias "ormas de a#licaciones como el reconocimiento de #atrones'

Panorama Histrico (2)

En

01@1) Bernard AidroC * Marcial Ho"") de la universidad de Stan"ord desarrollan el modelo A A!INE -!da#tative +inear Elements.' Primera red 6ue se a#lic a un #ro&lema real) "iltros ada#ta( tivos #ara eliminar eco en las lneas tele"nicas' En 013< Ste#4en Dross&erg desarrolla la red A"alanc#a) 6ue consista en elementos discretos con actividad 6ue vara con el tiem#o) 6ue satis"ace ecuaciones di"erenciales continuas' Esta red #ermi( ta realizar tareas de reconocimiento continuo del 4a&la * a#rendiza%e del movimiento de los &razos de un ro&ot'

Panorama Histrico (3)

En

0131 Marvin MisB* * Pa#era del MI/) #rue&an ma( tem5ticamente 6ue el Perce#trn no era ca#az de re( solver #ro&lemas relativamente "5ciles) como el a#ren( diza%e de una "uncin no lineal' Esto "ren las investi( gaciones so&re R ! 4asta 01=;' En 01<: Paul Aer&os desarrolla la idea &5sica de algo( ritmo de a#rendiza%e 4acia atr5s -$ac%propa&ation.) cu*o signi"icado 6ueda aclarado de"initivamente en 01=@' Eames !nderson desarrolla en 01<< un modelo lineal -Asociador !ineal.) consistente en elementos integra( dores lineales 6ue suma&an entradas' Este modelo se &asa en el #rinci#io de 6ue cone,iones entre neuronas son re"orzadas cada vez 6ue son activadas'

Panorama Histrico (')

/euvo

Fo4onen desarrolla un modelo similar al de !nderson en el mismo a9o' En Ea#n Funi4iBo FuBus4ima #u&lic en 01=> el desarrollo de Neoco&nitrn) un modelo de red neu( ronal #ara reconocimiento de #atrones visuales' En 01=; Eo4n Ho#"ield #resenta una variacin del !sociador +ineal * 6ue se denomin red Ho#"ield' En 01=3 ?avid Rumel4art * D' Hinton redescu&ren el algoritmo $ac%propa&ation( ! #artir de este a9o el #anorama res#ecto a las R ! "ue alentador res( #ecto al desarrollo e investigaciones'

Esquema de Contenidos
Introduccin Panorama Histrico Modelo Biolgico Elementos de una Red euronal !rti"icial Im#lementaciones de las R ! $enta%as de las R ! !#licaciones de las R !

)odelo *iol&ico (1)

El

sistema nervioso est5 com#uesto #or una red de clulas llamadas neuronas) 6ue est5n am#liamente interconectadas entre s' En las neuronas la in"ormacin "lu*e desde las den( dritas 4acia el a,n) atravesando el soma' Se estima 6ue el cere&ro tiene alrededor de 0>>'>>> millones de neuronas' ?esde el #unto de vista "uncional) las neuronas constitu*en #rocesadores de in"ormacin sencillos' Posee un canal de entrada de in"ormacin -dendritas.) un rgano de cm#uto central -soma. * un ca( nal de salida -axn.'

)odelo *iol&ico (2)

)odelo *iol&ico (3)

Se

calcula 6ue en el cere&ro 4umano e,isten alrede( dor de 0>0@ cone,iones' +as se9ales 6ue se utilizan son de dos ti#osG elctri( ca * 6umica' +a se9al generada #or la neurona * trans#ortada a lo largo del a,n es un im#ulso elc( trico) mientras 6ue la 6ue se transmite entre los terminales a,nicos de una neurona * las dendritas de otra es de origen 6umico' Se calcula 6ue una neurona de la corteza cere&ral reci&e in"ormacin) #or trmino medio) de unas 0>'>>> neuronas' +a unin entre dos neuronas se denomina sinapsis'

)odelo *iol&ico (')

Se

4a&la de neuronas #resin5#ticas -6ue envan se( 9ales. * #ostsin5#ticas -6ue reci&en se9ales.' +as sina#sis son direccionales -"lu*en en un solo senti( do.' En el cere&ro se a#recia una organizacin &asada en ca#as 4orizontales -alrededor de 3.) coe,istiendo adem5s una organizacin vertical en "orma de co( lumnas de neuronas' E,isten gru#os neuronales) com#uestos #or millones de neuronas) 6ue #ertenecen a una determinada re( gin del cere&ro -unidades "uncionales es#ecializa( das en ciertas 5reasG visual) auditiva) etc'.'

)odelo *iol&ico (+)

Cada

neurona reci&e im#ulsos #rocedentes de otras neu( ronas -inputs. a travs de las dendritas) 6ue est5n co( nectadas a otras neuronas -sinapsis.' +as sinapsis alteran la e,ecti"idad con 6ue la se9al es transmitida a travs de un #ar5metroG el peso' El a#rendiza%e resulta de la modi"icacin de estos #esos) 6ue unido al #rocesamiento de in"ormacin de la neu( rona determinan el mecanismo &5sico de memoria' !lgunas sina#sis #ermiten #asar con "acilidad a la se9al) otras no' El soma reci&e todos estos in#uts * emite una se9al de salida -out#ut. si la entrada total su#era el va( lor de um&ral' Esta salida se transmite a travs del a,n desde donde se #ro#aga mediante di"erencias de #otencial a las dendritas de otras neuronas'

)odelo *iol&ico (-)

)odelo *iol&ico (.)

Esquema de Contenidos
Introduccin Panorama Histrico Modelo Biolgico Elementos de una Red euronal !rti"icial Im#lementaciones de las R ! $enta%as de las R ! !#licaciones de las R !

Esquema de una RNA (1)

+as

R ! imitan la estructura de 4ardCare del sistema nervioso) a "in de construir sistemas de #rocesamiento de in"ormacin #aralelos) distri&uidos * ada#tativos' Cada neurona realiza una o#eracin matem5tica' +as neuronas se agru#an en ca#as) lo 6ue constitu*e una R !' Un sistema neuronal o cone,ionista se com#one deG

Un con%unto de #rocesadores elementales -neuronas ar( ti"iciales.' Un #atrn de conectividad o ar6uitectura' Una din5mica de activaciones' Una regla o din5mica de a#rendiza%e' El entorno donde o#era'

Esquema de una RNA (2)

Esquema de una RNA (3)

Una

Procesamiento Paralelo 78 Por e%em#lo) si 6ueremos #rocesar una imagen) un ordenador tarda algunos minutos en reco( rrer toda la imagen' Por el otro lado) el cere&ro tarda unos #ocos segundos en #rocesar millones de #i,eles) *a 6ue las neuronas 6ue intervienen en el sistema de visin tra&a%an en #aralelo' Memoria ?istri&uida 78 En un ordenador la in"ormacin se almacena en #osiciones continuas &ien de"inidas) en una R se almacena en las sina#sis de la red' Si una sina#sis se da9a) #erdemos la in"ormacin' !#rendiza%e !da#tativo 78 +a ca#acidad de a#render tareas en &ase al entrenamiento elimina la necesidad de ela&orar modelos a priori o indicar "unciones de distri&ucin de #ro&a&ilidad'

R ! tiene las siguientes caractersticasG

Esquema de una RNA (')

Una

R ! tiene las siguientes caractersticasG

!#rendiza%e !da#tativo 78 +as R son sistemas din5micos autoada#tativos' Se autoada#tan gracias a la ca#acidad de autoa%ustarse de las neuronas' Son din5micos) #or 6ue se ada#tan continuamente'

!utoorganizacin 78 +as R utilizan su ca#acidad de a#rendiza%e ada#tativo #ara organizar la in"ormacin 6ue reci&en durante el a#rendiza%eHo#eracin'

Esquema de una RNA (+)

Deneralmente

e,isten tres ti#os de neuronasG

0' +as 6ue reci&en estmulos e,ternos -a#arato sensorial.) 6ue toman in"ormacin de entrada -neuronas de en( trada.' ;' +a in"ormacin se transmite a ciertos elementos inter( nos 6ue se ocu#an de su #rocesamiento' Es en la sinapsis * neuronas de este segundo nivel donde se genera cual6uier ti#o de re#resentacin interna de la in"ormacin' En virtud de 6ue no tienen relacin di( recta con la entrada ni salida) se denominan unidades ocultas' 2' Una vez 6ue se 4a #rocesado la in"ormacin) esta se en( va a las unidades de salida) 6ue dan la res#uesta del sistema -neuronas de salida.'

Esquema de una RNA (-)

Cada

neurona i-sima est5 caracterizada en cual6uier instante #or un valor numrico llamado valor o estado de activacin ai(t). !sociado a cada unidad e,iste una "uncin de salida fi 6ue trans"orma el estado actual de activacin en una seal de salida, yi' ?ic4a se9al se enva a otras neuronas) donde se modi"i( ca de acuerdo con la sina#sis -el #eso sinptico Wji.' +as se9ales moduladas 6ue 4an llegado a la unidad jsima se com&inan entre ellas) generando as la entra( da total) NetjG
Net j = y i w ji
i

Esquema de una RNA (-)

Una

"uncin de activacin F determina el nuevo es( tado activacin a/(t01)) teniendo en cuenta la en( trada total calculada * el estado de activacin ante( rior a/(t)'

Esquema de una RNA (.)

Funcin

de trans"erenciaG

Cada neurona transmite se9ales a a6uellas 6ue est5n co( nectadas con su salida' !sociada a cada una unidad neuronal Ui e,iste una "uncin de salida 6ue trans"or( ma el estado actual de activacin en una se9al de sali( daG y t = f a t
i i i

En consecuencia) el vector 6ue contiene todas las salidas de las neuronas en un instante t esG
Y t ={ f 0 a 0 t , f ; a ; t , '''' , f N a N t }