UNIVERSIDAD NACIONAL EXPERIMENTAL POLITECNICA

ANTONIO JOSE DE SUCRE

VICERRECTORADO BARQUISIMETO
DIRECCION DE INVESTIGACION Y POSTGRADO
MAESTRIA EN ELECTRONICA

COMPUTACION EMERGENTE
(MODELO DE LA NEURONA Y ARQUITECTURA DE LAS REDES NEURONALES)

EDILIO JOSE ALVAREZ FLORES

 MODELO DE LA NEURONA

Existe una descripci n simplificada de las neurnas bil gicas y redes neurnales, de
all que vams a presentar un mdel matema tic simplificad de la neurna el cual
explicara c m estas neurnas artificiales se pueden intercnectar para frmar una
variedad de arquitecturas de red.

Cuand ns referims a mdel de la neurna hay que definir ba sicamente ds tips

de neurnas, la primera de ella es la denminada neurna de sencilla neurna de
una sla entrada y el segund mdel es la neurna de mu ltiples entradas. A
cntinuaci n describirems cn mayr detalle cada un e ls mdels.

Neurona de una entrada

La neurna de una sla entrada se muestra en la Figura 1. La entrada (p) es un escalar

que se multiplica pr el escalar del pes (w) para frmar el te rmin que se enva al
sumadr. La tra entrada, se multiplica pr un escalar denminad umbral (b) el cual
tambie n pasa al sumadr. La salida del sumadr (n), a menud es referida cm la
entrada neta, la cual va a una funci n de transferencia (f) la cual prduce la salida
escalar de la neurna (a).

Si se relacina este nuev mdel simple cn la neurna bil gica, el pes se

crrespnde cn la fuerza de la sinapsis, el cuerp de la ce lula es representad pr el
sumadr y funci n de transferencia, y la salida de la neurna (a) representa la sen al
sbre el ax n.

Figura 1. Neurna de entrada simple.

La salida de la neurna es calculada cm

a=f ( + b )

La salida depende de la funci n de transferencia elegida pr el disen adr. El umbral es

cm un pes except que este tiene una entrada cnstante de 1. Nte que ls valres
de b, w y b sn valres ajustables.
Funcin de transferencia

Antes de definir el segund mdel de la neurna debems detenerns para describir

la el papel que juega la funci n de transferencia dentr del mdel de la neurna.

La funci n de transferencia puede ser una funci n lineal n-lineal de n (entrada

neta). Una funci n de transferencia es elegida en particular para satisfacer algunas
especificacines del prblema que la neurna intenta reslver.

Existe una amplia variedad de funcines de transferencias las cuales pseen

cmprtamients particulares que pueden satisfacer n las necesidades del
disen adr para determinada exigencia, de all que la escgencia de estas depende
netamente de las caractersticas particulares del prblema. En la tabla 1 se describe
algunas de las funcines de transferencias mas utilizadas, dentr de las cuales resalta
la funci n hadr limit, la Lg-sigmid y la lineal.

Tabla 1. Funcines de transferencia.

Neurona de mltiples entradas

Tpicamente, una neurna tiene ma s de una entrada. Una neurna cn R entradas es la

mstrada en la figura 2. Las entradas individuales p 1, p2, , pR pseen sus respectivs
pess w1,1, w1,2, , w1,R de la denminada matriz de pess W.

Figura 2. Neurna cn mu ltiples entradas, en su frma nrmal (izquierda) y en su

frma matricial (derecha).

La expresi n que describe la salida de la neurna puede ser escrita en su frma

matricial, de tal manera, tenems que:

a=f (+b)

La asignaci n de ls ndices de ls elements de la matriz significan que: el primer

ndice indica la neurna destin de dich pes, mientras que el segund ndice indica
la fuente de la sen al aplicada a la neurna. As, el ndice de w 1,2 quieren decir que este
pes representa la cnexi n a la primera (y u nica) neurna cn la segunda fuente. Pr
supuest, esta cnvenci n es ma s u til si hay ma s de una neurna, cm sera el cas
ma s adelante.
 ARQUITECTURA DE LAS REDES NEURONALES

Cmu nmente una neurna, inclus cn muchas entradas, puede n ser suficiente. A l
mejr necesitams de cinc diez entradas, que peran en paralel, a l que vams a
llamar a capa.

Una capa de neuronas

Una red de una sla capa de S neurnas es mstrada en la figura 3. Nte que cada una
de las R entradas es cnectada a cada una de las neurnas y que la matriz de pes
ahra tiene S filas (tantas neurnas existan).

Figura 3. Capa de S neurnas en su frma nrmal (izquierda) y en su frma matricial

abreviada (derecha)

La capa incluye la matriz de pes, el sumadr, ls umbrales b, las funcines de

transferencia (las cuales n tienen pr q ser tdas iguales) y el vectr de salida. Cada
element del vectr de entrada p es cnectad a cada neurna a trave s de la matriz de
pes W. La matriz de pes viene descrita cm a cntinuaci n:
 w 1,1

w 1,2 w1, R w2,1
w 2,2 w2, R w
wS , 1

S,2

W =[ w S , R ]

Red con mltiples capas

Ahra cnsidere una red cn varias capas. Cada capa tiene su prpia matriz de pes,
su vectr prpi de umbral, un vectr de entrada neta y un vectr de salida. Es
necesari intrducir alguna ntaci n adicinal para distinguir entre estas capas.
Vams a utilizar superndices para identificar las capas. Especficamente, se an ade el
nu mer de la capa cm un superndice a ls nmbres de cada un de estas variables.
As, la matriz de pes para la primera capa se escribe cm W1, y la matriz de pes
para la segunda capa se escribe cm W1. Esta ntaci n se utiliza en la red de tres
capas que se muestra en la Figura 4.

Figura 4. Red de tres capas.

La capa cuya salida es la salida de la red es llamada capa de salida. Las tras capas sn
llamadas capas cultas. La red mstrada en la figura 4 tiene ds capas cultas. Es
imprtante mencinar que alguns autres cnsideran la red de entrada cm una
capa ma s de la red.

Las redes cn mu ltiples capas sn ma s pdersas que una red de una sla capa. Pr
ejempl, una red de ds capas que psee una funci n sigmid en su primer capa y una
lineal en su segunda capa puede ser entrenada para aprximar bien a ma s funcines
de manera arbitraria que una rede de una sla capa la cual n puede hacer ell.

El numer de capas debe tener una red neurnal n esta claramente definid ya que
n se ha determinad a ciencia cierta cuantas capas debe tener una red para reslver
un prblema determinad. En casines pseer mas capas puede ayudar a slventar el
prblema q estudia la red, per este benefici a la vez puede traer cntratiemps a la
hra de desarrllar estudiar la red, td est cm cnsecuencia de la cmplejidad
que cnlleva tener una red cn muchas capas. En la pra ctica se puede cnseguir a l
sum hasta tres capas mas de ellas es pc cmu n.

Redes recurrentes

Una red recurrente es una red cn retralimentaci n; algunas de sus salidas esta n
cnectadas a sus entradas. Este tip de red es muy diferente a las redes que se han
venid desarrlland, las cuales sn estrictamente redes hacia a delante sin
cnexines hacia atra s. Un tip de red recurrente en tiemp discret es la mstrada en
la figura 5.

Figura 5. Red recurrente.

En la red de la figura 5 el vectr p subministra las cndicines iniciales. Entnces las

salidas futuras de la red sn calculadas a partir de las salidas previas:

a ( 1 )=satlins ( W a ( 0 ) +b ) ,a ( 2 ) =satlins ( W a ( 1 ) +b ) ,
Las redes recurrentes sn ptencialmente ma s pdersas que las redes sin
retralimentaci n y pueden presentar cmprtamient tempral.