Maestra en Ciencias de la

Computacin
INTELIGENCIA ARTIFICIAL

Perceptrn Multicapa
Dra. Rosa Maria Valdovinos Rosas
Presenta: J. Jair Vzquez Palma

Perceptrn Simple
Limitaciones
Resuelve solo problemas linealmente separables
Es decir clasificar entre 2 clases (0,1)

Perceptrn Multicapa
El primer algoritmo de entrenamiento para
las redes multicapa fue desarrollado por Paul
Werbos en 1974. Al principio no fue Aceptada
por la comunidad de los desarrolladores del
Redes Neuronales.

Fue asta los 80s el Backpropagation

redescubierto por David Rumelhart (1986),
Geoffrey Hinton - Rolal Williams, David Parker
y Yann Le Cun.

Perceptrn Multicapa
La Perceptrn Multicapa surge de para resolver
problemas que no son linealmente separables

Perceptrn Multicapa
Pasos Aprendizaje (Propagacin hacia delante, hacia
atrs):
a) Definir la Topologa (numero de capas, funcin de
activacin o transferencia).
b) Inicializar lo pesos aleatoriamente.
c) Ingresar los patrones.
d) Realizar la propagacin.
e) Comparar salidas.
f) Calcular el error.
g) Propagar hacia tras
h) Actualizar pesos.

Perceptrn Multicapa
Ingreso de los patrones

Perceptrn Multicapa
Calculando Funcin Net

Perceptrn Multicapa
Funcin de Transferencia.
Se utiliza para acotar la salida de la neurona y
generalmente viene dada por la interpretacin
que queramos darle a dichas salidas.
Las ms utilizadas son:
Funcin sigmoidea: para obtener valores en el
intervalo [0,1] casi nunca toca a 0
logsig
salida positiva: f(n)=1/[1+e^(-n)]
Funcin tangente hiperblica
Para obtener valores en el intervalo [-1,1]
pasando por el 0.
f(n)=[e^n - e^-n] / [e^n + e^-n]

Perceptrn Multicapa
Aplicando Funcin de Transferencia.
Salida positiva: f(n)=1/[1+e^(-n)]

Todo este proceso se realiza

con cada una de las neuronas.
Funcin Net
Funcin de Activacin
Los resultados de la primera
capa sern la entrada de la
siguiente capa.

Perceptrn Multicapa
El cambio de la topologa de la red (nmero de
capas) depender
de la satisfaccin del
porcentaje de error, si el error no es satisfactorio
se aumentara una capa capas a la Red Neuronal.

Podemos observar
una tendencia.
Se
elige
el
numero que sea
mas cerca a 1.

Perceptrn Multicapa
Se comparan la salida Real con las Salida
Esperada, si los resultados no son los adecuados
se entrena la Red Neuronal.

Los
resultados
son
diferentes,
entonces
se
necesita aplicar el
entrenamiento.

Perceptrn Multicapa
Para
conocer los valores
tenemos:

esperados

ahora

Perceptrn Multicapa
Aprendizaje:
Tipo de aprendizaje Supervisado.
La propagacin se da desde la primera a la ultima capa
hasta generar una salida
Se calcula el error medio cuadrtico: compara la
salida real(a) con la salida deseada(t)

Las salidas de error se propagan hacia atrs, partiendo

de la capa de salida hacia las neuronas que contribuyen
directamente a la salida. BackPropagation.

Perceptrn Multicapa
En backpropagation, el mtodo general de entrenamiento se
resume en los siguientes pasos:
Pasos hacia delante:
1. Selecciona un vector de entrada desde el conjunto de
entrenamiento.
2. Aplica esta entrada a la red y calcula la salida.
Pasos hacia atrs:
3. Calcular el error entre la salida calculada y la salida deseada de
la entrada usada.
4. Ajustar los pesos para que el error cometido entre la salida
calculada y la salida deseada sea disminuido.
5. Se continua propagando el error hacia atrs y ajustando los
pesos hasta que se alcance la capa de entradas.
6. Este proceso se repetir con los diferentes datos de
entrenamiento.

Perceptrn Multicapa
Ajustando pesos: Regla Delta

La actualizacin de los
pesos de la ultima capa se
realiza mediante:

Nota: se ocupa cuando

existe una sola salida.

Perceptrn Multicapa
Ajustando pesos: Regla Delta

La actualizacin de los pesos

entre las capas ocultas sera
calculando
el
(delta)
propagando hacia atrs desde la
capa de salida.
Zpj = resultado de la neurona

Nota: se ocupa cuando

existen mas de una salida.

Perceptrn Multicapa
Ejercicio

Asuma una funcin sigmoide para la

funcin Z
Asuma =1y todos los pesos
inicialmente a 1.0.
Patron 1: 0, 0
o esperada 1

salida deseada

Patron 2: 0, 1
o esperada 0

salida deseada

El primer patrn de entrada 0, 0

salida
1

Perceptrn Multicapa
Calculando el error:

Los nuevos pesos despus de la

primer par de entrenamiento se
realiza mediante: