La regla de la retropropagacin

del error en asociadores de

patrones multicapa: superando el
problema de la separabilidad
lineal

Estructura de la leccin
1. El problema de las categoras linealmente inseparables
2. Arquitectura bsica de un asociador de patrones
multicapa
3. Derivacin de la regla de la retropropagacin del
error
4. Transformacin estructural del espacio de input

El problema de las categoras

linealmente inseparables
1. Aproximacin geomtrica
2. La tirana de la similitud

Categoras inseparables linealmente

El problema OEX: aprendiendo a cruzar la
calle
= cruzar
Semforo 1para
vehculos
INPUT RESPUESTA
SALIDA

0 = no
cruzar peatonal
Semforo
INPUT

NO CRUZAR

CRUZAR

1 = cuadrado
0 = crculo

SALIDA

1 = rojo
CRUZAR
FORMA

NO CRUZAR

COLOR

0 = verde

Aproximacin geomtrica

Forma Color
0
1
0
1

0
0
1
1

(0 1)

(1 1)

(0 0)

(1 0)

Respuesta
0
1
1
0

La tirana de la similitud
Las redes tienden a agrupar los objetos en funcin
de su
parecido.
CRUZAR
NO CRUZAR
Si dos objetos se parecen, se agrupan en la misma categora.
Si dos objetos no se parecen, se separan en categoras distintas.
Problema: la similitud viene impuesta por el input.

Estructura de la leccin
1. El problema de las categoras linealmente inseparables
2. Arquitectura bsica de un asociador de patrones multicapa
3. Derivacin de la regla de la retropropagacin del
error
4. Transformacin estructural del espacio de input

Arquitectura bsica de un asociador

de patrones multicapa
ASOCIADORES
Capa de salida
LINEALES

Pn
Unidades
ocultas

=
P1
Capa input

Pt

Pt = P1P2P3 Pn

Arquitectura bsica de un asociador

de patrones multicapa

Estructura de la leccin
1. El problema de las categoras linealmente inseparables
2. Arquitectura bsica de un asociador de patrones
multicapa
3. Derivacin de la regla de la retropropagacin
del error
4. Transformacin estructural del espacio de input

Derivacin de la regla de la
retropropagacin del error
1. Retropropagacin del error y aprendizaje supervisado
2. Una medida de error global
3. Concepto de espacio de pesos y superficie de
error
4. La tcnica del gradiente de descenso
5. Ecuaciones

Derivacin de la regla de la
retropropagacin del error
1. Retropropagacin del error y aprendizaje supervisado
2. Una medida de error global
3. Concepto de espacio de pesos y superficie de
error
4. La tcnica del gradiente de descenso
5. Ecuaciones

Derivacin de la regla de la
retropropagacin del error
1. Retropropagacin del error y aprendizaje supervisado
2. Una medida de error global
3. Concepto de espacio de pesos y superficie de
error
4. La tcnica del gradiente de descenso
5. Ecuaciones

Una medida de error global

P1

si

P2

Patrn input:
1
E p t pi s pi
ip = 1
2 i

Input tutor:
ti = 1
2

1
E t pi s pi 2
2 p i

Derivacin de la regla de la
retropropagacin del error
1. Retropropagacin del error y aprendizaje supervisado
2. Una medida de error global
3. Concepto de espacio de pesos y superficie de
error
4. La tcnica del gradiente de descenso
5. Ecuaciones

Concepto de espacio de pesos y

superficie de error
P1
Patrn input:
ip = 1

si

P2

1
E t pi s pi 2
2 p i

P1

Input tutor:
ti = 1
P2

Derivacin de la regla de la
retropropagacin del error
1. Retropropagacin del error y aprendizaje supervisado
2. Una medida de error global
3. Concepto de espacio de pesos y superficie de
error
4. La tcnica del gradiente de descenso
5. Ecuaciones

La tcnica del gradiente de descenso

E
R
R
O
R
G
L
O
B
A
L

+
+
+
+
+
P1 P1

- +

P2

Derivacin de la regla de la
retropropagacin del error
1. Retropropagacin del error y aprendizaje supervisado
2. Una medida de error global
3. Concepto de espacio de pesos y superficie de
error
4. La tcnica del gradiente de descenso
5. Ecuaciones

Ecuaciones: unidades de salida

Clculo:

t1

i ti si f ' net i
S1

Pij i s j
Pijt Pijt 1 Pijt

P11
S1

P12
S2

Ecuaciones: unidades ocultas

Clculo

i k Pki 1P1i 2P2i

k

1
P11

Pij i s j
Pijt Pijt 1 Pijt

2
P21
S1

P11
S1

P12
S2

Estructura de la leccin
1. El problema de las categoras linealmente
inse-parables
2. Arquitectura bsica de un asociador de
patrones multicapa
3. Derivacin
de
la
regla
de
la
retropropagacin del error
4. Transformacin estructural del espacio
de input

Transformacin estructural del

espacio de input
(0 1)
Patrones input

(0 0)

00
10
01
11

(1 1)

(1 0)

PROBLEMA OEX
Patrones capa oculta
aproximados

11
01
01
00

Transformacin estructural del

espacio de input
Espacio de input
(01)

Espacio de unidades ocultas

(11)
(01)

(11)

Transformacin

(00)

(10)

(00)

(10)