Teora de la

Teora de la
Resonancia Adaptativa
Resonancia Adaptativa
Curso de doctoramiento
Curso de doctoramiento
Modelos bsicos de Redes
Modelos bsicos de Redes
Neuronales Artificiales
Neuronales Artificiales
Programa Interuniversitario de
Programa Interuniversitario de
Neurociencia
Neurociencia
Adaptive Resonance
Adaptive Resonance
Theory
Theory
(ART)
(ART)

Redes con aprendizaje supervisado /

Redes con aprendizaje supervisado /
no supervisado.
no supervisado.

Redes recurrentes (realimentadas).

Redes recurrentes (realimentadas).

Dos capas de neuronas.

Dos capas de neuronas.

Aprendizaje en directo / en diferido

Aprendizaje en directo / en diferido

Basadas en plantillas o
Basadas en plantillas o
representantes de clases
representantes de clases

Las distintas clases se almacenan

Las distintas clases se almacenan
independientemente
independientemente
Adaptive Resonance
Adaptive Resonance
Theory
Theory
(ART)
(ART)

Aprendizaje competitivo
Aprendizaje competitivo
winner
winner
-
-
takes
takes
-
-
all
all
(WTA)
(WTA)
.
.

Basadas na idea de Resonancia

Basadas na idea de Resonancia
entre:
entre:

Patrn de entrada
Patrn de entrada

Valor esperado para la clase que

Valor esperado para la clase que
codifica ese patrn
codifica ese patrn

Emplea una medida de similitud

Emplea una medida de similitud
entre ambos
entre ambos

Inspirado en el algoritmo K
Inspirado en el algoritmo K
-
-
medias
medias
de
de
clustering
clustering
(no supervisado)
(no supervisado)
Historia y evolucin (I)
Historia y evolucin (I)

Las primeras versiones son no

Las primeras versiones son no
supervisadas:
supervisadas:

ART1: Patrones binarios (1987)

ART1: Patrones binarios (1987)

ART2: Patrones analgicos (1987)

ART2: Patrones analgicos (1987)

Fuzzy
Fuzzy
ART: Patrones borrosos
ART: Patrones borrosos
(1991)
(1991)

Basadas en la
Basadas en la
umbralizacin
umbralizacin
de
de
una distancia patrn
una distancia patrn
-
-
clase
clase
(vigilancia,
(vigilancia,

)
)
Historia y evolucin (II)
Historia y evolucin (II)

Posteriormente, aparecen
Posteriormente, aparecen
versiones supervisadas:
versiones supervisadas:

ARTMAP (1991)
ARTMAP (1991)

Fuzzy
Fuzzy
ARTMAP (1992)
ARTMAP (1992)

ART
ART
-
-
EMAP (1995)
EMAP (1995)

ARTMAP
ARTMAP
-
-
IC (1998)
IC (1998)

Distributed
Distributed
ARTMAP (1998)
ARTMAP (1998)
-
-
+
+
+
+
Estructura bsica
Estructura bsica
de ART1
de ART1
F2
F2
F1
F1
-
-
-
-
PATRN DE ENTRADA
PATRN DE ENTRADA
+
+
+
+
+
+
CONTROL DE
CONTROL DE
GANANCIA
GANANCIA
SISTEMA
SISTEMA
DE
DE
ORIENTACIN
ORIENTACIN
Operacin bsica
Operacin bsica
de ART1 (I)
de ART1 (I)

Propagacin ascendente
Propagacin ascendente

Presentacin del patrn de entrada

Presentacin del patrn de entrada
en F1
en F1

Propagacin del patrn (a travs

Propagacin del patrn (a travs
de un filtro
de un filtro
adaptativo
adaptativo
) hacia F2
) hacia F2

Competicin en F2 (seleccin de
Competicin en F2 (seleccin de
clase ms cercana):
clase ms cercana):

Gana la clase con mayor similitud con

Gana la clase con mayor similitud con
el patrn de entrada:
el patrn de entrada:
winner
winner
-
-
takes
takes
-
-
all
all
Propagacin ascendente
Propagacin ascendente
-
-
+
+
+
+
F2
F2
F1
F1
-
-
-
-
PATRN DE ENTRADA
PATRN DE ENTRADA
+
+
+
+
+
+
CONTROL DE
CONTROL DE
GANANCIA
GANANCIA
SISTEMA
SISTEMA
DE
DE
ORIENTACIN
ORIENTACIN
Operacin bsica
Operacin bsica
de ART1 (II)
de ART1 (II)

Propagacin descendente
Propagacin descendente

Proyeccin del valor esperado de

Proyeccin del valor esperado de
la clase ganadora sobre F1
la clase ganadora sobre F1

Evaluacin de la coincidencia
Evaluacin de la coincidencia
patrn
patrn

valor esperado
valor esperado

Umbralizacin
Umbralizacin
de coincidencia:
de coincidencia:

Alta: Resonancia patrn

Alta: Resonancia patrn
-
-
clase
clase
ganadora
ganadora

Baja: Rechazo (
Baja: Rechazo (
Reset
Reset
) de clase
) de clase
ganadora
ganadora
Propagacin descendente
Propagacin descendente
-
-
+
+
+
+
F2
F2
F1
F1
-
-
-
-
PATRN DE ENTRADA
PATRN DE ENTRADA
+
+
+
+
+
+
CONTROL DE
CONTROL DE
GANANCIA
GANANCIA
SISTEMA
SISTEMA
DE
DE
ORIENTACIN
ORIENTACIN
Propagacin
Propagacin
ascendente (I)
ascendente (I)

I = Patrn de entrada
I = Patrn de entrada

w
w
j
= Representante de clase
= Representante de clase
j
j

= AND binario
= AND binario

|x| = Norma (suma de componentes) de x

|x| = Norma (suma de componentes) de x

Seleccin de unidad (categora)

Seleccin de unidad (categora)
j
j
en F2 con
en F2 con
entrada mayor: competicin
entrada mayor: competicin
j
j
j
w
w I
T

=

Choice Function
Choice Function
de unidad
de unidad
j
j
en F2
en F2
F2
F2
F1
F1
I
I
w
w
J J
= (
= (
w
w
1J 1J
, ...,
, ...,
w
w
MJ MJ
) =
) =
Representante (LTM)
Representante (LTM)
de clase
de clase
J
J
ganadora
ganadora
w
w
1J 1J
w
w
iJ iJ
w
w
MJ MJ
J
J
Propagacin
Propagacin
Ascendente
Ascendente
Propagacin
Propagacin
ascendente (II)
ascendente (II)
Competicin
Competicin
winner
winner
-
-
takes
takes
-
-
all
all
(WTA)
(WTA)
Actividades en
Actividades en
unidades: STM
unidades: STM
Propagacin
Propagacin
descendente (I)
descendente (I)

Entrada a sistema de
Entrada a sistema de
orientacion
orientacion
:
:
coincidencia (
coincidencia (
matching
matching
) entre patrn
) entre patrn
y representante (LTM) de clase
y representante (LTM) de clase
J
J
ganadora
ganadora
I
w I
m
J
J

Vigilancia (0
Vigilancia (0

<
<
1
1
):
):
umbral sobre la
umbral sobre la
coincidencia patrn
coincidencia patrn
-
-
clase
clase
Propagacin
Propagacin
descendente (II)
descendente (II)
F2
F2
F1
F1
I
I
w
w
J J
= (
= (
w
w
J1 J1
,
,
...,
...,
w
w
JM JM
)
)
=
=
Representante de clase J
Representante de clase J
(Valor esperado)
(Valor esperado)
w
w
J1 J1
w
w
Ji Ji
w
w
JM JM
J
J
Propagacin
Propagacin
Descendente
Descendente
m
m
J J
coincidencia
coincidencia
Propagacin
Propagacin
descendente (III)
descendente (III)

Control de ganancia: acta sobre las

Control de ganancia: acta sobre las
unidades de F1
unidades de F1

Regla 2/3: Una unidad de F1 slo se

Regla 2/3: Una unidad de F1 slo se
activa si tiene 2 de sus 3 entradas
activa si tiene 2 de sus 3 entradas
activas
activas

Sin unidad ganadora en F2, el control de

Sin unidad ganadora en F2, el control de
ganancia est activo:
ganancia est activo:
Slo se activan las unidades de F1 con Slo se activan las unidades de F1 con
entrada I activa entrada I activa

Una unidad ganadora en F2 inhibe al

Una unidad ganadora en F2 inhibe al
control de ganancia:
control de ganancia:
Slo se activan las unidades de F1 con Slo se activan las unidades de F1 con
entradas I y entradas I y w w
j j
activas activas
Test
Test
de Resonancia (I)
de Resonancia (I)

Si
Si
m
m
J
J
>
>

:
:
Resonancia
Resonancia
entre:
entre:

Patr
Patr

n de entrada
n de entrada

Valor esperado de clase

Valor esperado de clase
J
J
El
El patrn
de entrada se asigna a la
de entrada se asigna a la
clase
clase
J
J

Si
Si
m
m
J
J
<
<

:
:
Rechazo
Rechazo
de clase
de clase
J
J
.
.

El
El patrn
de entrada
de entrada
no
no
se asigna a
se asigna a
la clase
la clase
J
J
Test
Test
de Resonancia (II)
de Resonancia (II)

Clase
Clase
J
J
inhabilitada para la
inhabilitada para la
competici
competici

n
n

Se escoge una nueva ganadora en

Se escoge una nueva ganadora en
F2
F2

Su valor esperado (representante)

Su valor esperado (representante)
se propaga hacia F1
se propaga hacia F1

Se eval
Se eval

a de nuevo su
a de nuevo su
coincidencia con el patr
coincidencia con el patr

n de
n de
entrada
entrada
Aprendizaje
Aprendizaje

Si se cumple el
Si se cumple el
test
test
de
de
Resonancia ...
Resonancia ...

Se acerca el representante de la
Se acerca el representante de la
clase ganadora
clase ganadora
J
J
a su AND
a su AND
binario con el patrn de entrada
binario con el patrn de entrada
w
w
J
J
(t+1) =
(t+1) =

(I
(I

w
w
J
J
(t)) +
(t)) +
(1
(1
-
-

)
)
w
w
J
J
(t)
(t)
0
0

1 : velocidad de aprendizaje
1 : velocidad de aprendizaje
Aprendizaje
Aprendizaje

Similar a la Regla de Kohonen,

Similar a la Regla de Kohonen,
pero con
pero con
I
I

w
w
J
J
(t) en vez de
(t) en vez de
I
I
.
.

Usualmente
Usualmente

=1 (aprendizaje
=1 (aprendizaje
r
r

pido).
pido).

La norma de
La norma de
w
w
s
s

lo puede
lo puede
decrecer ya que se usa el AND
decrecer ya que se usa el AND
binario.
binario.
Creacin de clase nueva
Creacin de clase nueva

Si ninguna clase cumple el

Si ninguna clase cumple el
Test
Test
de Resonancia ...
de Resonancia ...

Creacin de una clase nueva J

Creacin de una clase nueva J

Su representante (LTM) se
Su representante (LTM) se
iguala al patrn de entrada:
iguala al patrn de entrada:
w
w
J
J
(t+1) =
(t+1) =
I
I
Resumiendo ...
Resumiendo ...
(I)
(I)

Operacin no supervisada
Operacin no supervisada

Basada en una similitud (

Basada en una similitud (

para
para
patrones binarios)
patrones binarios)

Emplea un umbral (vigilancia) para

Emplea un umbral (vigilancia) para
decidir si el patr
decidir si el patr

n se asigna o no a
n se asigna o no a
su clase m
su clase m

s similar
s similar

Asigna un patr
Asigna un patr

n a su clase m
n a su clase m

s
s
cercana seg
cercana seg

n esa similitud, y usa

n esa similitud, y usa
una similitud m
una similitud m

nima por debajo de la

nima por debajo de la
cual no hay asignaci
cual no hay asignaci

n
n
Resumiendo ...
Resumiendo ...
(II)
(II)

Crea clases a medida que son

Crea clases a medida que son
necesarias (el m
necesarias (el m

ximo es el n
ximo es el n

de unidades en F2)
de unidades en F2)

Actualiza los representantes de

Actualiza los representantes de
clase con cada patr
clase con cada patr

n
n

Operaci
Operaci

n muy simple: inspirada

n muy simple: inspirada
en algoritmo K
en algoritmo K
-
-
medias:
medias:
clustering
clustering
o aprendizaje no
o aprendizaje no
supervisado.
supervisado.
Notas adicionales
Notas adicionales

El n de clases con frecuencia es

El n de clases con frecuencia es
elevado.
elevado.

Mayor vigilancia: ms clases, menor

Mayor vigilancia: ms clases, menor
error (se exige una similitud ms
error (se exige una similitud ms
alta).
alta).

Menor vigilancia: menos clases, ms

Menor vigilancia: menos clases, ms
error (se tolera una similitud ms
error (se tolera una similitud ms
baja).
baja).

Comportamiento bastante
Comportamiento bastante
dependiente del orden de
dependiente del orden de
presentacin de los patrones.
presentacin de los patrones.
ART2
ART2

ART2: Patrones analgicos:

ART2: Patrones analgicos:

Mltiples capas para filtrar el

Mltiples capas para filtrar el
patrn de entrada.
patrn de entrada.

Medida de similitud: coseno del

Medida de similitud: coseno del
ngulo entre el patrn y el valor
ngulo entre el patrn y el valor
esperado de clase.
esperado de clase.

Poco usada por la complejidad de

Poco usada por la complejidad de
sus capas.
sus capas.
Fuzzy
Fuzzy
ART (I)
ART (I)

Fuzzy
Fuzzy
ART: Patrones borrosos:
ART: Patrones borrosos:

Medida de distancia: Operador

Medida de distancia: Operador
borroso mnimo (
borroso mnimo (

)
)
j
j
j
w
w I
T
+

I
w I
m
J
J

=
I
I
i i
,
,
w
w
Ji Ji

[0, 1]
[0, 1]

Interpretacin geomtrica de las clases

Interpretacin geomtrica de las clases
como
como
hiperrectngulos
hiperrectngulos

> 0
> 0
Aprendizaje en
Aprendizaje en
Fuzzy ART
Fuzzy ART

Ecuacin (
Ecuacin (

= 1 usualmente):
= 1 usualmente):

Similar a ART1 pero

Similar a ART1 pero
sustituyendo
sustituyendo

por
por

.
.

Problema: Proliferacin de
Problema: Proliferacin de
categoras
categoras

Usando
Usando

, los representantes
, los representantes
w
w
J J
s
s

lo
lo
pueden decrecer
pueden decrecer
( ) ( ) ( ) ( ) ( ) t w t w I t w
J J J
+ = + 1 1
Proliferacin de
Proliferacin de
categoras
categoras

Rechazos debidos a que |

Rechazos debidos a que |
w
w
J J
|
|
es baja:
es baja:

Creacin errnea de clases nuevas.

Creacin errnea de clases nuevas.

Solucin
Solucin
: Patrn de entrada
: Patrn de entrada
codificado en complemento:
codificado en complemento:
I = (I,
I = (I,
I
I
c c
) =
) =
(I
(I
1 1
, ..., I
, ..., I
M M
,1
,1
-
-
I
I
1 1
, ..., 1
, ..., 1
-
-
I
I
M M
)
)

Duplicacin del tamao de F1.

Duplicacin del tamao de F1.
I
w
I
w I
m
J J
J

=
Fuzzy
Fuzzy
ART (II)
ART (II)

Tamao de una clase: suma de

Tamao de una clase: suma de
los lados de su
los lados de su
hiperrectngulo
hiperrectngulo

=
=
M
i
ji ji j
u v R
1
|
.
|

\
|
=
c
j j j
v u w ,
( ) 1 M R
j
j
j
w M R =

Tamao y tamao mximo:

Tamao y tamao mximo:
Fuzzy
Fuzzy
ART (III)
ART (III)
1. 1. El El hiperrectngulo hiperrectngulo de una clase crece, cuando de una clase crece, cuando
sta codifica a un patrn de entrada, hasta sta codifica a un patrn de entrada, hasta
convertirse en el convertirse en el hiperrectngulo hiperrectngulo mnimo que mnimo que
contiene al patrn de entrada. contiene al patrn de entrada.
2. 2. El patrn se asigna a aquella clase que lo El patrn se asigna a aquella clase que lo
contiene. Si hay varias (*), a la de menor tamao. contiene. Si hay varias (*), a la de menor tamao.
Si no hay ninguna, a aquella ms cercana. Si hay Si no hay ninguna, a aquella ms cercana. Si hay
dos igual de cercanas, a la ms pequea. dos igual de cercanas, a la ms pequea.
3. 3. Si Si < < /(1 /(1 - - ) y el ) y el aprendizaje es rpido ( aprendizaje es rpido ( = 1), un = 1), un
conjunto de patrones se aprende completamente conjunto de patrones se aprende completamente
en una en una nica presentaci nica presentaci n. n.
Teoremas que gobiernan el
Teoremas que gobiernan el
comportamiento de la red
comportamiento de la red
Fuzzy
Fuzzy
ART (V)
ART (V)

1 Regla:
1 Regla:
U
U
j j
(t)
(t)
v
v
j j
c c
(t)
(t)
w
w
j j
(t) = (
(t) = (
u
u
j j
(t),
(t),
v
v
j j
c c
(t))
(t))
I = (a,
I = (a,
a
a
c c
)
)
1 dimensin
1 dimensin
2 dimensin
2 dimensin
1
1
1
1
v
v
j j
(t+1) =
(t+1) =
a
a

v
v
j j
(t)
(t)
u
u
j j
(t+1) = a
(t+1) = a

u
u
j j
(t)
(t)
w
w
j j
(t+1) = (
(t+1) = (
u
u
j j
(t+1)
(t+1)
,
,
v
v
j j
(t+1)
(t+1)
c c
)
)
= (a
= (a

u
u
j j
(t)
(t)
, (
, (
a
a

v
v
j j
(t))
(t))
c c
)
)
Ventajas de
Ventajas de
Fuzzy ART
Fuzzy ART

Resuelve el dilema estabilidad

Resuelve el dilema estabilidad
-
-
plasticidad:
plasticidad:

Est basada en plantillas.

Est basada en plantillas.

Las almacena independientemente.

Las almacena independientemente.

Adecuado para:
Adecuado para:

Problemas con un nmero indeterminado

Problemas con un nmero indeterminado
de clases.
de clases.

Problemas dinmicos (clases

Problemas dinmicos (clases
cambiantes con el tiempo).
cambiantes con el tiempo).

No requiere entrenamiento en
No requiere entrenamiento en
diferido: aprende en directo
diferido: aprende en directo
Ventajas de
Ventajas de
Fuzzy ART
Fuzzy ART

No necesita un entrenamiento en
No necesita un entrenamiento en
diferido, sino que aprende en directo.
diferido, sino que aprende en directo.

No hay parmetros de diseo en la

No hay parmetros de diseo en la
arquitectura que hay que decidir (n
arquitectura que hay que decidir (n
de capas, n de nodos por capa, ...):
de capas, n de nodos por capa, ...):
slo la vigilancia.
slo la vigilancia.

Proporciona representaciones
Proporciona representaciones
(plantillas) de las clases aprendidas
(plantillas) de las clases aprendidas
Ventajas de
Ventajas de
Fuzzy ART
Fuzzy ART

Aprendizaje
Aprendizaje
adaptativo
adaptativo
:
:

Crea clases nuevas.

Crea clases nuevas.

Actualiza clases aprendidas.

Actualiza clases aprendidas.
... Sin re
... Sin re
-
-
entrenamiento.
entrenamiento.

Aprendizaje estable (con

Aprendizaje estable (con
matices) y predecible
matices) y predecible
matemticamente (teoremas).
matemticamente (teoremas).
Limitaciones de
Limitaciones de
Fuzzy ART
Fuzzy ART

Simple: se basa exclusivamente en

Simple: se basa exclusivamente en
una similitud y en un umbral.
una similitud y en un umbral.

Slo vlida para problemas no

Slo vlida para problemas no
supervisados.
supervisados.

Necesita el parmetro de vigilancia.

Necesita el parmetro de vigilancia.

Propenso a crear muchas

Propenso a crear muchas
categoras.
categoras.

Dependencia con el orden de

Dependencia con el orden de
presentacin de los patrones.
presentacin de los patrones.
Versiones supervisadas
Versiones supervisadas

ARTMAP: versin supervisada de

ARTMAP: versin supervisada de
ART1
ART1

Fuzzy
Fuzzy
ARTMAP: versin
ARTMAP: versin
supervisada de
supervisada de
Fuzzy
Fuzzy
ART
ART

Dos redes ART:

Dos redes ART:

Clasificador (
Clasificador (
ART
ART
a a
)
)

Supervisor (
Supervisor (
ART
ART
b b
)
)

Capa de mapeo entre ambas (

Capa de mapeo entre ambas (
F
F
ab ab
)
)

Acta como
Acta como
asociador
asociador
de patrones
de patrones
(
(
I
I
a a

I
I
b b
)
)
Estructura de
Estructura de
Fuzzy
Fuzzy
ARTMAP
ARTMAP
I
I
a a
I
I
b b
ART
ART
a a
ART
ART
b b
Campo de mapeo (
Campo de mapeo (
F
F
ab ab
)
)
F
F
1 1
a a
F
F
2 2
a a
F
F
2 2
b b
F
F
1 1
b b
Patrn de salida deseado
Patrn de salida deseado
w
w
jk jk
ab ab

a a
w
w
j j
a a
w
w
k k
b b
Patrn de entrada
Patrn de entrada

ab ab

b b
y
y
b b
Entrenamiento (I)
Entrenamiento (I)

Se presenta un patrn de entrada (

Se presenta un patrn de entrada (
I
I
a a
)
)
y el patrn de salida deseado (
y el patrn de salida deseado (
I
I
b b
)
)

Se aprenden las clases en

Se aprenden las clases en
ART
ART
a a
,
,
ART
ART
b b
y
y
F
F
ab ab

Se crean asociaciones entre las

Se crean asociaciones entre las
clases activas en
clases activas en
ART
ART
a a
y
y
ART
ART
b b
: pesos
: pesos
w
w
jk jk
ab ab
para un par (
para un par (
I
I
a a
,
,
I
I
b b
)
)

F
F
2 2
a a
acta como la capa oculta de un
acta como la capa oculta de un
MLP
MLP

F
F
ab ab
acta como capa de salida
acta como capa de salida
Fuzzy
Fuzzy
ARTMAP
ARTMAP
vs
vs
MLP
MLP
(Problema de clasificacin)
(Problema de clasificacin)
Patrn de entrada
Patrn de entrada
Patrn de entrada
Patrn de entrada
Capa de
Capa de
entrada
entrada
Capa
Capa
oculta
oculta
Capa de
Capa de
salida
salida
Salida (clase)
Salida (clase)
F
F
1 1
a a
F
F
2 2
a a
F
F
ab ab
Salida (clase)
Salida (clase)
MLP
MLP
(menor conectividad)
(menor conectividad)
Fuzzy
Fuzzy
ARTMAP
ARTMAP
Entrenamiento (II)
Entrenamiento (II)

Match
Match
-
-
Tracking
Tracking
:
:
Si las clases
Si las clases
ganadoras en
ganadoras en
ART
ART
a a
y
y
ART
ART
b b
no estn
no estn
asociadas (|
asociadas (|
y
y
b b

w
w
J J
ab ab
| <
| <

ab ab
|
|
y
y
b b
|
|
)
)

Se eleva
Se eleva

a a
de modo que
de modo que
J
J
a a
sea
sea
rechazada:
rechazada:

a a
= |
= |
I
I

w
w
J J
|/|
|/|
I
I
| +
| +

,
,

= 0
= 0
+ +

Se selecciona una nueva unidad en F

Se selecciona una nueva unidad en F
2 2
a a
:
:
su tama
su tama

o ser
o ser

menor que
menor que
J
J
a a

Si no queda ninguna, se crea una clase

Si no queda ninguna, se crea una clase
nueva.
nueva.

Se restaura
Se restaura

a a
a su valor por defecto.
a su valor por defecto.
Entrenamiento (III)
Entrenamiento (III)

Las clases menores son ms

Las clases menores son ms
especficas.
especficas.

Las clases mayores son ms

Las clases mayores son ms
generales.
generales.

Si un patrn cae dentro de varias

Si un patrn cae dentro de varias
clases, la ms pequea tiene
clases, la ms pequea tiene
T
T
J J
mayor.
mayor.

Cuando una clase es rechazada, slo

Cuando una clase es rechazada, slo
puede ganar una clase ms pequea
puede ganar una clase ms pequea
(porque se eleva
(porque se eleva

a a
).
).
Entrenamiento (IV)
Entrenamiento (IV)

Utiliza la similitud patrn

Utiliza la similitud patrn
-
-
clase
clase
T
T
J J
,
,
pero tambin el supervisor.
pero tambin el supervisor.

Esto permite discriminar entre

Esto permite discriminar entre
patrones de clases superpuestas:
patrones de clases superpuestas:

Creacin de clases nuevas en el

Creacin de clases nuevas en el
hiperrectngulo
hiperrectngulo
de una clase ya
de una clase ya
existente.
existente.

Si un patrn cae en el
Si un patrn cae en el
hiperrectngulo
hiperrectngulo
de
de
varias clases, la clase ganadora es la
varias clases, la clase ganadora es la
que tiene menor tamao (mayor |
que tiene menor tamao (mayor |
w
w
j j
|)
|)
Procesamiento (I)
Procesamiento (I)

Slo se presenta
Slo se presenta
I
I
a a

Resonancia con una clase

Resonancia con una clase
J
J
en
en
ART
ART
a a

La actividad en
La actividad en
F
F
ab ab
est gobernada por el
est gobernada por el
vector de pesos
vector de pesos
w
w
jk jk
ab ab
asociado a la clase
asociado a la clase
J
J
en
en
ART
ART
a a
x
x
ab ab
=
=
y
y
b b

w
w
J J
ab ab

La clase de salida es aquella con

La clase de salida es aquella con
x
x
ab ab

0,
0,
asociada a
asociada a
J
J

En la capa oculta (F
En la capa oculta (F
2 2
a a
) slo se activa una
) slo se activa una
unidad (
unidad (
J
J
), a diferencia del MLP (activacin
), a diferencia del MLP (activacin
distribuida en capa oculta)
distribuida en capa oculta)
Problemas de clasificacin
Problemas de clasificacin

ART
ART
b b
sobra y se suprime (
sobra y se suprime (
-
-
> Simplified
> Simplified
ARTMAP).
ARTMAP).

En el entrenamiento, el patrn
En el entrenamiento, el patrn
I
I
b b
es la clase
es la clase
a la que pertenece
a la que pertenece
I
I
a a
.
.

El nmero de unidades en F
El nmero de unidades en F
1 1
b b
y F
y F
2 2
b b
coinciden.
coinciden.

Cada patrn
Cada patrn
de entrenamiento tiene una
de entrenamiento tiene una
salida deseada (I
salida deseada (I
b b
, aplicada en F
, aplicada en F
ab ab
) con un
) con un
1 en la prediccin deseada y un 0 en las
1 en la prediccin deseada y un 0 en las
restantes componentes.
restantes componentes.

La salida de la red es
La salida de la red es
F
F
ab ab
.
.
Problema de asociacin
Problema de asociacin
de patrones
de patrones

En el entrenamiento,
En el entrenamiento,
I
I
b b
es el patrn
es el patrn
asociado
asociado
aI
aI
patrn
patrn
I
I
a a

En el procesamiento, la clase ganadora

En el procesamiento, la clase ganadora
K
K
en F
en F
2 2
b b
es la de mayor entrada desde
es la de mayor entrada desde
F
F
ab ab

La salida de la red es el vector de

La salida de la red es el vector de
actividades de F
actividades de F
1 1
b b
, donde se proyecta el
, donde se proyecta el
valor esperado para la clase
valor esperado para la clase
K
K
en
en
ART
ART
b b

Esta salida es el patrn que la red ha

Esta salida es el patrn que la red ha
aprendido a asociar a
aprendido a asociar a
Ia
Ia
etapa de
etapa de
entrenamiento
entrenamiento
Procesamiento de
Procesamiento de
Fuzzy
Fuzzy
ARTMAP
ARTMAP
(
(
asociador
asociador
de patrones)
de patrones)
Patrn de entrada
Patrn de entrada
Salida (patrn asociado)
Salida (patrn asociado)
F
F
1 1
a a
F
F
2 2
a a
F
F
ab ab
F
F
2 2
b b
F
F
1 1
b b
w
w
jk jk
ab ab
Capa competitiva
Capa competitiva
gana unidad
gana unidad
J
J
Capa competitiva
Capa competitiva
gana unidad
gana unidad
K
K
Capa oculta
Capa oculta
Procesamiento (II)
Procesamiento (II)

Permite compaginar aprendizaje

Permite compaginar aprendizaje
supervisado / no supervisado
supervisado / no supervisado

Entrenamiento en diferido
Entrenamiento en diferido

Procesamiento en directo
Procesamiento en directo

Permite intercalar patrones con / sin

Permite intercalar patrones con / sin
supervisor
supervisor

Teorema: si
Teorema: si

= 1 y
= 1 y
)
`

a
a
M

1
,
1
max
El aprendizaje de una lista de patrones
El aprendizaje de una lista de patrones
requiere (M
requiere (M

1) presentaciones
1) presentaciones

a a
: valor por defecto
: valor por defecto
Limitaciones de
Limitaciones de
Fuzzy ARTMAP
Fuzzy ARTMAP

Competicin WTA: limita su

Competicin WTA: limita su
capacidad de aprendizaje
capacidad de aprendizaje

Otras redes (MLP) usan actividad

Otras redes (MLP) usan actividad
distribuida.
distribuida.

Tiende a crear muchas clases:

Tiende a crear muchas clases:

En problemas complejos (fronteras entre

En problemas complejos (fronteras entre
clases con geometras complejas).
clases con geometras complejas).

En presencia de ruido.
En presencia de ruido.

Propensa a sobreaprendizaje.
Propensa a sobreaprendizaje.

En general, peores resultados que

En general, peores resultados que
MLP SVM.
MLP SVM.
ART
ART
-
-
EMAP (I)
EMAP (I)

Incorpora acumulacin de
Incorpora acumulacin de
evidencias espaciales
evidencias espaciales

Divide
Divide
F
F
ab
ab
en 3 capas
en 3 capas

Emplea parcialmente activacin

Emplea parcialmente activacin
distribuida:
distribuida:

Durante el entrenamiento: WTA en

Durante el entrenamiento: WTA en
F2
F2
a a

Durante el
Durante el
procesamiento
procesamiento
:
:
activacin distribuida en F2
activacin distribuida en F2
a a
ART
ART
-
-
EMAP (II)
EMAP (II)
1.
1.
Realce de contraste
Realce de contraste

Procesamiento: actividad distribuida

Procesamiento: actividad distribuida

Salida de la unidad
Salida de la unidad
j
j
en F2
en F2
a a
:
:
( )
( )

=
=
a
N
n
p
n
p
j
j
T
T
y
1
Regla de
Regla de
la Potencia
la Potencia
y
y
j j
: actividad de la
: actividad de la
unidad
unidad
j
j
en F
en F
2 2
a a
;
;
T
T
j j
es su entrada
es su entrada
ART
ART
-
-
EMAP (III)
EMAP (III)

La activacin
La activacin
x
x
k k
ab ab
de cada unidad
de cada unidad
en la primera capa de
en la primera capa de
F
F
ab ab
es la
es la
suma de las activaciones de sus
suma de las activaciones de sus
unidades asociadas en F2
unidades asociadas en F2
a a

=
=
a
N
j
a
j
ab
jk
ab
k
y w x
1
2.
2.
Criterio de Decisin:
Criterio de Decisin:

La prediccin de salida es k*:

La prediccin de salida es k*:
x
x
k k* *
>
>

x
x
k k

k
k

k
k
* *
,
,

1
1
ART
ART
-
-
EMAP (IV)
EMAP (IV)
3.
3.
Acumulacin de evidencias
Acumulacin de evidencias
temporales
temporales

Si ninguna clase cumple el Criterio de

Si ninguna clase cumple el Criterio de
Decisin, se deja la salida indecisa y se
Decisin, se deja la salida indecisa y se
piden ms patrones, acumulndose las
piden ms patrones, acumulndose las
T
T
j j
(
(
choice
choice
function
function
)
)
de cada unidad en
de cada unidad en
F2
F2
a a

Esta acumulacin slo es operativa en

Esta acumulacin slo es operativa en
ciertas aplicaciones (p.
ciertas aplicaciones (p.
ej
ej
., clasificacin
., clasificacin
de objetos 3D a partir de vistas
de objetos 3D a partir de vistas
alternativas de los mismos)
alternativas de los mismos)

Neurona outstar (F1):

Neurona outstar (F1):
Olvido catastrfico: Si
Olvido catastrfico: Si
y
y
j j

0
0

j
j
: todos
: todos
los
los
w
w
ji ji

x
x
i i
: se olvida la informaci
: se olvida la informaci

n.
n.
Solucin: Atrofia por desuso: el peso
de una conexin no vara cuando la
entrada no supera un cierto umbral.
Activacin
Activacin
Distribuida (I)
Distribuida (I)
( )
( )
ji i j
ji
w x y
dt
t dw
=
( ) ( ) | |
t y
ji i i ji
j
e w x x t w

= 0
( )
i ji
t
x t w =

lim
Activacin
Activacin
Distribuida (II)
Distribuida (II)

Desuso
Desuso
D
D
i
i
:
:

Con estas expresiones,

Con estas expresiones,
w
w
ji
ji
no
no
decrece indefinidamente, ya que
decrece indefinidamente, ya que
los pesos slo se modifican
los pesos slo se modifican
cuando
cuando
S
S
ji
ji

0
0
, es decir, si
, es decir, si
y
y
j
j
>
>

ji
ji

Los pesos
Los pesos

ji
ji
vienen a ser
vienen a ser
1
1
-
-
w
w
ji
ji
( )
|
.
|

\
|
=

=
i
N
l
li ji
ji
x S S
dt
t dw
1
| |
+
=
ji j ji
y S ;
Distributed
Distributed
ARTMAP (I)
ARTMAP (I)

Se evita el olvido catastr

Se evita el olvido catastr

fico
fico

Emplea activacin distribuida en el

Emplea activacin distribuida en el
entrenamiento (parcialmente) y en el
entrenamiento (parcialmente) y en el
procesamiento
procesamiento

Expresiones de aprendizaje distintas

Expresiones de aprendizaje distintas
de
de
Fuzzy
Fuzzy
ARTMAP, para evitar el
ARTMAP, para evitar el
olvido catastrfico
olvido catastrfico

Emplea
Emplea
[]
[]
+ +
(parte positiva) en vez de
(parte positiva) en vez de

Distributed ARTMAP (II)

Distributed ARTMAP (II)
Y
Y
j j
y
y
j j
A
A
i i
= (a, a
= (a, a
c c
)
)
x
x
i i
=A
=A
i i

j j

kj kj

ji ji
c
c
j j

ij ij
WTA
WTA
Match
Match

ab ab

jk jk
F
F
0 0
F
F
2 2
F
F
3 3
F
F
1 1
a
a
reset
reset
b
b
Salida
Salida
deseada
deseada

k k
Distributed ARTMAP
Distributed ARTMAP
Entrenamiento (I)
Entrenamiento (I)

Funcin de seleccin (
Funcin de seleccin (
j = 1, ..., J
j = 1, ..., J
):
):

Activacin (distribuida) en F
Activacin (distribuida) en F
2
2
:
:
( ) ( )

= =
= = + =
M
i
ij j
M
i
ij i j j j j
A S S T
2
1
2
1
; 1 ; 1
( )
( )

+
=
j
j
j
T M
T M
y

,
2
2
1
1

=
1
j
y
( ) { } 0 2 : = =
j
T M j
Distributed ARTMAP
Distributed ARTMAP
Entrenamiento (II)
Entrenamiento (II)

Activacin en F
Activacin en F
3 3
:
:
(distribuida)
(distribuida)
(
(
c
c
j j

[0, 1] es el cr
[0, 1] es el cr

dito de nodo
dito de nodo
j
j
en F
en F
3 3
)
)

La utilizacin de los crditos

La utilizacin de los crditos
c
c
j j
favorece a las clases que captan ms
favorece a las clases que captan ms
patrones.
patrones.

Esto puede no ser adecuado para ciertas

Esto puede no ser adecuado para ciertas
aplicaciones.
aplicaciones.

=
=
C
l
l l
j j
j
y c
y c
Y
1

Entrada de F
Entrada de F
3
3
a F
a F
1
1
:
:
(
(
i = 1, ..., 2M
i = 1, ..., 2M
)
)

Si: =>
Si: =>
coincidencia
coincidencia

Si no, conmuta a WTA:

Si no, conmuta a WTA:
| |

=
+
=
C
j
ji j i
Y
1

>

=
M
i
i i
A
M
2
1
1
Observaciones
Observaciones

=
= =
J j
J j
Y y
j j
0
1
{ }
l
l
T J max arg =
Distributed ARTMAP
Distributed ARTMAP
Entrenamiento (III)
Entrenamiento (III)
-
-
(WTA)
(WTA)

Entrada de F
Entrada de F
3
3
a F
a F
1
1
:
:

Se evala la condicin
Se evala la condicin
de
de
matching
matching
:
:

Y as hasta alcanzar la
Y as hasta alcanzar la
resonancia o crear una clase
resonancia o crear una clase
nueva
nueva
( )
Ji i
= 1
>

=
M
i
i i
A
M
2
1
1
Distributed ARTMAP
Distributed ARTMAP
Entrenamiento (IV)
Entrenamiento (IV)

Prediccin (
Prediccin (
L
L
= n de
= n de
predicciones):
predicciones):

En modo distribuido:
En modo distribuido:
K = arg max
K = arg max
k k
{
{

k k
}
}

En modo WTA:
En modo WTA:
K =
K =

(J)
(J)
(
(
J
J
es el
es el
nodo ganador en F
nodo ganador en F
3 3
)
)
( )
L k Y
C
k j j
j k
,..., 1 ,
, 1
= =

= =

Distributed ARTMAP
Distributed ARTMAP
Entrenamiento (V)
Entrenamiento (V)

Si K
Si K

K:
K:
(
(
Match Tracking
Match Tracking
)
)
Vuelve al modo WTA y recalcula
Vuelve al modo WTA y recalcula
y
y
j j
,
,
Y
Y
j j
y
y

i i

Si
Si
K = K
K = K
:
:
y
y
j j
= 0
= 0
si
si

(j)
(j)

K
K
, y :
, y :

=
+ =
M
i
i i
A
M
2
1
1

=
=
C
l
l
j
j
y
y
y
1

=
=
C
l
l l
j j
j
y c
y c
Y
1
| |

=
+
=
C
j
ji j i
Y
1

Distributed ARTMAP
Distributed ARTMAP
Entrenamiento (VI)
Entrenamiento (VI)

Resonancia
Resonancia
(actualizacin de
(actualizacin de
pesos
pesos
)
)
:
:
( ) ( ) | |
+
+ = +
i ij j ij ij
A y t t 1
( ) ( )
| | | |
i
ji j i i
ji ji
Y A
t t

+ +

+ = +1
( ) ( )
j j j
y t c t c + = +1
Distributed ARTMAP
Distributed ARTMAP
Test (I)
Test (I)

Sin aprendizaje ni bsqueda

Sin aprendizaje ni bsqueda

Activacin distribuida
Activacin distribuida
(
(
feedforward
feedforward
)
)

Funcin de seleccin (
Funcin de seleccin (
j = 1, ..., J
j = 1, ..., J
):
):
( )

= =
= =
M
i
ij j
M
i
ij i j
A S
2
1
2
1
; 1
( )
j j j
S T + = 1
Distributed ARTMAP
Distributed ARTMAP
Test (II)
Test (II)

Activacin (distribuida) en F
Activacin (distribuida) en F
2
2
:
:

Activacin en F
Activacin en F
3
3
:
:
(distribuida)
(distribuida)
( )
( )

+
=
j
j
j
T M
T M
y

,
2
2
1
1

=
1
j
y
( ) { } 0 2 : = =
j
T M j

=
=
C
l
l l
j j
j
y c
y c
Y
1
Distributed ARTMAP
Distributed ARTMAP
Test (III)
Test (III)

Prediccin (
Prediccin (
L
L
= n de predicciones):
= n de predicciones):

K = arg max
K = arg max
k k
{
{

k k
} es la prediccin
} es la prediccin
asignada por DARTMAP al patrn
asignada por DARTMAP al patrn
a
a
actual
actual

La activacin es siempre distribuida

La activacin es siempre distribuida
durante el test (como en ART
durante el test (como en ART
-
-
EMAP)
EMAP)
( )
,...,L ,k Y
C
k j , j
j k
1
1
= =

= =
Otras versiones
Otras versiones

ARTMAP
ARTMAP
-
-
IC (diagnstico mdico)
IC (diagnstico mdico)

LAPART, ARAM,
LAPART, ARAM,
Cascade
Cascade
ARTMAP (reglas
ARTMAP (reglas
borrosas, extraccin de conocimiento)
borrosas, extraccin de conocimiento)

HART (ART jerrquica)

HART (ART jerrquica)

Gaussian
Gaussian
ARTMAP, Ellipsoid ARTMAP,
ARTMAP, Ellipsoid ARTMAP,
Hipersphere ARTMAP (funciones de
Hipersphere ARTMAP (funciones de
activacin
activacin
gaussianas, elipsoidales,
gaussianas, elipsoidales,
circulares)
circulares)

PROBART: aprendizaje de patrones ruidosos

PROBART: aprendizaje de patrones ruidosos

TD
TD
-
-
ART: patrones espacio
ART: patrones espacio
-
-
temporales ...
temporales ...
Aplicaciones
Aplicaciones

Reconocimiento visual de objetos

Reconocimiento visual de objetos
(blancos areos, minas)
(blancos areos, minas)

Reconocimiento de imgenes y
Reconocimiento de imgenes y
texturas
texturas

Procesamiento de ECG (QRS,

Procesamiento de ECG (QRS,
arritmias, reconocimiento ST)
arritmias, reconocimiento ST)

Reconocimiento de caracteres
Reconocimiento de caracteres

Clasificacin de patrones mdicos

Clasificacin de patrones mdicos

Control borroso y prediccin

Control borroso y prediccin

Fusin
Fusin
multicanal
multicanal
de datos ...
de datos ...
Pginas web tiles
Pginas web tiles

The Adaptive Resonance Theory

The Adaptive Resonance Theory
(ART) clearinghouse
(ART) clearinghouse
:
:
http://www.wi.leidenuniv.nl/art
http://www.wi.leidenuniv.nl/art
(contiene referencias de trabajos)
(contiene referencias de trabajos)

Portal ART (an en preparacin)

Portal ART (an en preparacin)
http://www.adaptive
http://www.adaptive
-
-
resonance.net
resonance.net

CNS/CAS en Boston Univ.

CNS/CAS en Boston Univ.
http://
http://
cns
cns
.
.
bu
bu
.
.
edu
edu