Departamento de Ingeniera Elctrica

UNIVERSIDAD DE SANTIAGO DE CHILE

Carrera: Ingeniera Civil en Electricidad

Control Inteligente
Redes Neuronales (parte II)

Dra. Marcela Jamett Domnguez

 M. Jamett
Tabla de Contenido
y Sistemas
Tabla de Contenido y Sistemas Estticos
Sistemas y Aproximacin
po ac
Sistemas Estticos
Aproximacin y Clasificacin
Clasificacin y Regresin
Regresin
Redes monocapa y Redes monocapa
Perceptrn y Perceptrn
Ejemplo
Aprendizaje del Perceptrn y Ejemplo
Adaline
y Aprendizaje del Perceptrn
Entrenamiento del Adaline
Tarea y Adaline
y Entrenamiento del Adaline
y Tarea

CONTROL INTELIGENTE
 Sistemas
M. Jamett

y Sistema
Tabla de Contenido Porcin de la realidad que se desea aislar para
Sistemas estudio.
Sistemas Estticos
Aproximacin Combinacin de elementos o componentes
Clasificacin interrelacionados entre s y con el todo, que actan
Regresin
juntos para lograr una cierta meta.
Redes monocapa
Perceptrn Variables entrada, salida, estado
Ejemplo
Aprendizaje del Perceptrn
Adaline
Si
Sistema i
esttico: i l id d causa-efecto.
simultaneidad f
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Sistemas Estticos
M. Jamett

Denominacin confusa:
Tabla de Contenido En el mbito de los sistemas fsicos, no implica causas
Sistemas y efectos constantes en el tiempo.
p
Sistemas Estticos
Aproximacin
Clasificacin
Ejemplo: resistencia elctrica y la Ley de Ohm:
Regresin
Redes monocapa
Perceptrn
Ejemplo i
Aprendizaje del Perceptrn
+
Adaline
R
Entrenamiento del Adaline v
Tarea -

CONTROL INTELIGENTE
 Aproximacin
M. Jamett

Hay un problema
H bl ttransversall que es ell d
de lla aproximacin
i i
de funciones que en el caso de sistemas estticos puede
Tabla de Contenido
diferenciarse en al menos otros dos subproblemas:
Sistemas
Sistemas Estticos
Aproximacin
Clasificacin
y Clasificacin Step Response
1
Regresin y Regresin
g
Redes monocapa 0.8

Perceptrn
0.6
Ejemplo
Aprendizaje del Perceptrn 0.4

Adaline
Entrenamiento del Adaline 0.2

Tarea
0

-0.2
0 0.5 1 1.5 2 2.5 3 3.5
Time

CONTROL INTELIGENTE
 Clasificacin
M. Jamett

y Clasificacin:
Tabla de Contenido Se trata de aproximar una funcin que represente la
Sistemas probabilidad de p
p pertenencia de un cierto objeto
j -
Sistemas Estticos
caracterizado por un conjunto de variables de entrada,
Aproximacin
Clasificacin continuas o discretas- a una clase determinada (salida
Regresin con valores discretos).
Redes monocapa
Perceptrn
Ejemplo Ejemplo: reconocimiento de caracteres.
Aprendizaje del Perceptrn
Adaline y = f(x
f(x, w)
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Regresin
M. Jamett

y Regresin:
Tabla de Contenido Se trata de aproximar la funcin generadora
Sistemas ((desconocida)) de un cierto p
proceso mediante otra q
que
Sistemas Estticos
mapee elementos del conjunto de variables de entrada
Aproximacin
Clasificacin pertinentes en otros del conjunto de variables de
Regresin salida. Usualmente aqu se trata con valores continuos.
Redes monocapa
Perceptrn
Ejemplo y = f(x, w)
Aprendizaje del Perceptrn
Adaline
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Redes Monocapa
M. Jamett

PERCEPTRN
Tabla de Contenido
Sistemas y Historia: Frank Rossenblat, 1957
Sistemas Estticos
Aproximacin
Clasificacin
y Red de 3 capas la ltima de ellas con funcin de
Regresin
monocapa
Redes Monocapa
transferencia de tipo umbral lgico diseada para tarea
Perceptrn de clasificacin
Ejemplo
Aprendizaje del Perceptrn
Adaline y
Retina - clulas unidad de decisin
de asociacin
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Perceptrn
M. Jamett

Tabla de Contenido
Sistemas
Sistemas Estticos
Aproximacin
Clasificacin
Regresin
Redes monocapa
Perceptrn
Ejemplo
Aprendizaje del Perceptrn
Adaline
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Perceptrn
M. Jamett

y Clasificacin y funciones discriminantes

Tabla de Contenido
Sistemas
Sistemas Estticos Cmo se puede realizar una clasificacin?
Aproximacin
Clasificacin
Regresin Mediante el uso de funciones discriminantes que estn
Redes monocapa definidas en el espacio de vectores que se desea
Perceptrn
Ejemplo
clasificar y producen un valor real que se puede
Aprendizaje del Perceptrn comparar.
Adaline
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Perceptrn
M. Jamett

y S tiene
Se ti una ffuncin
i ((gi) por clase
l ((si)

Tabla de Contenido
Sistemas y La regla de clasificacin es:
Sistemas Estticos
Aproximacin
u si si gi (u ) > gj ( u ); ji
Clasificacin
Regresin
Redes monocapa y Para problemas de 2 clases se puede reducir a una
Perceptrn funcin: g(u ) = g1(u ) g2 (u), luego u s1 g( u ) > 0 y u
Ejemplo
s2 si no.
Aprendizaje del Perceptrn
Adaline
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Perceptrn
M. Jamett

y Clasificacin lineal mediante Perceptrn

Tabla de Contenido
y El Perceptrn realiza una funcin discriminante lineal:
Sistemas
Sistemas Estticos g (u) = a1 u1 + a2 u2 + ...+
+ an un + a n+ 1 = a . u
Aproximacin
Clasificacin
El valor asociado a g( u ) = 0 corresponde
Regresin
a la frontera, un hiperplano, que separa las dos
Redes monocapa
clases.
Perceptrn
Ejemplo
Aprendizaje del Perceptrn y Los perceptrones son adecuados slo para
Adaline l
clases lilinealmente
l t bl
separables.
Entrenamiento del Adaline
Tarea y El problema de aprendizaje se reduce a encontrar un
hiperplano que separa a las clases.

CONTROL INTELIGENTE
 Perceptrn
M. Jamett

Tabla de Contenido
Sistemas
Sistemas Estticos
Aproximacin
Clasificacin
Regresin
Redes monocapa
Perceptrn
Ejemplo
Aprendizaje del Perceptrn
Adaline
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 M. Jamett X0
w0

a y

Tabla de Contenido
Sistemas w1
Sistemas Estticos
Aproximacin X1
Clasificacin X1
Regresin
Redes monocapa A A
Perceptrn
Ejemplo
Aprendizaje del Perceptrn A A
Adaline
Entrenamiento del Adaline
a = X 00 + X 11 = B B
A
Tarea 0
X1 = X0 + X0
1 1 B B

CONTROL INTELIGENTE
 Ejemplo
M. Jamett

y AND de 4 entradas
Tabla de Contenido
Sistemas
Sistemas Estticos I
Aproximacin
Clasificacin
T 1 5
Regresin
O
Redes monocapa
Perceptrn
Ejemplo T 1 5
Aprendizaje del Perceptrn
Adaline I
Entrenamiento del Adaline
Tarea T 1 5

A 1 1 0

CONTROL INTELIGENTE
 Ejemplo
M. Jamett

y Espacio
p de salida p
para
compuerta AND
Tabla de Contenido
I 1
Sistemas
Sistemas Estticos
Aproximacin 1 1
0 1
Clasificacin
Regresin
Redes monocapa
Perceptrn
Ejemplo
Aprendizaje del Perceptrn
Adaline 1 5 1 I1 2 I2
Entrenamiento del Adaline
Tarea

I 2
0 0 1 0

CONTROL INTELIGENTE
 Ejemplo
M. Jamett

y Espacio de salida para

compuerta XOR
Tabla de Contenido => necesidad de capa oculta
Sistemas
Sistemas Estticos
I 1
Aproximacin
Clasificacin
0 1 1 1
Regresin
Redes monocapa
Perceptrn
Ejemplo
Aprendizaje del Perceptrn
Adaline
Entrenamiento del Adaline
Tarea

I 2
0 0 1 0
CONTROL INTELIGENTE
 M. Jamett

REGLA DE APRENDIZAJE
_
y ( x ) = ( W X) : Salida del perceptron
Tabla de Contenido ( x ) = Salida deseada { 1, 1 }
Sistemas
Sistemas Estticos
Aproximacin W k = ( ( xk ) -y ( xk ) ) xk
Clasificacin
Regresin
WK+1 = W K + WK
Redes monocapa
Perceptrn
Ejemplo
Aprendizaje del Perceptrn
WK = 0 si la salida es correcta
Adaline
Entrenamiento del Adaline
+ 2 Xk Si ( xk ) = 1 , y ( Xk ) =-1
Tarea - 2 Xk Si ( xk ) = -1 ,y ( Xk ) =1

n > o; { X1..... Xk }: Secuencia de entrada

CONTROL INTELIGENTE
 Aprendizaje Perceptrn
M. Jamett

y Convergencia del algoritmo de aprendizaje

Tabla de Contenido del Perceptrn:
Sistemas
Sistemas Estticos
Aproximacin Est demostrada para problemas linealmente separables
Clasificacin la convergencia en un nmero finito de pasos.
Regresin
Redes monocapa
Perceptrn
Ejemplo
Aprendizaje del Perceptrn
Adaline
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Adaline
M. Jamett

y Hi t i Widrow
Historia: Wid - Hoff,
H ff 1960

Tabla de Contenido
Sistemas y Al igual que en el caso del Perceptrn, se desarroll en
Sistemas Estticos forma independiente para resolver el problema de
Aproximacin
Clasificacin
clasificacin
Regresin
Redes monocapa
Perceptrn y Adecuado cuando las clases son linealmente separables
Ejemplo
Aprendizaje del Perceptrn
Adaline
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Adaline:: Entrenamiento
Adaline
M. Jamett

y Entrenamiento:
Tabla de Contenido
Sistemas
Sistemas Estticos
Est basado en el Principio
Principio de Mnima Alteracin
Alteracin
Aproximacin
Clasificacin
Regresin Se basa en una regla de Mnimos Cuadrados
Redes monocapa considerando
id d una ffuncin
i cuadrtica
d ti d dell error d
de salida
lid
Perceptrn lo que finalmente da lugar a una regla, conocida como
Ejemplo
Aprendizaje del Perceptrn
Regla Delta muy semejante a la del Perceptrn.
Adaline
Entrenamiento del Adaline
Tarea

CONTROL INTELIGENTE
 Adaline Entrenamiento
M. Jamett

Error cuadrtico
Tabla de Contenido
Sistemas 1
E = Es = y s y s
2
Sistemas Estticos 2 sS
sS
Aproximacin
Clasificacin con
Regresin
Redes monocapa s
Perceptrn
: vectorde valores de salida deseados
Ejemplo s
Aprendizaje del Perceptrn
y : vector de salida de la red
Adaline s s s 2
Entrenamiento del Adaline
E : 1 I y I medida del error cuadrtico.
Tarea 2
Para la muestra
S : conjunto de muestras (entrenamiento)

CONTROL INTELIGENTE
 Adaline Entrenamiento
M. Jamett

Tabla de Contenido
y (t ) = W X (t )
Sistemas
1 N
J = (d (t ) y (t )) 2
Sistemas Estticos
Aproximacin
Clasificacin
Regresin
2 j =1
Redes monocapa
J N
= ( d w j X j ) X i
Perceptrn
Ejemplo
Aprendizaje del Perceptrn
Adaline
wi j =1
Entrenamiento del Adaline
N
W (k + 1) = W (k ) + (d (t ) y (t ))X (t )
Tarea

j=1

CONTROL INTELIGENTE
 Tarea
M. Jamett
y Desarrolle el operador OR de 2 entradas, mediante:
Un Perceptrn
Un Adaline
Tabla de Contenido
y Determine la estructura neuronal a utilizar.
Sistemas
Sistemas Estticos y R li ell esquema del
Realice d l problema
bl para llas siguientes
i i t
Aproximacin condiciones iniciales:
Clasificacin
Regresin
w1 = +1
Redes monocapa w2 = 11
Perceptrn
Ejemplo
b = 0,5
Aprendizaje del Perceptrn y Utilice un funcin de activacin tipo escaln en 0,5 y una
Adaline t
tasa d aprendizaje
de di j d de 0 5
0,5.
Entrenamiento del Adaline
Tarea
y Desarrolle tres iteraciones del algoritmo.
y Realice nuevamente el esquema con las condiciones
fi l
finales.

CONTROL INTELIGENTE