1

Curso de Reconocimiento de
Patrones
CENATAV
La Habana, 2004

Edel Garca Reyes

Enfoque Geomtrico de Reconocimiento de Patrones
2
Problemas fundamentales del diseo de un sistema de
reconocimiento de patrones
1. Representacin de los datos de entrada (medidas de los
objetos que sern reconocidos
2. Extraccin de rasgos y reduccin de la dimensionalidad del
vector de los patrones
3. Determinacin de un procedimiento de decisin ptimo
3
Representacin de los datos de entrada
R1: Conjunto de jugadores profesionales de football
R2: Conjunto de jugadores profesionales de jockey
Patrones: X=(x1,x2)
x1: altura
x2: peso
4
Representacin de los datos de entrada
En situaciones prcticas no siempre es posible especificar rasgos que resulten
en conjuntos claramente disjuntos.

Ejemplo: Sera considerable el solape entre las clases de jugadores
profesionales de football y de basketball, si se toman como criterios de
discriminacin la altura y el peso
5
Extraccin de rasgos y reduccin de la dimensionalidad
del vector de los patrones
Propiedades intraconjunto: atributos comunes a todos los patrones que
pertenecen a esa clase. No aportan informacin discriminatoria y pueden ser
ignoradas.
Propiedades interconjuntos: atributos que representan las diferencias entre
clases de patrones.
Si se encuentra un conjunto completo de caractersticas discriminatorias
para cada una de las clases de patrones, el reconocimiento tendr pocas
dificultades. El reconocimiento automtico se reduce a un simple proceso de
macheo o un esquema de tabla de bsqueda.
6
Determinacin de un procedimiento de decisin ptimo
Despus que los datos observados de los patrones a ser reconocidos fueron
expresados en forma de vectores de rasgos, se desea que la mquina decida
a que clase pertenecen.
7
Determinacin de un procedimiento de decisin ptimo
Asumiendo que la mquina es diseada para reconocer K clases de patrones
diferentes. Entonces, el espacio de los patrones puede ser considerado que
consiste de K regiones, cada una de las cuales encierra los puntos patrones
de una clase.
El problema de reconocimiento puede ser ahora visto como el de
generar fronteras de decisin que separan las K clases de patrones
sobre la base de los vectores de rasgos observados.
Las fronteras de decisin pueden ser definida por funciones de
decisin o funciones discriminantes, de la forma d1(x), d2(x),,dK(x).
Si di(x) > dj(x) para i,j=1,2,..K, i <> i, el patrn x pertenece a la clase Ki
8
Funciones de decisin
Se puede observar que las clases pueden ser convenientemente
separadas por una lnea recta
Si d(x) > 0 x pertenece a R1
Si d(x) < 0 x pertenece a R2
Si d(x) = 0 indeterminado
9
El xito del esquema de clasificacin anterior depende de dos factores:
1. La forma de d(x)
2. Los coeficientes
10
Funciones de Decisin Lineal .
Caso n-dimensional
d(x) = w1 x1 + w2 x2 + + wn xn + wn+1
= W0 x + wn+1
donde W0 = ( W 1, W2, , Wn ) . Este es el vector de pesos o parmetros


Forma de la Funcin de decisin lineal con el vector de patrn aumentado

d(x) = W x (producto escalar)
donde X = ( X1, X2, , Xn, 1 ) y W = ( W1, W2, , Wn, Wn+1 )
11
Funcin de decisin 2 clases R1 y R2
d(x) = WX > 0 si x pertenece a R1
d(x) = WX < 0 si x pertenece a R2

12
Funcin de decisin m clases R1, R2 , , Rm
Caso 1: Cada clase es separable de las otras por una superficie de decisin simple
di(x) = Wi X > 0 si x pertenece a Ri
di(x) = Wi X < 0 otro caso
Wi = (Wi1, Wi2, , Win, Wi n+1) es el vector de pesos asociado con la funcin de decisin i
13
Funcin de decisin m clases R1, R2 , , Rm
Ejemplo de funciones de decisin :
d1(x) = -x1 + x2 d2(x) = x1 + x2 5 d3(x) = -x2 +1
Superficies de decisin: -x1 + x2 =0 , x1 + x2 5 = 0, -x2 + 1 = 0
Clasificar el patrn
X=(6,5)
d1(X) = -1, d2(X) = 6, d3(X)= - 4

X es asignado a R2

Ya que
d2(X) > 0 mientras
d1(X) < 0 y d3(X) < 0
A pesar de que la clase Ri ocupa una regin relativamente pequea,
la regin de decisin es infinitamente extendida
14
Funcin de decisin m clases R1, R2 , , Rm
Caso 2: Cada clase es separable de las otras por distintas superficies de decisin. Las
clases son separables dos a dos.

En este caso hay K(K-1)/2 superficies de decisin de forma tal que
dij(x) = Wij X > 0 si x pertenece a Ri para todo j<>i
Estas funciones tienen la propiedad de que dij(x) = - dji (x)
15
Funcin de decisin m clases R1, R2 , , Rm
Ejemplo de funciones de decisin :

Ninguna clase es separable de
las otras por una superficie de
decisin simple.
Cada frontera es capaz de
separar justo dos clases
16
Funcin de decisin m clases R1, R2 , , Rm
Las regiones de decisin en
este caso estn dadas por el
lado positivo de las mltiples
superficies de decisin
Como en el caso1 las regiones de decisin son extendidas
infinitas y hay indeterminaciones
Clasificar el patrn
X=(4,3)

d12(X) = -2, d13(X) =-1, d23(X) = - 1

Entonces:
d21(x) = 2, d31(x) = 1, d32(x) = 1

X es asignado a R3

Ya que d3j(X) > 0 para j=1,2
17
Funcin de decisin m clases R1, R2 , , Rm
Caso 3: Existen K funciones de decisin
dk(x) = WkX, k=1,2,,K
con la propiedad de que si x pertenece a la clase Ri
di(x) > dj(x) para todo j<> i
Esta es una situacin particular del Caso 2 ya que puede ser definido

dij(x) = di(x) - dj(x) = (Wi Wj) x = Wij x
Si di(x) > dj(x) para todo j<>i entonces dij > 0 para todo j<>i
18
Funciones de Decisin Generalizadas

Donde f i(x) , i=1,2,,K funciones reales del patrn x

Forma de la Funcin de decisin con el vector de patrn aumentado

d(x) = W x* (producto escalar)

donde W = ( W1, W2, , Wk, Wk+1 ) y
x* =(f1(x) , f2(x) , , fk(x),1 )
w
f
w
f
w
f
w
k
k
k
x x x x d
1
2
2
1
1
) ( ... ) ( ) ( ) (
+
+ + + + =
19
Funciones de Decisin Generalizadas
Una vez evaluadas todas las funciones f i (x) , i=1,2,,K se tiene
un conjunto de valores numricos.
x* es un vector K-dimensional aumentado por 1.

Aqu k puede ser considerablemente mayor que n.

La dimensin depende de la cantidad de funciones evaluadas en x
que se combinan para formar la funcin de decisin
20
Funciones de Decisin Generalizadas
Una de las funciones f i (x) , i=1,2,,K ms comnmente usadas
son las de forma polinomial

En el caso ms simple las funciones de decisin son lineales:
Si x=(x1,x2,..,xn) y f i (x) =x i con K=n

d(x) = W x + w n+1

21
Funciones de Decisin Generalizadas
w x w x w x w x x w x w
x d
3 2 2 1 1
2
2 22 2 1 12
2
1 11
) ( + + + + + =
En el caso bidimensional x=(x1,x2) se tiene la siguiente funcin de
decisin:
w x w x x w x w
n
n
j
j j k
n
j
n
j k
j jk j
n
j
jj
x d
1
1
1
1 1
2
1
) (
+
=

= + = =
+ + + =

El prximo nivel de complejidad son funciones de segundo grado o
cuadrticas:
22
Funciones de Decisin Generalizadas
w x w x x w x w
n
n
j
j j k
n
j
n
j k
j jk j
n
j
jj
x d
1
1
1
1 1
2
1
) (
+
=

= + = =
+ + + =

w
f
w
f
w
f
w
k
k
k
x x x x d
1
2
2
1
1
) ( ... ) ( ) ( ) (
+
+ + + + =
Comparando con la formula general de la funcin de decisin
Se observa que
x x
f
t
q
s
p
i
x = ) (
donde p, q=1,2,, n; s, t=0,1
23
Funciones de Decisin Generalizadas
x x x
f
s
p
s
p
s
p
x
r
r
i
... ) (
2
2
1
1
=
n
p p p
r
,..., 2 , 1 ,..., ,
2 1
=
1 , 0 ,..., ,
2 1
=
s s s
r
La funcin polinomial de orden r con n variables es formada de la siguiente manera:
( ) ( ) x
p p p p p
p p p p p p
x
d x x x w d
r
n n n
r
r r
r r
1
1
...
1 1 2 1
2 1 2 1
... ...

= = =
+
|
|
|
.
|

\
|
=

Las funciones
) (x
f
i
se definen de la forma
w d
n
x
1
0
) (
+
=
donde r es el grado de no linealidad y
24
Funciones de Decisin Generalizadas
( ) ( ) x
p p p
p p p p
x
d x x w d
1
2
1
2
2
1 1 2
2 1 2 1
+
|
|
|
.
|

\
|
=

= =
Ejemplo: r=2 y n=2
w x w x w d x w d
x
p
p p
x
3 2 2 1 1
0
2
1
1
) ( ) (
1
1 1
+ + = + =

=
25
Funciones de Decisin Generalizadas
) ( ) (
1 2
2 22 2 1 12
2
1 11
2
x x
d x w x x w x w d
+ + + =
w x w x w x w x x w x w
3 2 2 1 1
2
2 22 2 1 12
2
1 11
+ + + + + =
26
Funciones de Decisin Generalizadas
( )
! !
!
n r
r n
C N
r n
r w
+
= =
+
El nmero de trminos que se necesitan para describir una funcin de
decisin polinmica crece rpidamente como una funcin de r y n
r=1 r=2 r=3 r=4
n=1 2 3 4 5
n=2 3 6 10 15
n=3 4 10 20 35
n=4 5 15 35 70
27
Funciones de Decisin Generalizadas
w x w x x w x w
n
n
j
j j k
n
j
n
j k
j jk j
n
j
jj
x d
1
1
1
1 1
2
1
) (
+
=

= + = =
+ + + =

a w
jj jj
=
a w
jk jk
2
=
Con referencia a la ecuacin cuadrtica en n variables:
Si ponemos:
b w
j j
= c
w
n
=
+1
Podemos escribir
c x d
b x x A x
+ + =
' '
) (
28
Regiones de decisin
a) Lineales
b) Cuadrticas
c) General
a)
b) c)
29
Distribucin normal multivariada
30
Funciones Discriminantes
Se define una funcin discriminante para la clase j

) X P X
k d
j j
| ( ) ( =
Seleccionar Kj si P( Kj | X ) > P( ki | X ) Para todo j<>i
Probabilidad a posteriori
31
Usando Frmula de Bayes
( ) ( )
( ) x p
p x p
x p
k k
k
j j
j
|
) | ( =
Regla de Bayes
P(X | Kj)
P( Kj)
X
P( Kj | X)
( ) ( ) ( )
k k
j
j
j
p x p x p

=
=
2
1
|
32
Estrategia de clasificacin
Seleccionar Kj si p(X | Kj) P(Kj) > p(x | Ki) p(Ki) para
todo i <> j
33
Formas Cuadrticas y Matrices
Veremos algunos conceptos bsicos sobre este tema porque son
necesarios para entender:

1. La forma de la frontera de decisin cuadrtica
2. La distancia de Mahalanobis
3. La regla de Mxima Verosimilitud
4. La trasformacin de componentes principales
5. Otras aplicaciones de la formas cuadrticas en el procesamiento
digital de imgenes (descriptores geomtricos invariantes, ejes de
simetra, etc.)
34
Formas Cuadrticas y Matrices
Sea el polinomio homogneo (formado solo por trminos de segundo grado)
y
x
C Bxy A
2
2
2 + +
Este polinomio se llama forma cuadrtica de dos variables x e y
35
Formas Cuadrticas y Matrices
y
x
C Bxy A
2
2
2 + +
( )
|
|
.
|

\
|
|
|
.
|

\
|
y
x
C B
B A
y x
( ) ( ) ( )y Cy Bx x By Ax
y
x
Cy Bx By Ax + + + =
|
|
.
|

\
|
+ +
Representacin matricial
=
y
x
y
x
C Bxy A C Bxy Byx A
2
2
2
2
2 + + = + + +
=
=
36
Formas Cuadrticas y Matrices
Reduccin de la forma cuadrtica a la forma cannica:
Esencia del problema: Hay que girar los ejes coordenados de tal forma, que despus
que se representa la forma cuadrtica en los nuevos ejes coordenados, desaparece
el termino que contiene el producto de las coordenadas.
'
'
2
2
2
1
2
2
2
y
x
y
x
C Bxy A

+ = + +
El segundo miembro se llama forma cannica
37
Ecuacin caracterstica de la Forma Cuadrtica
0 =

C B
B A

1
Las races

2
y
se llaman races caractersticas de la forma cuadrtica. Estas
sern los coeficientes de la forma cannica
38
Ejemplo
20 8 12 17
2
2
= + +
y
x
xy
( ) 20
8 6
6 17
=
|
|
.
|

\
|
|
|
.
|

\
|
y
x
y x
0 100 25
8 6
6 17
2
= + =

Reducir a la forma cannica la ecuacin

Resolucin:

Forma matricial

5
2
=

20
1
=

Ecuacin caracterstica
Races caractersticas
39
Ejemplo
20 5 20
'
'
2
2
= +
y
x
Ecuacin cannica
1
4 1
'
'
2
2
= +
y
x
o
40
Valores y Vectores propios de la matriz
|
|
.
|

\
|
=
|
|
.
|

\
|
|
|
.
|

\
|
y
x
y
x
C B
B A

|
|
.
|

\
|
y
x
Valor Propio
Vector Propio
41
Discriminante de la forma cuadrtica
C B
B A
AC
B
= =
2
o

2
Denotado generalmente por
Segn el teorema de Vietta
o

o
2 1
=
donde
y
son las races caractersticas de la forma cuadrtica
42
Clasificacin de las Formas Cuadrticas
0 > o
0 < o
Elptica
Hiperblica
Parablica
0 = o
43
Ecuacin general de una curva de segundo
orden en x e y
y
x
C Bxy A
2
2
2 + +
0 2 2 2
2
2
= + + + + + F Ey Dx C Bxy A
y
x
Ey Dx 2 2 +
Esta formada por:
1. La forma cuadrtica de los trminos de mayor grado

2. La forma lineal de los trminos de primer grado

3. El trmino independiente

F
44
Espacio de patrones
( ) 0 > x d
( ) 0 < x d
{ }
X X
1
2
1
1
,
Funcin de decisin para un problema de 2 clases
Para todos los patrones de una clase
Para todos los patrones de la otra clase
Asumiendo que cada clase tiene solo 2 patrones:
{ }
X X
2
2
2
1
,
Clase 1
Clase 2
45
Espacio de patrones
( )
w w w
w
3 2 1
, , =
0
3
1
12 2
1
11 1
> + +
w x w x w
0
3
2
12 2
2
11 1
< + +
w x w x w
Si las clases son linealmente separables, el problema es encontrar
Tal que:
0
3
1
22 2
1
21 1
> + +
w x w x w
0
3
2
22 2
2
21 1
< + +
w x w x w
46
Espacio de patrones
0
3
1
12 2
1
11 1
> + +
w x w x w
0
3
2
12 2
2
11 1
>
w x w x w
Multiplicando los patrones de la clase 2 por -1
0
3
1
22 2
1
21 1
> + +
w x w x w
0
3
2
22 2
2
21 1
>
w x w x w