Algoritmi de clasificare Bayes

Introducere :
O form dat (pattern) poate fi descris printr-un vector adic un set de entiti
caracteristice exprimate prin numere reale (bii) XF=(x1,.xn), unde ndimensiunea
spaiului de intrare, care

depinde de precizia urmrit (de exemplu rezoluia unei

imagini). Algoritmii de clasificare Bayes fac parte din metodele statistice de clasificare i
recunoastere a formelor.

Baz teoretic :
Definiia 1 : Vectorul-medie al unui vector aleator n-dimensional X= (1, , n)T este vectorul coloan
X = ( 1, , n )T = ( E 1, , E n )T not E (X)
Definiia 2 : Matricea de covarian X Rn x n este matricea ptratic de ordin n, asociat lui X (un vector
aleator n-dimensional X= (1, , n)T (cu componente ce au media i dispersia )), definit ca:
X= E ( ( X E ( X ) ) ( X E ( X ) )T) = E ( X XT ) E (X) E ( XT ). Deci X=
unde ij=cov(i, j)=covariana, ii=Var(i, i)=i2 (i2 = variana / dispersia /
i = abaterea medie ptratic)

11

...

n1

...
...
...

1n

...

nn

Definiie 3 : Un vector aleator n-dimensional X= (1, , n)T (cu componente ce au media i dispersia ) este

repartizat normal (sau gasussian, notat f (x) N (, )), dac matricea de covarian = X
este pozitiv definit i are funcia de densitate de probabilitate f(x)=

(2 )

n/2

1
1
exp(- (x )T -1
1/ 2
2
(det )

(x )), unde = X e vectorul-mediu al lui X. Funcia d(x, , )=((x )T -1 (x )) este distana

Mahalanobis ntre vectorii coloan x i asociat matricii simetrice -1.

1. Algoritmi de clasificare Bayes (cazul a dou clase)

Fie = 1 (M clase disjuncte de forme de acelai tip 1, ..., M, M 2) i se consider

i =1

cunoscute din determinri statistice probabilitile apriori P ( i ) ale claselor i (pentru i=1M),
i se presupune c P( i ) > 0 i

P( i ) = 1

i =1

Pentru a deduce regula Bayes se poate pleca de la mai multe puncte de vedere .

1.1. Regula lui Bayes de clasificare (ipoteza binar, adic M=2 clase) dedus
plecnd de la maximizarea probabilitii aposteriori
n cazul a dou clase de forme 1, 2 (M=2), o form nou de intrare X (vector aleator ndimensional de caracteristici) poate fi clasificat (teoretic) prin compararea probabilitilor
aposteriori dup regula :

P ( 1 | X ) < P ( 2 | X ) => X { 1

>

(1)

unde:

i=1,2:

P ( i | X ) este probabilitatea aposteriori (probabilitatea ca dup ce X a fost clasificat,

forma X s aparin clasei i );

P ( i ) este probabilitatea apriori a clasei i, i=1,2 (probabilitatea ca o form s aparin

clasei i )

Tinnd seama de relaiile existente ntre probabilitile i densitile de probabilitate

corespunztoare, obinem plecnd de la (1)

>

P ( 1 | X ) <P ( 2 | X )

p ( x | 1 ) P(1 ) > p ( x | 2 ) P( 2 )
<
p( x)
p ( x)

Algoritmul Bayes realizeaz clasificarea formelor pe baza comparrii raportului de

plauzibilitate cu un anumit prag. Definim :
raportul de plauzibilitate L ( x ) =

p ( x | 1 )
(al claselor 1, 2, relative la forma X), unde
p( x | 2 )

p( x | 1) i p( x | 2) sunt funciile densitate ale vectorului X condiionate de 1 respectiv 2.

pragul raportului de plauzibilitate =

P( 2 )
P(1 )

i notm cu h = ln L
Relaia lui Bayes devine :
<

h( x ) > ln

P (1 )
X{ 1

P ( 2 )
2

(2)

Testul de clasificare Bayes poate duce la situaii de ambiguitate, n cazul egalitii membrului
stng. De aceea se evalueaz performana testului prin calcularea probabilitii erorii de
clasificare. La egalitate se obine ecuaia suprafeei de separaie:
L (x) =
1.2. Deducerea algoritmului Bayes plecnd de la minimizarea erorii de clasificare
Se mparte spaiul Rn n dou regiuni
R1 : L (x) i R2: L (x) <
Eroarea de clasificare a vectorului X apare cnd se atribuie X regiunii R2 cnd n realitate X R1
sau dac X se atribuie lui R1 cnd n realitate X R2
Probabilitatea erorii de clasificare este :
= P (X R2|1) P (1)+ P (X R1|2) P (2) = P (1) R 2 p ( x | 1 )dx + P (2)

R1 p ( x | 2 )dx
Din R1 R2 = Rn

R2 p ( x | 1 )dx + R1 p ( x | 1 )dx = R n p ( x | 1 )dx

Deci se obine :
= P (1) +

R1

P (2) p ( x | 2 ) P (1) p ( x | 1) dx

(2a)

Pentru minimizarea lui trebuie ca termenul integral din relaia (2a) s fie negativ:
P (2) p ( x | 2 ) P (1) p( x | 1) 0
Deci R1 e definit prin
P (2) p( x | 2 ) P (1) p ( x | 1) relaie identic cu relaia (2)
Deci rezultatul final de la acest paragrtaf (1.2) este identic cu cel de la 1.1. (maximizarea
probabilitii aposteriori).
1.3. Particularizarea

algoritmului

Bayes pentru cazul repartiiilor normale

multidimensionale
n ipoteza c densitile de probabilitate condiionate p( x | 1 ) i p ( x | 2 ) sunt normal
distribuite, avnd vectorii medie 1 i 2, i matricile de covarian 1 i 2 se poate scrie relaia
echivalent :
(x 1)T 1-1 (x 1) (x 2)T 2-1 (x 2) + ln

det 1
det 2

<
> 2 ln

P (1 )
X { 1

P ( 2 )
2

(3)

Demonstraie:

Din relaia (2) avem ln

P (1 )
p( x | 2 ) <
,
> ln
p ( x | 1 )
P ( 2 )

nlocuind p ( x | 1 ) =

(2 )

n/2

1
1
exp(- (x 1)T 1-1 (x 1)) (vezi def. 3) i
1/ 2
2
(det 1 )

p( x | 2 ) => (x 1)T 1-1 (x 1) (x 2)T 2-1 (x 2) + ln

det 1
det 2

<
> 2 ln

P (1 )
(q.e.d.)
P ( 2 )

1.4. Algoritmul lui Bayes pentru risc minim (extinde algoritmul cu eroare minim de
clasificare)
Notm cu cij costul clasificarii eronate a vectorului

X j cnd de fapt este i

(1 i, j 2) i presupunem c o decizie eronat este mai scump dect o decizie corect:

Pentru c12 > c11 i c21 > c22 n urma minimizrii costului mediu
r=

j =1

i =1

Rj

cij P( i ) p (x | i) dx.

Se obine relaia :

p( x | 1 ) > c 21 c 22 P ( 2 )
X{ 1
<

p( x | 2 )
c12 c11 P (1 )
2

(4)

Pentru cazul cnd c12-c11=c21-c22 (ex. cazul particular c11=c22=0 si c12=c21) din relaia de
calcul al algoritmului de risc minim (4) se obine relaia algoritmului Bayes cu eroare minim de
clasificare (2).
Dac n membrul stng al ecuaiilor (1) i (4) apare o situaie de egalitate nu se poate
trage nici o concluzie. n consecin se poate atribui forma uneia dintre clase, sau se rafineaz
testul prin adugarea de noi caracteristici, sau se aplic alt algoritm.
Odat ce clasificatorul a fost proiectat i antrenat, n situaia n care densitile de
probabilitate condiionate ale vectorilor caracteristicilor selectate sunt cunoscute pentru fiecare
clas sau pot fi estimate precis dintr-un set de eantioane (set de antrenare), se aplic regula de
clasificare Bayes, care minimizeaz probabilitile de recunoatere eronat sau riscul mediu. n
situaia, mai des ntlnit, cnd acestea nu sunt cunoscute se utilizeaz fie funciile discriminant,
fie metode neparametrice de clasificare.

2. Clasificare Bayes pentru M clase (M>2)

2.1. Introducere
Pentru M (M > 2) unde M este numrul claselor de vectori din spaiul Rn , notate 1, ...,
M, o form nou de intrare X (vector aleator n-dimensional de caracteristici) poate fi clasificat
prin :
a) compararea probabilitilor aposteriori dup regula
>

P ( i | X ) <P ( j | X ) => X {

i
, pentru j j

(5)

ceea ce e echivalent cu
>

P ( i ) p(x | i ) <P ( j ) p( x | j) => X {

i
, pentru j j

(6)

unde :

i, j =1M, cu M > 2

P ( i | X ) este probabilitatea aposteriori (probabilitatea ca dup ce X a fost clasificat,

forma X s aparin clasei i );

P ( i ), P ( j ) este probabilitatea apriori a clasei i (respectiv j) (probabilitatea ca o

form s aparin clasei i, respectiv j)

b) decizie bazat pe minimizarea riscului (costului mediu) pentru M clase

Pentru calculul riscului avem expresia :
r=

j =1

i =1

Rj

cij P( i ) f (x | i) dx

(7)

unde :

Ri sunt regiunile din spaiul Rn corespunznd claselor i, pentru 2 i .M

iar cij este costul deciziei eronate X j cnd clasa adevrat este i

Algoritmul Bayes de risc minim poate fi scris pentru cazul a M clase de forme:
M

i =1

cij P( i ) p(x | i) <

cik P( i ) p (x | i),

i =1

pentru k j X j, 2 i,j,k .M

(8)

n cazul particular cii = 0 i cij=1 pentru i j algoritmul capt forma de la punctul (a)

C
o

2.2. Clasificatori i funcii discriminant

Pentru cazul a M clase de vectori din spaiul Rn (M > 2), notate 1, ..., M, se consider
cunoscute probabilitile apriori P ( i ) i densitile condiionate p (x | i), 1 i M.
Proiectarea unui clasificator presupune calcularea explicit a unui set de M funcii
discriminant i selectarea clasei care corespunde maximului MAX gk::
k

gk : Rn R, 1 k M, astfel c gi (X) > gj (X), pentru j j

(9)

Cnd inegalitatea din inecuaia (9) nu este strict se ajunge la ambiguitatea deciziei, caz n care
clasificarea nu poate fi decis. Soluia: fie se alege oricare din cele dou clase i, j fie se alege
un algoritm mai puternic.
Ex: Se poate alege setul de funcii discriminant de forma:
a) n cazul algoritmului Bayes cu eroare minim de clasificare
gk (x) = ln P (k) + ln p (x | k ),

sau gk (x) = P (k) f (x | k ), pentru 1 k M

b) n cazul algoritmului Bayes cu risc minim

M

gk (x) =

cik P( i ) f (x | i)

i =1

2.3. Funcii discriminant de tip Bayes pentru vectori de

caracteristici repartizai normal
Pentru forme X de intrare din spaiul Rn cu densiti condiionate normale de forma :

p ( x, i ) N (i, i), 1 i M
Lum n considerare un clasificator Bayes cu eroare minim de clasificare pentru M
clase, cu funciile discriminant :
gk (x) = ln P (k) + ln p (x | k ), pentru 1 k M
se obine pentru vectori repartizai normal relaia:
gk (x) = (x k)T

1
k

(x k)

1
n
ln 2 ln (det
2
2

) + ln P(k)

(10)

selectarea clasei corespunznd lui MAX gk:

k

Cazuri particulare:
a) Pentru

= 2 In (componente vectorilor X sunt independente avnd dispersia 2) se obine

relaia:
gk (x) =

1
2 2

|| x k||2 + ln P(k), 1 k M

(11)

b) Pentru clase echiprobabile P(k) = 1/M atunci funciile discriminant sunt

gk (x) = || x k||2

(12)

Clasificatorul bazat pe minimizarea distanei euclidiene: Pentru o forma F

reprezentat prin vectorul XF de caracteristici se calculeaz distanele minime dintre XF i
vectorul medie al claselor .(comparare este de tip template-matching cnd vectorul medie este
prototipul clasei sale):
min d2 (xF, k) =|| x k||2=gk (x)= d2 (xF, i0) X i0

(13)

Clasificatorul liniar are setul de funcii discriminant:

gk (x) =

1
2 2

( xT x 2kT x +kT k) + ln P(k), 1 k M

gk (x) = wkT x + wk0

unde wk =

k, i wk0 =

(14)

1
2

kT k+ ln P(k), pentru 1 k M

Bibliografie : V.Neagoe, O. Stnil Recunoasterea formelor si retele neurale

algoritmi fundamentali, Ed. Matrix Rom, Bucureti, 1998.

 x1
repartizate normal.
x2

Problema : Fie dou clase de semnale bidimensionale X=

2
3
4
3
clasa 1 {A= , B= , C= , D= },
0
1
0
1

x2

2
3
4
3
, F= , G= , H= },
clasa 2 {E=
0
1
0
1

C
x1

Se cere:
a) Calculai probabilitile apriori (P(1), P(2)), vectorii medie (1, 2) i matricile de covarian
(1, 2).
b) Ecuaia suprafeei de separaie
c) Reprezentarea grafic
d) Regula de decizie

2
0

1
1

1
3
, J4=
0
3

e) S se clasifice vectorii : J1= , J2= , J3=