B.

4 Clasicadores Bayesianos
Concha Bielza, Pedro Larranaga Departamento de Inteligencia Articial Universidad Politecnica de Madrid

B.4 Clasicadores Bayesianos p. 1/?

Modelos bsicos

Nave Bayes (Minsky, 1961) Seminave Bayes (Pazzani, 1997) Nave Bayes aumentado a rbol (Friedman y col., 1997) Clasicador Bayesiano k -dependiente (Sahami, 1996) Red Bayesiana (Jensen, 2001)

B.4 Clasicadores Bayesianos p. 2/?

Clasicadores Bayesianos
Clasicacin Supervisada con Paradigmas Probabilistas : (x1 , . . . , xn ) {1, 2, . . . , r0 } Matriz de costes: co(r, s) Minimizacin del coste total de errores
r0

(x) = arg m n
k c=1

co(k, c)p(c|x1 , . . . , xn )

Funcin de prdida 0/1 (x) = arg m ax p(c|x1 , . . . , xn )

c

B.4 Clasicadores Bayesianos p. 3/?

Nave Bayes
Formulacin clsica de un problema de diagnstico
m diagnsticos posibles no excluyentes
X1 (x(1) , y(1) ) (x(2) , y(2) ) ... (x(N ) , y(N ) ) x1
(N )

...

Xn xn xn xn
(1) (2)

Y1 y1 y1 y1
(1) (2)

...

Ym ym ym ym
(1) (2)

x1 x1

(1) (2)

... ... ... ...

... ... ... ...

(N )

(N )

(N )

B.4 Clasicadores Bayesianos p. 4/?

Nave Bayes
Formulacin clsica de un problema de diagnstico
) = arg , . . . , ym (y 1 (y1 ,...,ym )

m ax

p(Y1 = y1 , . . . , Ym = ym |X1 = x1 , . . . , Xn = xn )

p(Y1 = y1 , . . . , Ym = ym |X1 = x1 , . . . , Xn = xn ) p(Y1 = y1 , . . . , Ym = ym )p(X1 = x1 , . . . , Xn = xn |Y1 = y1 , . . . , Ym = ym ) nmero de parmetros a estimar: 2m 1 + 2m (2n 1) m 3 5 10 n 10 20 50 parmetros 8 103 33 106 11 1017

B.4 Clasicadores Bayesianos p. 5/?

Nave Bayes
Diagnsticos excluyentes
c = arg m ax p(C = c|X1 = x1 , . . . , Xn = xn )
c

p(C = c|X1 = x1 , . . . , Xn = xn ) p(C = c)p(X1 = x1 , . . . , Xn = xn |C = c) nmero de parmetros a estimar: (r0 1) + r0 (2n 1) r0 3 5 10 n 10 20 50 parmetros 3 103 5 106 11 1015

B.4 Clasicadores Bayesianos p. 6/?

Nave Bayes
Diagnsticos excluyentes y variables condicionalmente independientes dado el diagnstico (nave Bayes)
c = arg m ax p(C = c|X1 = x1 , . . . , Xn = xn )
c n

= arg m ax p(C = c)
c i=1

p(Xi = xi |C = c)

nmero de parmetros a estimar: (r0 1) + r0 n r0 3 5 10 n 10 20 50 parmetros 32 104 509

B.4 Clasicadores Bayesianos p. 7/?

Nave Bayes
Nave Bayes (Minsky, 1961) Variables predictoras condicionalmente independientes dada C Predictoras discretas
n

c = arg m ax p(C = c)
c i=1

p(Xi = xi |C = c)

Predictoras continuas y normales

n

ax p(C = c) c = arg m
c i=1

1 1 2 e c 2i

xi c i c i

B.4 Clasicadores Bayesianos p. 8/?

Nave Bayes
Nave Bayes

X1

X2

X3

...

Xn

Estructura grca de un modelo nave Bayes

B.4 Clasicadores Bayesianos p. 9/?

Seminave Bayes
Paso 1. Inicializar el conjunto de variables a utilizar a vaco. Clasificar todos los ejemplos como pertenecientes a la clase ms frecuente Paso 2. Repetir en cada paso la mejor opcin entre: (a) Considerar cada variable que no est en el modelo como una variable a incluir en el modelo. Dicha variable debe incluirse condicionalmente independiente de las variables presentes en el modelo, dada la variable clase (b) Juntar cada variable no presente en el modelo con una variable que ya forme parte del mismo Evaluar cada posible opcin por medio de la estimacin del porcentaje de bien clasificados Hasta que ninguna opcin produzca mejoras

Pseudocdigo del algoritmo FSSJ (Pazzani, 1997)

B.4 Clasicadores Bayesianos p. 10/?

Seminave Bayes
Seminave Bayes
C

Y,V

Y,V

Proceso de construccin de un modelo seminave Bayes. p(c|x, y, z, v ) p(c)p(z |c)p((y, v )|c)

B.4 Clasicadores Bayesianos p. 11/?

Nave Bayes aumentado a rbol

Cantidad de informacin mutua entre X e Y

r X rY

I (X, Y ) =
i=1 j =1

p(xi , yj ) log

p(xi , yj ) p(xi )p(yj )

mide la reduccin de la incertidumbre de una de las variables cuando se conoce la otra

Cantidad de informacin mutua entre X e Y condicionada a C

I (X, Y |C )

p(c)I (X, Y |C = c)
c rX r Y r0

=
i=1 j =1 k=1

p(xi , yj , ck ) log

p(xi , yj |ck ) p(xi |ck )p(yj |ck )

Relacin entre la cantidad de informacin mutua y la verosimilitud

B.4 Clasicadores Bayesianos p. 12/?

Nave Bayes aumentado a rbol

Paso 1. Calcular I (Xi , Xj | C ) con i < j, i, j = 1, . . . , n Paso 2. Construir un grafo no dirigido completo cuyos nodos corresponden a las variables predictoras: X1 , . . . , Xn . Asignar a cada arista conectando las variables Xi y Xj un peso dado por I (Xi , Xj | C ) Paso 3. Asignar las dos aristas de mayor peso al rbol a construir Paso 4. Examinar la siguiente arista de mayor peso, y aadirla al rbol a no ser que forme un ciclo, en cuyo caso se descarta y se examina la siguiente arista de mayor peso Paso 5. Repetir el paso 4 hasta seleccionar n 1 aristas Paso 6. Transformar el rbol no dirigido resultante en uno dirigido escogiendo una variable como raiz, para a continuacin direccionar el resto de aristas Paso 7. Construir un modelo TAN aadiendo un nodo etiquetado como C y posteriormente un arco desde C a cada variable predictora Xi

Pseudocdigo del algoritmo TAN (Friedman y col., 1997)

B.4 Clasicadores Bayesianos p. 13/?

Nave Bayes aumentado a rbol

X Y X Y X Y X Y

Z W

Z W

Z W

Z W

Z W

Z W

Z W

Proceso de construccin de TAN. I (X, Z |C ) > I (Y, V |C ) > I (X, Y |C ) > I (Z, V |C ) > I (X, V |C ) > I (Z, W |C ) > I (X, W |C ) > I (Y, Z |C ) > I (Y, W |C ) > I (V, W |C ) p(c|x, y, z, v, w) p(c)p(x|c)p(y |x, c)p(z |x, c)p(v |y, c)p(w|z, c)

B.4 Clasicadores Bayesianos p. 14/?

Clasicador Bayesiano k -dependiente

Clasicador Bayesiano k -dependiente (Sahami, 1996)

Precalcula I (Xi , C ) y I (Xi , Xj |C ) para todo par de

variables

Aade en cada iteracin, de entre las variables que no

estn en el modelo, aquella Xmax que tenga mayor I (Xi , C )

Asigna a la variable aadida como padres la variable

C y aquellas k variables con mayor I (Xj , Xmax |C )

B.4 Clasicadores Bayesianos p. 15/?

Clasicador Bayesiano k -dependiente

X1

X2

X3

X4

X5

X3

Proceso de construccin de kDB con k = 2. I (X3 , C ) > I (X1 , C ) > I (X4 , C ) > I (X5 , C ) > I (X2 , C ) I (X3 , X4 |C ) > I (X2 , X5 |C ) > I (X1 , X3 |C ) > I (X1 , X2 |C ) > I (X2 , X4 |C ) > I (X2 , X3 |C ) > I (X1 , X4 |C ) > I (X4 , X5 |C ) > I (X1 , X5 |C ) > I (X3 , X5 |C )

B.4 Clasicadores Bayesianos p. 16/?

Clasicador Bayesiano k -dependiente

X1

X3

X1

X3

X4

Proceso de construccin de kDB con k = 2. I (X3 , C ) > I (X1 , C ) > I (X4 , C ) > I (X5 , C ) > I (X2 , C ) I (X3 , X4 |C ) > I (X2 , X5 |C ) > I (X1 , X3 |C ) > I (X1 , X2 |C ) > I (X2 , X4 |C ) > I (X2 , X3 |C ) > I (X1 , X4 |C ) > I (X4 , X5 |C ) > I (X1 , X5 |C ) > I (X3 , X5 |C ) p(c|x1 , x2 , x3 , x4 , x5 )

B.4 Clasicadores Bayesianos p. 17/?

Clasicador Bayesiano k -dependiente

X1

X3

X4

X5

X1

X2

X3

X4

X5

Proceso de construccin de kDB con k = 2. I (X3 , C ) > I (X1 , C ) > I (X4 , C ) > I (X5 , C ) > I (X2 , C ) I (X3 , X4 |C ) > I (X2 , X5 |C ) > I (X1 , X3 |C ) > I (X1 , X2 |C ) > I (X2 , X4 |C ) > I (X2 , X3 |C ) > I (X1 , X4 |C ) > I (X4 , X5 |C ) > I (X1 , X5 |C ) > I (X3 , X5 |C ) p(c|x1 , x2 , x3 , x4 , x5 ) p(c)p(x1 |x3 , c)p(x2 |x1 , x5 , c)p(x3 |c)p(x4 |x1 , x3 , c)p(x5 |x1 , x4 , c)

B.4 Clasicadores Bayesianos p. 18/?

Red Bayesiana mltiplemente conectada

X1 X3 X4
p(X1 p(X2 p(X2 p(X3 p(X3 = 0) = 0,20 = 0|X1 = 0) = 0,80 = 0|X1 = 1) = 0,80 = 0|X1 = 0) = 0,20 = 0|X1 = 1) = 0,05 p(X4 p(X4 p(X4 p(X4 p(X5 p(X5 = 0|X2 = 0|X2 = 0|X2 = 0|X2 = 0|X3 = 0|X3

X2

X5
= 0, X3 = 0) = 0,80 = 1, X3 = 0) = 0,80 = 0, X3 = 1) = 0,80 = 1, X3 = 1) = 0,05 = 0) = 0,80 = 1) = 0,60

de la distribucion de probabilidad conjunta obtenida con la red Bayesiana adjunta Factorizacion

B.4 Clasicadores Bayesianos p. 19/?