UNIVERSIDAD TECNOLGICA DEL PER Facultad de Ingeniera Industrial y de Sistemas CURSO: Teora de Decisiones CICLO: 2011 II Profesor: Ing.

Mario Cieza Cubas Fecha: septiembre 2011

TEMA: INTRODUCCION A CRITERIO DE BAYES EN RBOLES DE DECISION. TEOREMA DE BAYES I.- REVISION DE TEORIA DE PROBABILIDADES Definiendo el concepto de frecuencia relativa como: Frecuencia relativa: N de veces que ocurre el evento buscado = N total de veces que se toma para hacer un muestreo evento La definicin de Probabilidad ser: F relativa Probabilidad = p (c) = n Regla 1. Donde 0 <= nc <= n ...o <= nc <= 1 n 0 <= p <= 1 n lim. nc n

nc n 0.5 .................................

Se llama usar Mtodo Estocstico, cuando se emplean probabilidades y... Se llama usar Mtodo Determinstico, cuando se abstrae posibilidad de cambio El criterio de probabilidad va de acuerdo a un conjunto de acontecimientos As si E = e1, e2 , e3 ..... en

Ejm: Dado E ( 1 al 6 ) E1 = ( e1, e2, e3 ........e6 ) E2 = ( e2, e5 ) par e impar E3 = ( e3,e4 ) 3 <= e <=4 Regla 2.Si: n1 + n2 + n3 +.............+ nm = n n1.+ n2 + n3 + .........+ nm = 1 n n n n Si n. p.1 + p2 + p3 ++ pm = 1

Ejemplo estadstico de conducta adquisitiva: Supongamos que se ha tomado el siguiente muestreo al azar de 1000 clientes que ingresan a una tienda de departamentos: TABLA 1 CONDUCTA ADQUISITIVA DE 1000 CLIENTES (HOMBRES Y MUJERES) Hombres (H) (C) Comprador 3 (nC) No comprador 27 Total 30 Mujeres (n H) 17 53 70 Total 20 80 100

(Porcentaje Total)

Suponiendo tomar un cliente al azar de este grupo, hacemos las siguientes definiciones:

1. Probabilidad simple: De sacar un hombre p (H) = 0.3

En general: p (A): probabilidad de un acontecimiento A: El acontecimiento no A se representa por n A As p (nH) = 0.70 2. Probabilidad conjunta: De sacar un cliente con dos ms caractersticas especficas. Ejemplo: Probabilidad (p) de sacar un cliente que sea a la vez comprador y hombre: P (C, H) = 0.03 .. p de sacar un cliente mujer, no compradora p (nH, nC) = 0.53

3. Probabilidad Marginal: (Margen de Tabla)

Probabilidad Total de sacar un hombre, hecha de probabilidades de hombres compradores ms hombres no compradores: P (H) = p (H,C) + p(H,nC) = 0.03 + 0.27 = 0.30 Observamos que la probabilidad marginal es una suma de probabilidades conjuntas.

4.

Probabilidad condicional: Suponiendo que: Cliente escogido sea: H Qu p hay que tambin sea comprador?

Representacin: p (C / H) se lee como: probabilidad que cliente sea comprador dado que sea hombre.

De la tabla: p (H) = 0.3 y p (C, H) = 0.03 Luego: p (C/H) = 0.03 / 0.3 = 0.10 Definicin matemtica: p. ( C / H ) = ( p ) conjunta de C y H ( p ) marginal H As la ( p ) de un comprador, dado que el cliente sea mujer ser p.( C / nH ) = p ( C, nH ) p ( nH ) = 0.17 0.7

, la (p) de un cliente hombre dado que sea comprador: p. ( H / C ) = p ( C, H ) = 0.03 = 0.15 p(C) 0.2 Observar que p ( H / C ) p ( H ) Se dice que H y C son dependientes y se trata de una dependencia estadstica

Como otro ejemplo, supongamos que tenemos un juego ordinario de cartas. Las cartas pueden ser clasificadas como sigue: TABLA 2 PROBABILIDAD EN SACAR CARTAS Carta Roja Negra (no roja) Total R nR Honor 10/52 10/52 20/52 = 10/26 ( A, K. Q, J, 10 ) : H No Honor : nH 16/52 16/52 36/52 = 16/26 2 ............... 9 26/52=1/2 26/52=1/2 1 Ahora, definimos: 1. Probabilidad Simple: La probabilidad de sacar carta roja, o sacar carta negra: p. ( R ) = 1 / 2 y p. ( nR ) = 1 / 2 Tambin la probabilidad de sacar carta de honor o sacar carta de no honor: p. ( H ) = 10 / 26 y p. ( nH ) = 16 / 26 2. Probabilidad Conjunta: La probabilidad de sacar un Honor negro: p. ( H, nR ) = 10 / 52 La probabilidad de sacar un Honor Rojo: p. ( H, R ) = 10 / 52 3. Probabilidad Marginal:

La probabilidad total de sacar carta Roja, como suma de probabilidades de sacar carta Honor y Roja ( R ); y ; carta No Honor ( nH ) y Roja: p. ( R ) = p ( H,R ) + p ( nH, R ) = 10/52 + 16/52 = 1 / 2

4. Probabilidad Condicional: Probabilidad de sacar carta de Honor ( H ), dado que hemos sacado Carta Roja ( R ): p. ( H / R ) = p. ( H, R ) = 10 / 52 = 10 / 26 p. ( R) 26/52 Notar en este caso que: p. ( H / R ) = p. ( H ) = 10 / 26 Esto significa que nuestro conocimiento que la carta era Roja, no nos da informacin adicional sobre si esta era carta de Honor o carta No honor, puesto que las probabilidades son idnticas. Esta caracterstica se conoce como Independencia Estadstica Definicin de Independencia Estadstica: Cuando p. ( H / R ) = p. ( H ), decimos que los acontecimientos H Y R son estadsticamente independientes. Es decir que H y R son tan posibles que ocurran independientemente. Esto es que implica que el conocimiento de uno de los acontecimientos no tiene ningn valor para predecir la ocurrencia del otro. Para ilustrar ms an la nocin de independencia estadstica llevemos adelante el ejemplo de la conducta adquisitiva de los clientes y clasifiquemos a los clientes tanto por la edad como por el sexo TABLA 3 CONDUCTA ADQUISITIVA DE 1000 HOMBRES Y MUJERES POR EDADES (Porcentaje Total) Hombres (H) Mujeres (nH) Jvenes ( J ) Mayores (nJ) Jvenes ( J ) Mayores (nJ) Total Comprador ( C ) 1 2 4 13 20 No comprador (Nc) 5 22 15 38 80 Total 6 24 19 51 100 Otros cuadros complementarios Resumen seran: TABLA 3.1 Hombres ( H ) Compradores ( C ) 3 No compradores ( Nc ) 27 Total 30 TABLA 3.2 Compradores ( C ) No compradores ( Nc ) Total Jovenes (J ) 5 20 25 Mayores ( nJ ) 15 60 75 Total 20 80 100 Mujeres ( nH ) 17 53 70 Total 20 80 100

Ahora veamos las diferentes probabilidades: 1. Probabilidad simple: de un comprador es p. (C) = 0.20 2. Probabilidad marginal: de una persona joven es: p( J ) = p( C, H, J ) + p( nC, H, J ) + p( C, nH, J ) + p( nC., nH, J ) = 0.01 + 0.05 + 0.04 + 0.15 = 0.25 3. Probabilidad condicional: de que sea un comprador dado que sea una persona joven. p( C / J ) = p( C, J ) = 0.01 + 0.04 = 0.20 p( J ) 0.25 Notar que esta probabilidad condicional es igual a la probabilidad simple de un comprador, p(C), luego la edad y la conducta adquisitiva son independientes. Esto significa que el conocimiento de la edad no tiene valor alguno para predecir si una persona es comprador o no. El hecho de que la edad y la conducta adquisitiva son independientes tambin implica que: p(nC/J) = p (nC) ; p (C/nJ) = p (C) ; y ; p (nC/nJ) = p (nC) Sin embargo la conducta adquisitiva y el sexo no son independientes. Por ejm.: La probabilidad de un comprador dado que sea hombre: p(C/H) = p(C,H) /p(H)= (0.01+0.02)/0.3 = 0.10, y La probabilidad de un comprador es p(C) = 0.20 Igualmente La probabilidad de un comprador dado que sea mujer: p(C/nH) = p.(C,nH)/p.(nH) = (0.04+ 0.13)/0.7 = 17/70 = 0.243 y La probabilidad de un comprador es p(C) = 0.20 Eso significa que el conocimiento del sexo de un comprador nos proporciona un mejor estimado de probabilidad sobre si la persona ser comprador (Los hombres estn menos inclinados a comprar que las mujeres). Perspectiva desde el punto de vista de teora de conjuntos Revisin.Definicin de Conjunto: Grupo de elementos con caractersticas identificatorias comunes Representacin: Conjuntos mutuamente excluyentes: Se dice que dos conjuntos (acontecimientos) son mutuamente excluyentes si la ocurrencia de uno de los conjuntos (acontecimientos) excluye la ocurrencia del otro. (Ver Fig. 4)

Ejemplo: Al sacar las cartas de un naipe, la ocurrencia del acontecimiento salida de un Rey elimina la posibilidad del acontecimiento Salida de una Reyna . Luego los acontecimientos son excluyentes. Tambin es el caso de acontecimientos con independencia estadstica (Ejm. La edad y la conducta adquisitiva en el caso anteriormente estudiado) FIG. 4

La Regla de adicin (suma) en este caso est expresado por: p(A U B) = p(A B) = p(A) + p(B) Ejemplo: La probabilidad de sacar un Rey de un naipe es igual a: y la probabilidad de sacar una Reyna es tambin igual a . Entonces la probabilidad de sacar un Rey una Reyna ser + = p(R) = p (R,H) +p (R,nH) = 10/52 + 16/52 = Igualmente en el caso de las Tabla 3 y 3.2 , vimos que los acontecimientos edad y conducta adquisitiva son mutuamente excluyentes (independencia estadstica); es decir el conocimiento de la edad (acontecimiento: joven, por ejemplo) no tiene ningn valor para predecir si una persona es comprador (acontecimiento: comprador) . Luego la probabilidad de que sea un joven comprador es: p( J C ) = p ( J ) + p ( C ) = 0.25 + 0.20 = 0.45 Conjuntos mutuamente no excluyentes: Se dice que dos conjuntos (acontecimientos) son mutuamente no excluyentes, cuando hay alguna probabilidad de que puedan ocurrir ambos. El rea de sobre posicin es precisamente la probabilidad conjunta p(A,B), como lo ilustra la Fig. 5 FIG. 5

Esta rea es contada dos veces en la frmula de adicin usada para el caso de acontecimientos mutuamente excluyentes. Podemos, entonces modificar la frmula para obtener la regla de adicin para acontecimientos que son mutuamente no excluyentes: p( A B ) = p ( A ) + p ( B ) p ( A, B ) tambin expresado as:

p( A U B ) = p ( A ) + p ( B ) p ( A

B)

En el ejemplo de las tablas 3 y 3.1, el acontecimiento comprador (C) no elimina la posibilidad del acontecimiento hombre . Luego la probabilidad de un hombre comprador es: p.(H C) = p ( H ) + p ( C ) p ( H, C ) = 0.30 + 0.20 0.03 = 0.47 Se dice que un conjunto de acontecimientos es colectivamente exhaustivo si estn incluidas todas las ocurrencias posibles. Por ejemplo, el juego de acontecimientos sacar una carta roja y sacar una carta negra son colectivamente exhaustivos; no existen otras posibilidades. El juego de acontecimientos hombre comprador y mujer no compradora son colectivamente exhaustivos ( an cuando no mutuamente excluyentes). La suma de las probabilidades para un juego de acontecimientos mutuamente excluyentes y colectivamente exhaustivos es igual a UNO. Esto se desprende de la regla de adicin y del hecho de que algn acontecimiento debe ocurrir. Producto de Probabilidades a) Caso de dependencia estadstica ( Mutuamente no excluyentes) En general si tenemos los conjuntos mutuamente no excluyentes: A y B, la probabilidad conjunta que ambos acontecimientos A y B han de ocurrir equivale a la probabilidad condicional de A dado B, multiplicado por la probabilidad de B. Es decir: p.( A,B ) = p ( A/B ) * p ( B ) Por ejemplo en el caso visto en la Tabla siguiente: Hombres ( H ) Compradores ( C ) 3 No compradores ( Nc ) 27 Total 30 Mujeres ( nH ) 17 53 70 Total 20 80 100

Los acontecimientos Comprador y Hombre son mutuamente no excluyentes, luego: p.( C, H ) = p (C/ H) * p ( H ) En la tabla por definicin: p( C/H ) = 3/30 = 0.1 ; y p ( H ) = 0.3, luego aplicando frmula: p.( C, H ) = 0.1 x 0.3 = 0.03 Verificamos directamente en la tabla y comprobamos que efectivamente la probabilidad de que sea Comprador y Hombre es efectivamente =.03; con lo que queda demostrada la veracidad de la frmula. Igualmente, podemos deducir que: p(H,C) = p(H/C)*p(C) = (3/20)*(20/100)= 0.03 Por tanto: p(C,H)=p(H,C) b) Caso de independencia estadstica ( Mutuamente excluyentes)

En general para este caso, si tenemos los conjuntos mutuamente excluyentes A y B, la probabilidad de que ocurran los acontecimientos A y B independientes es el producto de las probabilidades simples. Es decir: 16/52 26/52=1/2 16/52 26/52=1/2 36/52 = 16/26 1 p.( A,B ) = p ( A ) * p ( B ) Por ejemplo en el caso de las cartas tenamos la sgte. Tabla:

Honor ( A, K. Q, J, 10 ) : H No Honor : nH

Carta Roja Negra (no roja) Total R nR 10/52 10/52 20/52 = 10/26

Segn la frmula: p.( H, R ) = p ( H ) * p ( R ) Observando la tabla, y reemplazando en frmula: = (10/26) x (1/2) = 10 /52 Ahora observamos directamente en la misma tabla que p ( H, R ) es efectivamente igual a 10/52, con lo que queda demostrada la veracidad de la frmula