Redes de Bayes

Franco Biagioli
Mauricio Lpez
Martn Maestri
Temario
Introduccin
Conceptos bsicos de probabilidades
Definicin del Teorema de Bayes
Redes de Bayes. Definiciones y conceptos
Ejemplo
Inferencia en Redes de Bayes
Construccin de la red. Aprendizaje estructural y paramtrico
Herramientas
Introduccin
Las Redes de Bayes, tambin conocidas como Redes Bayesianas,
Redes probabilsticas causales, Redes de creencias o Redes de
creencias bayesianas son Modelos Grficos Probabilsticos (MGP).
Los modelos grficos probabilsticos, en particular las redes
bayesianas y los diagramas de influencia, fueron desarrollados en los
aos 80 por investigadores del campo de Inteligencia Artificial,
Matemticas y Economa con el propsito de resolver problemas cuya
complejidad excede la capacidad de los mtodos existentes hasta
entonces.
El culpable de que estemos ahora hablando de esto se llama Judea Pearl
http://es.wikipedia.org/wiki/Judea_Pearl
Conceptos bsicos de probabilidades
Probabilidad conjunta es la probabilidad de que ocurran los eventos A y B
simultneamente
Probabilidad condicional es la probabilidad de que ocurra un evento A dado que
ocurri otro evento B
Independencia de sucesos: dos sucesos son independientes si la probabilidad de que
ocurran ambos simultneamente es igual al producto de las probabilidades de que
ocurra cada uno de ellos
Teorema de Bayes
Fue enunciado por Thomas Bayes en 1763.
Expresa la probabilidad condicional de un evento aleatorio
Ai dado otro evento B en trminos de la distribucin de
probabilidad condicional de B dado Ai y la distribucin de
probabilidad marginal de slo Ai.
Teorema de Bayes
El teorema de Bayes nos dice cmo obtener una
probabilidad a posteriori en una hiptesis H luego de
la observacin de alguna evidencia E, dadas la
probabilidad a priori de H y la probabilidad de
observar E dado H
H E
p(E / H) * p(H)
p(E)
p(H / E) =
Redes de Bayes
Una Red Bayesiana es un grafo dirigido acclico (GDA)
donde cada nodo representa una variable aleatoria y los
arcos entre los nodos representan dependencias
probabilsticas entre las variables.
Cada nodo contiene los estados de la variable que
representa y una tabla de probabilidad condicional (CPT).
La CPT de un nodo contiene las probabilidades de que el
nodo est en un estado especfico dados los estados de
sus padres.
Redes de Bayes - Representacin grfica
Redes de Bayes - Nodos
una Variable Aleatoria Discreta (VAD):
N finito de estados
una Variable Aleatoria Continua (VAC):
Distribucin Gaussiana
Un nodo puede representar:
Nodos Discretos
Distribucin de probabilidad sobre los estados
de la variable que representa.
Nodos Continuos
Funcin de densidad Gaussiana para la variable
aleatoria que representa.
Redes de Bayes - Nodos
Si el nodo no tiene padres, contendr una Tabla de Probabilidad Marginal
Nodo Discretos
Cada celda tiene una probabilidad condicional
para cada estado segn el estado del padre.
Nodos Continuos
Cada celda tiene:
Una media y una varianza por cada estado
del padre discreto.
Un coeficiente de regresin por cada
padre continuo.
Redes de Bayes - Nodos
Si el nodo tiene padres, tendr una Tabla de Probabilidad Condicional (CPT)
Representan relaciones de
dependencia entre las variables
Redes de Bayes - Arcos
Generalmente reflejan relaciones
causa-efecto dentro del dominio
La fuerza de un efecto es
modelada como una probabilidad
Dependencias causales
Cuando existe una dependencia causal de un nodo R a un nodo B, se
espera que cuando R est en un cierto estado esto tiene un impacto en el
estado de B.
Redes de Bayes - Conceptos bsicos
Independencia condicional
Dos conjuntos de variables R y B son (condicionalmente) independientes
de un tercer conjunto Y si cuando los valores de Y son conocidos, el
conocimiento acerca de B no provee ms informacin sobre los valores de R.
Redes de Bayes - Conceptos bsicos
Independencia condicional
Dos conjuntos de variables R y B son
(condicionalmente) independientes de un
tercer conjunto Y si cuando los valores de
Y son conocidos, el conocimiento acerca
de B no provee ms informacin sobre los
valores de R.
1. Identificar un conjunto de variables aleatorias que describen el dominio del problema dado
2. Elegir un ordenamiento para las variables: X1Xn
3. Para i=1 hasta n hacer
3.1. Agregar un nuevo nodo para Xi a la red
3.2. Asignar Padres(Xi) al conjunto minimal de los nodos ya agregados de tal manera que se tenga
independencia condicional de Xi y todos los dems miembros de {X1, , Xi -1} dado Padres(Xi)
3.3. Agregar un arco dirigido desde cada nodo en Padres(Xi) a Xi
3.4. Si Xi tiene al menos un padre, entonces
3.4.1. Definir una tabla de probabilidad condicional en Xi: P(Xi=x | posibles asignaciones a Padres(Xi))
3.5. Sino
3.5.1. Definir una probabilidad previa (prior) en Xi: P(Xi)
Redes de Bayes - Algoritmo general
Redes de Bayes
Permiten modelar incertidumbre
Se utilizan para obtener los valores de probabilidades de
ciertas variables de inters a partir de la informacin
(evidencia) del estado de otras variables
Utilizacin de las Redes de Bayes
Ejemplo
Se tiene un congreso con 50 profesores de 3 universidades (23, 18, 9 respectivamente)
U1: 30% Ciencias, 40% Ingeniera, 25% Humanidades y 5% Economa
U2: 25% Ciencias, 35% Ingeniera, 30% Humanidades y 10% Economa
U3: 20% Ciencias, 50% Ingeniera, 10% Humanidades y 20% Economa
Si a la salida nos encontramos con un profesor:
Cual es la probabilidad de que sea de la tercera universidad?
Cual es la probabilidad de que sea de la tercera universidad si nos enteramos de
que es de Economa?
Ejemplo
Para la primera pregunta, a priori sabemos que:
La P(U1) = 23/50 = 0.46
La P(U2) = 18/50 = 0.36
La P(U3) = 9/50 = 0.18
Por lo tanto, la probabilidad de que sea un profesor de la tercera
universidad es de 0.18
U= Universidad
E= Especialidad
Para la segunda pregunta podemos analizarlo mejor con una tabla
P(E|U) U1 U2 U3
Ec 0.3 0.25 0.20
Ei 0.40 0.35 0.50
Eh 0.25 0.30 0.10
Ee 0.05 0.10 0.20
Ejemplo
P(U3|Ee) =
P(U3) . P(Ee|U3)
P(U1) . P(Ee|U1) + P(U2) . P(Ee|U2) + P(U3) . P(Ee|U3)
= 37.9%
Ejemplo. Representacin grfica
Ejemplo. Representacin grfica
Ejemplo. Representacin grfica
Ejemplo. Representacin grfica
Redes de Bayes - Inferencia
Consiste en calcular probabilidades de inters a partir de una
distribucin de probabilidades conjunta
La estructura de la red de Bayes permite calcular cualquier
probabilidad de inters: la independencia condicional
simplifica el clculo
Se aplica al clculo de los resultados de una consulta
(distribucin de probabilidades) con respecto a una red dada y a
la presencia de cierta evidencia
Inferencia probabilstica
Redes de Bayes
Inferencia causal o top-down
Probabilidad de que algo haya ocurrido dada una
determinada evidencia
Inferencia de diagnstico o bottom-up
Probabilidad de que un determinado efecto haya sido
producido por una causa en particular
Inferencia entre causas o explaining away
Determina, para un efecto dado, cual es la causa ms
probable entre varias causas posibles
Inferencia en Redes de Bayes
Redes de Bayes
Inferencia en Redes de Bayes
Redes de Bayes
Centrados en operaciones algebraicas
Variable Elimination [Zhang96]
Bucket Elimination [Dechter99]
SPI [DAmbrosio94]
Centrados en propiedades grficas
Junction trees [Jensen96]
Inferencia en Redes de Bayes - Algunos algoritmos
Redes de Bayes
Construccin de la red
Ingeniera del Conocimiento
Un experto en el dominio identifica los aspectos cualitativos y cuantitativos
del problema
Codificar el conocimiento existente de expertos en una red
Usar una base de datos para actualizar este conocimiento
Refinar el conocimiento experto original e identificar nuevas
relaciones
Redes de Bayes
Construccin de la red
Determinar las variables que intervienen en el modelo
Determinar cada uno de los estados o valores que pueden tomar las
variables
Determinar las relaciones (dependencias) entre las variables
Construir un GDA que codifique las aserciones de independencia
condicional (direcciones de los arcos)
Redes de Bayes
Construccin de la red
Cmo se puede obtener la estructura de la red?
A partir del conocimiento de un experto
Algoritmos de aprendizaje en Redes de Bayes
Puede haber datos completos o incompletos
La estructura puede ser conocida o desconocida
Redes de Bayes
Aprendizaje de Redes de Bayes
Aprendizaje paramtrico
Aprender los parmetros que describen el grado de dependencia
entre las variables del dominio
Aprendizaje estructural
Aprender las dependencias entre las variables que intervienen en
el problema
Redes de Bayes
Aprendizaje paramtrico
Aprendizaje Batch
Se utiliza cuando se quieren generar las tablas de probabilidad condicional a
partir de los datos
Aprendizaje Adaptativo
Se utiliza cuando se quieren adaptar todas o algunas de las tablas de
probabilidad condicional a partir de un nuevo conjunto de datos
Redes de Bayes
Aprendizaje paramtrico
Aprendizaje adaptativo
La adaptacin es el proceso de refinar las probabilidades
condicionales especificadas en la Red de Bayes teniendo en
cuenta los resultados de experimentos o casos reales
Se utilizan tablas de experiencia y/o tablas de desvanecimiento
Redes de Bayes
Aprendizaje adaptativo - tablas de experiencia
Redes de Bayes
Aprendizaje paramtrico
Aprendizaje adaptativo
Un paso del proceso de aprendizaje adaptativo consiste de:
Ingresar evidencia
Propagar la evidencia
Actualizar (adaptar) las tablas de probabilidad condicional y
las tablas de experiencia
Redes de Bayes
Aprendizaje paramtrico
Aprendizaje adaptativo con tablas de desvanecimiento
A veces, las observaciones viejas no son tan importantes como las nuevas
en el proceso de adaptacin. Entonces, tenemos que desaprender u
olvidar algunas de ellas.
Las observaciones nuevas son ms importantes que las viejas, y por lo tanto
se les debe dar ms peso durante la adaptacin.
Se introduce un factor de desvanecimiento, que indica la tasa con la cual se
olvidan las observaciones previas
0 no hay adaptacin
1 no hay desvanecimiento.
Redes de Bayes
Aprendizaje adaptativo - tablas de desvanecimiento
Redes de Bayes
Aprendizaje adaptativo - tablas de desvanecimiento
Redes de Bayes
Aprendizaje estructural
Redes de Bayes
Aprendizaje estructural
No puede ser solucionado
ajustando los parmetros
Suposiciones errneas
acerca del dominio
Aumenta el nmero de
parmetros a ser estimado
Suposiciones errneas
acerca del dominio
Redes de Bayes
Aprendizaje estructural
Score and Search
Mtrica de puntuacin (Score)
Mide la calidad de la estructura grfica
Se utiliza para decidir cual es la mejor solucin
Algoritmo de bsqueda (Search)
Selecciona un pequeo subconjunto de las posibles
redes que tengan una calidad alta
Se selecciona la mejor
Redes de Bayes - Aprendizaje Estructural
Algoritmo K2
Score and Search
Bsqueda Greedy
Muy eficiente
Asume que las variables estn ordenadas
Comienza con una red sin arcos
En cada iteracin, para cada variable Xi, el nodo cuyo orden es previo a Xi y
que incrementa la calidad de la red se agrega a Padres(Xi)
Se repite el proceso hasta que
No hay incremento en la calidad de la red
Se llega a una red completa
La cantidad de padres puede limitarse
Redes de Bayes - Aprendizaje Estructural
Algoritmo B
Score and Search
No requiere un ordenamiento previo de las variables
Controlar ciclos
Comienza con un conjunto vaco de padres
En cada iteracin agrega un arco tal que
No produce ciclos
Maximiza la calidad de la red
El proceso se detiene cuando
No se incrementa la calidad de la red, o
Se llega a una red completa
Redes de Bayes - Aprendizaje Estructural
Algoritmo PC
Tests de Independencia
Dos fases
Construccin del esqueleto
Comienza con un grafo no dirigido totalmente conectado
Mediante tests de independencia va eliminando arcos que no
cumplen la siguiente condicin:
Dos nodos X e Y estn conectados si y slo si no existe un
subconjunto Sxy del conjunto de vrtices V tal que I(X,
Y|Sxy) sea verdadero
Encontrar las direcciones de los arcos mediante tests de
independencia
Orientar el resto de los arcos sin producir ciclos
Redes de Bayes - Herramientas
Weka
http://www.cs.waikato.ac.nz/ml/weka/
JavaBayes
http://www.cs.cmu.edu/~./javabayes/
BNJ
http://bnj.sourceforge.net/
bnt
https://code.google.com/p/bnt/
BayesBuilder
http://www.snn.ru.nl/nijmegen/index.php?option=com_content&view=article&id=88&Itemid=57
Otros
http://lmgtfy.com/?q=bayesian+network+tools