Introduccin a Minera de Datos,

Metodologas y
Tcnicas de Minera de datos

Jose Aguilar
CEMISID, Escuela de Sistemas
Facultad de Ingeniera
Universidad de Los Andes
Mrida, Venezuela
 Definiciones iniciales
Datos: hechos o medidas que describen caractersticas de
objetos, eventos o personas, es la materia prima de la que se
obtendr la informacin.

Informacin: Datos analizados y presentados en forma

adecuada, de inters para un observador en un momento
determinado.

Conocimiento: informacin procesada para emitir juicios que

llevan a conclusiones.

Meta Conocimiento: Reglas que permiten obtener

conocimiento.
 Principales caractersticas de la informacin

Significado (semntica):
Qu quiere decir?
Del significado extrado de una informacin, cada individuo evala
las consecuencias posibles y adeca sus actitudes y acciones de
manera acorde a las consecuencias previsibles que se deducen del
significado de la informacin.

Importancia (relativa al receptor):

Trata sobre alguna cuestin importante?
La importancia de la informacin para un receptor, se referir a en
qu grado cambia la actitud o la conducta de los individuos.

.
 Principales caractersticas de la informacin

Vigencia (en la dimensin espacio-tiempo):

Es actual o desfasada?
En la prctica la vigencia de una informacin es difcil de evaluar,
ya que en general acceder a una informacin no permite conocer
de inmediato si dicha informacin tiene o no vigencia.
.
Validez (relativa al emisor):
El emisor es fiable? Puede entregar informacin no vlida?

Valor (receptor):
Cun til resulta para el destinatario la informacin?

.
.
 Situacin actual
La revolucin digital ha permitido que la captura de datos sea
fcil, y su almacenamiento tenga un costo casi nulo.

Enormes cantidades de datos son recogidas y almacenadas

en BD en la vida diaria.

Resultado: Para analizar estas enormes cantidades de datos,

las herramientas tradicionales de gestin de datos y las
herramientas estadsticas no son adecuadas.
 Definiciones iniciales
Conocimiento: Modelo vs. Patrn
Hand, Mannila y Smyth

Modelo: Habla de todo el conjunto de datos

Patrn: Habla de una regin particular de datos.

 Datos y Modelos => Conocimiento
Los datos se obtienen de:
Bases de datos
(relacionales, espaciales,
temporales,
documentales,
multimedia, etc)
World Wide Web
Modelos descriptivos:
identifican patrones que
explican o resumen los datos:
Reglas de asociacin
Clustering:
Modelos predictivos: estiman
valores de variables de inters
(a predecir) a partir de valores
de otras variables
Regresin
Clasificacin
 Situacin actual
Los datos por s solos no producen beneficio
directo.
Su verdadero valor consiste en poder extraer
informacin til para la toma de decisiones

Tradicionalmente se analizaban datos con la

ayuda de tcnicas estadsticas (resumiendo y
generando informes) o validando modelos
sugeridos manualmente por los expertos.
 Situacin actual
Estos procesos son irrealizables a medida que
aumenta el tamao de los datos.

Bases de datos con un n de registros del

orden de 109 y 103 de dimensin, son
fenmenos relativamente comunes.

La tecnologa informtica puede automatizar

este proceso.
Minera de datos
 Una visin simplificada de la minera
de datos

Datos Minera de datos Modelos

Los modelos son el producto de la minera de datos...

...y dan soporte a las estrategias de decisin que se tomen
 Qu es la Minera de Datos?

La minera de datos tiene como propsito la

identificacin de un conocimiento obtenido a
partir de las bases de datos que aporten hacia la
toma de decisin.

Minera de datos es la exploracin y anlisis de

grandes cantidades de datos con el objeto de
encontrar patrones y reglas significativas
(conocimiento)
 Qu es la Minera de Datos?
Es un mecanismo de explotacin que consiste
en la bsqueda de informacin valiosa en
grandes volmenes de datos.

Ligada a las bodegas de datos (informacin

histrica) con la cual los algoritmos de minera
de datos obtienen informacin necesaria para
la toma de decisiones.
 Qu es la Minera de Datos?
Anlisis de grandes volmenes de datos para encontrar
relaciones no triviales, y para resumirlos de manera que sean
entendibles y tiles.
Hand, Mannila y Smyth

Extraccin de patrones y modelos interesantes,

potencialmente tiles y datos en base de datos de gran
tamao.
Hand
 Qu es la Minera de Datos?
Data Mining (Minera de datos)
Proceso de extraer conocimiento util y comprensible, previamente
desconocido, desde grandes cantidades de datos almacenados en
distintos formatos (Witten and Frank, 2000)

Knowledge Discovery in Databases KDD (Descubrimiento

de Conocimiento en Bases de Datos)
Proceso no trivial de identificar patrones vlidos, novedosos,
potencialmente tiles y, en ltima instancia, comprensibles, a partir de
los datos (Fayyad y col. 1996)
 Minera de datos
Proceso de utilizar datos crudos para inferir
importantes relaciones entre ellos

Coleccin de tcnicas poderosas para analizar

grandes volmenes de datos

No existe un solo enfoque para minera de datos sino

un conjunto de tcnicas que se pueden utilizar de
manera independiente o en combinacin
 Lo que no es la minera de datos

Bsqueda de un nmero de telfono en el directorio

telefnico

Usar un motor de bsqueda en Internet para obtener

informacin acerca de "Amazon

La fuerza bruta crujido de datos a granel

La presentacin de los datos de diferentes maneras

Una tarea intensiva de base de datos

Qu si es Data Mining?

Una palabra de moda para

una clase de tcnicas que
encuentran patrones en los
datos

Un conjunto de tcnicas que

se encuentran las relaciones
que anteriormente no han
sido descubiertos
 La minera de datos es un campo
multidisciplinario
Inteligencia
Artificial Estadstica
(Machine
Learning)

Bases de
Datos Minera de datos Ciencias de
la informacin

Graficacin y Otras
visualizacin disciplinas
 Estadstica vs Minera de datos

Estadistica Mineria de datos

Construccin Mayor libertad en la construccin,

Ceido a premisas y teoremas
de modelos interpretable

Test de la razn de la
Bsqueda Metaheursticos
verosimilitud

Transparencia Ms complicados de interpretar Ms claros y sencillos

Validacin No S
 Minera de Datos vs. Estadstica

Adems, en minera de datos tenemos:

1.- Mayor volumen de datos (diferencia fundamental)

2.- Mayor complejidad de los datos (miles de atributos o

dimensiones).

4.- nfasis est en buscar modelos ms que en verificar un

modelo fijo.
 OLAP vs Minera de datos
OLAP Minera de datos

Cul es la proporcin media de Cul es la mejor prediccin para

accidentes entre fumadores y no accidentes?
fumadores?
Cul es la factura telefnica media de mis Dejara X la compaia? Qu factores
clientes y de los que han dejado la afectan a los abandonados?
compaia?
Cunto es la compra media diaria de Cules son los patrones de compra
tarjetas robadas y legtimas? asociados con el fraude de tarjetas?

OLAP proporciona una muy buena vista de lo que est

sucediendo, pero no se puede predecir lo que va a suceder
en el futuro o por qu est sucediendo
 Qu es la Minera de Datos?

Mtodos Descriptivos
Encontrar patrones interpretable que describen
los datos.

Mtodos de Prediccin
Utilizar algunas variables para predecir los
valores desconocidos o futuros de otras
variables.
 Qu es la Minera de Datos?
La minera de datos se puede dividir en:

Minera de datos predictiva (mdp): usa

primordialmente tcnicas estadsticas.

Minera de datos para descubrimiento de

conocimiento (mddc): usa principalmente
tcnicas de inteligencia artificial.
 Tipos de aplicaciones de la
minera de datos
Clasificacin

Pronstico (Prediccin)

Asociacin

Agrupacin o segmentacin (Clustering)

 Tipos de aplicaciones de la
minera de datos
Clasificacin [predictivo]
Clustering [descriptivo]
Descubrimiento Regla Asociacin [descriptivo]
Anlisis de dependencia de datos
correlacin y causalidad
Descubrimiento Patrones Secuenciales [descriptivo]
Anlisis de series de tiempo, asociaciones secuenciales
Regresin [predictivo]
Tendencia y Desviacin de deteccin [predictivo]
Filtros Colaborativos [predictivo]
Resumir
Descripcin de Conceptos-
Descripcin de caractersticas
descripcin discriminante
 Clasificacin
Examinar las caractersticas de un nuevo
objeto y asignarle una clase o categora de
acuerdo a un conjunto de tales objetos
previamente definido

Ejemplos:
Clasificar aplicaciones a crdito como bajo, medio
y alto riesgo
Detectar reclamos fraudulentos de seguros
 Pronstico
Predecir un valor futuro con base a valores
pasados

Ejemplos:
Predecir cunto efectivo requerir un cajero
automtico en un fin de semana
 Asociacin
Determinar cosas u objetos que van juntos

Ejemplo:
Determinar que productos se adquieren
conjuntamente en un supermercado
 Agrupacin o segmentacin
Dividir una poblacin en un nmero de grupos
ms homogneos

No depende de clases pre-definidas a

diferencia de clasificacin

Ejemplo:
Dividir la base de clientes de acuerdo con los
hbitos de consumo
 ALGORITMOS DE APRENDIZAJE

1. SUPERVISADOS: predicen el valor de un atributo de un conjunto de

datos conocidos otros atributos.

Clasificacin, Prediccin

Ejemplos: Algoritmos genticos: Redes neuronales, rboles de

decisin, Regresin

2. NO SUPERVISADOS: descubren patrones y tendencias en los datos sin

tener ningn tipo de conocimiento previo acerca de cuales son los patrones
buscados

Clustering, Anlisis de enlace, Anlisis de frecuencia

 Aprendizaje supervisado

El proceso de modelado se realiza sobre un conjunto de

ejemplos formado por entradas al sistema y la respuesta
que debera dar para cada entrada.
 Aprendizaje no supervisado
Todo el proceso de modelado se lleva a cabo sobre un
conjunto de ejemplos formado tan slo por entradas al
sistema.

No se tiene informacin sobre las categoras de

esos ejemplos.

Por lo tanto, en este caso, el sistema tiene que ser

capaz de reconocer patrones para poder etiquetar
las nuevas entradas.
Aprendizaje no supervisado
Aprendizaje no supervisado

Aprendizaje supervisado Aprendizaje no

supervisado

x2 x2

x1 x1
Aprendizaje no supervisado

Social network analysis

 Minera de Secuencia de Datos
Buscar Similitud en serie temporal de datos

Regresin y Anlisis de Tendencias en series temporales de

datos

Minera Patrn Secuencial en secuencias simblicas

Clasificacin de Secuencia

Alineacin de secuencias biolgicas

36
 Minera de Grfos y Redes
Minera de Patrn de Grfo
Modelado estadstico de Redes
Agrupacin y clasificacin de grafos y redes
homogneas
Agrupacin, clasificacin de las Redes heterogneos
Descubrimiento, clases, y Prediccin de Enlace en
Redes de Informacin
Bsqueda de Similitud en Redes de Informacin:
Evolucin de las redes de informacin social
37
 Mineria en otras clases de Datos
Minera de Datos Espaciales

Minera espacio-temporal y Object ivos en movimiento

Minera Cyber-fsico de datos del sistema: salud, control de trfico areo,

simulacin de inundaciones

Minera de datos multimedia

Minera de datos de texto

Minera de datos Web

Minera de datos Streams

38
 Importante
La promesa de Data Mining es encontrar los patrones

Simplemente el hallazgo de los patrones no es

suficiente

Debemos ser capaces de entender los patrones,

responder a ellos, actuar sobre ellos,
 El ciclo de data mining

Identificar
un problema

Medir los Usar data mining para

resultados transformar los datos
en informacin

Actuar basndonos
en la informacin
Esquema bsico: Minera de datos
Datos Iniciales

.log
 KDD Knowledge Discovery in
Databases
La minera de datos se encuadra dentro de un proceso
mucho mayor conocido como KDD (Knowledge Discovery from
Databases)
Fases del proceso iterativo e interactivo
1. Integracin y recopilacin de datos
2. Seleccin, limpieza y transformacin
3. Minera de datos
4. Evaluacin e interpretacin
5. Difusin y uso
 El Proceso de KDD
INTERPRETACIN Y EVALUACIN

DATA MINING Conocimiento

CODIFICACIN Modelos

LIMPIEZA Datos Transformados

SELECCIN Datos Procesados

Datos objetivo
Datos
KDD
 Fase 1
Integracin y recopilacin de datos
Decisiones estratgicas basadas en el anlisis, la planificacin y
la prediccin: datos en varios departamentos
Cada fuente de datos distintos formatos de registro, diferentes
grados de agregacin, diferentes claves primarias, ....
Integracin de mltiples bases de datos: almacenes de datos
(data warehousing)
Almacn de datos aconsejable cuando el volumen de
informacin es grande. No estrictamente necesario (archivos de
texto, hojas de clculo, ...)
 Fase 2
Seleccin, limpieza y transformacin
Calidad del conocimiento descubierto depende (adems del algoritmo de
minera) de la calidad de los datos analizados
Presencia de datos que no se ajustan al comportamiento general de los datos
(outliers)
Presencia de datos perdidos (missing values)
Seleccin de variables relevantes (feature subset selection)
Seleccin de casos aleatoria en bases de datos de tamao ingente
Construccin de nuevas variables que faciliten el proceso de minera de datos
Discretizacin de variables continuas
 Fase 3
Minera de datos
Modelos descriptivos
Reglas de asociacin
Clustering
Modelos predictivos
Regresin: regresin lineal, regresin logstica
Clasificacin supervisada: clasificadores Bayesianos,
redes neuronales, rboles de clasificacin, induccin de
reglas, K-NN, combinacin de clasificadores
 Fase 4
Evaluacin e interpretacin
Tcnicas de evaluacin: validacin simple (training + test),
validacin cruzada con k-fold, bootstrap
Reglas de asociacin: cobertura (soporte), confianza
Clustering: variabilidad intra y entre
Regresin: error cuadrtico medio
Clasificacin supervisada: porcentaje de bien clasificados, matriz
de confusin, anlisis ROC
Modelos precisos, comprensibles (inteligibles) e interesantes
(tiles y novedosos)
 Fase 5
Difusin y uso
Difusin: necesario distribuir, comunicar a los posibles
usuarios, integrarlo en el know-how de la organizacin
Medir la evolucin del modelo a lo largo del tiempo
(patrones tipo pueden cambiar)
Modelo debe cada cierto tiempo de ser:
Reevaluado
Reentrenado
Reconstruido
 CRISP-DM

El proceso de extraccin de datos debe ser fiable y repetible

por personas con pocos conocimientos de minera de datos

CRISP-DM proporciona un marco uniforme para

directores
documentacin de la experiencia

CRISP-DM es flexible para tener en cuenta las diferencias

Diferentes problemas de negocio
Datos diferentes
Fases en CRISP-
CRISP-DM
 Problemas

Conocimiento del dominio de la

aplicacin y objetivos del proceso de
descubrimiento de conocimiento ?

Qu hacer cuando no se conoce la organizacin, el

problema, o los procesos a estudiar?
 Metodologa ULA

Esta metodologa surge de la necesidad de conducir de

manera adecuada un proyecto de MD, donde adems, se
integra un gua detallada de lo que se debe hacer en cada
etapa del proceso de KDD, para llenar algunos vacos que
presentan otras metodologas a la hora de enfrentarse con
organizaciones, que no conocen los problemas que se
presentan, y que podra aportar la MD para la mejora de la
misma.
Esta metodologa permite identificar y conceptualizar la
solucin de un problema desde la perspectiva del desarrollo
de aplicaciones basadas en MD, para un proceso de cualquier
institucin/empresa
 Metodologa ULA
Todas las fases y actividades propuestas pretenden abarcar todo el
dominio de conocimiento que puede encontrarse en una
organizacin.
Sin embargo, en funcin de los expertos disponibles y del tiempo
previsto de desarrollo, no todas las actividades propuestas en cada
fase podran desarrollarse en su totalidad.
 Metodologa ULA

Elementos que conforman cada etapa de las fases de la

metodologa.
 Fase 1: Conocimiento de la Organizacin

Esta fase tiene como finalidad realizar un proceso de ingeniera de

conocimiento, orientado a organizaciones/empresas, de las cuales no se conoce
o se tiene poca informacin del (de los) problema(s), o los procesos a estudiar.
Se enfoca en identificar y conceptualizar la solucin de un problema, desde la
perspectiva del desarrollo de aplicaciones basadas en MD.
Fase 1: Conocimiento de la Organizacin

1. Conocimiento de la Organizacin

2. Descripcin general de la
problemtica organizacional

3. Anlisis de factibilidad y seleccin del

proceso

4.Anlisis para caracterizar las posibles

tareas de Minera de Datos (MD)

5. Formalizacin del problema

Etapa 1: Conocimiento de la Organizacin

Conocer la organizacin/empresa, sus

1. Objetivo
objetivos, procesos, objetos y actores

2. Protocolo de la Fase:

Descripcin de los elementos de la institucin/empresa y sus

caractersticas. Objetivos, Procesos , Objetos y Actores.

Descripcin de las relaciones entre estos elementos.

Organizacin de estos elementos.

 Etapa 2: Descripcin general del problema

Conocer los procesos sobre los cuales se puede

1. Objetivo
enfocar el proyecto de minera de datos.

2. Protocolo de la Fase:

Familiarizacin con los procesos sobre los cuales se puede realizar la ingeniera
de conocimiento

Identificacin de la fuente de conocimiento

Familiarizacin con los ambientes computacionales donde se encuentran los

datos a ser utilizados en cada proceso.
 Etapa 3: Anlisis de factibilidad y
seleccin del proceso

1. Objetivo Analizar los procesos con la informacin

proporcionada/recogida.

2. Protocolo de la Fase:

Revisin de los procesos propuestos por los expertos

Disponibilidad del experto o grupo de expertos

Anlisis de las fuentes de informacin sobre los procesos

Etapa 4: Anlisis para caracterizar las
posibles tareas de Minera de Datos

Caracterizar las posibles tareas de minera de datos a realizar en

el(los) proceso(s) seleccionado(s) en la fase anterior (objetivos,
1. Objetivo
requerimientos, factibilidad, etc.), con la finalidad de escoger las
tareas de MD de inters a desarrollar.

2. Protocolo de la Fase:

Seleccin y descripcin de los actores.

Descripcin de los escenarios actuales y posibles escenarios futuros de la
institucin/empresa.
Especificacin de los requerimientos para los posibles escenarios futuros (donde se
puedan aplicar tarea(s) de MD)
Elaboracin de los casos de uso para los requerimientos funcionales
 Etapa 5: Formalizacin del Problema

1. Objetivo Definir el(los) problema(s) formales de MD.

Desarrollo de un informe, con la conceptualizacin del

2. Protocolo de la proceso a estudiar, la caracterizacin de sus
fase problemticas operacionales y del uso de la MD en
dicho proceso.
 Caso de Estudio: Empresa Petrolera

Fase 1: Conocimiento de la organizacin:

Se trata de una empresa que se encarga de la exploracin, extraccin, produccin,
mejoramiento y comercializacin de crudo extrapesado.
Fase 2: Caracterizacin de los procesos de la organizacin
La cadena de valor de la empresa se muestra en la siguiente figura, donde el proceso
principal objeto de estudio se concentra en la tercera etapa de la cadena de valor.
 Caso de Estudio: Empresa Petrolera

Fase 3: Seleccin del Proceso Criterios CDU DCU

Se estudi cada uno de los Importancia para la organizacin 5 5
subproceso (objetivos, actividades, Propsito de la MD 5 5
productos, etc.), y se obtuvo la Interacciones entre procesos 2 4
interaccin entre ellos. Procesos dependientes 5 3
Importancia de la calidad del
4 4
En la tabla se ilustra este proceso de producto
priorizacin y seleccin, Seguridad Industrial 4 5
considerando slo los dos procesos Replicabilidad de la herramienta
5 4
que resultaron mejor ponderados desarrollada
en este caso de estudio. Cantidad de Expertos 5 5
Fuentes de informacin 5 5
Confidencialidad de la
3 3
informacin
Qu informacin se recoge del
5 5
proceso para ser almacenada?
Con que frecuencia se recoge la
4 4
informacin almacenada
Qu herramientas se cuentan,
para recolectar y manipular la 4 4
informacin?
 Caso de Estudio: Empresa Petrolera

Fase 4: Anlisis para caracterizar las posibles tareas de Minera de Datos (MD)
Descripcin del escenario actual

Resultados que se Actor(es) asociado(s) Variables Asociadas Actividades que se

obtienen realizan
Gasoil directo Expertos asociados Tren de precalentamiento: Carga del crudo.
(SRGO), nafta al proceso temperatura de la carga. Precalentamiento
pesada y residuo Ingenieros de Desaladores: tiempo para del crudo diluido.
atmosfrica. Procesos el asentamiento y Desalado.
Operadores separacin del agua del Precalentamiento
Unidad de petrleo, presin. del crudo
destilacin Hornos de crudo: desalado.
atmosfrica temperatura Generacin de
Columna de crudo: cortes de crudo en
presin, temperatura, rata la columna.
de vapor de
despojamiento.
 Caso de Estudio: Empresa Petrolera

Descripcin del escenario futuro

Resultados que Actor(es) Variables Actividades de Funcionalidades

se desean asociado(s) Asociadas MD que se nuevas
obtener realizaran
Prediccin de Expertos Presin, Prediccin Prediccin de las
la calidad del asociados al temperatura de caractersticas del
producto, para proceso tope y rata de producto, segn las
optimizar el Operadores vapor de condiciones de
proceso Columna de despojamiento de funcionamiento de la
crudo la columna de torre de crudo.
crudo. Ayudar a optimizar el
proceso de produccin,
generando informacin
para orientar a los
actores en la toma de
decisiones con la
prediccin (es)
resultante(s).
 Fase 2: Preparacion de los Datos
Para aplicar MD sobre un problema en especfico, es necesario
contar con un historial de datos asociado al problema en estudio.

Esto conlleva realizar distintas operaciones con los datos, con la

finalidad de acondicionarlos para desarrollar un modelo de MD.
Por lo tanto, en esta fase se plantea realizar la preparacin de los
datos, que sern utilizados para el desarrollo de la herramienta de
MD.

Para realizar tareas de MD es necesario tener los datos integrados

en una sola vista, que denominaremos vista minable la cual est
compuesta por una tabla con todas las variables del proceso y los
datos a considerar en el estudio de MD.
 Fase 2: Preparacion de los Datos
En particular, para realizar este proceso nosotros definimos dos tipos de vista
minable:

Vista Minable conceptual (VMC): describe en detalle cada una de las variables
a ser tomadas en cuenta para la tarea de MD, para cada escenario futuro
seleccionado. La misma est compuesta por todas las variables de inters, y
algunos campos adicionales de importancia para realizar el proceso de
tratamiento de datos.

Vista Minable operativa (VMO): Es el resultado de cargar los datos del

historial y de realizar la etapa de tratamiento de datos, con la informacin de
la VMC.

Tanto en la VMC, como en la VMO, se identifican ciertas variables llamadas

variables objetivo. Estas variables se detectan una vez planteado el
escenario futuro y la tarea de MD a realizar. Dichas variables son las que
permitirn la consecucin de los objetivos de MD, ya que las mismas son
las que se desean predecir, clasificar, calcular, inferir, en otras palabras, es
la que deseamos obtener con la tarea de MD.
Fase 2: Preparacion de los Datos
Etapas que conforman la fase 2.
 Caracterizacin de los datos del
Dominio de la aplicacin
Objetivos
Ubicar y comprender los datos asociados a el(los) escenario(s) futuro(s)
Construccion de una VMC que tenga las variables de interes para el caso de
estudio
Construccion de una VMO
Definicion de la(s) variable(s) objetivo(s) en la vista minable operativa

Productos principales
Caractersticas de los repositorios donde se encuentran los datos
VMC
VMO
Descripcin de la(s) variable(s) objetivo(s)

 Caracterizacin de los datos del

Dominio de la aplicacin
Protocolo de la etapa
Comprensin de la fuente de datos de entrada:
Comprensin de los datos asociados a las variables
Determinacin de los repositorios de datos

Construccin de la VMC:
Realizar un primer filtrado..
Establecer las relaciones entre las variables
seleccionadas (dependencia entre variables,
redundancia, variables que son producto de frmulas).
Extender la VMC
 Caracterizacin de los datos del
Dominio de la aplicacin
Protocolo de la etapa

Construccin de la VMO:
Si se encuentran en diferentes repositorios, ubicarlos
Observar la organizacin en la que estn dispuestos los datos en cada
repositorio, y como se almacenan
Definir una estrategia para unificar los datos en un solo repositorio (escoger
una herramienta, puede ser un lenguaje de procesamiento matemtico).
Integrar los formatos.
Crear la VMO resultante de la integracin de los datos asociados a las
variables escogidas en la VMC (fusin de tablas, integracin de bases de
datos, entre otros).
Definir las variables objetivo:
Identificar a qu conclusiones puede llegar el experto humano teniendo en
cuenta las entradas
Observar el objetivo en el escenario futuro seleccionado e identificar Cul
de las variables llevan a dicho objetivo?
Escoger la(s) variable(s) objetivo(s)
 Tratamiento de datos

Objetivos
Esta etapa se centra en generar datos de
calidad, es decir datos sin anomalas, sin
inconsistencias de formato, sin capturas
errneas, sin campos vacos; aplicando
mtodos de limpieza, transformacin y
reduccin sobre la vista minable operativa.
Productos principales
VMO
 Tratamiento de datos

Limpieza:
Estudiar la representacin de cada una de las
variables.
Buscar anomalas de representacin.
Definir alguna estrategia de limpieza para
erradicar dichas anomalas y obtener data
consistente.
Escoger las herramientas tecnolgicas para
realizar las operaciones de limpieza de datos
definidas.
 Tratamiento de datos

Transformacin:

Estudiar las representaciones de cada una de las variables

Identificar las representaciones que se puedan transformar en otra representacin ms
conveniente o fcil de utilizar a la hora de aplicar la tarea de MD, como por ejemplo, cambiar las
unidades de las variables para trabajar con un nico sistema de medicin. Otro ejemplo puede ser
cambiar las unidades de medicin de las variables.
Ordenar dichas transformaciones que se desean aplicar en una tabla, para observar las
equivalencias.
Aplicar la transformacin con un software seleccionado
Identificar las variables que potencialmente se pueden normalizar, un ejemplo de ello es
normalizar los valores de las variables en un rango que no sea muy grande (por ejemplo un
nmero de 0 a 1).
Definir la funcin(es) de normalizacin para cada una de las variables seleccionadas en el paso
anterior y ordenarla en tablas.
Aplicar la funcin(es) de normalizacin en las variables seleccionada
Describir en tablas cada una de las transformaciones y normalizaciones realizadas.
 Tratamiento de datos
Reduccin:

Realizar anlisis estadsticos para reducir variables que

posean una alta relacin lineal, como por ejemplo un
anlisis de correlacin.
De ser necesario, combinar variables por un mtodo
seleccionado, tal como el PCA (del ingls Principal
Component Analysis) que es considerado tambin un
mtodo para reduccin de variables.
Identificar las posibles variables que se pueden reducir.
Justificar la reduccin de las mismas
Construir la nueva vista minable con las nuevas variables
reducidas
Fase 3: Desarrollo de herramientas de
MD
Esta fase busca generar una herramienta de software que permita utilizar el
modelo de MD, en los escenarios futuros donde se identificaron su
potencial uso. El producto principal de esta fase es la aplicacin de MD
como tal, y el modelo de MD.
 Tcnicas de Minera de datos:

rboles de decisin,

Reglas de asociacin,

Redes Neuronales Artificiales,

Las tablas de decisin

 Arboles de decisin

Los rboles de decisin son unos de los

algoritmos clasificadores ms conocidos y
usados en las tareas de Data Mining, ya que
son una forma de representacin sencilla
para clasificar instancias.
 RBOLES DE DECISION

rboles de decisin son particiones secunciales de un

conjunto de datos

Objetivo: Segmentar la poblacin para encontrar grupos

homogneos segn una cierta variable de respuesta. Esta
tcnica permite representar de forma grfica una serie de
reglas sobre la decisin que se debe tomar en la
asignacin de un determinado elemento a una clase o
valor de salida.
 Tablas de decisin

Es la forma ms
simple y ms
rudimentaria para
representar la
salida de la
mquina de
aprendizaje.
 Ejemplos
Criterios
Ejemplos Qu aprendo?

Ej Alt Bar Dia EdM Patr Prec EdD Tipo RES T ---> Espera
X1 S N N S Alg $$$ N Franc S 0-10 S
X2 S N N S llen $ N Jap S 10-15 N
X3 N S N N Alg $ N Hamb N 0 S
...

X12 S S S S llen $ N Hamb N 10 S

Jose Aguilar 82
 RBOLES DE DECISION
Los rboles de decisin suelen ser empleados en tareas de clasificacin, y
tambin, aunque en menor medida, en tareas de prediccin

Ej. Acontecimientos relativos al hundimiento del Titanic

 rbol de Decisin
Puede expresar cualquier funcin a partir de sus atributos de entrada.

Un rbol de decisin es consistente para cualquier conjunto de

entrenamiento, cuando hay un camino a una hoja para uno o varios
ejemplos

Basado en la idea de tablas de la verdad:

Es una estrategia de
aprendizaje inductivo

J. Aguilar
Arboles de decisin

transformaciones
 rbol de Decisin
Para nuestro ejemplo inicial:

Patrn?

SN TiempoEspera?
S Alternativa? Hambre N
Reservacin? Viernes/Sbado? S Alternat
Bar S N S S Llueve?
SN N S

Jose Aguilar
86
 rbol de Decisin
Idea: escoger atributo "ms significativo" como raz del (sub)-rbol

Cmo?
Si hay + y - ejemplos escoger atributo que mejor los divida (mayor discriminante)
Si hay particiones con + y -, buscar un 2do atributo para seguir partiendo

Macroalgoritmo AD(ejemplos, atributos)

Si ejemplos no vacios entonces
Si ejemplos clasificados entonces
regresar (clasificacin)
de lo contrario
mejor: escoger_atributo(atributos, ejemplos)
arbol: un nuevo rbol de decisin con mejor como raz
por cada valor Vi de mejor
Subejemplos:ejemplos con mejor=Vi
Subarbol: AD(Subejemplos, atributos)
Arbol: actualizar(nueva rama con etiqueta Vi y Subarbol)
Regresa(arbol)
 Escoger un atributo
aprender reglas (clases)

Patrn es una mejor escogencia que Tipo?

Patrn? Tipo?

Lleno Francs
Nada Algo China Italiana

Basado en concepto de contenido de informacin

Parte de Info( p, n) p log 2 ( p ) n log 2 (n)

Es una medida de la entropa (grado de desorden) de los ejemplos
n: numero de ejemplos - p: numero de ejemplos +
 Escoger un atributo
aprender reglas (clases)
Patrn es una mejor escogencia que Tipo?

Patrn? Tipo?

Nada Algo Lleno Francs

China Italiana
Escoger atributo A con mas grande IG (ganancia en informacin)

Donde:
I es entropa de los ejemplos:
p n
y IG ( A) I ( , ) restov:( A)
posibles valores de A
pn pn p y n ? ver siguiente lamina
i i

p n p p n n
I( , ) log 2 log 2
pn pn pn pn pn pn
v
p i n i p ni
resto(A) I( i , )
i 1 p n pi n i p i n i
 Arbol de Decisin y Lgica de Predicado

Ei
Donde Ei es el porcentaje
Quin es pi? pi puede ser pi
Ei Ei de ejemplos clasificados
como + por el valor
v del atributo A
Una Formula general para escoger a los atributos:
Como hay que elegir el atributo con mayor informacin (menor entropa),
otra posibilidad es calcular una funcin de merito (FM)

FM(A) i 1 ri inf o(pi , n i )

v

pi % ejemplos clasificados como + en la rama i

pi ni
ri
pn
90
 Arbol de Decisin y Lgica de Predicado
r espera(r) => Patrn(r, algo) O (Patrn(r, full) Y NoHambre(r) Y
tipo(r, francs)) O (Patrn(r, full) Y NoHambre(r) Y tipo(r,
hamburguesa)) O (Patrn(r, full) Y NoHambre(r) Y tipo(r,
Japones) Y viernes/Sabado(r) )

Patrn?
NS Hambre?
Nada Algo
lleno Uso de operadores:
Tipo? N Para unir ramas O
No Si Para seguir una rama Y
S N Viernes/Sbado? S
Frances Hamburgesa
Italiano N Japones S

No Si

91
 Construccin de rboles de decisin
Se completa el rbol completando cada rama hasta cumplir un cierto compromiso:

Nmero mnimo de elementos de un

hoja.
Cobertura: Mnimo nmero (o
porcentaje) de casos posibles
cubiertos correctamente de la BD.
Precisin: Error de clasificacin
menor de un umbral puesto. Por
ejemplo: precisin del 80%. Significa,
que pararemos en esa hoja cuando el
nmero de clases clasificadas
correctamente sea mayor o igual al
80%.
 Podado de un rbol
Cmo decidir si desea
reemplazar un nodo interno con
una hoja?
Imaginemos que la verdadera
probabilidad de error en el nodo es q,
y que las N instancias son generados
por un proceso de Bernoulli con
parmetro q , de la que E son los
errores. El intervalo de confianza
viene dado por:
donde N es el nmero de
muestras, f = E / N es el
porcentaje de error observado, y
q es la tasa de error. Al igual que
antes, esto conduce a un lmite
superior de confianza para q.
Ahora usamos ese lmite superior
de confianza como una
estimacin (pesimista) para la tasa
de error e en el nodo:
Podado de un rbol
None: E = 2, N = 6, y por lo que f = 0,33. e = 0,47. tasa
de error de formacin es del 33%, se utilizar la
estimacin pesimista del 47%.
Half: E = 1, N = 2, e = 0.72.
Full: Tiene el mismo valor de e como el primero.

El siguiente paso es combinar las estimaciones de

error para estos tres hojas en la relacin entre el
nmero de ejemplos que se refieren, 6: 2: 6, lo que
conduce a una estimacin de error combinado de
0,51.
Health plan contribution: f = 5/14. e = 0.46. Debido a
que este es menor que el error de estimacin
combinada de los tres nios, ellos se podan.
Working hours per week: La estimacin de error para
la primera, con E = 1 y N = 2, es e = 0,72, y para el
segundo es e = 0,46. La combinacin de estos, 2 : 14,
conduce a un valor que es mayor que la estimacin del
error para el nodo de horas de trabajo, por lo que el
subrbol se poda y se sustituye por un nodo hoja.
Deduccin de reglas rudimentarias

Evaluando los atributos de los datos

 Modelizacin estadstica
Datos de tiempo

probabilidades
 Modelizacin estadstica
para un dia dado

Probabilidad de que sea si: 2/9 x 3/9 x 3/9 x 3/9 x 9/14 = 0.0053

Probabilidad de que sea no: 3/5 x 1/5 x 4/5 x 3/5 x 5/14 = 0.0206

Normalizacin
 REGLAS DE ASOCIACION
Nos permite predecir patrones de comportamientos futuros
sobre ocurrencias simultaneas de valores de variables. Tcnica
no supervisada

Una asociacin entre dos atributos ocurre cuando la

frecuencia con la que se dan dos o ms valores determinados
de cada uno conjuntamente es relativamente alta.

Las reglas de asociacin intentan descubrir asociaciones o

conexiones entre objetos.
ConsecuenciaAntecedente 1 Antecedente 2 Antecedente m.

Ejemplo, en un supermercado se analiza si los paales y las compotas

se compran conjuntamente.
REGLAS DE ASOCIACION: ejemplo
Gestin estante del supermercado.

Objetivo: Identificar los elementos que se compran

juntos por bastante muchos clientes.

Enfoque: Procesar los datos de punto de venta

recogidos con escneres de cdigo de barras para
encontrar dependencias entre elementos.

Una regla clsica

Si un cliente compra paales y leche, entonces es muy
probable que compre compotas.
 Reglas de Asociacin

Pueden predecir cualquier atributo, no

solo la clase, o predecir
combinaciones de atributos.

La cobertura de una regla de

asociacin es el nmero de instancias
para las cuales ella predice
correctamente (soporte).

La precisin (confianza) es el nmero

de instancias que predice
correctamente, expresado como una
proporcin de todas las instancias a las
que se aplica.
 Reglas de Asociacin

se utilizan para descubrir hechos que ocurren en

comn dentro de un determinado conjunto de
datos

Por ejemplo, en la tabla anterior con la regla:

If temperature = cool then humidity = normal

Otra regla es:

If windy = false and play = no then outlook = sunny
and humidity = high
 Reglas de Asociacin

Items con cobertura mayor o igual a 2

 Reglas de Asociacin

Las reglas se obtienen a partir de los itemsets

humidity = normal, windy = false, play = yes

Esto nos lleva a las 7 reglas potenciales:

If humidity = normal and windy = false play = yes 4/4
If humidity = normal and play = yes windy = false 4/6
If windy = false and play = yes humidity = normal 4/7
If humidity = normal windy = false and play = yes 4/6
If windy = false humidity = normal and play = yes 4/8
If play = yes humidity = normal and windy = false 4/9
If humidity=normal and windy=false and play=yes 4/12
Ejemplo de Reglas de Asociacin

Encontrar las asociaciones que se producen entre los diferentes sitios de la

pgina Web cuando los usuarios acceden a sta.

Preparacin Data

Generacin de Matriz

Algoritmo Apriori

Reglas de Asociacin
Reglas de Asociacin

XY
[/public/about.jsp ]---->/public/team.jsp

Soporte:
Soporte (X Y) = Probabilidad (X U Y)

Confianza:
Confianza (X Y) = Probabilidad (X / Y)
Reglas de Asociacin
 Reglas de Asociacin
Preparacin de Data
Registro_Log

Registro_Paginas_Site
Registro_Sesion
Reglas de Asociacin
Generacin Matriz

Sesin / #
Pgina 1 2 3 4 5 .. pginas

1 0 1 0 1 0 .. 0

2 1 0 1 1 0 .. 0

3 1 1 0 1 0 .. 0

4 0 1 1 1 0 .. 0

5 1 0 0 0 0 .. 0

6 0 1 0 0 1 .. 0

: : : : : : .. 0

: : : : : : .. 0

# sesiones 0 1 0 1 0 .. 0

S1= (0+1+1+0+1+0++0)/# sesiones

 Reglas de Asociacin
Algoritmo Apriori (matriz , soporte, confianza)
Usa conocimiento a priori de las propiedades de los tems (pginas) frecuentes que ya se
han encontrado.
Si un conjunto no puede pasar un test, todos sus sper conjuntos tambin fallarn el
mismo test
2 Sesin / Pgina 1 2 3 4 5 .. # pginas

1 1 0 1 0 1 0 .. 0

Candidatos antecedentes 2

3
1

1
0

1
1

0
1

1
0

0
..

..
0

(Sop > Soporte) 4 0 1 1 1 0 .. 0

5 1 0 0 0 0 .. 0

6 0 1 0 0 1 .. 0

: : : : : : .. 0

: : : : : : .. 0

# sesiones 0 1 0 1 0 .. 0

3 S1 S2 S5 Sn
12 Solo si conf(12) > confianza confianza=Prob (X / Y)

Confianza: hallar esa prob. Condicional desde

los nodos soportes que pasen un umbral
 Reglas de clasificacin
Las reglas de clasificacin son una alternativa popular
a los rboles de decisin,

Por ejemplo:
 Utilidad de una categora

Mide la calidad general de una particin

es una estimacin de la probabilidad de que el atributo ai tiene un

valor vij, en el grupo Cl

donde C1, C2,. . ., Ck son los k grupos; la suma exterior es de estos

grupos; las siguientes sumas interiores de los atributos ai , y sus posibles
valores vi1, vi2,. . . .
Generacin de reglas

Algunas reglas inducidas pueden

derivar de la construccin de un
rbol de decisin, siendo primero
generado el rbol de decisin y
despus trasladado a un conjunto
de reglas

Otros algoritmos se basan en el

uso de tcnicas de aprendizaje
con lgica de predicados (ILP,
Inductive Logic Programming).
(FOIL, FFOIL, CLINT, etc.)
RNA y Aprendizaje
 INTRODUCCIN A LAS RNAs
CMO LA RED NEURONAL HUMANA ESTA
DISEADA?
CMO EL CEREBRO PROCESA LA INFORMACIN?
CON QU ALGORITMOS Y ARITMTICA EL CEREBRO
CALCULA?
CMO PUEDE EL CEREBRO IMAGINAR?
CMO PUEDE EL CEREBRO INVENTAR?
QU ES PENSAR?
QU ES SENTIR?
 SISTEMA NERVIOSO

Red de Actuadore Respuest

Estimulo Receptores Neuronas
s a

J. AGUILAR 115
 MODELO BIOLOGICO
SISTEMA NEURONAL

CONTROL CENTRALIZADO DE LAS

FUNCIONES BIOLOGICAS

CEREBRO ~ 100 MIL MILLONES DE NEURONAS

Y 10000 CONEXIONES POR NEURONA

J. AGUILAR 116
 MODELO BIOLOGICO
NEURONAS: CELULAS VIVAS

CARACTERISTICAS:
ELEMENTOS SIMPLES INTERCONECTADOS
FUNCIONAMIENTO EN PARALELO, ASINCRNICA Y
NO ALGORTMICAMENTE
INTERACCIONES COMPLEJAS

J. AGUILAR 117
 NEURONA
UNIDAD FUNDAMENTAL DEL SISTEMA
NERVIOSO ESPECIALIZADAS EN CIERTAS
TAREAS

PROCESADOR DE SEALES ELCTRICAS

(DESCARGAS EN EL CUERPO CELULAR) Y
BIOQUMICAS (NEUROTRANSMISORES)

RECIBE Y COMBINA SEALES DESDE

MUCHAS NEURONAS

J. AGUILAR 118
 NEURONA

AXN: LINEA DE TRANSMISIN

DENDRITAS: ZONAS RECEPTORAS
SINAPSIS: EXCITADORAS E INHIBIDORAS
SEALES ELECTRICAS Y QUIMICAS

J. AGUILAR 119
 SINAPSIS
UNIDAD FUNCIONAL QUE
INTERRELACIONA LAS NEURONAS
NEUROTRANSMISOR: GENERA
POLARIZACIN PARA LA MEMBRANA
POSTSINPTICA
POTENCIAL POSTSINPTICO:
PUEDE SER POSITIVO (EXCITACIN)
O NEGATIVO (INHIBICIN)

J. AGUILAR 120
 REDES NEURONALES
MUCHAS CONEXIONES PARALELAS ENTRE
NEURONAS
MUCHAS CONEXIONES PROVEEN
MECANISMOS DE RETROALIMENTACIN
PARA LAS NEURONAS
ALGUNAS NEURONAS PUEDEN EXCITAR UNAS
NEURONAS MIENTRAS INHIBEN A OTRAS

J. AGUILAR 121
 REDES NEURONALES

EJECUTAN UN PROGRAMA QUE ES

DISTRIBUIDO

TIENEN PARTES PRE-HECHAS Y

OTRAS QUE EVOLUCIONAN

J. AGUILAR 122
 CAPACIDADES RED NEURONAL
Procesamiento paralelo
Adaptativa
Asociativa
Auto-organizacin
Generalizacin, clasificacin, extraccin y
optimizacin

J. AGUILAR 123
COMPARACION RED NEURONAL
Neurona Biolgica Neurona Artificial
Seales que llegan a la
sinapsis Entradas a la neurona
Carcter excitador o
inhibidor de la sinapsis de
entrada Pesos de entrada
Estimulo total de la Sumatoria de pesos por
neurona entradas
Activacin o no de la
neurona Funcin de activacin
Respuesta de la neurona Funcin de salida

J. AGUILAR 124
COMPARACION RED NEURONAL
Aspectos Computador Cerebro Humano

Unidades de CPUs 1011 neuronas

Clculo
Unidades de RAM y disco duro 1011 neuronas
Almacenamiento Y 1014 sinapsis
Ciclos Mherz 10-3 segundos

Banda Ancha Capacidad de 1014 conex.

transmisin (bits)/segundo

Actualizacin/seg. Capacidad de 1014

procesamiento
paralelo
COMO TRABAJA UNA NEURONA
ARTIFICIAL

J. AGUILAR 126
 COMO TRABAJA UNA NEURONA ARTIFICIAL

X1, X2,.., Xn son las seales de entrada y cada una pasa a travs de un
peso W, llamado peso sinptico de la conexin, cuya funcin es anloga
a la de la funcin sinptica de la neurona biolgica

El nodo sumatorio acumula todas las seales de entrada multiplicadas

por los pesos y las pasa a la salida a travs de una funcin de activacin
o transferencia f(n), (b es el sesgo).
 COMO TRABAJA UNA RED
NEURONAL
1. El conjunto de unidades de procesamiento
(neuronas formales).

2. El estado interno o de activacin de las

neuronas.

3. Las conexiones entre las neuronas.

4. Las conexiones con el ambiente.

J. AGUILAR 128
COMO TRABAJA UNA NEURONA
5. La regla de propagacin hi(t)= g(wij, xj(t))
Ej. hi(t)= j wijxj(t)

6. La funcin de activacin
ai(t)= fi(ai(t-1), hi(t))

7. La funcin de transicin o de salida

yi(t)=Fi(ai(t))

J. AGUILAR 129
APLICACIN DE TCNICAS COMPUTACIONALES EN EL ESTUDIO DE EFECTOS INTERPLACAS

Funcin de activacin
Funcin identidad o funcin lineal: Funcin lineal por tramos

Funcin escaln Funcin sigmoidal

 COMO TRABAJA UNA RED DE
NEURONAS
8. La topologa o arquitectura de la red

conexin total (todas las neuronas interconectadas)

o conexin parcial (por ejemplo, las redes de
capas).
Realimentada o unidireccional

J. AGUILAR 131
 Topologas de las RNA
Redes monocapa:
Redes con una sola capa.
Para unirse las neuronas crean conexiones laterales para conectar
con otras neuronas de la nica capa.
Redes multicapas:
Generalizacin de las anteriores donde existe un conjunto de capas
intermedias entre la entrada y la salida llamadas capas ocultas.
Pueden ser:
Propagacin hacia adelante
Propagacin hacia atrs
Redes recurrentes
Redes de alimentacin lateral
 Redes Multicapas
Capa de Entrada: est constituida por los nodos de entrada, que reciben
directamente la informacin de las fuentes externas a la red.
Capas Ocultas: no tienen contacto con el exterior ya que se encuentran
ubicadas entre la capa de entrada y la capa de salida. La cantidad de capas
ocultas depender del problema en estudio y deben especificarse en la
arquitectura.
Capa de Salida: est constituida por los nodos que transfieren la
informacin a la salida de la red y de acuerdo al tipo de problema en
estudio se determinar el nmero de neuronas de salida.
 Redes Multicapas
Redes recurrentes

Redes de alimentacin lateral

Aprendizaje

en las RNs

J. AGUILAR 135
 APRENDIZAJE
El aprendizaje de una RNA se basa en un proceso que permite que la
red aprenda a comportarse segn unos objetivos especficos.

El aprendizaje le da la capacidad a la RNA de cambiar su

comportamiento, es decir su proceso de entrada-salida, como
resultado de los cambios en el medio.

En particular, las reglas de aprendizaje son procedimientos que se

siguen para ajustar los parmetros de la red a partir de un proceso de
estimulacin por el entorno de la red

La mayora de las veces consiste en determinar un conjunto de pesos

El aprendizaje es esencial para la mayora de las arquitecturas de RNA,

por lo que la eleccin de un algoritmo de aprendizaje es algo de gran
importancia en el diseo de una red.
 APRENDIZAJE
Al finalizar la fase de entrenamiento/aprendizaje
de una RNA, se espera que la red haya aprendido
lo suficiente para resolver otro problema similar
satisfactoriamente.

No existe en la literatura una metodologa que

indique la manera de escoger el tipo o forma de
aprendizaje de la red para obtener resultados
ptimos.

Tipo de aprendizaje viene determinado por la

forma en que los parmetros se deben adaptar
J. AGUILAR 137
 MEMORIAS ASOCIATIVAS
RN ALMACENAN INFORMACIN
APRENDIDA REFLEJADA EN SUS
PESOS

AL APLICARLE UNA ENTRADA LA

RNA RESPONDE CON UNA SALIDA
ASOCIADA A DICHA INFORMACIN
DE ENTRADA

ASOCIACIN ENTRADA/SALIDA
J. AGUILAR 138
 APRENDIZAJE

MODIFICAR PESOS DE LAS

CONEXIONES DE LAS NEURONAS
(CREAR, DESTRUIR, MODIFICAR)

wij(t+1)=wij(t) + Dwij(t)

J. AGUILAR 139
 APRENDIZAJE

Clasificacin de los Algoritmos de Aprendizaje basados en su

fundamentacin conceptual
 APRENDIZAJE
A. PARADIGMAS DE APRENDIZAJE: Define como se
relaciona con su entorno. Se distinguen por el tipo
de retroalimentacin que se le ofrece al alumno.
supervisado: el crtico proporciona la salida correcta.
no supervisado, no se proporciona retroalimentacin en
absoluto.
Basado en recompensa: la crtica proporciona una evaluacin
de la calidad (el "premio") de lo hecho por el alumno.

J. AGUILAR 141
 APRENDIZAJE
En los agentes se pueden usar todas
En el caso de mltiples agentes, los mtodos
supervisados no son fciles de aplicar
Mas usado los mtodos de recompensa.
Aprendizaje basado en recompensas puede ser
dividido en dos subconjuntos:
Mtodos de aprendizaje por refuerzo: estiman funciones
de valor
Mtodos estocsticos ,dtales como la computacin
evolutiva, recocido simulado.

J. AGUILAR 142
 APRENDIZAJE

B. ALGORTMOS DE APRENDIZAJE: DEFINE

REGLAS DE APRENDIZAJE (MODIFICACIN
DE LOS PESOS)
CORRECCIN DE ERROR
BOLTZMAN
HEBBIANO
COMPETITIVO
EVOLUTIVO

J. AGUILAR 143
 SUPERVISADO
Respuesta correcta para cada ejemplo dada

SE DAN DATOS DE ENTRADA Y SALIDA

OBJETIVO

SALIDA RED DEBE CONCORDAR CON LA

DESEADA

J. AGUILAR 144
SUPERVISADO
Entrada Salida
Red

Supervisor

Algoritmo

J. AGUILAR 145
 CORRECCIN DE ERROR
CONOCIDO TAMBIEN COMO DESCENSO DE
GRADIENTE

Ek(t) = Dk(t) - Yk(t)

Dk: respuesta deseada
Yk: respuesta neurona k Yk=F(Xk)
Xk: entrada neurona k

D Wij(t)= a Ei(t) Xj(t)

a: taza de aprendizaje

J. AGUILAR 146
 CORRECCIN DE ERROR

ALGORITMO

1. CALCULAR EDO. DE LA RED (Yi)

2. CALCULAR ERROR (Ei)
3. AJUSTAR PESOS

wij(t+1)=wij(t) + Dwij(t)
J. AGUILAR 147
J(0,1)

1
0
J(0,1)

1
0
 Algoritmo de un RNA
1. Inicializacin de los pesos y umbral

2. Fase de entrenamiento
1. Presentacin de las entradas y salida deseada
2. Adaptacin de los pesos

3. Fase de Reconocimiento
1. Presentacin de una entrada dada
2. Salida reconocida
J. AGUILAR 150
 NO SUPERVISADO
(AUTOORGANIZADO)

NO RECIBE INFORMACIN DE SU ENTORNO (Se

reciben patrones sin la respuesta deseada)

CON LOS DATOS SE BUSCAN CORRELACIONES O

REGULARIDADES EN EL CONJUNTO DE ENTRADAS:
EXTRAER RASGOS
AGRUPAR PATRONES SEGN SU SIMILITUD

MAPAS AUTOORGANIZADOS

J. AGUILAR 151
 NO SUPERVISADO
(AUTOORGANIZADO)

Entrada Salida
Red

Algoritmo

J. AGUILAR 152
 HEBBIANO
MS VIEJO

DOS O MAS NEURONAS ACTIVADAS

SIMULTANEAMENTE
=> REFORZAR LA CONEXIN ENTRE ELLAS

DWij = a Yi Yj

J. AGUILAR 153
 REFORZADO
Recompensa ocasional

SUPERVISOR INDICA SI SALIDA SE AJUSTA A

LO DESEADO O NO (que bien o mal se esta
haciendo, no si es la salida deseada!!)
SUPERVISOR HACE PAPEL DE CRTICO MS
QUE DE MAESTRO (premio-castigo)
Accin ai
Agente Ambiente
Recomp. ri

EstadoJ. sAGUILAR
i+1
154
REFORZADO

J. AGUILAR 155
 REFORZADO
Particularmente tiles en los mbitos en los que exista
informacin de reforzamiento (expresado como
penalizaciones o recompensas) proporcionada despus
de una secuencia de acciones realizadas en el
ambiente.
Mtodos comunes: Q-Learning y diferencia temporal-
(TD )
Q-Learning: aprende la utilidad de llevar a cabo acciones que
me lleven a ciertos estados,
TD aprender la utilidad de estar en ciertos estados.

J. AGUILAR 156
 REFORZADO
Todos los mtodos de aprendizaje por refuerzo estn
inspirados en
frmulas de actualizacin de la utilidades esperadas
exploracin del espacio de estados.
La actualizacin es a menudo una suma ponderada de:
valor actual utilidad,
refuerzo obtenido al realizar una accin y
utilidad esperada por el siguiente estado alcanzado,
despus se realiza la accin.

J. AGUILAR 157
 Algoritmo de un RNA

1. Presentacin de las entradas

2. Calculo de la salida actual

3. Adaptacin de los pesos

J. AGUILAR 158
 Tareas de Aprendizaje
Aproximacin
Asociacin
Autoasociativa
Heteroasociativa
Clasificacin
Prediccin
Control planta:u(t),y(t) modelo:r(t),d(t) lim|d(t)-y(t)|=0

Filtraje

J. AGUILAR 159
 Modelos Neuronales
Clasificacin por tipo de aprendizaje y arquitectura

Hbridos: RBF (RADIAL BASIC FUNCTION)

Supervisados
Realimentados : feed-propagation
Unidireccionales PERCEPTRON, M RN, BOLTZMAN, backpropagation

No supervisados
Realimentados: ART, HOPFIELD
Unidireccionales: KOHONEN

Reforzados 160
 PERCEPTRN
1ER MODELO DE RED DE NEURONAS ARTIFICIALES (ROSEMBLATT
1958)
APRENDE PATRONES SENCILLOS (2 CLASES)
1 NEURONA

X1 W1

Wn

Xn

F(x)

1 Y=F(WiXi-)

-1
 PERCEPTRN

REGIONES QUE INDICA A QUE PATRN

PERTENECE CADA CLASE SEPARADAS POR UN
HIPERPLANO
=> PATRONES SEPARABLES GEOMTRICAMENTE
=> DOS ENTRADAS LINEA RECTA X2=W1X1/W2+/W2
=> TRES ENTRADAS PLANO

NO RESUELVE OR-EXCLUSIVO

J. AGUILAR 162
 PERCEPTRN
APRENDIZAJE: SUPERVISADO

ALGORTMO:
1. INICIAR PESO Y UMBRAL
2. PRESENTAR PAR ENTRADA-SALIDA
3. CALCULAR SALIDA ACTUAL
Y(t)
4. ADAPTAR LOS PESOS
Wi(t)=Wi(t)+a[d(t)-Y(t)]Xi(t)
HASTA QUE d(t)-y(t)2 valor pequeo

5. REGRESAR AL PASO 2

J. AGUILAR 163
 Modelo de Redes Neuronales

Capa 1 Capa 2 Capa 3

 Modelo de Redes Neuronales

Unidad
0 Bias 0

Capa 1 Capa 2 Capa 3

Modelo de Redes Neuronales
activacin unidad en capa

Matriz de pesos entre capa y capa

Negation:

0 1
1 0
 Ejemplo de clasificacin no lineal: XOR/XNOR

, are binary (0 or 1).

x2
x2

x1

x1
AND 1.0

0 0 0
0 1 0
1 0 0
1 1 1
 OR

-10

20 0 0 0
20 0 1 1
1 0 1
1 1 1
-30 10 -10

20 -20 20

20 -20 20

-30 -10

20
0 0 0 1 1
20 20
0 1 0 0 0
10
-20
20
1 0 0 0 0
-20 1 1 1 0 1
 Clasificacin multi-clase

Peatn Carro Motocicleta Camin

Ser , , , etc.

peatn carro motocicleta

REDES BAYESIANAS
 Redes Bayesianas
Las redes bayesianas son grafos dirigidos acclico
cuyos nodos representan variables aleatorias en
el sentido de Bayes

En el teorema de Bayes se expresa la probabilidad

condicional de un evento aleatorio A dado B en
trminos de la distribucin de probabilidad
condicional del evento B dado A y la distribucin de
probabilidad marginal de slo A. Pueden ser
cantidades observables, variables latentes, parmetros
desconocidos o hiptesis.
 Redes Bayesianas

Las aristas representan dependencias condicionales

Los nodos que no se encuentran conectados

representan variables las cuales son condicionalmente
independientes de las otras.

Cada nodo tiene asociado una funcin de

probabilidad que toma como entrada un conjunto
particular de valores de las variables padres del nodo y
devuelve la probabilidad de la variable representada
por el nodo.
Haciendo predicciones con Redes
Bayesianas

Por ejemplo, considerar la

posibilidad de una
instancia con valores
perspectivas = lluvias,
temperatura = fro,
humedad = alto, y con
viento = true.
Haciendo predicciones con Redes
Bayesianas

Para calcular la probabilidad

para jugar = no, en la red da
probabilidad:

0.367 desde el nodo Play,

0.385 desde outlook,
desde temperature 0.429,
0.250 de humidity, y
0.167 de windy
Haciendo predicciones con Redes
Bayesianas
El producto es 0,0025. El
mismo clculo para el juego
= yes es 0.0077.

Sin embargo, estos no son la

respuesta final:

las probabilidades finales

deben sumar 1,
Haciendo predicciones con Redes
Bayesianas
En realidad, son las probabilidades
conjuntas Pr [play = no, E] y Pr
[play = yes, E] donde E
representada los valores de los
atributos de la instancia que llegan
a play.

Para obtener las probabilidades

condicionales Pr [play = no | E] y Pr
[play = yes | E], normalizar las
probabilidades conjuntas
dividindolas por su suma.
Esto da probabilidad 0,245 para
jugar = no y 0.755 para jugar = yes
Aprendizaje de Redes Bayesianas

El aprendizaje, en general, de redes bayesianas

consiste en inducir un modelo, estructura y
parmetros asociados, a partir de datos.

Este puede dividirse naturalmente en dos partes:

Aprendizaje estructural. Obtener la
estructura o topologa de la red.
Aprendizaje paramtrico. Dada la estructura,
obtener las probabilidades asociadas.
 Manejo de Incertidumbre

Red bayesiana para el

manejo de incertidumbre

Caso juego: Segn la funcin MUE la mejor accin ser aquella en la cual la
razn dada entre la utilidad y la probabilidad de que el oponente obtenga
una mala jugada sea mxima.
 Modelo Matemtico de Aprendizaje
Se tiene el siguiente rbol con 13 nodos

Red bayesiana en su estado de mxima

confusin

Segn accin del adversario sea buena o no, la rama debe ser premiada (o penalizada) y las
del resto de hermanos inversamente modificadas (aprendizaje reforzado)

Para actualizar las ramas se pueden usar los siguientes valores:

pobj= 6/10 se suma (resta) a la rama evaluada para premiar (castigar)
presto=2/10 se resta (suma) al resto de ramas para penalizar (premiar)
 Aprendizaje Paramtrico

Nodos raices

Resto Nodos
 Aprendizaje Estructural

Aprendizaje de Arboles

Aprendizaje NaiveBayes
 Aprendizaje NaiveBayes

Las variables predictoras son condicionalmente independientes dada la

variable clase
t