CICLO DE VIDA DEL

ANALISIS BIG DATA

 Ciclo de vida del análisis de Big Data

El Analisis de Big Data se diferencia del Analisis de datos tradicional

principalmente relacionado con las caracteristicas de Volumen, Velocidad y
Variedad de los datos procesados.

A fin de abordar las circustancias y requisitos concretos que implica el analisis y la

analitica de Big Data, se requiere un proceso paso a paso, que permita orgizar las
tareas relacionadas con la Recoleccion, Procesamiento, Produccion y
Reutilizacion de los datos.
 Etapas del ciclo de Vida
1. Evaluación del caso empresarial
2. Identificación de datos
3. Adquisición y filtrado(filtering) de datos
4. Extracción de datos
5. Validación y limpieza(cleansing) de datos
6. Agregación y representación de datos
7. Análisis de datos(Data Analysis)
8. Visualización de datos
9. Usos de los resultados del análisis
 Etapa 1: Evaluación del Caso Empresarial
 Todo Ciclo de vida de analisis de Big data debe comenzar con un alcance empresarial bien
definido y un entendimiento claro de la Justificacion, Motivacion y Metas de la ejecucion
del analisis.

 En la etapa de evaluación del caso empresarial es necesario Crear, Evaluar y Aprobar un

caso empresarial antes de proceder con las tareas reales y prácticas de análisis.

 La evaluación de un caso empresarial de análisis de Big Data ayuda a las personas

encargadas de Tomar las Decisiones a entender los Recursos Empresariales qué se
necesitaran y a saber que retos empresariales se enfrentaran durante el análisis.

 La identificacion mas detallada de los KPI durante esta etapa ayuda a determinar los
objetivos y alcanzar las metas

 Para que un problema empresarial sea considerado un Problema de Big Data, debe estar
relacionado con una o mas caracteristica de Big Data.

 Otro resultado de esta etapa es la Determinacion del Presupuesto necesario para llevar
acabo el proyecto de analisis.
 Etapa 2: Identificación de Datos

La etapa de identificación de datos esta orientada a identificar los

datasets necesarios para el proyecto de análisis, así como las fuente de
los mismos.

Identificar una amplia variedad de Fuentes de Datos puede aumentar

la probabilidad de encontrar Patrones y Correlaciones ocultos.

Los datasets requeridos y sus fuentes pueden ser internos o externos

de la empresa .

Datasets Internos : Se compila y combina una Lista ( Data Marst y

Sistemas Operacionales )
Dataset Externos : Se compila y combina una Lista de posibles
proveedores externo de datos ( Mercado de Datos )
 Etapa 3: Adquisición y Filtrado(filtering) de Datos

 Se recopilan los datos de todas las fuentes de datos identificadas en la

etapa anterior, luego, los datos son sometidas al filtrado (filtering)
automático de Datos Corruptos o Datos Sin Valor para los objetivos del
análisis.

 Los Datos Clasificados como Corruptos pueden incluir registros de valores

faltantes, sin sentido o tipos de datos invalidos.

 Tanto los Datos Internos como Externos deben ser guardados una vez que
se generan o entran en la empresa.
Para los Analisis por Lotes, los datos se guardan antes del analisis.
En el caso de Analisis en Tiempo Real, los datos primero son analizados, y
luego guardados en disco.
 Etapa 3: Adquisición y Filtrado(filtering) de Datos

Se agrega metadata a los datos provinientes

de fuentes Internas y Externas
 Etapa 4: Extracción de Datos

 La etapa extracción de datos, esta orientada a extraer distintos datos y a

convertirlos en un formato que la solucion subyacente de Big Data pueda
usar para el analisis de datos.

 El alcance de la extraccion y la conversion requeridass dependera de los

tipos de analiticas y las acapacidades de la soluccion de Big Data

 La extracción de datos es una actividad de recuperación de datos con el

objetivo de obtener o extraer información estructurada o
semiestructurada
 Etapa 4: Extracción de Datos

• En palabras resumidas, la extracción de datos es una actividad de

recuperación de datos con el objetivo de obtener o extraer información
estructurada o semiestructurada desde documentos legibles por una
computadora para luego ser utilizados con X o Y finalidad.
 Etapa 5: Validación y Limpieza (cleansing) de Datos

 Los Datos invalidos pueden producir sesgo y errores en los resultados de

los analisis. Los datos de entrada del Analisis de Big Data pueden no estar
estructurados y no haber sido validados.
 La etapa de Validacion y Limpeza de Datos esta orientada a establecer
normas de validacion, a menudo complejas, y a eliminar cualquier dato
invalido conocido.
 La Validacion de Datos puede ser usada para examinar dataset
interconectados con el fin de completar datos validos faltantes.

Para el Analisis por Lotes, pueder realizar validacion y limpieza de datos

por medio de una operacion ETL offline.
Para la Analitica en tiempo Real, se requiere un sistema basado en
memoria mas complejo para validar y limpiar los datos en la fuente.
 Etapa 5: Validación y Limpieza (cleansing) de Datos

Los métodos mas usados para aplicar la limpieza y validación de datos a un Data
Set son los siguientes:
Análisis
Transformación de Datos
Eliminación de duplicados
Método Estadístico

“¡Solo Explicare el método estadístico!”

 Etapa 6: Agregación y Representación de Datos

 La etapa de Agregacion y Representacion de Datos esta orientada a la

integracion de multiples datasets para llegar a una vista unificada.

1. Estructura de los Datos : Aunque el formato de los datos puede ser el

mismo, el modelo de datos puede ser diferente.
2. Semanatica : Un valor etiquetado de forma difrente en dos datasets
diferentes puede significar lo mismo; por ejeemplo “sumame “ y “last
name “

Ejemplo sencillo de Agregacion de Datos, en donde dos datasets son

recopilados usando el campo ID
 Etapa 7: análisis de datos (data analysis)
 La etapa de Análisis de Datos esta orientada a realizar la tarea real de analisis,
lo cual involucra uno o mas tipos de Analitica.

 El enfoque adoptado para ejecutar esta etapa se puede clasificar como

Analisis Confirmatorio y Analisis Exploratorio este ultimo esta relacionado con
la Data Mining.

1. Analisis Confirmatorio de datos : Enfoque Deductivo ( Hipotesis )

La Causa del fenomeno investigado

1. Analisis Exploratorio de Datos : Enfoque Inductivo

Los datos son explorados , para Compreder las causas
 Etapa 8: Visualización de Datos

La etapa de Visualización de Datos esta orientada a utilizar

técnicas y herramientas de Visualización de Datos para
comunicar gráficamente el resultado del análisis, de forma
que los usuarios del negocio puedan interpretarlos
efectivamente

 El analizar cantidades masivas de datos y hallar información

útil Puede tener poco valor si los únicos que pueden
entender los resultados son los analistas.

Los resultados pueden ser presentados de diversas formas,

lo cual puede afectar si interpretacion.
 Tipos de Visualización de Datos

Filtrar
Resumir y sintetizar información
Ordenar
Describir y caracterizar distribuciones
Encontrar anomalías
Encontrar agrupaciones
Detectar correlaciones
 formas de visualizar los datos
• Gráfico de Barra
• Tablas
• Gráfico Circular
• Nube de palabras
• Infograma
• Gráficos de Línea
 Etapa 9 : Uso de los resultados del análisis

La etapa de Uso de los Resultados del Análisis esta orientada a

determina como y cuando se pueden aprovechar los datos
procesados de análisis.

 Para la Toma de Desiciones Empresariales ( Dashboard )

 Los resultados del analisis generan “ Modelos “ que encapsulen

nueva informacion sobre la naturaleza de los patrones y relaciones
que existen en los datosque fueron analizados

Un modelo pueden ser usados para mejorar la logica del proceso
empresarial y la del sistema de aplicaciones, y pueden conformar
la base de un nuevo sistema o software
 Organice las etapas del ciclo de Big Data
Visualización de datos 1. ______________________
Extracción de datos 2. ______________________
Identificación de datos 3. ______________________
Validación y limpieza(cleasing) de datos
4. ______________________
Adquisición y filtrado(filtering) de datos
5. ______________________
Uso de los resultados del análisis
Agregación y representación de datos
6. ______________________
Evaluación del caso empresarial 7. ______________________
Análisis de datos(Data Analisys) 8. ______________________
9. ______________________