VALIDACIN DE TCNICAS DE MIGRACIN Y HERRAMIENTAS ETCL

CALLETANA LPEZ BALETA

INSTRUCTOR
JONATHAN QUICENO VARGAS
INGENIERO DE SISTEMAS Y COMPUTACIN

SERVICIO NACIONAL DE APRENDIZAJE

PROGRAMA
ESPECIALIZACIN TECNOLGICA EN GESTIN Y SEGURIDAD DE BASE
DE DATOS
MODALIDAD VIRTUAL
2017
 INTRODUCCIN

Cuando, como sucede en todo proceso de migracin, se ha de proceder a integrar dos o ms

sistemas pueden usarse diferentes tcnicas, siendo las ms comunes:

Perfilado de datos: permite explorar los propios datos, agregando a los de origen las reglas
necesarias. Esta tcnica hace posible tambin el obtener resultados acerca de duplicidades o errores
en los datos.

Limpieza de datos: que puede llevarse a cabo empleando para ello una herramienta de Data
Quality que ayude a eliminar errores, incorrecciones o duplicidades, entre otras inconsistencias; y
que, al mismo tiempo, enriquezca y homologue los datos, preparndolos para el sistema de destino.

Conexin a distintas fuentes de datos: una tcnica que precisa de una herramienta ad hoc que
garantice el hacerlo en condiciones de simultaneidad.

Las ventajas que proporciona el usar estas tecnologas se traducen en un aumento de la precisin,
reduccin del ndice de errores, mayor agilidad y optimizacin del tiempo; ya que su automatizacin
evita los procesos manuales, algo que supone su principal beneficio.

Qu se debe tener en cuenta para la eleccin del software de ETL

Existen muchas herramientas de ETL diferentes, como tambin hay infinidad de bases de datos,
sistemas y organizaciones distintas. En el momento de seleccionar la que liderar la migracin e
integracin de datos pueden tomarse en consideracin las recomendaciones de Gartner en cuanto
a las cualidades que la herramienta ha de presentar:

Adaptabilidad a distintos sistemas operativos y plataformas hardware.

Capacidades de gestin de datos: en cuanto a minera, perfilado y calidad.

Habilidades para monitorizar, gestionar y controlar los procesos de integracin de datos: en lo

relativo a gestin de errores, recoleccin de estadsticas de ejecucin, controles de seguridad, etc.

Capacidades SOA.

Capacidades de diseo y entorno de desarrollo: como soporte para test, representaciones grficas,
modelos y flujos de datos y flujos de datos, etc.
 Cualidades de arquitectura e integracin referidas al grado de interoperabilidad, compactacin y
consistencia de los diferentes componentes que la formen.

Aunque la eleccin de un software de ETL no es sencilla, su repercusin en el curso del proyecto es

decisiva. Una decisin correcta pasa por la automatizacin y en base a ella quedan garantizados:

Un aumento en la velocidad de desarrollo del proyecto.

La descentralizacin del control de la ejecucin y de todos los procesos.

Una mayor agilidad en el negocio.

Mayor precisin.

Minimizacin de errores. HERRAMIENTAS ETL

IBM Cognos Data Manager

Oracle Warehouse Builder

Microsoft Integration Services

Informatica PowerCenter

IBM Cognos Data Manager

Caractersticas:

IBM Cognos Data Manager proporciona funciones dimensionales de extraccin, transformacin

y carga (ETL) para conseguir una inteligencia empresarial de alto rendimiento.

Se puede integrar con la GUI de IBM Data Manager Designer para disear y crear prototipos

Se pueden ejecutar compilaciones y secuencias de trabajos en sistemas remotos desde un sistema

de entorno de diseo de Data Manager.

Data Manager Engine se tiene que instalar en un sistema UNIX o Linux.

ORACLE DATABASE 11G ORACLE WAREHOUSE BUILDER ENTERPRISE ETL OPTION

Caracteristicas:

La opcin empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opcin que
puede ser adquirida con Oracle Warehouse Builder como parte de la edicin empresarial del motor
de base de datos.

Permite ejecutar cargas de datos usando mtodos rpidos y eficientes tales como el Oracle Data
Pump y transportable tablespaces.

Permite prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los
metadatos del sistema ETL

Es posible generar un modelo para configurar los ambientes de desarrollo, pruebas y produccin
a niveles separados.

Microsoft SQL Server Integration Services

Caracteristicas:

Puede extraer y transformar datos de diversos orgenes como archivos de datos XML, archivos
planos y orgenes de datos relacionales y, despus, cargar los datos en uno o varios destinos. Se
pueden realizar tareas de migracin fcilmente usando tareas visuales.

Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB.

Puede conseguir conectividad mediante CLI va DLLs tipo ensamblador.

Informatica PowerCenter:

Caracteristicas:

Calidad de datos generalizada para todos los grupos de inters, proyectos y aplicaciones utilizando
una sola plataforma unificada.

Descubrimiento y anlisis de datos, deteccin de riesgos ocultos, localizacin de problemas

estructurales y detencin de la propagacin de los problemas de calidad.

Acceso, integracin y entrega de los datos rpidamente, de forma rentable y sin codificacin
manual.
 Normalizacin de los datos en los formatos de tabla de destino y carga en los nuevos sistemas.

Garanta de acceso y entrega de datos crticos a toda la empresa donde y cuando se necesiten,
asegurando la conectividad sin lmites a una amplia variedad de fuentes de datos.

Aplicacin de test de validacin para garantizar que los datos se mantienen libres de daos y que
no han sufrido menoscabos durante su traslado o transformacin.

Interesantes opciones de integracin de metadatos, que marcan la diferencia con otras

herramientas de migracin de bases de datos.

Visibilidad y control para todos los usuarios de negocio, que les otorga la libertad necesaria para
crear, administrar y compartir informacin empresarial de carcter crtico contextualizada durante
el proceso de migracin.

Enmascaramiento de datos sensibles efectivo antes de producirse el traslado a los nuevos sistemas
de destino.

Creacin de subconjuntos seguros de datos de produccin procedentes de grandes bases de datos

sin restricciones.

Extraccin rpida de datos de los sistemas de legado con cero impacto en el desempeo operativo
durante el proceso de migracin de datos.
FACILIDAD DE USO

IBM: Se puede integrar con la GUI de IBM Data Manager Designer pero este es un mdulo
aparte.

Oracle: Fcil cuando se trata de informacin almacenada en bases de datos Oracle, debido a las
herramientas Data Pump y transportable tablespaces, pero no ofrece mucha compatibilidad a
otras BD.

Microsoft: Se pueden realizar tareas de migracin fcilmente usando tareas visuales.

PowerCenter: Tiene una GUI fcil de utilizar, pero requiere entrenamiento para aprovecharla.
SOPORTE:

IBM: Soporte mundial contratando en paquete.

Oracle: Va soporte local Oracle Latinoamrica.

Microsoft: Soporte va plataforma TechNet.

PowerCenter: Soporte mundial va web y consultora

 VELOCIDAD

IBM: Muy rpido cuando se trabaja con DB2 sin embargo la capa de compatibilidad disminuye la
velocidad de conexin con distintos manejadores de base de datos.

Oracle: La velocidad es proporcional al servicio Oracle en el cual este trabajando.

Microsoft: La velocidad es proporcional al servicio MSSQL en el cual este trabajando.

PowerCenter: Herramienta ms rpida gracias a PushDown, sin embargo los cambios son en
momento y no permite hacer Rollback a un estado anterior.

CALIDAD DE LA INFORMACION

IBM: Mediante Cognos Data Manager Packages se pueden incorporar herramientas para DQ.

Oracle: Permite DQ mediante el uso de Oracle Warehouse Builder Data Profiling Features.

Microsoft: Requiere del software SQL Server Data Quality Services para ofrecer herramientas DQ.

PowerCenter: Ofrece DQ a travs de otro producto llamado Informatica Data Quality.

MONITOREO

IBM: Maneja registro de histricos.

Oracle: Tiene herramientas prcticas y extensivas de monitoreo y registro histrico.

Microsoft: Tiene herramientas prcticas y extensivas de monitoreo y registro histrico.

PowerCenter: Tiene herramientas prcticas y extensivas de monitoreo y registro histrico.

CONECTIVIDAD

IBM: Cualquier conexin ODBC, DB2, para importacin a DB2, cubos de informacin T1MAP.

Oracle: Solamente compatible con bases de datos Oracle mismas que la instalada en el
DataWarehouse

Microsoft: Bases de datos SQL SERVER, ACCESS, ADO.NET

PowerCenter: Varias bases de datos, archivos planos, xml, Excel, servicios web puede exportar
como servicio web.