You are on page 1of 57

1/57

Una Introducci
Una Introducci

n a la Computaci
n a la Computaci

n
n
Grid
Grid
Grupo de Arquitectura de Sistemas Distribuidos
Departamento de Arquitectura de Computadores y Automtica
Universidad Complutense de Madrid
Ignacio Martn Llorente
asds.dacya.ucm.es/nacho
5 de diciembre de 2006
Facultade de Informtica
Universidade da Corua
2/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Visin Global de la Computacin Grid
Describir la tecnologa existente para gestionar recursos
distribuidos dentro de una organizacin
Definir infraestructura grid
Describir las componentes mnimas para desplegar infraestructuras
grid
Enumerar los organismos de estandarizacin existentes
Mostrar ejemplos de infraestructuras grid
Describir modelos de programacin para el grid
Mostrar ejemplos de aplicaciones portadas al grid
Objetivos de la Presentaci Objetivos de la Presentaci n n
3/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
1. Plataformas de Computacin Paralela y Distribuida
2. Tecnologa Grid
3. Infraestructuras Grid
4. Migracin de Aplicaciones al Grid
Contenidos Contenidos
Visin Global de la Computacin Grid
4/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
1.2. Sistemas de Gestin de Recursos Distribuidos
2. Tecnologa Grid
3. Infraestructuras Grid
4. Migracin de Aplicaciones al Grid
Contenidos Contenidos
1. Plataformas de Computacin Paralela y Distribuida
5/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
Ejecucin eficiente de aplicaciones intensivas en datos o computacin
Plataformas de Computaci Plataformas de Computaci n Paralela y Distribuida n Paralela y Distribuida
Entornos HPC (High Performance Computing)
Su objetivo es reducir el tiempo de ejecucin de una nica aplicacin
paralela de memoria compartida o distribuida
Su rendimiento se mide en nmero de operaciones en punto flotante por
segundo
reas de aplicacin: CFD, meteorologa
Entornos HTC (High Throughput Computing)
Su objetivo es aumentar el nmero de ejecuciones por unidad de tiempo
Su rendimiento se mide en nmero de trabajos ejecutados por segundo
reas de aplicacin: HEP, bioinformtica, finanzas
Tipos de Entornos de Computaci Tipos de Entornos de Computaci n n
6/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Alternativas Centralizadas
Alternativas Distribuidas
Tipos de Plataformas de Computaci Tipos de Plataformas de Computaci n n
Clusters dedicados
Clusters no dedicados
Servidores SMP
Servidores MPP
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
7/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Arquitecturas de memoria compartida (SMP) o distribuida (MPP)
Perfil de Aplicacin
Ejecucin eficiente de aplicaciones HPC y HTC
Ventajas
Interconexin con ancho de banda alto y latencia baja
Acceso uniforme al sistema gracias a una nica copia del sistema
operativo
Inconvenientes
Baja escalabilidad (para SMPs)
Modelos complejos de programacin (para HPC en MPPs)
Precio alto
Servidores HPC ( Servidores HPC (High High Performance Performance Computing Computing Servers Servers) )
Sistema de Colas Batch
NQE
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
8/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Clusters Dedicados Clusters Dedicados
Cluster dedicado y homogneo de PCs o estaciones interconectados por
medio de una red de rea de sistema (Giganet, Myrinet)
Perfil de Aplicacin
Ejecucin eficiente de aplicaciones HTC y HPC de grano grueso
Ventajas
Mejor relacin coste/rendimiento para aplicaciones HTC
Mayor escalabilidad
Inconvenientes
Requieren modelos de programacin de memoria distribuida
(libreras de paso de mensajes como MPI) para aplicaciones HPC
Sistema de Gestin de Recursos
PBS
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
9/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Clusters no Clusters no Dedicados Dedicados
Cluster no dedicado y heterogneo de PCs o estaciones
interconectados por medio de una red de rea local (Fast ethernet)
Perfil de Aplicacin
nicamente ejecuta aplicaciones HTC
Ventajas
Mnima relacin coste/rendimiento para aplicaciones HTC
Mayor escalabilidad
Inconvenientes
Interconexin con ancho de banda bajo y latencia alta
Requiere capacidades de gestin adaptativa para usar los tiempos
ociosos de los recursos dinmicos
Sistema de Gestin de Carga
Condor
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
10/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Evoluci Evoluci n de los Entornos de Computaci n de los Entornos de Computaci n n
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
11/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
Evoluci Evoluci n de los Entornos de Computaci n de los Entornos de Computaci n n
12/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
1. Plataformas de Computacin Paralela y Distribuida
1.1. Entornos de Computacin
Evoluci Evoluci n de los Entornos de Computaci n de los Entornos de Computaci n n
13/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Gesti Gesti n de Plataformas de Computaci n de Plataformas de Computaci n n
Las plataformas de computacin se gestionan por medio de diferentes
sistemas de gestin de recursos distribuidos (DRM systems):
Sistemas de Colas Batch para servidores HPC
Sistemas de Gestin de Recursos para clusters dedicados
Sistemas de Gestin de Carga para clusters no dedicados
Capacidades de los Sistemas DRM Capacidades de los Sistemas DRM
Los sistemas DRM comparten muchas capacidades:
Colas batch
Planificacin de trabajos
Gestin de recursos
Beneficios de los Sistemas DRM Beneficios de los Sistemas DRM
Sus beneficios en minimizacin de costes y maximizacin de
rendimiento se deben fundamentalmente a la mayor utilizacin de los
recursos
1. Plataformas de Computacin Paralela y Distribuida
1.2. Sistemas de Gestin de Recursos Distribuidos
14/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Sun Microsystems
SGE
Cray
NQE
University of
Wisconsin
Condor
Altair
PBS Pro
IBM
Load Leveler
Altair
Open PBS
Platform Computing
LSF
OEM Proprietary Open Source Independent
Suppliers
Sistemas DRM Sistemas DRM
1. Plataformas de Computacin Paralela y Distribuida
1.2. Sistemas de Gestin de Recursos Distribuidos
15/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Silos Verticales de Computaci Silos Verticales de Computaci n dentro de la Organizaci n dentro de la Organizaci n n
Los sistemas DRM no proporcionan un interfaz y marco de seguridad
comunes y, por tanto, su integracin no es posible
La falta de interoperatividad implica la existencia dentro de la misma
organizacin, de plataformas independientes de computacin (silos
verticales) responsables de funciones distintas que:
Requieren habilidades especficas de administracin
Incrementan los costes operacionales
Generan sobre-aprovisionamiento y desbalanceo global de carga
Local
Workload
Manager 1
Local
Workload
Manager 2
Local
Workload
Manager m
1. Plataformas de Computacin Paralela y Distribuida
1.2. Sistemas de Gestin de Recursos Distribuidos
16/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Incapaces de Interconectar Recursos de Diferentes Organizaciones Incapaces de Interconectar Recursos de Diferentes Organizaciones
Estas tecnologas no son indicadas para el despliegue de
infraestructuras computacionales donde los recursos estn repartidos
diferentes dominios de administracin, cada uno con su propia
poltica de seguridad y sistema DRM
INTRANET
INTRANET
INTRANET
INTRANET
INTERNET
Grid Computing
1. Plataformas de Computacin Paralela y Distribuida
1.2. Sistemas de Gestin de Recursos Distribuidos
17/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
2. Tecnologa Grid
1. Plataformas de Computacin Paralela y Distribuida
2. Tecnologa Grid
2.1. Definicin y Filosofa
2.2. Viabilidad Tecnolgica
2.3. Tecnologa Grid
2.4. Organismos de Estandarizacin
2.5. El Globus Toolkit
3. Infraestructuras Grid
4. Migracin de Aplicaciones al Grid
Contenidos Contenidos
18/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Definici Definici n de Infraestructura Grid n de Infraestructura Grid
Una infraestructura grid ofrece una capa comn para poder integrar
estas plataformas computacionales no compatibles (silos
verticales) por medio de la definicin de un conjunto consistente de
interfaces para acceder y gestionar recursos compartidos
Los servicios grid incluyen, entre otros, descubrimiento y
monitorizacin de recursos, asignacin y gestin de recursos,
infraestructura de seguridad y transferencia de ficheros
Local
Workload
Manager
GRAM
MDS RFT
Local
Workload
Manager 1
Local
Workload
Manager
GRAM
MDS RFT
Local
Workload
Manager 2
Local
Workload
Manager
GRAM
MDS RFT
Local
Workload
Manager m
2. Tecnologa Grid
2.1. Definicin y Filosofa
19/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Ian Foster
What is the Grid? A Three Point Checklist (2002)
Un Grid es un sistema que...
1) coordina recursos que no estn sujetos a un control centralizado...
2) usando protocolos e interfaces estndar, abiertos y de propsito general...
3) para proporcionar calidades de servicio no triviales.
La Filosof La Filosof a Grid a Grid
2. Tecnologa Grid
2.1. Definicin y Filosofa
La Tecnolog La Tecnolog a Grid es Complementaria a las Anteriores a Grid es Complementaria a las Anteriores
Interconecta recursos en diferentes dominios de administracin
respetando sus polticas internas de seguridad y su software de gestin
de recursos en la Intranet
Una nueva tecnologa dentro del rea global de Computacin de Altas
Prestaciones, para satisfacer las demandas de determinados perfiles
de aplicacin
20/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
1986 to 2000
Computers: x 500
Networks: x 340,000
2001 to 2010
Computers: x 60
Networks: x 4000
Moores Law vs. storage improvements vs. optical improvements. Graph from Scientific American (J an-2001)
by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins.
La capacidad de almacenamiento se dobla cada 12 meses
El ancho de banda de red se dobla cada 9 meses
El rendimiento de un procesador se dobla cada 18 meses
Conclusiones:
Un nico sistema no ser capaz de analizar los datos que almacenen sus discos
Un nico centro no podr analizar el volumen de informacin generado
La red permitir de forma eficiente usar recursos distribuidos
2. Tecnologa Grid
2.2. Viabilidad Tecnolgica
21/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
2. Tecnologa Grid
2.3. Tecnologa Grid
Globus Toolkit (www.globus.org)
gLite (glite.web.cern.ch/glite/)
UNICORE (www.unicore.org/)
OMII (http://www.omii.ac.uk/)
GRIA (www.gria.org)
Estndar de hecho para el despliegue de soluciones grid, incorpora gran parte de los
estndares actuales
Usado en la mayora de las infraestructuras actuales
Cdigo Open-Source, licencia Apache 2.0
Comunidad Open-Source dev.globus (basada en la comunidad Apache)
Existe versin comercial (UNIVA)
22/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
2. Tecnologa Grid
2.4. Organismos de Estandarizacin
European Telecommunications Standards Institute (www.etsi.org)
Organizacin independiente de desarrollo de estndares y sin nimo de lucro
Se centra fundamentalmente en los aspectos de interoperabilidad requeridos
para la siguiente generacin de infraestructuras
Open Grid Forum (www.ogf.org) = GGF + EGA
Grupos de trabajo, dirigidos por la comunidad, que estn desarrollando una
serie de documentos tcnicos semejante a los RFCs (Request for Comments)
de IETF's, que documentan los estndares de Internet
Servicios OGSA sobre estndares y APIs de OASIS
OASIS (www.oasis-open.org)
Organizacin internacional sin nimo de lucro que promueve estndares
industriales para el entorno e-business
Servicios web necesarios para construir la arquitectura OGSA: WSRF,
WSDM, WSS
Organismos Principales
Nuevos Organismos
23/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
2. Tecnologa Grid
2.4. Organismos de Estandarizacin
World Wide Web Consortium (www.w3.org)
Organizacin internacional que tiene como objetivo promover protocolos
comunes e interoperables en la Web.
Infraestructura de bajo nivel: SOAP, WSDL
Internet Engineering Task Force (www.ietf.org)
Comunidad internacional dedicada a la evolucin de la arquitectura de
Internet y a su operacin de forma fluida
Perfil del certificado proxy X.509
Distributed Management Task Force(www.dmtf.org)
Organizacin de base que tiene como objetivo desarrollar estndares para la
gestin e integracin de tecnologas para la empresa.
Common Information Model (CIM) y de Web-Based Enterprise Management
(WBEM).
Otros Organismos
Otros Relacionados
24/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
2. Tecnologa Grid
2.4. Organismos de Estandarizacin
META-PLANIFICADOR
RECURSO 1
DRM 1
Middlewaregrid
RECURSO 2
DRM 2
Middlewaregrid
RECURSO n
DRM n
Middlewaregrid
CLI & API CLI & API CLI & API
Especificaciones/Recomendaciones en Aplicaciones
OGF DRMAA-WG
OGF SAGA-RG
OGF J SDL-WG
OGF GridRPC-WG
Recomendaciones
en Planificacin
OGF GSA-RG
Especificaciones/Recomenda
ciones en Computacin
OGF WSRF (W3C..)
OGF GRAAP-WG
OGF OGSA-BES-WG
OGF OGSA-RSS-WG
OGF OGSA-HPCP-WG
OGF Grid-FTP
Especificaciones en Acceso DRM
OGF DRMAA-WG
Especificaciones/Recomendaciones en Datos
OGF OGSA-D-WG
OGF OGSA-DMI-WG
OGF GFS-WG
APLI m APLI 1 APLI 2
Especificaciones para Acceso a Recursos
OASIS WSRF
Ejemplo de Estndares
25/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Permite compartir recursos localizados en diferentes dominios de
administracin, con diferentes polticas de seguridad y gestin de
recursos
Globus es
un middleware software
un conjunto de libreras, servicios y APIs
Globus no es...
una herramienta de usuario o planificador
una aplicacin
El Globus Toolkit, un Est El Globus Toolkit, un Est ndar de Hecho en Computaci ndar de Hecho en Computaci n Grid n Grid
2. Tecnologa Grid
2.5. El Globus Toolkit
26/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Componentes Principales del Globus Toolkit Componentes Principales del Globus Toolkit
2. Tecnologa Grid
2.5. El Globus Toolkit
27/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Applications
Globus Services
Metacomputing
Directory
Service
GRAM
Globus
Security
Interface
Replica
Catalog
GASS
GridFTP
Local Resources
(job managers)
LSF Condor MPI SGE PBS
Grid Tools
Condor-G
MPI/G
Nimrod/G
GridWay
I/O
High Level Services
GrADS CrossGrid LCG
Fork
Estructura en Capas de una Infraestructura Grid Basada en Globus Estructura en Capas de una Infraestructura Grid Basada en Globus
2. Tecnologa Grid
2.5. El Globus Toolkit
28/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
GLOBUS GLOBUS
GridWay
Resultados Resultados
PBS SGE
Local Job Managers
Grid
Middleware
.c
#include <drmaa.h>
.sh
#!/bin/sh
Modelo de Gesti Modelo de Gesti n de Recursos en un Grid n de Recursos en un Grid
Grid Job
Manager
2. Tecnologa Grid
2.5. El Globus Toolkit
29/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
2. Tecnologa Grid
2.5. El Globus Toolkit
Job termination
Cmo recupero la salida?
Job migration
Existe un recurso mejor?
Job monitoring
Cmo va la ejecucin?
Job submission Cmo envo mi trabajo?
Resource preparation
Qu necesito?
Resource selection
Dnde ejecuto mi trabajo?
1.- Pasos en la Planificacin de un Trabajo
3.- Variabilidad en un Grid
Disponibilidad Dinmica
Adiciny exclusin de recursos
Cancelacinde trabajos
Precio Dinmico
Hora del da
Carga del recurso
Carga Dinmica
Recursos compartidos
Recursos ociosos puedensaturarse
Grid
Grid
Alta Tasa de Fallos
Red
Recurso
2.- Caractersticas de un Grid
Mltiples dominios de administracin y autonoma
Heterogeneidad
Escalabilidad
Variabilidad
30/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
GridWay Proporciona Desacoplamiento entre las Aplicaciones y las GridWay Proporciona Desacoplamiento entre las Aplicaciones y las
Plataformas Computacionales Subyacentes Plataformas Computacionales Subyacentes
Local
Workload
Manager
User1
GRAM
MDS RFT
GLOBUS GRID INFRASTRUCTURE
Local
Workload
Manager 1
GridWay
Workload
Manager
App1 Appn
Userm
GridWay
Workload
Manager
App1
Appn
Local
Workload
Manager
GRAM
MDS RFT
Local
Workload
Manager 2
Local
Workload
Manager
GRAM
MDS RFT
Local
Workload
Manager m
2. Tecnologa Grid
2.6. Ejemplos de Infraestructuras
31/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
3. Infraestructuras Grid
1. Plataformas de Computacin Paralela y Distribuida
2. Tecnologa Grid
3. Infraestructuras Grid
3.1. Infraestructuras Grid entre Socios
3.2. Evolucin de la Computacin Grid
3.3. Ejemplos con el Globus Toolkit
3.4. Iniciativas Relacionadas
4. Migracin de Aplicaciones al Grid
Contenidos Contenidos
32/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
3. Infraestructuras Grid
3.1. Infraestructuras Grid entre Socios
Tipos de Infraestructura Grid Tipos de Infraestructura Grid
Entornos Grid desacoplados
Recursos heterogneos, dinmicos y autnomos interconectados por medio de redes
pblicas
Entornos Grid acoplados
Recursos homogneos, dedicados y control centralizado interconectados por medio
de redes dedicadas
Acceso puntual a ms recursos
Mayor colaboracin y comparticin de recursos entre varios centros
Creacin de organizaciones virtuales
Beneficios Beneficios
33/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Comunidad de Madrid: Red Telemtica de Investigacin
1 Gbps
3. Infraestructuras Grid
3.1. Infraestructuras Grid entre Socios
34/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Espaa: RedIris-2
3. Infraestructuras Grid
3.1. Infraestructuras Grid entre Socios
35/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Europa: Geant
3. Infraestructuras Grid
3.1. Infraestructuras Grid entre Socios
36/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
www.GRIDIMadrid.org
UCM UCM
Infraestructura de Investigacin
3. Infraestructuras Grid
3.1. Infraestructuras Grid entre Socios
37/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
www.Irisgrid.es
Infraestructura de Investigacin
3. Infraestructuras Grid
3.1. Infraestructuras Grid entre Socios
38/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
www.eu-egee.org
Infraestructura de Produccin
3. Infraestructuras Grid
3.1. Infraestructuras Grid entre Socios
39/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Etapas en la Evoluci Etapas en la Evoluci n de la Computaci n de la Computaci n Grid n Grid
Fuente: Platform Computing, The Evolution Of Grid: The Three Stages of Grid Computing.
Available at http://www.platform.com/grid/evolution.asp
3. Infraestructuras Grid
3.2. Evolucin de la Computacin Grid
40/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Recursos
proporcionados por
proveedores de
servicios externos
Recursos distribuidos en
diferentes organizaciones o
dominios de administracin
gestionados por diferentes
sistemas DRM
Recursos internos
gestionados por
diferentes sistemas
DRM que podran
estar distribuidos
geogrficamente
Infraestructura
Flexibilidad para
ajustar la capacidad
Acceder a capacidad
ilimitada
Transformar costes
TIC fijos en variables
Acceder a ms recursos
para satisfacer picos de
demanda
Proporcionar soporte para
hacer frente a proyectos
colaborativos
Minimizar costes
Maximizar
prestaciones
Beneficios
Proporcionar recursos
bajo demanda
Proporcionar comparticin
fiable y segura de recursos
a gran escala entre socios o
participantes en la cadena
de valor
Permitir la
comparticin de
diferentes recursos
para mejorar la
colaboracin interna
y alcanzar un mayor
retorno de la
inversin en TIC
Objetivos
Utility Grid Partner Grid Enterprise Grid
Descripci Descripci n de las Etapas n de las Etapas
Infraestructuras Grid en la Comunidad Cientfica
3. Infraestructuras Grid
3.2. Evolucin de la Computacin Grid
41/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Enterprise Grid Deployment Enterprise Grid Deployment
GLOBUS ENTERPRISE GRID INFRASTRUCTURE
SITE-LEVEL
META-SCHEDULER
SERVER
RESOURCE 1
SGE Cluster
RFT MDS GRAM
RESOURCE 2
PBS Cluster
RFT MDS GRAM
RESOURCE n
LSF Cluster
RFT MDS GRAM
Transfer
Drivers
Information
Drivers
Scheduling
Module
GridWay daemon
USER m
CLI & API CLI & API CLI & API
USER 1 USER 2
Execution
Drivers
3. Infraestructuras Grid
3.3. Ejemplos con el Globus Toolkit
42/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
GLOBUS GRID INFRASTRUCTURE
RESOURCE 1
SGE Cluster
RFT MDS GRAM
RESOURCE 2
PBS Cluster
RFT MDS GRAM
RESOURCE n
LSF Cluster
RFT MDS GRAM
Execution
Manager
Transfer
Manager
Information
Manager
Scheduling
Module
GridWay daemon
Execution
Manager
Transfer
Manager
Information
Manager
Scheduling
Module
GridWay daemon
CLI & API
USER 1 USER n
CLI & API
CLIENT HOSTS
SITE B
A
p
p
l
i
c
a
t
i
o
n
s
Grid Middleware
Infrastructure
CLI & API
USER n+1
CLI & API
USER m
CLI & API
USER n+1
CLI & API
USER m
CLI & API
USER 1 USER n
CLI & API
CLIENT HOSTS
SITE A
S
i
t
e
-
L
e
v
e
l
M
e
t
a
-
S
c
h
e
d
u
l
e
r
Partner Grid Deployment Partner Grid Deployment
3. Infraestructuras Grid
3.3. Ejemplos con el Globus Toolkit
43/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Outsourced Grid Deployment Outsourced Grid Deployment
3. Infraestructuras Grid
3.3. Ejemplos con el Globus Toolkit
44/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Plataformas software para usar recursos cedidos voluntariamente
Tecnologa complementaria a las anteriores que permiten interconectar
recursos individuales en lugar de servidores y clusters con diferentes DRMs
Iniciativas de Computaci Iniciativas de Computaci n en Internet n en Internet
Objetivo: Anlisis de datos de
telescopio (Arecibo, Puerto Rico)
en bsqueda de seales
Estadsticas Noviembre de 2006
Users: 274.887; Hosts: 436.290; Countries: 223
Average floating point operations per second: 455,297 TeraFLOPS
3. Infraestructuras Grid
3.4. Iniciativas Relacionadas
45/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
4. Migracin de Aplicaciones al Grid
1. Plataformas de Computacin Paralela y Distribuida
2. Tecnologa Grid
3. Infraestructuras Grid
4. Migracin de Aplicaciones al Grid
4.1. Paradigma HPC
4.2. Paradigma HTC
4.3. Ejemplos de Aplicaciones Portadas al Grid
Contenidos Contenidos
46/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
4. Migracin de Aplicaciones al Grid
4.1. Paradigma HPC
Su objetivo es reducir el tiempo de ejecucin de una nica aplicacin paralela
Su rendimiento se mide en nmero de operaciones en punto flotante por segundo
reas de aplicacin:
Estudio de fenmenos a escala microscpica (dinmica de partculas)
Resolucin limitada por la potencia de clculo del computador
Cuantos ms grados de libertad (puntos), mejor reflejo de la realidad
Estudio de fenmenos a escala macroscpica (sistemas descritos por ecuaciones
diferenciales fundamentales)
Precisin limitada por la potencia de clculo del computador
Cuantos ms puntos, ms se acerca la solucin discreta a la continua
Aplicaciones HPC ( Aplicaciones HPC (High High Performance Performance Computing) Computing)
Ecuacin no lineal de Schrdinger
Ecuaciones de Maxwell-Bloch
Esquemas numricos
=
=

x x f x u
x
y
x u
b
x
x u
a
r r r
r
r r
) ( ) (
0
) ( ) (
h
u u
x
u
i i 1 1 +

=

k
h
47/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Modelo de Programaci Modelo de Programaci n n
P
1
P
m
red de interconexin
M
1
M
n
1 2 m
Particionado 3D
Particionado 2D
Particionado 1D
Problema original
4. Migracin de Aplicaciones al Grid
4.1. Paradigma HPC
48/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Memoria Distribuida: MPI Memoria Distribuida: MPI
C$OMP DO PRIVATE(I), REDUCTION(+:BG_SUM), REDUCTION(*:BG_PROD)
C$& REDUCTION(MIN:BG_MIN), REDUCTION(MAX:BG_MAX)
DO I = 1, N
BG_SUM = BG_SUM + A( I )
BG_PROD = BG_PROD * A( I )
BG_MI N = MI N( BG_MI N, A( I ) )
BG_MAX = MAX( BG_MAX, A( I )
END DO
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &mi_rango);
MPI_Comm_size(MPI_COMM_WORLD, &numero_procesos);
i f ( mi _r ango ! =0) {
spr i nt f ( mensaj e, " Sal udos desde el pr oceso %d! " , mi _r ango) ;
MPI_Send(mens, strlen(mensaje)+1, MPI_CHAR, destino, etiqueta, MPI_COMM_WORLD);
} el se {
f or ( or i gen = 1; or i gen < numer o_pr ocesos; or i gen++) {
MPI_Recv(mens, strlen(mensaje)+1, MPI_CHAR, origen, etiqueta, MPI_COMM_WORLD, &est);
pr i nt f ( " %s\ n" , mens) ;
} }
MPI_Finalize();
Memoria Compartida: Memoria Compartida: OpenMP OpenMP
4. Migracin de Aplicaciones al Grid
4.1. Paradigma HPC
49/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Es el Modelo HPC Eficiente en un Entorno Grid ?
4. Migracin de Aplicaciones al Grid
4.1. Paradigma HPC
50/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Aplicaciones HTC ( Aplicaciones HTC (High High Throughput Throughput Computing Computing) )
Preprocessing Job
Postprocessing Job
Job 0 Job i Job n

Preprocessing Job
Postprocessing Job
Job 0 Job 1 Job n

Master Job (M)
Preprocessing Job
Job 0 Job 1 Job 2
Job 3
Job 6
Job 4
Job 7
Job 5
Job 8
Postprocessing Job
HTC
Sncrono
Master-slave
Flujos de trabajo
Su objetivo es aumentar el nmero de ejecuciones por unidad de tiempo
Su rendimiento se mide en nmero de trabajos ejecutados por segundo
reas de aplicacin: HEP, bioinformtica, finanzas
4. Migracin de Aplicaciones al Grid
4.2. Paradigma HTC
51/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Modelo de Programaci Modelo de Programaci n n
Ejecutable Ejecutable
para para el el
Grid Grid
Globus Globus
Middleware Middleware
drmaa_init drmaa_init() ()
drmaa_finalize drmaa_finalize( (
) )
.C, .java
Resultados Resultados
GridWay
Tarea A Tarea A
Tarea B Tarea B
Tarea C Tarea C
Gestor de recursos
distribuidos
PBS PBS SGE SGE
4. Migracin de Aplicaciones al Grid
4.2. Paradigma HTC
52/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
DRMAA ( DRMAA (Distributed Distributed Resource Resource Management Management Application Application API API) )
r c = drmaa_init( cont act , er r ) ;
// Ejecuta el trabajo inicial y espera
r c = drmaa_run_job( j ob_i d, j t , er r ) ;
r c = drmaa_wait( j ob_i d, &st at , t i meout ,
r usage, er r ) ;
// Ejecuta n trabajos y espera
r c = drmaa_run_bulk_jobs( j ob_i ds, j t , 1,
J OB_NUM, 1, er r ) ;
r c = drmaa_synchronize( j ob_i ds, t i meout , 1, er r ) ;
// Ejecuta el trabajo final y espera
r c = drmaa_run_job( j ob_i d, j t , er r ) ;
r c = drmaa_wait( j ob_i d, &st at , t i meout ,
r usage, er r ) ;
r c = drmaa_exit( er r _di ag) ;
Preprocessing Job
Postprocessing Job
Job 0 Job i Job n

Preprocessing Job
Postprocessing Job
Job 0 Job 1 Job n

Master Job (M)
// Ejecuta el trabajo inicial y espera por l
r c = drmaa_run_job( j ob_i d, j t , er r _di ag) ;
r c = drmaa_wait( j ob_i d, &st at , t i meout , r usage, er r _di ag) ;
whi l e ( exi t st at us ! = 0) {
// Ejecuta n Esclavos y espera por ellos
r c = drmaa_run_bulk_jobs( j ob_i ds, j t , 1,
J OB_NUM, 1, er r _di ag) ;
r c = drmaa_synchronize( j ob_i ds, t i meout , 1,
er r _di ag) ;
// Ejecuta el Maestro y espera a su finalizacin
r c = drmaa_run_job( j ob_i d, j t , er r _di ag) ;
r c = drmaa_wait( j ob_i d, &st at , t i meout , r usage, er r _di ag) ;
r c = drmaa_wexitstatus( &exi t st at us, st at ,
er r _di ag) ; }
4. Migracin de Aplicaciones al Grid
4.2. Paradigma HTC
53/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Multi Multi - -Resolution Docking (CIB/CSIC) Resolution Docking (CIB/CSIC)
Preprocessing Job
Postprocessing Job
Job 0 Job i Job n

Ms informacin:
http://sbg.cib.csic.es/Research/Docking_EM/index.html
HIGH THROUGHPUT
4. Migracin de Aplicaciones al Grid
4.3. Ejemplos de Aplicaciones Portadas al Grid
54/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Dynamic BLAST (University of Alabama) Dynamic BLAST (University of Alabama)
Preprocessing Job
Postprocessing Job
Job 0 Job 1 Job n

Master Job (M)
Ms informacin: http://www.cis.uab.edu/ccl/
MASTER WORKER
4. Migracin de Aplicaciones al Grid
4.3. Ejemplos de Aplicaciones Portadas al Grid
55/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
CD CD- -HIT (CNIO HIT (CNIO- - Instituto Instituto de de Salud Salud Carlos III) Carlos III)
Preprocessing Job
Job 0 Job 1 Job 2
Job 3
Job 6
Job 4
Job 7
Job 5
Job 8
Postprocessing Job
Ms informacin: http://www.cnio.es/
WORKFLOW
4. Migracin de Aplicaciones al Grid
4.3. Ejemplos de Aplicaciones Portadas al Grid
56/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Massive Ray Tracing in Fusion Plasmas Massive Ray Tracing in Fusion Plasmas
x N
Beam Simulation Beam Simulation: :
Bunch of rays with Bunch of rays with
beam waist close to beam waist close to
the critical layer the critical layer
(100 (100- -200 rays) x 200 rays) x
(100 (100- -200 wave 200 wave
numbers) numbers) ~10 ~10
5 5
4. Migracin de Aplicaciones al Grid
4.3. Ejemplos de Aplicaciones Portadas al Grid
57/57 Ignacio Martn Llorente Una Introduccin a la Computacin Grid
Ms Informacin
gridcafe.web.cern.ch/gridcafe/
www.globus.org
www.eu-egee.org
www.ibm.com
www.ogf.org

You might also like