Evaluacin de arquitecturas en Cluster

David Cervign Luna

Microsoft IT Pro Evangelist
davidce@microsoft.com http://blogs.technet.com/davidcervigon

Agenda
 En busca de la Escalabilidad y Alta     

Disponibilidad Tres tipos de tecnologas en Cluster Breve introduccin a Microsoft Windows Compute Cluster Server 2003 Clusters de Balanceo de Carga de Red Clusters basados en MSCS DEMOS

Dos grandes necesidades en las TI

(SLAs)  Escalabilidad

 Ambas dirigidas a garantizar los niveles de servicio

 Garantizar el servicio ante incrementos sustanciales en la

demanda de los mismos

Visitas a sitios de comercio electrnico. Incremento de trfico de correo o en el numero de los buzones. Aumento en el tamao o transacciones de bases de datos.
 Facilitar la rpida implementacin de nuevos servicios sobre

infraestructura existente.  Evitar morir de xito

 Alta Disponibilidad  Tolerancia a fallos (hw/sw)  Desastres (naturales, accidentes, etc.)  Facilitar las operaciones de mantenimiento (backup, Actualizaciones de sw/hw, logsticas, etc.)

Tres conceptos distintos de Cluster



Aprovechar la capacidad de procesamiento individual de un gran nmero de equipos para llevar a cabo operaciones de clculo intensivo.
 Aplicaciones cientficas  Simulacin de procesos  Diseo industrial

Granjas de servidores con similar o idntica configuracin que se reparten la carga de trabajo a base de balancear las peticiones que se reciben a travs de la red.
 Servidores Web  Servicios de Terminal  Proxies, Firewalls, etc.

Servidores conectados a sistemas de almacenamiento compartidos que son capaces de asumir de forma inmediata la carga de trabajo de otro en caso de fallo
 Bases de Datos  Ficheros e Impresoras

Tecnologas de Clustering incluidas en la familia Windows Server



Windows Compute Cluster Server 2003  Divide tareas complicadas en piezas ms pequeas para su ejecucin en paralelo, recopilando posteriormente los resultados
 Las aplicaciones deben estar diseadas y escritas explcitamente para

ser ejecutadas de esta manera y aprovechar el clculo en paralelo

Servicios de Balanceo de Carga en Red (NLB)

 Ofrece escalabilidad y disponibilidad para aplicaciones y servicios

basados en el protocolo IP.  Soporta el balanceo de trfico TCP, UDP, IGMP y GRE (Generic Routing Encapsulation)


Cluster Server (MSCS)

 Plataforma de Alta Disponibilidad para albergar aplicaciones como SQL

o Exchange Server  til para aplicaciones que deban mantener el estado entre peticiones sucesivas

Breve Introduccin a Windows Complute Cluster Server 2003

El mercado de la Supercomputacin
1991
Sistema
Cray Y-MP C916 Y-

1998
Sun HPC10000

2005
Small Form Factor PCs

Arquitectura Sistema Operativo

GFlops Top500 #

16 x Vector 4GB, Bus UNICOS

24 x 333MHz Ultra-SPARCII, Ultra24GB, SBus Solaris 2.5.1

4 x 2.2GHz Athlon64 4GB, GigE Windows Server 2003 SP1

~10
1 $40,000,000 Gobiernos y Grandes Laboratorios Clasificadas, Climticas, Investigacin

~10
500 $1,000,000 (- 40x) (Grandes Empresas Industria, Energa, Finanzas, Telecomunicaciones

~10
N/A < $4,000 (- 250x) (Ingenieros y cientficos individuales BioInformtica, Ciencias de Materiales, Medios Digitales

Precio Clientes Aplicaciones

Windows Compute Cluster Server 2003



Basado en Windows Server 2003 x64

 Permite que servidores Windows acten como un nico superordenador  Ofrece un job scheduler integrado y una herramienta de gestin de

recursos del cluster.  Incluye los servicios necesarios para el despliegue automatizado de nuevos nodos.  Soporta el envo de mensajes mediante MPI-2, RDMA, y MPICH MPI

Tiene su propio SDK que incluye las herramientas necesarias para portar o desarrollar aplicaciones que soporten ejecucin en paralelo

Arquitectura de Compute Cluster Server

Infrastructura Corporativa
AD DNS DHCP Windows Update Monitorizacin MOM 3rd party Systems Management SMS 3rd party

Red Pblica

Head Node
Compute Node
Node Manager MPI Management

Compute Node
Node Manager MPI Management

Admin / User Cons RIS Job Scheduler MPI Management

Red Privada Red MPI Compute Cluster

NAT

Mas informacin sobre CCS

 Microsoft HPC Web site
 http://www.microsoft.com/hpc/

 GotDotNet Gallery for HPC

 http://www.gotdotnet.com/codegallery/codegallery.aspx?id=0c1223

7e-58e3-4a9f-96377e-58e3-4a9f-9637-ec6a4b9efe4d

 Blog
 http://blogs.msdn.com/hpc

Clusters de Balanceo de Carga de Red

Tolerancia a fallos NLB

Escalabilidad: Hasta 32 nodos
Internet / Intranet

NLB Cluster NLB Host NLB Virtual IP Address NLB Host

NLB Host

Arquitectura NLB
 NLB est implementado a nivel de driver de red


En Windows Server 2003 puede enlazarse a varias tarjetas

 Incluido en Windows 2000 Advanced Server y Datacenter.  Incluido en las cuatro versiones de Windows Server 2003  Mediante un algoritmo, el driver distribuye las peticiones clientes
Cluster Host
Server Application
Win 2000 Kernel

Cluster Host
Server Application
Win 2000 Kernel

IP Virtual : 1.1.1.1 IP Dedicada : 1.1.1.2

TCP/IP NLB Driver NIC Driver

TCP/IP NLB Driver NIC Driver

IP Virtual : 1.1.1.1 IP Dedicada : 1.1.1.3

MAC : 02-BF-
NIC NIC

MAC : 02-BF-

Funcionamiento: Algoritmo de balanceo

 Todos los nodos reciben el paquete.  Aplican un algoritmo distribuido de hashing basndose en

la IP del cliente, puerto y otra informacin.  Todos los nodos llegan de forma univoca a la misma conclusin sobre quien debe atender la peticin. Los dems lo descartan.  Los resultados no cambian a menos que cambie el numero de nodos o se ajuste la distribucin de carga

Algoritmo NLB
Clientes Internet/Intranet
Peticin TCP #2 Aceptar? Si Aceptar? No IP Dedicada: 1.1.1.2 IP Virtual: 1.1.1.1

Aceptar? No Aceptar? No IP Dedicada: 1.1.1.3 IP Virtual: 1.1.1.1 Peticin TCP #1 Aceptar? No Aceptar? Si IP Dedicada: 1.1.1.4 IP Virtual: 1.1.1.1

Aceptar? No Aceptar? No IP Dedicada: 1.1.1.5 IP Virtual: 1.1.1.1

Funcionamiento: Unicast o Multicast

 Unicast: Las MAC addresses de las NIC de cada uno de

los hosts se sustituyen por la MAC address asociada a la IP Virtual.

http://support.microsoft.com/kb/898867/en-us) http://support.microsoft.com/kb/898867/en-us)

 La MAC comienza por 02-BF 02 Los nodos NO pueden comunicarse entre si (En 2003 SP1 si,

 Multicast: Las MAC addresses de las NIC de cada uno de

los hosts se mantienen, y se agrega a cada una de ellas mantienen, la MAC multicast asociada a la IP Virtual
 Los nodos pueden comunicarse entre si normalmente  La MAC comienza por 03-BF 03-

 Algunos routers pueden producir que el cluster no sea alcanzable

desde fuera de su subred:

http://support.microsoft.com/kb/197862

Switches Layer-2 y NLB Layer

Cmo evitar que el switch se aprenda la MAC virtual y la asocie a un solo puerto?


NLB puede enmascarar (spoofs) la MAC de los paquetes salientes MaskSourceMAC = 1 en el registro (ver KB)

Esto produce flooding en el switch: el trafico dirigido al cluster se enva a todos los puertos
Poner un hub entre el switch y el cluster NLB (MaskSourceMAC = 0) Crear VLANs

Cmo limitar flooding?

 

  

Mltiples clusters conectados al mismo Switch. http://support.microsoft.com/kb/193602/enhttp://support.microsoft.com/kb/193602/en-us En un Switch Layer-3 NLB no funciona, ya que todos los Layerhosts tienen la misma IP.

Funcionamiento: Convergencia
 Los nodos envan un Heartbeat
 1.5K cada 5 segundos

 Si se pierden 5 de alguno de los miembros, o se detecta

uno nuevo, se inicia el proceso de convergencia

 Se determina los que estn vivos.  Se elige al de mayor prioridad como host por defecto.

 Se recalcula la forma en la que se atendern las peticiones de los

clientes por los hosts supervivientes

Funcionamiento: Reglas de puertos

 Se pueden definir varias individualmente
 Puerto o rango de puertos  TCP o UDP  Modo de Filtrado

Mltiples Hosts -> Balanceo o Permite definir porcentajes de carga Host nico -> Solo tolerancia a fallos, segn prioridad Deshabilitado -> Firewall para ese puerto

 Afinidad

No se puede usar en aplicaciones que necesiten mantener el estado Single Por IP Clase C Por subred C a la que esa IP pertenece

None

 Todos los nodos deben estar configurados exactamente

igual, o no convergern.

Caractersticas nuevas de NLB en Windows Server 2003

 Clusters Virtuales  Mltiples aplicaciones /sitios web en el mismo cluster NLB.  Permite a los administradores configurar diferentes Reglas de Puertos para cada direccin IP del cluster.  Afinidad Bi-direccional Bi VPN/PPTP+ L2TP  ISA  Soporta mltiples NIC  Soporta IGMP (Internet Group Membership Protocol)  Definicin de grupos IGMP en el switch para limitar el switch flooding  Administracin de clusters NLB  NLB manager administracin centralizada desde un nico punto  Puede ser instalado y ejecutado independientemente.

ESCENARIOS
 Los escenarios ms utilizados son aquellos en los que se

quieren balancear servicios de red que no tengan demasiada dependencia de configuraciones locales del nodo.  Ideal para servicios frontales.
 Web estticos o que almacenen la informacin en un back-end back Conectores de correo, servicios POP y SMTP  Servidores Proxy y Firewalls

ISA 2005 aprovecha la afinidad bidireccional para publicacin

 Servidores de VPN  Granjas de Terminal Servers

 Mala idea para servicios que ya implementen sus mtodos

de tolerancia a fallos, o que ya sean distribuidos.

 Controladores de Dominio  DHCP, DNS, WINS  SMS

RECOMENDACIONES
 Siempre que sea posible, usar tarjetas dedicadas para

gestin, comunicacin interna o transferencia de datos con los back-ends backbalanceados.

 NLB no monitoriza posibles problemas de los servicios

DEMO:
Balanceo de un servicio Web usando NLB

Clusters basados en MSCS

Antes de instalar un Cluster Server



Software
Windows Server 2003 Enterprise Edition o DataCenter Edition en todos los nodos  Resolucin de nombres (DNS, WINS)  Miembros de un dominio
 

Cuentas de servicio miembros del domino

Derechos de Administrador local NO derechos de Administrador del dominio Ojo con los cambios de contrasea

Hardware
 

HCL Hardware idntico en todos los nodos participantes

Red
Al menos dos interfaces de red  Direccionamiento IP esttico


Almacenamiento compartido
SCSI o Fiber Channel (HCL)  NTFS, >500MB


Tolerancia a fallos de Cluster Server

Escalabilidad: Hasta 8 nodos

Server Cluster Active Passive Server Virtual Server Address Active Server

Cluster Storage Devices

Servidores Virtuales
 Una mquina real de cara a los clientes
 Representada por:

Una o varias IPs Nombre de red Otros recursos y servicios o Discos o DHCP, WINS o BBDD (SQL, buzones Exchange) o Ficheros y/o impresoras o Etc.

 El servidor virtual vive en algunos de los nodos reales

(fsicos) que conforman el cluster

 Un Cluster puede albergar mas de un servidor virtual

Instalando un Cluster Server

Paso
Configurar la red y la cuenta de dominio Configurar los discos en Nodo 1 Verificar los discos en Nodo 2 Configurar Nodo 1

Nodo 1
Encendido

Nodo 2
Encendido

Cabina
Apagada

Comentarios
Apagar la cabina, encender los nodos Apagar los nodos, encender la cabina, configurarla y arrancar el Nodo 1 Apagar el Nodo 1 y encender el Nodo 2 Apagar todos los nodos. Encender el Nodo 1 Encender el Nodo 2 Probar que todo funciona como se espera

Encendido

Apagado

Encendida

Apagado Encendido Encendido Encendido

Encendido

Encendida Encendida Encendida Encendida

Apagado Encendido Encendido

Configurar Nodo 2

Configuracin de los servicios

DEMO:
Cluster Server en Virtual Server

Grupos y Recursos
 Recursos: Servicios que pueden estar presentes en un

Servidor Virtual

 Grupo: Conjunto de recursos que son tolerantes a fallos

de forma conjunta.

 Puede decidirse si fallos individuales de los recursos del grupo

producen un estado de fallo en el mismo. que no.

 Pueden decidirse criterios para considerar lo que es un fallo y lo

 Por lo general, un grupo de cluster rene los recursos que

caracterizan a un servidor virtual  Nunca se debe:

 Poner recursos relacionados con un mismo servicio en diferentes

grupos  Poner los recursos de dos servidores virtuales en el mismo grupo

El recurso Quorum


Compartido por todos los nodos  Ofrece una configuracin consistente del cluster  Asegura que un recurso es manejado exclusivamente por un nico nodo  Quorum log
 Mantiene la informacin de la configuracin del cluster

Tipos de Quorum
 Standard. nica base de datos de configuracin almacenada en un disco

de la cabina compartida (SCSI o Fibra)  Majority Node-Set Node Se crea si no hay discos compartidos disponibles para almacenar el Quorum en el momento en que se crea el cluster.  El Quorum log se copia en el disco de sistema de cada nodo.  El recurso Majority Node-Set asegura la consistencia de la informacin Nodereplicndose a los quorums locales  Un cambio se considera completo si se ha llevado a cabo en mas de la mitad de los nodos. Los nodos no pueden poseer recursos a menos que pertenezcan a esta mayora.

DEMO:
Parmetros de Grupos y Recursos Bloc de Notas de Alta Disponibilidad

Configuracin de la red
 Al menos dos tarjetas de red  Una dedicada al trafico interno (HeartBeat)  Segmento aislado  HUB  Cable cruzado (DisableDHCPMediaSense)  Otra dedicada al trafico externo e interno. interno.  Al menos 2 redes deben configurarse para trafico de

heartbeat  Que sucede si de pierde la comunicacin interna?

 Arbitracin del nodo. Ambos nodos comprueban si poseen el

recurso del Quorum y si pueden acceder a el.  El que lo posee se apropia y levanta todos los grupos definidos en el cluster  El que no tiene acceso al Quorum apaga el servicio de cluster

 http://support.microsoft.com/?id=258750

DEMO:
Configuracin de las redes Efectos de un fallo en la red

ACTIVOACTIVO-ACTIVO vs. ACTIVO-PASIVO ACTIVO Hay que dimensionar los nodos y planificar que grupos /

servidores virtuales van a mover cada uno de ellos

 Debemos considerar el hecho de que los nodos sean capaces de

asumir la carga de los dems en caso de un fallo en los mismos

 Activo-Activo Activo Ofrece un balanceo de la carga esttico para un mismo servicio

Los clientes van al servidor virtual que se les asigna.

 Se obtiene mas rendimiento de cada nodo.  Debe ser dimensionado de forma cautelosa.

 Activo-Pasivo Activo Para servicios que no se puedan separar en dos servidores

virtuales diferentes  En caso de clusters dedicados a un solo servicio, suponen nodos ociosos

ESCENARIOS
 Los escenarios ms utilizados son aquellos en los que se

quiere obtener tolerancia a fallos en servicios que almacenan informacin importante en disco y/o registro
 Bases de datos: SQL, Oracle, etc.  Buzones de correo (Exchange 2000 2003)  Aplicaciones LOB (SAP, etc.)  Ficheros e Impresoras  DHCP y/o WINS  Virtual Server

 Ideal para servicios back-end. back-

RECOMENDACIONES
 No esta soportado que los nodos sean controladores de

dominio.

 El 95% de los problemas en cluster vienen derivados por

fallos en el hardware  Lo ideal es combinar NLB y MSCS para plataformas de alta disponibilidad y misin crtica.
con el back-end back Back-end con MSCS que almacenan los datos Back-

 Frontales balanceados con tarjetas dedicadas para comunicacin

 MUCHO MAS EN LA WEBCAST DEL PROXIMO 6 DE

FEBRERO

REFERENCIAS
 What's New in Clustering Technologies
http://www.microsoft.com/windowsserver2003/evaluation/overview/tec hnologies/clustering.mspx

 Technical Overview of Windows Server 2003 Clustering

Services

http://www.microsoft.com/windowsserver2003/techinfo/overview/clust ering.mspx

 Network Load Balancing Technical Reference

http://www.microsoft.com/technet/prodtechnol/windowsserver2003/libr ary/TechRef/c1db8c13-da31-4541-81d8ary/TechRef/c1db8c13-da31-4541-81d8-e2b3ebe742fb.mspx

 Server Clusters Technical Reference

http://www.microsoft.com/technet/prodtechnol/windowsserver2003/libr ary/TechRef/8ad36286-df8d-4c53-9aeeary/TechRef/8ad36286-df8d-4c53-9aee-7a9a073c95ee.mspx

Ms Acciones relacionadas
 Alta disponibilidad con Microsoft Cluster Server (MSCS).

El prximo Lunes 6 de Febrero.

Ms Acciones desde TechNet

  

Para ver los webcast grabados sobre ste tema y otros temas, dirjase a:  http://www.microsoft.com/spain/technet/jornadas/webcasts/webcasts_ant.asp Para informacin y registro de Futuros Webcast de ste y otros temas dirjase a:  http://www.microsoft.com/spain/technet/jornadas/webcasts/default.asp Para mantenerse informado sobre todos los Eventos, Seminarios y webcast suscrbase a nuestro boletn TechNet Flash en sta direccin:  http://www.microsoft.com/spain/technet/boletines/default.mspx Para estar informado sobre novedades vea nuestros Its Showtime en: It  http://www.microsoft.com/spain/technet/itsshowtime/default.aspx Para acceder a toda la informacin, betas, actualizaciones, recursos, puede suscribirse a Nuestra Suscripcin TechNet en:


 

http://www.microsoft.com/spain/technet/recursos/cd/default.mspx

PREGUNTAS?

David Cervign Luna

Microsoft IT Pro Evangelist
davidce@microsoft.com

http://blogs.technet.com/davidcervigon