Configuración de un cluster confederado para HPC
con SLURM

Implementación

A partir de la versión 17.11.0pre1 (Jun 22, 2017) Slurm agregó soporte para clusters confederados, esta nueva funcionalidad resuelve muchos de los problemas que se identificaron cuando se trató de integrar clusters de prueba en una grid usando Globus, entre ellos, el de ofrecer una interfaz única para que los usuarios pudieran acceder a los recursos de los tres clusters sin tener que aprender a usar tres formas de trabajo distintas.

La infraestructura de cada uno de los tres centros de supercómputo que conforman LANCAD es distinta y única. Por lo tanto, la solución para la integración de los recursos de los tres centros debía tomar en cuenta estas diferencias y ser flexible para realizar cambios a la infraestructura integrada en la grid de manera independiente.

Desde el punto de vista de un usuario con experiencia en el uso de Slurm, empezar a utilizar un cluster confederado, solamente requiere aprender una nueva opción y agregarla al conjunto de comandos básicos de Slurm.

En la federación de clusters con Slurm, además de permitir el envío de trabajos a otros clusters, se unifica la información de estos trabajos en una única base de datos. Lo que posibilita hacer consultas de los estados de las tareas en los tres clusters a la vez, manteniendo identificadores de trabajo únicos entre ellos.

En cuanto a los administradores de los clusters, el esquema de federación de Slurm mantiene políticas de asignación de recursos propias para cada cluster y admite dar de baja o agregar servidores de cómputo sin interrumpir el funcionamiento del resto de la federación.

Para crear una federación es necesario contar con una conexión entre los clusters, la cual puede realizarse a través de internet. Pero al tratarse de clusters de alto desempeño, la conexión debe ser de una muy alta velocidad y de baja latencia. En LANCAD, los tres centros que lo conforman se encuentran interconectados con fibra óptica cuya velocidad es de 10 Gigabits por segundo. El reto de conectar los clusters a esta red no solamente se encuentra en la conexión física, sino también en la creación de una red lógica adicional compartida para transmitir la información utilizada por la federación, ya que las redes locales en cada centro son diferentes como se mencionó anteriormente. Así, uno de los principales problemas que se encontraron al implementar el Slurm confederado, fue que al someter trabajos a los clusters interconectados con la fibra óptica del LANCAD, los equipos perdían la correspondencia de la comunicación entre los nodos de cálculo (los servidores que de manera efectiva realizan las tareas de cómputo), y los nodos de los otros slurm-maestros ubicados en los otros dos sitios, pues faltaba establecer la conexión entre los nodos de cálculo y todos los slurm-maestros. Lo primero que se intentó para resolver el problema fue configurar reglas en las tablas de dirección IP, pero no funcionó del todo. Posteriormente, se decidió probar el modo puente, es decir, configurar un nodo en cada cluster que cuente con comunicación tanto con la red interna, como con la red externa. Dicho nodo retransmite las peticiones entre las redes para que los tres clusters puedan comunicarse entre sí. Esta propuesta permitió avanzar y lograr la comunicación de los nodos de cálculo hacia cualquiera de los otros nodos slurm-maestros para tener la traza del proceso de los trabajos sometidos de un sitio hacia los nodos de cálculo de los otros. Lo anterior también implicó acordar políticas de seguridad para los segmentos y la jerarquía de la red, tras lo cual, se logró con éxito integrar los tres clusters de prueba como una federación manejada con Slurm. Finalmente, se instalaron aplicaciones de software libre (Quantum ESPRESSO, GROMACS y NWChem) en cada de ellos de prueba para que un usuario probara ejecutarlos en el cluster de su elección, lo cual pudo realizarse desde su directorio hogar de forma transparente.

La implementación de una federación de clusters de prueba interconectados por medio de la fibra óptica del LANCAD, ha permitido evaluar los pros y los contras de un escenario en el cual los equipos instalados en cada uno de los nodos que conforman LANCAD estén integrados, lo cual pondría a disposición de los usuarios una gama más amplia de equipos en un ambiente de trabajo unificado.