Integración dinámica de entornos de computación heterogéneos para la ejecución de workflows científicos

Los workflows científicos se caracterizan por estar compuestos por un elevado número de tareas computacionalmente muy costosas. Las necesidades planteadas por este tipo de workflow hacen necesaria la utilización de entornos de computación capaces de satisfacer estos requisitos de computación. En este contexto, la computación Grid ha emergido como un paradigma adecuado para la ejecución de workflows científicos gracias a la capacidad computacional y las comunicaciones en red de estos entornos. No obstante, esta nueva "sociedad" compuesta por Grids y workflows científicos todavía mantiene abiertos un amplio abanico de retos y dificultades. La posibilidad de ejecutar workflows programados en diferentes lenguajes sobre un mismo entorno de computación, la integración de entornos de computación heterogéneos bajo una misma infraestructura, y la posibilidad de ejecutar diferentes partes de un mismo workflow en diferentes entornos de computación son algunos de los principales problemas existentes. Como primer paso para la resolución de estos problemas, se desarrolló una infraestructura que integra diferentes entornos de computación heterogéneos de forma transparente para el usuario y que permite ejecutar workflows programados en diversos lenguajes ampliamente aceptados por la comunidad científica. De esta forma, se proporcionó una infraestructura capaz de solucionar los retos anteriores. Un aspecto ortogonal a estos retos no considerado en la infraestructura propuesta es el proceso de asignación de tareas a los recursos disponibles en los diferentes entornos integrados (meta-scheduling). Este proceso es clave para la definición de soluciones maduras y completas a los problemas expuestos. Para avanzar en el desarrollo de la solución propuesta y mejorar la infraestructura, en esta Tesis Fin de Máster se propone una estrategia de meta-scheduling basada en técnicas de simulación que permite asignar dinámicamente el entorno de ejecución a utilizar en cada una de las tareas de un workflow. Para ello, se ha integrado en la infraestructura un meta-scheduler que, para cada tarea, selecciona el entorno de ejecución más adecuado utilizando un algoritmo de optimización del tiempo de ejecución. La información utilizada para esta toma de decisiones proviene de los resultados de simular la ejecución de las tareas en los entornos de computación disponibles. Para soportar este proceso, se ha diseñado un simulador genérico, adaptable y extensible basado en Alea. Para cada entorno de computación, una instancia de este simulador ha sido customizada e integrada en la infraestructura. Asimismo, se ha definido una metodología para la creación de workloads dinámicos que permite simular las tareas en condiciones reales de carga. El uso de estos workloads y el propio diseño de los simuladores, capaces de capturar la complejidad inherente de los entornos de computación, han permitido obtener un elevado grado de precisión en las simulaciones, tal y como se ha demostrado en la validación experimental realizada. Como consecuencia, se ha conseguido mejorar el rendimiento de los workflows ejecutados. Finalmente, la viabilidad y beneficios de la solución propuesta se muestran mediante su aplicación a un workflow real en el dominio de la computación científica, el workflow de análisis Inspiral. Para este caso de uso, la utilización de la infraestructura con la estrategia de meta-scheduling propuesta ha permitido obtener una mejora del rendimiento de un 59% respecto a la ejecución del workflow completo en el cluster Hermes del I3A y una mejora de un 111% respecto a la ejecución del workflow en el Grid AraGrid