Tuning Application in a Multi-cluster Environment

Abstract. The joining of geographically distributed heterogeneous clusters of workstations through the Internet can be a simple and effective approach to speed up a parallel application execution. This paper describes a methodology to migrate a parallel application from a single-cluster to a collection of clusters, guaranteeing a minimum level of efficiency. This methodology is applied to a parallel scientific application to use three geographically scattered clusters located in Argentina, Brazil and Spain. Experimental results prove that the speedup and efficiency estimations provided by this methodology are more than 90% precision. Without the tuning process of the application a 45% of the maximum speedup is obtained whereas a 94% of that maximum speedup is attained when a tuning process is applied. In both cases efficiency is over 90%

Could be improved the efficiency of SPMD applications on heterogeneous environments?

The goal of this work is to execute SPMD applications efficiently on heterogeneous environments. Applications used to test our work are designed with message-passing interface to communicate and are developed to be executed in a single core cluster. However, we create a methodology to execute e fficiently these SPMD applications over heterogeneous architectures. The SPMD applications are selected because they present high level of synchronism and communications; both elements could generate challenges when we want to obtain our objec- tive, which is de ned as to obtain an improvement in the execution time while maintaining the e fficiency level over a threshold defi ned by programmer, taking into consideration the communications heterogeneities present in a multicore cluster. This objective is achieved using a map-ping and scheduling strategies included in our methodology. Finally, the results obtained show an improvement around 40% in the best case of effi ciency in SPMD applications tested, when our methodology is applied.Presentado en el IX Workshop Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Simulación paramétrica paralela. Aplicación a modelos de predicción de inundaciones.

El modelado y la simulación de inundaciones provocadas por el desborde de ríos brinda sistemas computacionales para el estudio y la predicción de estos fenómenos naturales, con el objetivo de pronosticar su comportamiento. Estos sistemas necesitan tomar gran cantidad de datos de entrada para aumentar su precisión, como también deben generar múltiples escenarios para cubrir todas las situaciones de riesgo. Por esto, son de cómputo intensivo y pueden tomar días de procesamiento hasta lograr resultados. A este problema se le suma la falta de certeza en los valores de los datos de entrada del proceso. Mediante la programación paralela y los avances en cómputo de alto rendimiento en clusters de computadoras, se pretende atenuar el problema de la incertidumbre de los datos de entrada y optimizar el proceso de predicción mediante la simulación de múltiples escenarios. Con este trabajo se pretende desarrollar una metodología para optimizar la predicción de inundaciones provocadas por el desborde de ríos, en principio de llanuras o planicies, y en particular en la Cuenca del Río Salado o en el Paraná Medio.Eje: Procesamiento Concurrente, Paralelo y DistribuidoRed de Universidades con Carreras en Informática (RedUNCI

Simulación paramétrica paralela. Aplicación a modelos de predicción de inundaciones.

El modelado y la simulación de inundaciones provocadas por el desborde de ríos brinda sistemas computacionales para el estudio y la predicción de estos fenómenos naturales, con el objetivo de pronosticar su comportamiento. Estos sistemas necesitan tomar gran cantidad de datos de entrada para aumentar su precisión, como también deben generar múltiples escenarios para cubrir todas las situaciones de riesgo. Por esto, son de cómputo intensivo y pueden tomar días de procesamiento hasta lograr resultados. A este problema se le suma la falta de certeza en los valores de los datos de entrada del proceso. Mediante la programación paralela y los avances en cómputo de alto rendimiento en clusters de computadoras, se pretende atenuar el problema de la incertidumbre de los datos de entrada y optimizar el proceso de predicción mediante la simulación de múltiples escenarios. Con este trabajo se pretende desarrollar una metodología para optimizar la predicción de inundaciones provocadas por el desborde de ríos, en principio de llanuras o planicies, y en particular en la Cuenca del Río Salado o en el Paraná Medio.Eje: Procesamiento Concurrente, Paralelo y DistribuidoRed de Universidades con Carreras en Informática (RedUNCI

Could be improved the efficiency of SPMD applications on heterogeneous environments?

The goal of this work is to execute SPMD applications efficiently on heterogeneous environments. Applications used to test our work are designed with message-passing interface to communicate and are developed to be executed in a single core cluster. However, we create a methodology to execute e fficiently these SPMD applications over heterogeneous architectures. The SPMD applications are selected because they present high level of synchronism and communications; both elements could generate challenges when we want to obtain our objec- tive, which is de ned as to obtain an improvement in the execution time while maintaining the e fficiency level over a threshold defi ned by programmer, taking into consideration the communications heterogeneities present in a multicore cluster. This objective is achieved using a map-ping and scheduling strategies included in our methodology. Finally, the results obtained show an improvement around 40% in the best case of effi ciency in SPMD applications tested, when our methodology is applied.Presentado en el IX Workshop Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Dynamic on Demand Virtual Clusters in Grid

In Grid environments, many different resources are intended to work in a coordinated manner, each resource having its own features and complexity. As the number of resources grows, simplifying automation and management is among the most important issues to address. This paper's contribution lies on the extension and implementation of a grid metascheduler that dynamically discovers, creates and manages on-demand virtual clusters. The first module selects the clusters using graph heuristics. The algorithm then tries to find a solution by searching a set of clusters, mapped to the graph, that achieve the best performance for a given task. The second module, one per-grid node, monitors and manages physical and virtual machines. When a new task arrives, these modules modify virtual machine's configuration or use live migration to dynamically adapt resource distribution at the clusters, obtaining maximum utilization. Metascheduler components and local administrator modules work together to make decisions at run time to balance and optimize system throughput. This implementation results in performance improvement of 20% on the total computing time, with machines and clusters processing 100% of their working time. These results allow us to conclude that this solution is feasible to be implemented on Grid environments, where automation and self-management are key to attain effective resource usage.Lecture Notes in Computer Science book series (LNTCS, vol. 5415)Instituto de Investigación en Informátic

Computer Science and Technology Series : XV Argentine Congress of Computer Science. Selected papers

CACIC'09 was the fifteenth Congress in the CACIC series. It was organized by the School of Engineering of the National University of Jujuy. The Congress included 9 Workshops with 130 accepted papers, 1 main Conference, 4 invited tutorials, different meetings related with Computer Science Education (Professors, PhD students, Curricula) and an International School with 5 courses. CACIC 2009 was organized following the traditional Congress format, with 9 Workshops covering a diversity of dimensions of Computer Science Research. Each topic was supervised by a committee of three chairs of different Universities. The call for papers attracted a total of 267 submissions. An average of 2.7 review reports were collected for each paper, for a grand total of 720 review reports that involved about 300 different reviewers. A total of 130 full papers were accepted and 20 of them were selected for this book.Red de Universidades con Carreras en Informática (RedUNCI

Simulación y optimización como metodología para mejorar la calidad de la predicción en un entorno de simulación hidrográfica

El modelado y la simulación computacional de eventos naturales proveen una poderosa herramienta para comprender sus mecanismos y pronosticarlos. Estas herramientas son especialmente útiles cuando estos eventos se convierten en desastres naturales que amenazan la vida humana y la economía de los pueblos afectados. En particular, las inundaciones provocadas por el desborde de ríos es uno de los desastres naturales que se benefician ampliamente con el uso de programas computacionales que ayudan a pronosticar sus efectos. Las inundaciones son fenómenos naturales que pueden ocurrir a intervalos irregulares en cualquier riachuelo o río. El asentamiento de la población en llanuras de inundación es la causa principal de los daños producidos por las inundaciones. El estudio de los procesos hidrodinámicos en las aguas superficiales, como ríos, ha desempeñado un papel pionero en el desarrollo de modelos numéricos para su uso en la ingeniería hidráulica. Esto ha llevado a la producción de gran cantidad de software relativamente sofisticado aplicado a estudiar y simular fenómenos de traslación de ondas en cauces de ríos, de manera de poder predecir eventos de desborde e inundaciones. Aunque los modelos se construyan considerando la mayor cantidad posible de variables propias del sistema simulado existen fuentes de incertidumbre en los datos de entrada y en los parámetros propios del modelo, que aumentan el error de los datos de salida de la simulación. La mayoría de estos parámetros pueden estimarse a partir de datos de campo, por ejemplo, observaciones hidrometeorológicas, mapas de la topografía, tipos de suelo, uso del suelo, etc. Sin embargo, rara vez están disponibles datos de campo completos para apoyar plenamente la especificación de todos los parámetros. La incertidumbre debida a los valores de los parámetros de entrada, se debe a que no existe una manera de medirlos directamente y deben ser estimados o interpolados siendo muy difícil mantener actualizados sus valores durante el período de simulación. El motivo que impulsó el tema central de este trabajo fue proveer a este tipo de simulación de mayor certeza en sus resultados. El objetivo principal de la tesis es brindar una metodología para mejorar la calidad de la simulación de un modelo computacional de cauce de ríos, aplicando la técnica de optimización vía simulación; objetivo posible de alcanzar gracias a los aportes de las técnicas y métodos del cómputo de alto rendimiento. Este método devuelve como solución un conjunto de parámetros optimizados que mejora la predicción del simulador. La mejora lograda en la calidad del simulador es medida en términos del ajuste entre los datos de salida, o simulados, y los datos reales, u observados. El desarrollo de esta tesis requirió la selección de un modelo computacional de cauces. El modelo seleccionado fue el programa EZEIZA VI (Ezeiza), un modelo hidrodinámico desarrollado por el Instituto Nacional del Agua (INA) de la República Argentina, y el modelo del sistema físico del río Paraná cuyo comportamiento y evolución se simula con Ezeiza. El Río Paraná es de interés para este trabajo; pertenece a la Cuenca del Plata y recorre el área más poblada e industrializada de Sudamérica. Las conversaciones y reuniones con los investigadores del INA fueron decisivas para entender el funcionamiento del simulador Ezeiza y las características del sistema simulado. De esta manera fue posible elegir los parámetros críticos del modelo, como también sus posibles rangos de valores. Optimización vía Simulación (OvS) es un campo emergente que integra técnicas de optimización y análisis de la simulación, el cual se ha convertido en una poderosa técnica para el análisis y optimización de sistemas complejos. Mediante los aportes de la OvS, se implementa un metamodelo de simulación para encontrar el conjunto de parámetros de ajuste que optimiza la salida del simulador. El uso de un metamodelo se hace para facilitar la tarea de optimización, que implica encontrar la mejor configuración de parámetros de entrada, o variables controlables del sistema, con el n de optimizar la función objetivo, la cual es función de las salidas del modelo de simulación, en este caso el modelo Ezeiza. El método utiliza la salida del simulador, y otros datos propios de sistema físico simulado, para evaluar su función objetivo y en base a esta medida o índice de rendimiento, propone un nuevo conjunto de valores de los parámetros. El método de OvS aplicado a mejorar los resultados del simulador Ezeiza, es un metamodelo que utiliza una estrategia de OvS en dos etapas. Un metamodelo es un modelo empírico creado con datos generados por modelos computacionales, o sea son modelos de modelos. El método que se presenta se sitúa entre los métodos de búsquedas exhaustivas y las heurísticas propias de la optimización y es un metamodelo que utiliza una estrategia de OvS en dos etapas. La idea principal es la siguiente: En una primera etapa, mediante un proceso iterativo, se van obteniendo subregiones del espacio de búsqueda del problema que cumplan con su función objetivo. Esta etapa se basa en la estructura de vecindad del problema para reducir la región de posibles soluciones donde se hace la búsqueda, mediante un esquema Monte Carlo combinado con un método K-Means. Se obtienen conjuntos de regiones prometedoras, nombradas así desde el punto de vista de la posibilidad de contener la solución óptima, o alguna subóptima, cuyo tamaño es mucho más chico. Al finalizar, se implementa una segunda etapa de búsqueda exhaustiva, pero ahora sobre la región prometedora resultante, ya mucho más pequeña. A pesar de la reducción del espacio de búsqueda, ambas etapas implementan métodos computacionales que requieren un gran tiempo de ejecución y son posibles de llevar a la práctica gracias a los recursos de programación paralela y de cómputo de alto rendimiento. Con estos recursos se logran tiempos de ejecución aceptables, reduciendo considerablemente el tiempo computacional de cada etapa. El método de OvS en sus dos etapas es un método fácilmente paralelizable. El algoritmo principal debe evaluar la función objetivo con cada candidato solución antes de ingresarlo al método de optimización, el cual hace un análisis de los índices obtenidos para decidir si el método debe repetirse. El simulador se ejecuta con cada uno de los elementos seleccionados al azar del espacio de búsqueda por el método Monte Carlo, el cual es un espacio de 110.592 combinaciones en el primer caso de experimentación y de 19683 combinaciones en el segundo caso. Cada evaluación es independiente de las otras, por lo tanto estamos ante un problema altamente paralelizable en un cluster mediante un modelo de programación Master-Worker. La aplicación Master-Worker del método fue escrita en C++ con MPI. Se utilizó pthreads para ejecutar el conjunto de programas que conforman el simulador Ezeiza, que se utilizan como una caja negra durante todo el proceso. Este trabajo optimiza la predicción de Ezeiza en las estaciones de monitoreo ubicadas a lo largo del río Paraná. Para su comprobación, se implementaron dos casos de estudio del método utilizando datos reales en dos periodos de tiempo diferentes. Estos casos optimizan dos índices de rendimiento necesarios para encontrar el conjunto óptimo de parámetros. Estos índices son indicadores del rendimiento general de la simulación y dependen de los datos de salida (simulados) y de los datos observados (reales) en cada una de las 15 estaciones de monitoreo durante cada día del periodo simulado. Las funciones objetivos establecidas para la optimización están definidas por estos índices. Uno de ellos minimiza el apartamiento promedio entre ambos grupos de datos y en segundo lugar se considera una función multiobjetivo que minimiza estas diferencias y maximiza la cantidad de estaciones que mejoran. Los escenarios de simulación que resultaron del proceso de OvS son los que contienen los valores óptimos de sus parámetros de entrada. Estos conjuntos solución, o conjunto de variables de decisión optimizadas, junto con todos los datos de entrada de una simulación completa, constituyen los escenarios de simulación que sintonizan la predicción realizada con el simulador Ezeiza. Se logró una mejora en la predicción de Ezeiza entre el 10% y el 25% para el primer caso de estudio y comprobación del método y mejoras entre el 20% y el 40% para el segundo caso de experimentación. Estos porcentajes representan un promedio de 40cm a 60cm de altura del agua, y la importancia de estos valores radica en que pueden ser la diferencia entre la pérdida o no del ganado o de cubrir casas, al entrar el agua en las planicies de inundación afectadas. Estos escenarios optimizados mejoraron favorablemente la simulación de Ezeiza en las estaciones ubicadas en el tramo del bajo Paraná. Fue seleccionado este tramo para la optimización, pues es un tramo del río sensible para la toma de decisiones y los pronósticos. Esta zona tiene alto impacto en la región de la Cuenca del Plata, especialmente en su economía, debido a la alta cantidad de población que tiene instalada en sus planicies. No es posible pensar en un escenario de optimización de todo el sistema físico, como el que representa el río Paraná en sus 1900 km. Con 76 secciones en su cauce. En cada sección se deben definir los valores de sus parámetros ajustables. El espacio de búsqueda resultante de la combinación de estos parámetros toma una dimensión tan inmensa, que optimizar todo el sistema es una misión aun imposible de llevar a la práctica. Los resultados son alentadores y el principal aporte del trabajo fue proveer de una metodología que permitió calibrar y sintonizar un simulador, como Ezeiza, de manera automática. Esto es muy beneficioso para los ingenieros hidráulicos que deben hacer predicción con el simulador y no pueden contar con valores actualizados constantemente de los datos del río. Esta metodología es prometedora para ser utilizada en la sintonización automática de otros simuladores hidrológicos. Por otro lado, el uso del cómputo de alto rendimiento se potencia con el aporte del método de OvS, ya que se tiene una ganancia por la reducción en cantidad de simulaciones que ofrece la metodología al reducir significativamente el espacio de búsqueda de la solución, y la ganancia de la implementación en paralelo.Directores de la tesis: Emilio Luque Fadón (Universidad Autónoma de Barcelona) y Armando De Giusti (Universidad Nacional de La Plata).Facultad de Informátic

Planificación dinámica sobre entornos GRID

El objetivo de esta Tesis es el análisis para la gestión de entornos virtuales de manera eficiente. Se realizó una optimización para el middleware de planificación en forma dinámica sobre entornos de computación Grid, siendo la meta a alcanzar la asignación y utilización óptima de recursos para la ejecución coordinada de tareas. Se investigó en particular la interacción entre servicios Grid y la problemática de la distribución de tareas en meta-organizaciones con requerimientos de calidad de servicio no trivial, estableciendo una relación entre la distribución de tareas y las necesidades locales pertenecientes a organizaciones virtuales. En primer término, se realizaron experiencias sobre la problemática de aplicaciones en entornos multicluster y luego se analizó como la infraestructura Grid pueden impactar en el diseño de este tipo de aplicaciones. Se propuso e implementó una arquitectura para la gestión de entornos virtuales, logrando un máximo aprovechamiento de entornos Grid utilizando clusters de computadoras como recurso. Por último se formuló una optimización para algoritmos de planificación, donde en base a la distribución geográfica y las características de la aplicación que se debe ejecutar, se generan automáticamente entornos virtuales de ejecución utilizando el conjunto de máquinas más adecuado. Con esta optimización se logra en el mejor de los casos un incremento del 20% en el tiempo total de ejecución del sistema.Es revisado por: http://sedici.unlp.edu.ar/handle/10915/9685Facultad de Informátic

Computer Science and Technology Series : XV Argentine Congress of Computer Science. Selected papers

CACIC'09 was the fifteenth Congress in the CACIC series. It was organized by the School of Engineering of the National University of Jujuy. The Congress included 9 Workshops with 130 accepted papers, 1 main Conference, 4 invited tutorials, different meetings related with Computer Science Education (Professors, PhD students, Curricula) and an International School with 5 courses. CACIC 2009 was organized following the traditional Congress format, with 9 Workshops covering a diversity of dimensions of Computer Science Research. Each topic was supervised by a committee of three chairs of different Universities. The call for papers attracted a total of 267 submissions. An average of 2.7 review reports were collected for each paper, for a grand total of 720 review reports that involved about 300 different reviewers. A total of 130 full papers were accepted and 20 of them were selected for this book.Red de Universidades con Carreras en Informática (RedUNCI