MPWide: a light-weight library for efficient message passing over wide area networks

We present MPWide, a light weight communication library which allows efficient message passing over a distributed network. MPWide has been designed to connect application running on distributed (super)computing resources, and to maximize the communication performance on wide area networks for those without administrative privileges. It can be used to provide message-passing between application, move files, and make very fast connections in client-server environments. MPWide has already been applied to enable distributed cosmological simulations across up to four supercomputers on two continents, and to couple two different bloodflow simulations to form a multiscale simulation

Contributions to Desktop Grid Computing : From High Throughput Computing to Data-Intensive Sciences on Hybrid Distributed Computing Infrastructures

Since the mid 90’s, Desktop Grid Computing - i.e the idea of using a large number of remote PCs distributed on the Internet to execute large parallel applications - has proved to be an efficient paradigm to provide a large computational power at the fraction of the cost of a dedicated computing infrastructure.This document presents my contributions over the last decade to broaden the scope of Desktop Grid Computing. My research has followed three different directions. The first direction has established new methods to observe and characterize Desktop Grid resources and developed experimental platforms to test and validate our approach in conditions close to reality. The second line of research has focused on integrating Desk- top Grids in e-science Grid infrastructure (e.g. EGI), which requires to address many challenges such as security, scheduling, quality of service, and more. The third direction has investigated how to support large-scale data management and data intensive applica- tions on such infrastructures, including support for the new and emerging data-oriented programming models.This manuscript not only reports on the scientific achievements and the technologies developed to support our objectives, but also on the international collaborations and projects I have been involved in, as well as the scientific mentoring which motivates my candidature for the Habilitation `a Diriger les Recherches

Volcanic Activity: Processing of Observation and Remote Sensing Data (VAPOR)

The World Bank makes a very clear distinction between disasters and natural phenomena. Natural phenomena are events like volcanic eruptions. A disaster only occurs when the ability of the community to cope with natural phenomenon has been surpassed, causing widespread human, material, economic or environmental losses. By these definitions, volcanic eruptions do not have to lead to disasters. On November 13, 1985, the second most deadly eruption of the twentieth century occurred in Colombia. Within a few hours of the eruption of the Nevado del Ruiz volcano, 23,000 people were dead because no infrastructure existed to respond to such an emergency. Six years later, the 1991 eruption of Mount Pinatubo in the Philippines was the largest volcanic eruption in the 21st century to affect a heavily populated area. Because the volcano was monitored, early warning of the eruption was provided and thousands of lives were saved. Despite these improvements, some communities still face danger from volcanic events and volcano-monitoring systems still require further development. There remain clear gaps in monitoring technologies, in data sharing, and in early warning and hazard tracking systems. A global volcano-monitoring framework such as the VIDA framework can contribute to filling these gaps. VIDA stands for “VAPOR Integrated Data-sharing and Analysis” and is also the Catalan and Spanish word for ‘life’. The ultimate goal for this project is to help save the lives of people threatened by volcanic hazards, while protecting infrastructure and contributing to decision support mechanisms in disaster risk management scenarios

Computational Methods in Science and Engineering : Proceedings of the Workshop SimLabs@KIT, November 29 - 30, 2010, Karlsruhe, Germany

In this proceedings volume we provide a compilation of article contributions equally covering applications from different research fields and ranging from capacity up to capability computing. Besides classical computing aspects such as parallelization, the focus of these proceedings is on multi-scale approaches and methods for tackling algorithm and data complexity. Also practical aspects regarding the usage of the HPC infrastructure and available tools and software at the SCC are presented

Management dynamischer Virtueller Organisationen in Grids

Seit Mitte der 1990er Jahre wird unter dem Grid-Problem allgemein das koordinierte Problemlösen und die gemeinschaftliche Nutzung von Ressourcen in dynamischen, multi-institutionellen, Virtuellen Organisationen verstanden. Das Konzept Virtueller Organisationen (VO) ist damit für Grids von zentraler Bedeutung. Intuitiv bestehen VOs aus Personen und/oder technischen Ressourcen autonomer realer Organisationen. Der für VOs typische Lebenszyklus impliziert zahlreiche, zum Teil neue, Anforderungen nicht nur an die Bereitstellung von Grid-Ressourcen, sondern insbesondere auch an das Management von VOs selbst. Fragen nach gezielter IT-Unterstützung in der Formation, dem Betrieb, und der Auflösung von VOs rücken in Grids immer mehr in den Vordergrund. Trotz der drängenden Notwendigkeit eines auch gerade VOs als managed objects umfassenden, integrierten Grid-Management-Ansatzes, sind die Fragestellungen bezüglich der hierzu erforderlichen Architekturen, Plattformen und Betriebskonzepte noch weitgehend ungeklärt. Existierende Konzepte liegen bestenfalls für einzelne Teilaspekte vor (z.B. dem Mitgliedsmanagement). Bestätigt wird dies durch eine Analyse bestehender Architekturkonzepte, deren zum Teil erhebliche Defizite auf die aktuelle betriebliche Praxis im Grid-Management und den vereinfachend getroffenen Annahmen zu Lebensdauer, Gründungsprozess oder Kooperationsstruktur von VOs zurückzuführen sind. Die Dissertation verfolgt das Ziel, eine VO-Managementarchitektur (VOMA), in der die Managementobjekte dynamische Virtuelle Organisationen sind, zu entwickeln. Im Informationsmodell der Architektur wird für alle am VO-Management beteiligten Rollen ein gemeinsames Verständnis über die auszutauschenden Managementinformationen festgelegt. Das Organisationsmodell identifiziert die am VO-Management beteiligten Rollen und ordnet ihnen entsprechende Handlungsdomänen zu. Im Kommunikationsmodell werden die spezifischen Anforderungen an die Kommunikationsmechanismen dieser Rollen spezifiziert. Im Funktionsmodell wird der Gesamtaufgabenkomplex des VO-Managements auf der Basis der anderen Teilmodelle in einzelne Funktionsbereiche gegliedert, die sich an VO-Lebenszyklen orientieren. Während VOMA zunächst Plattform-unabhängig spezifiziert wird -- und damit ein allgemeines Rahmenwerk liefert, muss die Architektur für einen realen Einsatz Plattform-spezifisch transformiert werden. Dies wird am Beispiel des Web Services Distributed Management gezeigt. Zudem wird geklärt, wie die Architektur in bestehende oder zukünftige Grid-Projekte integriert werden kann. Dazu wird VOMA um eine Infrastrukturkomponente (VOMA-I) erweitert, über die VOMA an Hand von Konfigurationsmustern in einem klassischen Manager/Agenten-Paradigma zum Einsatz gebracht werden kann. Die Tragfähigkeit des Konzeptes wird an Beispielen demonstriert. Eine Zusammenfassung der erzielten Ergebnisse und ein Ausblick auf weiterführende Forschungsthemen runden die Arbeit schließlich ab

Scheduling and Dynamic Management of Applications over Grids

The work presented in this Thesis is about scheduling applications in computational Grids. We study how to better manage jobs in a grid middleware in order to improve the performance of the platform. Our solutions are designed to work at the middleware layer, thus allowing to keep the underlying architecture unmodified. First, we propose a reallocation mechanism to dynamically tackle errors that occur during the scheduling. Indeed, it is often necessary to provide a runtime estimation when submitting on a parallel computer so that it can compute a schedule. However, estimations are inherently inaccurate and scheduling decisions are based on incorrect data, and are therefore wrong. The reallocation mechanism we propose tackles this problem by moving waiting jobs between several parallel machines in order to reduce the scheduling errors due to inaccurate runtime estimates. Our second interest in the Thesis is the study of the scheduling of a climatology application on the Grid. To provide the best possible performances, we modeled the application as a Directed Acyclic Graph (DAG) and then proposed specific scheduling heuristics. To execute the application on the Grid, the middleware uses the knowledge of the application to find thebest schedule.Les travaux présentés dans cette thèse portent sur l'ordonnancement d'applications au sein d'un environnement de grille de calcul. Nous étudions comment mieux gérer les tâches au sein des intergiciels de grille, ceci dans l'objectif d'améliorer les performances globales de la plateforme. Les solutions que nous proposons se situent dans l'intergiciel, ce qui permet de conserver les architectures sous-jacentes sans les modifier. Dans un premier temps, nous proposons un mécanisme de réallocation permettant de prendre en compte dynamiquement les erreurs d'ordonnancement commises lors de la soumission de calculs. En effet, lors de la soumission sur une machine parallèle, il est souvent nécessaire de fournir une estimation du temps d'exécution afin que celle-ci puisse effectuer un ordonnancement. Cependant, les estimations ne sont pas précises et les décisions d'ordonnancement sont sans cesse remises en question. Le mécanisme de réallocation proposé permet de prendre en compte ces changements en déplaçant des calculs d'une machine parallèle à une autre. Le second point auquel nous nous intéressons dans cette thèse est l'ordonnancement d'une application de climatologie sur la grille. Afin de fournir les meilleures performances possibles nous avons modélisé l'application puis proposé des heuristiques spécifiques. Pour exécuter l'application sur une grille de calcul, l'intergiciel utilise ces connaissances sur l'application pour fournir le meilleur ordonnancement possible