Allocation optimale multicontraintes des workflows aux ressources d’un environnement Cloud Computing

Cloud Computing is increasingly recognized as a new way to use on-demand, computing, storage and network services in a transparent and efficient way. In this thesis, we address the problem of workflows scheduling on distributed heterogeneous infrastructure of Cloud Computing. The existing workflows scheduling approaches mainly focus on the bi-objective optimization of the makespan and the cost. In this thesis, we propose news workflows scheduling algorithms based on metaheuristics. Our algorithms are able to handle more than two QoS (Quality of Service) metrics, namely, makespan, cost, reliability, availability and energy in the case of physical resources. In addition, they address several constraints according to the specified requirements in the SLA (Service Level Agreement). Our algorithms have been evaluated by simulations. We used (1) synthetic workflows and real world scientific workflows having different structures, for our applications; and (2) the features of Amazon EC2 services for our Cloud. The obtained results show the effectiveness of our algorithms when dealing multiple QoS metrics. Our algorithms produce one or more solutions which some of them outperform the solution produced by HEFT heuristic over all the QoS considered, including the makespan for which HEFT is supposed to give good results.Le Cloud Computing est de plus en plus reconnu comme une nouvelle façon d'utiliser, à la demande, les services de calcul, de stockage et de réseau d'une manière transparente et efficace. Dans cette thèse, nous abordons le problème d'ordonnancement de workflows sur les infrastructures distribuées hétérogènes du Cloud Computing. Les approches d'ordonnancement de workflows existantes dans le Cloud se concentrent principalement sur l'optimisation biobjectif du makespan et du coût. Dans cette thèse, nous proposons des algorithmes d'ordonnancement de workflows basés sur des métaheuristiques. Nos algorithmes sont capables de gérer plus de deux métriques de QoS (Quality of Service), notamment, le makespan, le coût, la fiabilité, la disponibilité et l'énergie dans le cas de ressources physiques. En outre, ils traitent plusieurs contraintes selon les exigences spécifiées dans le SLA (Service Level Agreement). Nos algorithmes ont été évalués par simulation en utilisant (1) comme applications: des workflows synthétiques et des workflows scientifiques issues du monde réel ayant des structures différentes; (2) et comme ressources Cloud: les caractéristiques des services de Amazon EC2. Les résultats obtenus montrent l'efficacité de nos algorithmes pour le traitement de plusieurs QoS. Nos algorithmes génèrent une ou plusieurs solutions dont certaines surpassent la solution de l'heuristique HEFT sur toutes les QoS considérées, y compris le makespan pour lequel HEFT est censé donner de bons résultats

Machine virtuelle universelle pour codage vidéo reconfigurable

Cette thèse propose un nouveau paradigme de représentation d applications pour les machines virtuelles, capable d abstraire l architecture des systèmes informatiques. Les machines virtuelles actuelles reposent sur un modèle unique de représentation d application qui abstrait les instructions des machines et sur un modèle d exécution qui traduit le fonctionnement de ces instructions vers les machines cibles. S ils sont capables de rendre les applications portables sur une vaste gamme de systèmes, ces deux modèles ne permettent pas en revanche d exprimer la concurrence sur les instructions. Or, celle-ci est indispensable pour optimiser le traitement des applications selon les ressources disponibles de la plate-forme cible. Nous avons tout d abord développé une représentation universelle d applications pour machine virtuelle fondée sur la modélisation par graphe flux de données. Une application est ainsi modélisée par un graphe orienté dont les sommets sont des unités de calcul (les acteurs) et dont les arcs représentent le flux de données passant au travers de ces sommets. Chaque unité de calcul peut être traitée indépendamment des autres sur des ressources distinctes. La concurrence sur les instructions dans l application est alors explicite. Exploiter ce nouveau formalisme de description d'applications nécessite de modifier les règles de programmation. A cette fin, nous avons introduit et défini le concept de Représentation Canonique et Minimale d acteur. Il se fonde à la fois sur le langage de programmation orienté acteur CAL et sur les modèles d abstraction d instructions des machines virtuelles existantes. Notre contribution majeure qui intègre les deux nouvelles représentations proposées, est le développement d une Machine Virtuelle Universelle (MVU) dont la spécificité est de gérer les mécanismes d adaptation, d optimisation et d ordonnancement à partir de l infrastructure de compilation Low-Level Virtual Machine. La pertinence de cette MVU est démontrée dans le contexte normatif du codage vidéo reconfigurable (RVC). En effet, MPEG RVC fournit des applications de référence de décodeurs conformes à la norme MPEG-4 partie 2 Simple Profile sous la forme de graphe flux de données. L une des applications de cette thèse est la modélisation par graphe flux de données d un décodeur conforme à la norme MPEG-4 partie 10 Constrained Baseline Profile qui est deux fois plus complexe que les applications de référence MPEG RVC. Les résultats expérimentaux montrent un gain en performance en exécution de deux pour des plates-formes dotées de deux cœurs par rapport à une exécution mono-cœur. Les optimisations développées aboutissent à un gain de 25% sur ces performances pour des temps de compilation diminués de moitié. Les travaux effectués démontrent le caractère opérationnel et universel de cette norme dont le cadre d utilisation dépasse le domaine vidéo pour s appliquer à d autres domaine de traitement du signal (3D, son, photo )This thesis proposes a new paradigm that abstracts the architecture of computer systems for representing virtual machines applications. Current applications are based on abstraction of machine s instructions and on an execution model that reflects operations of these instructions on the target machine. While these two models are efficient to make applications portable across a wide range of systems, they do not express concurrency between instructions. Expressing concurrency is yet essential to optimize processing of application as the number of processing units is increasing in computer systems. We first develop a universal representation of applications for virtual machines based on dataflow graph modeling. Thus, an application is modeled by a directed graph where vertices are computation units (the actors) and edges represent the flow of data between vertices. Each processing units can be treated apart independently on separate resources. Concurrency in the instructions is then made explicitly. Exploit this new description formalism of applications requires a change in programming rules. To that purpose, we introduce and define a Minimal and Canonical Representation of actors. It is both based on actor-oriented programming and on instructions abstraction used in existing Virtual Machines. Our major contribution, which incorporates the two new representations proposed, is the development of a Universal Virtual Machine (UVM) for managing specific mechanisms of adaptation, optimization and scheduling based on the Low-Level Virtual Machine (LLVM) infrastructure. The relevance of the MVU is demonstrated on the MPEG Reconfigurable Video Coding standard. In fact, MPEG RVC provides decoder s reference application compliant with the MPEG-4 part 2 Simple Profile in the form of dataflow graph. One application of this thesis is a new dataflow description of a decoder compliant with the MPEG-4 part 10 Constrained Baseline Profile, which is twice as complex as the reference MPEG RVC application. Experimental results show a gain in performance close to double on a two cores compare to a single core execution. Developed optimizations result in a gain on performance of 25% for compile times reduced by half. The work developed demonstrates the operational nature of this standard and offers a universal framework which exceeds the field of video domain (3D, sound, picture...)EVRY-INT (912282302) / SudocSudocFranceF

Parallélisation d'un algorithme génétique pour le problème d'ordonnancement sur machine unique avec temps de réglages dépendants de la séquence

Les problèmes d'ordonnancement peuvent être rencontrés dans plusieurs situations de la vie courante. Organiser des activités quotidiennes, planifier un itinéraire de voyage sont autant d'exemples de petits problèmes d'optimisation que nous tentons de résoudre tous les jours sans nous en rendre compte. Mais quand ces problèmes prennent des proportions plus grandes, il devient difficile au cerveau humain de gérer tous ces paramètres et le recours à une solution informatique s'impose. Les problèmes d'ordonnancement en contexte industriel sont nombreux et celui qui retient particulièrement notre attention dans le cadre de ce mémoire est le problème d'ordonnancement de commandes sur machine unique avec temps de réglages dépendant de la séquence. Ce problème fait partie de la classe de problèmes NP-Difficiles. Etant donnée sa complexité, ce problème ne peut être résolu par une méthode exacte. Les métaheuristiques représentent ainsi une bonne alternative pour obtenir des solutions de bonne qualité dans des délais très courts. Les algorithmes génétiques, qui font partie des algorithmes évolutionnaires, sont utilisés dans ce travail pour résoudre ce problème d'ordonnancement. La prolifération des architectures parallèles a ouvert la voie à un nouvel éventail d'approches pour optimiser les algorithmes et plus spécialement les métaheuristiques. Ce mémoire propose une stratégie de parallélisation de l'algorithme génétique pour en étudier les bénéfices. Le premier algorithme génétique proposé est implémenté sur le modèle d'un algorithme de la littérature. Cet algorithme ne s'est pas avéré performant pour toute la série de problèmes test et, pour cette raison, des modifications de paramètres ont été rendues nécessaires. Ces modifications ont donné naissance à une deuxième version séquentielle dont les résultats se sont avérés satisfaisants. Une troisième version a ensuite été implémentée avec une optique d'exécution parallèle selon un modèle en îlot et une topologie en anneau unidirectionnel. Un plan d'expérience a ensuite été mis au point selon plusieurs variables et vise à identifier les meilleures configurations de l'algorithme tant sur le plan de la qualité des résultats que sur le plan de l'accélération. Les résultats obtenus dans ce mémoire montrent que l'introduction de la parallélisation dans un algorithme génétique est bénéfique à ce dernier tant sur le plan qualité des résultats que sur le plan accélération. Dans un premier temps, la version sans communications n'a pas amélioré une grande partie des problèmes mais a pu atteindre des accélérations linéaires. Par la suite, l'introduction des échanges a nettement influé sur la qualité des résultats. En effet, en adoptant une stratégie de division de la taille de la population par le nombre de processeurs, l'algorithme génétique parallèle parvient à donner des résultats équivalents voire meilleurs que la version séquentielle, et ceci pour plusieurs fréquences d'échanges entre les populations

Etude d'heuristiques distribuées de recherche sans contrôle global explicite

Concepts du traitement parallèle -- Parallélisation des méthodes de recherche -- Stratégies de parallélisation de la méthode tabou -- Parallélisation par recherches multiples coopérantes -- Dynamiques de réactions en chaîne -- Analyse de l'interaction entre les stratégies d'exploitation

Architecture et services pour la distribution de charge dans les systèmes distribués objet

Thèse numérisée par la Direction des bibliothèques de l'Université de Montréal

Logistique hospitalière à l'aide de robots mobiles reconfigurables

Ce manuscrit expose notre travail dans le cadre du projet IWARD et détaille la couche de gestion et de décision du groupement de robots. Ce projet avait comme objectif d assister le personnel médical dans leur travail, ceci est réalisé en utilisant des robots mobiles, reconfigurables, et rechargeables. Ces robots sont conçus pour effectuer des taches logistiques comme : Le transport de médicaments, le nettoyage, le guidage des patients, la surveillance et la téléconsultation. Dans la première partie de la thèse nous présenterons le problème stratégique qui consiste à déterminer les plannings de rechargement des robots, la configuration des robots opérationnels ainsi que la localisation des stations d attentes des robots lorsqu ils sont en état de veille. Différentes hiérarchies à plusieurs niveaux de décisions, sont formulées comme des programmes linéaires en nombres entiers. Des formulations utilisant l approche de génération de colonnes sont aussi développées pour résoudre ces problèmes. Dans la deuxième partie, le problème tactique est exposé, ceci consiste à affecter les taches arrivantes aux différents robots et d ordonnancer dynamiquement l exécution ces missions. Deux approches sont inspectées une version centralisée utilisant les algorithmes évolutionnaires et une autre version distribuée utilisant les algorithmes d enchères inversées. Afin de mettre à l épreuve ces deux approches, une simulation a événements discrets a été conçue et développée spécifiquement pour le projet, permettant ainsi d évaluer ces deux approches.Due to the expansion of the life duration and the shortage of medical personal in hospitals the EU funded IWARD project as part of the IFP6 program. The aims of this project were to assist the medical personnel in logistic and non medical tasks (transport, cleaning, environmental monitoring, guidance and tele-monitoring) through the usage of mobile, reconfigurable, rechargeable robots, thus letting the Medical staff to concentrate on medical aspects of their work.This thesis was part of this project, and our work consisted on developing a decision making framework for the team of robots.In the first part of the thesis, we address the strategic decisions essentially the: (i) the robots home station location problem, (ii) Robot s reconfiguration problems and (iii) Robots recharging scheduling. We formulate those problems as a linear problems and we propose to solve them using Mixed Integer Programming (MIP). We also present a formulation using a column generation approach to solve those problems.In the later part we address the tactical problems, mainly the mission assignment, the mission scheduling and rescheduling. We present two different approaches; a centralized decision finder implemented using genetic algorithms. And a decentralized approach using auction like and market based algorithms in order to provided collaborative decision making framework.Finally we compare those two approaches using a custom made discrete event simulation (DES).ST ETIENNE-ENS des Mines (422182304) / SudocSudocFranceF

Sélection et réglage de paramètres pour l'optimisation de logiciels d'ordonnancement industriel

L’utilisation d’un logiciel d’ordonnancement industriel fait intervenir une multitude de paramètres dont le réglage influence fortement la qualité des résultats. A l’heure actuelle, ce réglage est effectué de façon manuelle, après un travail souvent fastidieux au cours de l’installation initiale du logiciel’ De plus, une fois spécifiées, les valeurs de ces paramètres sont rarement remises en cause par les utilisateurs, du fait de leur manque d’expérience et du nombre important de paramètres à ajuster. L’idée que nous développons ici consiste à utiliser des métaheuristiques pour automatiser cette tâche. Deux problèmes seront abordés : la sélection des paramètres pertinents et leur réglage en fonction des exigences de l’utilisateur. Nous proposons de résoudre ces deux problèmes de façon simultanée, en introduisant des stratégies de sélection au sein des métaheuristiques. Cette approche est appliquée au logiciel d’ordonnancement Ortems® et validée sur plusieurs cas industriels. ABSTRACT : The use of scheduling software requires to set-up a number of parameters that have a direct influence on the schedule quality. Nowadays, this set-up is obtained manually after an extensive effort during initial software installation. Moreover, this set-up is rarely called into question by users, due to their lack of experience and to the high number of parameters involved. It is suggested in this thesis the use of metaheuristics to automate this task. Two problems are considered: selection of relevant parameters and their tuning according to user requirements. We suggest here an approach to solve these problems simultaneously, based on the combination of metaheuristics with some parameter selection strategies. An implementation framework has been developed and tested on an industrial scheduler, named Ortems®. The first results of the use of this framework on real industrial databases are described and commented

Optimisation de la planification intégrée de la maintenance préventive et de la production des systèmes multi-états

Cette thèse traite la problématique de la planification intégrée de la maintenance préventive et de la production des systèmes multi-états. Il s'agit d'un système de production modélisé comme étant un système multi-états avec un nombre fini de niveaux de capacité allant du fonctionnement parfait jusqu'à la défaillance totale. Il doit produire un ensemble de produits pour satisfaire une demande donnée durant l'horizon de planification. Les composantes du système multi-états sont assujetties à des remplacements préventifs et à une réparation minimale en cas de panne. Ce travail présente des modèles de planification permettant de générer simultanément le plan optimal de production au niveau tactique (problème de taille de lot capaci-taire) et les instants ou les intervalles d'intervention pour des actions de maintenance préventive. Les fonctions des objectifs de ces modèles minimisent la somme des coûts de la maintenance (préventive et corrective) et des coûts de production sujets à des contraintes de satisfaction de demande et de capacité. La méthodologie proposée développe des modèles mathématiques, des méthodes d'évaluation des temps de maintenance, des coûts de maintenance, les capacités relatives aux systèmes et des algorithmes de résolution pour obtenir des solutions optimales (recherche exhaustive) ou approximatives (algorithmes génétiques et recuit simulé). Cette méthodologie a été utilisée dans les trois contributions suivantes : 1. La première contribution propose un modèle de planification de la maintenance préventive périodique et de la production pour un système multi-états. Il s'agit de déterminer le plan de production optimal et les longueurs des intervalles de remplacement pour chaque composante du système. 2. La deuxième contribution traite du problème de la planification intégrée de la maintenance préventive acyclique et de la production dans le cas d'une seule machine. Le plan optimal détermine le plan de production et les instants d'intervention pour des activités de maintenance préventive. 3. La troisième contribution propose un modèle une planification simultanée de la maintenance préventive acyclique et de la production pour un système multi-états composé de plusieurs composantes. Les résultats obtenus dans cette thèse montrent l'impact économique réalisé par l'intégration de la planification de la maintenance préventive et de la production, ainsi que pour l'élimination de la contrainte de périodicité, surtout dans le cas d'une demande fluctuante. Les méthodes de résolution développées dans ces travaux permettent la résolution de problèmes de petite ou de grande taille

Criblage virtuel sur grille de composés isolés au Vietnam

Virtual Screening (VS) is a computational technique used in the drug discovery process to select the most promising candidate drugs for in vitro testing from millions of chemical compounds. This method can offer an efficient alternative to reduce the cost of drug discovery and platform. The Natural Products Chemistry Institute of the Academy of Sciences of Vietnam (INPC) collects samples from local biodiversity and determines the 3D structure of single molecules. Their challenge is to set up a virtual screening platform on grid computing for their chemists to process their data. However, as the number of users who might have a wide range of virtual screening applications (in terms of the number of tasks and execution time) increases with limited available computing resources, it becomes crucial to devise an effective scheduling policy that can ensure a certain degree of fairness, user satisfaction and overall system throughput. In this context, the thesis focuses on an effective scheduling policy for the virtual screening workflow where multiple users with varying numbers of tasks are actively sharing a common system infrastructure. We have researched in theory and proposed some candidate policies. With the simulation results and the experimentation results in real system, we proposed the best policy for the fairness between users, which can be applied to INPC virtual screening platform.L’Institut National des Produits Chimiques de l’Académie des Sciences du Vietnam (INPC) développe depuis plusieurs années une activité autour de la recherche de nouveaux médicaments issus de la biodiversité. Le développement d’un nouveau médicament prend de l’ordre d’une dizaine d’années et passe par plusieurs phases. Dans la phase de découverte, l’activité des composés chimiques sur une cible biologique est mesurée afin de mettre en évidence une action inhibitrice. Le développement d’approches in silico pour le criblage virtuel des composés chimiques est une alternative aux approches classiques in vitro beaucoup plus coûteuses à mettre en œuvre. L’utilisation de la grille a été identifiée comme une voie économiquement prometteuse pour accompagner la recherche de nouveaux médicaments au Vietnam. En effet, le développement de nouvelles stratégies basées sur l’utilisation de plates-formes de soumission de tâches (DIRAC, HTCaaS) a permis d’améliorer considérablement le taux de succès et le confort des utilisateurs, ouvrant la voie à une démocratisation de la grille.Dans ce contexte, l’objectif poursuivi dans le cadre de cette thèse est d’étudier dans quelle mesure des plates-formes multidisciplinaires pouvaient répondre aux besoins des chimistes de l’INPC. Le travail s’est concentré sur les modalités d’un partage équitable d’une plate-forme de soumission de tâches sur la grille par une ou plusieurs communautés d’utilisateurs. L’ordonnancement des tâches sur un serveur commun doit permettre que les différents groupes aient une expérience positive et comparable. Sur les infrastructures de grille EGEE et EGI en Europe , on peut distinguer deux grandes catégories d’utilisateurs : les utilisateurs « normaux » qui vont solliciter les ressources pour des tâches requérant typiquement de quelques dizaines à quelques centaines d’heures de calcul, et les « gros » utilisateurs qui vont lancer des grandes productions nécessitant le traitement de plusieurs milliers de tâches pendant des dizaines, voire des centaines de milliers d’heures de calcul. Les stratégies d’ordonnancement déployées aujourd’hui sur les plates-formes comme DIRAC ou HTCaaS ne permettent pas de servir de façon optimale et simultanée ces deux familles d’utilisateurs.Le manuscrit présente une évaluation par simulation des performances de plusieurs stratégies d’ordonnancement des tâches d’une plate-forme soumettant des jobs pilotes. L’outil SimGrid a permis de simuler l’infrastructure de grille régionale déployée en Auvergne à partir de traces archivées de son utilisation. Après évaluation des performances de plusieurs politiques d’ordonnancement tirées de la littérature, une nouvelle politique a été proposée dans laquelle les utilisateurs normaux et les très gros utilisateurs sont gérés de façon indépendante. Grâce à cette politique, le ralentissement expérimenté par les très gros utilisateurs est réduit significativement sans pénaliser excessivement les utilisateurs normaux. L’étude a été étendue à une fédération de clouds utilisant les mêmes ressources et arrive aux mêmes conclusions. Les performances des politiques d’ordonnancement ont ensuite été évaluées sur des environnements de production, à savoir l’infrastructure de grille européenne EGI et l’infrastructure nationale de supercalculateurs de la Corée du Sud. Un serveur DIRAC a été adossé aux ressources de l’organisation virtuelle biomédicale d’EGI pour étudier les ralentissements observés par les utilisateurs de ce serveur. Pareillement, les ralentissements expérimentés par les utilisateurs de la plate-forme HTCaaS au KISTI ont été observés en excellent accord avec les résultats de simulation avec SimGrid.Ces travaux confirment la faisabilité et l’intérêt d’une plate-forme unique au Vietnam au service des communautés scientifiques consommatrices des ressources académiques de grille et de cloud, notamment pour la recherche de nouveaux médicaments

Système collaboratif d'aide à l'ordonnancement et à l'orchestration des tâches de soins à compétences muiltiples

Health care systems management and the avoidance of overcrowding phenomena are major issues. The aim of this thesis is to implement a Collaborative Support System for Scheduling and Orchestration (CSSystSO) of multi-skill health care tasks in order to avoid areas bottlenecks in the Pediatric Emergency Department (PED) and improve health care quality for patients. The CSSystSO integrates a collaborative Workflow approach to model patient journey in order to identify dysfunctions and peaks of activities of medical staff in the PED. The dynamic and uncertain aspect of the problem has led us to adopt an alliance between Multi-Agent Systems (MAS) and Evolutionary Algorithms (EA) for health care tasks treatment and scheduling taking into account the level of experience of the PED actors and their availabilities. In case of perturbations in the PED, a coalition of agents is formed to collaborate and negotiate in order to provide orchestration Workflow decisions to minimize the waiting time of patients during their treatment. The experimental results presented in this thesis justify the interest of the alliance between MAS and Metaheuristics to manage overcrowding phenomena in the PED. This work belongs to the project HOST (Hôpital: Optimisation, Simulation et évitement des tensions). (http://www.agence-nationale-recherche.fr/?Projet=ANR-11-TECS-0010).Dans la gestion des systèmes de soins, la maîtrise des flux hospitaliers et l’anticipation des tensions sont des enjeux majeurs. Le but de cette thèse est de contribuer à l’étude et au développement d’un Système Collaboratif d’Aide à l’Ordonnancement et à l’Orchestration (SysCAOO) des tâches de soins à compétences multiples pour gérer les tensions dans les Services d’Urgences Pédiatriques (SUP) afin d’améliorer la qualité de prise en charge des patients. Le SysCAOO intègre une approche Workflow collaboratif pour modéliser le parcours patient afin d’identifier les dysfonctionnements et les pics d’activités du personnel médical dans le SUP. L’aspect dynamique et incertain du problème nous a conduits à adopter une alliance entre les Systèmes Multi-Agent (SMA) et les Algorithmes Evolutionnaires (AE) pour le traitement et l’ordonnancement des tâches de soins en tenant compte du niveau d’expérience des acteurs du SUP et leurs disponibilités. En cas d’aléas dans le SUP, une coalition d’agents se forme pour collaborer et négocier afin de proposer des décisions d’orchestration du Workflow et minimiser le temps d’attente des patients en cours de leur prise en charge. Les résultats expérimentaux présentés dans cette thèse justifient l’intérêt de l’alliance entre les SMA et les Métaheuristiques afin de gérer les tensions dans le SUP. Les travaux de recherche présentés dans cette thèse s’intègrent dans le cadre du projet HOST (Hôpital : Optimisation, Simulation et évitement des tensions) (http://www.agence-nationale-recherche.fr/?Projet=ANR-11-TECS-0010)