228 research outputs found
Une approche coopérative décentralisée basée agent et CSP pour l’allocation des ressources dans le cloud computing
L’évolution de Cloud Computing permet d'apporter des nouveaux défis relatifs à l’exploitation des services à la demande du cloud
Computing tels que : calcul, stockage, réseau. En effet, plusieurs heuristiques sont proposées pour maintenir les systèmes d’allocation des
ressources de cloud computing et répondent aux ces défis d'une manière transparente et efficace. Dans ce contexte, nous abordons le
problème d'allocation des ressources dans le cloud. Nous proposons une approche d'allocation des ressources qui vise à explorer deux
objectifs d'optimisation d’allocation des ressources. Premièrement, il équilibre les différentes particularités de l'infrastructure de cloud, y
compris l'équilibrage de charge, ce qui améliore les performances de l'infrastructure. Deuxièmement, notre approche fournit une solution aux
besoins du client en minimisant le temps d'exécution et en réduisant les paiements des ressources demandées qui ont une nature dynamique.
Dans cette thèse, Nous proposons une approche d'allocation de ressources hybride basée sur trois méthodes : le système multi-agents
(SMA), le problème de satisfaction de contraintes distribuées (PSCD) et la logique floue (LF). Dont le SMA représente l'infrastructure
physique du cloud et permet une gestion efficace des ressources dans la distribution et l'hétérogénéité de cette infrastructure. PSCD, d'autre
part, travaille côte à côte avec SMA pour maintenir les politiques d'allocation des ressources dans les centres de données, tandis que LF est
utilisée pour faciliter la représentation des valeurs de ressources dynamiques en termes linguistiques (faible, moyen, élevé ...) et aide le
système à déterminer la meilleure solution selon les critères dans les demandes des clients
Criblage virtuel sur grille de composés isolés au Vietnam
Virtual Screening (VS) is a computational technique used in the drug discovery process to select the most promising candidate drugs for in vitro testing from millions of chemical compounds. This method can offer an efficient alternative to reduce the cost of drug discovery and platform. The Natural Products Chemistry Institute of the Academy of Sciences of Vietnam (INPC) collects samples from local biodiversity and determines the 3D structure of single molecules. Their challenge is to set up a virtual screening platform on grid computing for their chemists to process their data. However, as the number of users who might have a wide range of virtual screening applications (in terms of the number of tasks and execution time) increases with limited available computing resources, it becomes crucial to devise an effective scheduling policy that can ensure a certain degree of fairness, user satisfaction and overall system throughput. In this context, the thesis focuses on an effective scheduling policy for the virtual screening workflow where multiple users with varying numbers of tasks are actively sharing a common system infrastructure. We have researched in theory and proposed some candidate policies. With the simulation results and the experimentation results in real system, we proposed the best policy for the fairness between users, which can be applied to INPC virtual screening platform.L’Institut National des Produits Chimiques de l’Académie des Sciences du Vietnam (INPC) développe depuis plusieurs années une activité autour de la recherche de nouveaux médicaments issus de la biodiversité. Le développement d’un nouveau médicament prend de l’ordre d’une dizaine d’années et passe par plusieurs phases. Dans la phase de découverte, l’activité des composés chimiques sur une cible biologique est mesurée afin de mettre en évidence une action inhibitrice. Le développement d’approches in silico pour le criblage virtuel des composés chimiques est une alternative aux approches classiques in vitro beaucoup plus coûteuses à mettre en œuvre. L’utilisation de la grille a été identifiée comme une voie économiquement prometteuse pour accompagner la recherche de nouveaux médicaments au Vietnam. En effet, le développement de nouvelles stratégies basées sur l’utilisation de plates-formes de soumission de tâches (DIRAC, HTCaaS) a permis d’améliorer considérablement le taux de succès et le confort des utilisateurs, ouvrant la voie à une démocratisation de la grille.Dans ce contexte, l’objectif poursuivi dans le cadre de cette thèse est d’étudier dans quelle mesure des plates-formes multidisciplinaires pouvaient répondre aux besoins des chimistes de l’INPC. Le travail s’est concentré sur les modalités d’un partage équitable d’une plate-forme de soumission de tâches sur la grille par une ou plusieurs communautés d’utilisateurs. L’ordonnancement des tâches sur un serveur commun doit permettre que les différents groupes aient une expérience positive et comparable. Sur les infrastructures de grille EGEE et EGI en Europe , on peut distinguer deux grandes catégories d’utilisateurs : les utilisateurs « normaux » qui vont solliciter les ressources pour des tâches requérant typiquement de quelques dizaines à quelques centaines d’heures de calcul, et les « gros » utilisateurs qui vont lancer des grandes productions nécessitant le traitement de plusieurs milliers de tâches pendant des dizaines, voire des centaines de milliers d’heures de calcul. Les stratégies d’ordonnancement déployées aujourd’hui sur les plates-formes comme DIRAC ou HTCaaS ne permettent pas de servir de façon optimale et simultanée ces deux familles d’utilisateurs.Le manuscrit présente une évaluation par simulation des performances de plusieurs stratégies d’ordonnancement des tâches d’une plate-forme soumettant des jobs pilotes. L’outil SimGrid a permis de simuler l’infrastructure de grille régionale déployée en Auvergne à partir de traces archivées de son utilisation. Après évaluation des performances de plusieurs politiques d’ordonnancement tirées de la littérature, une nouvelle politique a été proposée dans laquelle les utilisateurs normaux et les très gros utilisateurs sont gérés de façon indépendante. Grâce à cette politique, le ralentissement expérimenté par les très gros utilisateurs est réduit significativement sans pénaliser excessivement les utilisateurs normaux. L’étude a été étendue à une fédération de clouds utilisant les mêmes ressources et arrive aux mêmes conclusions. Les performances des politiques d’ordonnancement ont ensuite été évaluées sur des environnements de production, à savoir l’infrastructure de grille européenne EGI et l’infrastructure nationale de supercalculateurs de la Corée du Sud. Un serveur DIRAC a été adossé aux ressources de l’organisation virtuelle biomédicale d’EGI pour étudier les ralentissements observés par les utilisateurs de ce serveur. Pareillement, les ralentissements expérimentés par les utilisateurs de la plate-forme HTCaaS au KISTI ont été observés en excellent accord avec les résultats de simulation avec SimGrid.Ces travaux confirment la faisabilité et l’intérêt d’une plate-forme unique au Vietnam au service des communautés scientifiques consommatrices des ressources académiques de grille et de cloud, notamment pour la recherche de nouveaux médicaments
Un langage dédié à l'administration d'infrastructures virtualisées
Avec l émergence de l informatique dans les nuages, la capacité d hébergement des centres de données ne cesse d augmenter afin de répondre à une demande de plus en plus forte. La gestion,appelée l administration, d un centre de données entraîne des opérations fréquentes sur des machines virtuelles (VM) ainsi que sur des serveurs. De plus, chaque VM hébergée possède des besoins spécifiques au regard de sa qualité de service, de ses ressources et de son placement qui doit être compatible avec les mécanismes de tolérance aux pannes et la configuration ré-seau. Les outils de l Infrastructure As A Service tels que Open Nebula et Vmware vSphere simplifient la création et le déploiement de VM. Cependant, l administration d une infrastructure virtualisée repose encore sur des changements manuels décidés par les administrateurs. Cette approche n est plus pertinente pour la gestion d infrastructures virtualisées de milliers de VM. En effet, les administrateurs ne peuvent pas manipuler des ensembles importants de VM tout en assurant la compatibilité des reconfigurations exécutées avec les besoins des VM. De nouvelles approches d administration d infrastructures proposent l automatisation de certaines tâches d administration. L outil décrit dans ce document utilise des langages dédiés pour ré-pondre aux besoins d administration infrastructures virtualisées de taille conséquente. Dans un premier temps, l outil propose aux administrateurs des opérations d introspection pour observer l organisation des ressources déployées sur l infrastructure et les reconfigurations habituelles comme le démarrage, l arrêt et le redémarrage de VM et de serveurs. Dans un second temps les administrateurs définissent le placement des VM à partir de règles de placement. À partir de ces règles, l outil d administration vérifie chaque reconfiguration et chaque ajout de règles exécutés par l administrateur. Si une reconfiguration ou une règle est invalide,l outil détecte un conflit et avertit l administrateur de l échec de l opération. L outil d administration, à l aide d algorithmes d ordonnancement peut calculer un plan de reconfigurations résolvant les conflits. Ces algorithmes peuvent aussi être utilisés pour mettre en place des politiques d ordonnancement comme la consolidation ou l équilibrage de charge.With the emergence of cloud computing, the hosting capacity of the data centers has been continuously growing to support the non stop increasing clients demand. Managing a data center implies to regularly manipulate both virtual machines (VM) and servers. Each hosted VM has specific expectations regarding its quality of service, its resource requirements and its placement that may be compatible with fault tolerance mechanisms and the networking configuration. Infrastructure As A Service solutions such as Open Nebula and VMWare vSphere extremely simplify creations and deployments of VM but virtualized infrastructure management is still relying on manual changes on the environment. This approach is no longer compatible with an infrastructure composed of thousand of VM. Indeed, a system administrator can not manipulate a large set of VMinsuring that its reconfigurations are compatible with the expected VM requirements. This situation has led to new approaches for the infrastructure management employing automation to replace the traditional manual approach. The tool described in this document deals with VM management from Domain Specific Languages. On the one hand, this tool proposes to administrators introspection operations to monitor the infrastructure resources and common reconfigurations including starting, halting, rebooting, of serversand VM. On the other hand, administrators define the VM placement from placement rules. Then, the system checks, according to active rules, the validity of all reconfigurations and rules performed by administrators. If a reconfiguration or a rule is invalid, the administrative tool detects conflicts and warns administrators. To resolve a conflict, the system, by interacting with scheduling algorithms, computes a reconfiguration plan that satisfies all rules.The reconfiguration plan can also apply scheduling policies as consolidation or load balancing with respect to placement rules.NANTES-ENS Mines (441092314) / SudocSudocFranceF
Évaluation et optimisation de performance énergétique des centres de calcul
Cette habilitation vise à répondre à la question "Comment gérerefficacement un centre de calcul" en fournissant les outils théoriquesmais aussi pratiques nécessaires. Les centres de calculs sont au coeurde la vie d'une partie croissante de la population sans pour autant êtrevisibles, de par** la prédominance des services en ligne. Leurconsommation électrique est donc un enjeu d'actualité primordial, et lesera encore plus dans le futur prévisible. Gérer efficacement permetdonc d'optimiser la qualité de service tout en réduisant leurconsommation électrique. Ces travaux montrent les différents outilsnécessaires : Ceux liés à la mesure, autant techniquement que de par**la définition des métriques. Ensuite sont explorées les méthodes demodélisation de tels problèmes, ainsi que les techniques de résolutiondirectes ou approchées. L'étape suivante consiste à étudier différentesheuristiques permettant une résolution approchée mais rapide du problèmede la gestion d'un centre de calcul. Diverses validations, autantexpérimentales que basées sur des simulateurs améliorés serviront desupport à ces démonstrations. Une ouverture vers le futur, grâce aux"datacenter in a box" distribués, hétérogènes, coopératifs etmulti-échelles (spatiales et temporelles) conclue ces travaux
Gestion optimale de l'allocation des ressources pour l'execution des processus dans le cadre du Cloud
Despite the many proven benefits of using resources deployed in the cloud, it still faces many problemsthat can compromise its commercial success. Among theses problems, we can mention the lack of methodsallowing users to choose the best available resources. Thus the development of new methods for optimalresources management is necessary. The aim of this PhD thesis is based on this topic by the development of methods to optimize the useof resources in the Cloud context. To achieve this goal, our approach is driven by three complementary aspects taking into account conflicting quality of service criteria. For the first aspect, we have proposed a set of resources allocation and tasks scheduling strategies for a scientific process consisting of automated tasks. For the second aspect, we have proposed an extension of these strategies to take into account the fact that some tasks require the human resource(s) intervention. For the third aspect, optimization methods in order to allow a fair access to the shared resources bya set of business process instances are proposedBien que les nombreux avantages d’utiliser des ressources hébergées dans le Cloud soient avérés, celui-ci reste confronté à de nombreux problèmes qui peuvent compromettre son succès commercial. Parmi ceux-ci, on peut citer le manque d’aide aux utilisateurs pour leur permettre de choisir au mieux les ressources disponibles. Il est donc indispensable de développer des méthodes nouvelles pour une gestion optimale des ressources dans le Cloud.Cette thèse se situe dans le cadre de développement de méthodes d’optimisation d’utilisation des ressources pour l’exécution des processus dans le cadre Cloud. Nous avons abordé ce sujet sous trois aspects complémentaires prenant en compte des critères de qualité de service conflictuels.Pour le premier aspect, nous avons proposé un ensemble de stratégies d’allocation de ressources et d’ordonnancement de tâches d’un processus scientifique dont les tâches sont supposées automatisées. Pour le deuxième aspect, nous avons proposé une extension des premières stratégies pour prendre en compte le fait que certaines tâches nécessitent l’intervention d’une(des) ressource(s) humaine(s) pours’accomplir. Pour le troisième aspect, des méthodes d’optimisation afin d’assurer un accès équitable à des ressources,partagées par un ensemble d’instances d’un même processus métier, ont été proposée
Allocation et réallocation de services pour les économies d'énergie dans les clusters et les clouds
L'informatique dans les nuages (cloud computing) est devenu durant les dernières années un paradigme dominant dans le paysage informatique. Son principe est de fournir des services décentralisés à la demande. La demande croissante pour ce type de service amène les fournisseurs de clouds à augmenter la taille de leurs infrastructures à tel point que les consommations d'énergie ainsi que les coûts associés deviennent très importants.
Chaque fournisseur de service cloud doit répondre à des demandes différentes. C'est pourquoi au cours de cette thèse, nous nous sommes intéressés à la gestion des ressources efficace en énergie dans les clouds.
Nous avons tout d'abord modélisé et étudié le problème de l'allocation de ressources initiale en fonction des services, en calculant des solutions approchées via des heuristiques, puis en les comparant à la solution optimale.
Nous avons ensuite étendu notre modèle de ressources pour nous permettre d'avoir une solution plus globale, en y intégrant de l'hétérogénéité entre les machines et des infrastructures de refroidissement. Nous avons enfin validé notre modèle par simulation.
Les services doivent faire face à différentes phases de charge, ainsi qu'à des pics d'utilisation. C'est pourquoi, nous avons étendu le modèle d'allocation de ressources pour y intégrer la dynamicité des requêtes et de l'utilisation des ressources. Nous avons mis en œuvre une infrastructure de cloud simulée, visant à contrôler l'exécution des différents services ainsi que le placement de ceux-ci. Ainsi notre approche permet de réduire la consommation d'énergie globale de l'infrastructure, ainsi que de limiter autant que possible les dégradations de performance.Cloud computing has become over the last years an important paradigm in the computing landscape. Its principle is to provide decentralized services and allows client to consume resources on a pay-as-you-go model. The increasing need for this type of service brings the service providers to increase the size of their infrastructures, to the extent that energy consumptions as well as operating costs are becoming important.
Each cloud service provider has to provide for different types of requests. Infrastructure manager then have to host all the types of services together. That's why during this thesis, we tackled energy efficient resource management in the clouds.
In order to do so, we first modeled and studied the initial service allocation problem, by computing approximated solutions given by heuristics, then comparing it to the optimal solution computed with a linear program solver.
We then extended the model of resources to allow us to have a more global approach, by integrating the inherent heterogeneity of clusters and the cooling infrastructures. We then validated our model via simulation.
Usually, the services must face different stages of workload, as well as utilization spikes. That's why we extended the model to include dynamicity of requests and resource usage, as well as the concept of powering on or off servers, or the cost of migrating a service from one host to another. We implemented a simulated cloud infrastructure, aiming at controlling the execution of the services as well as their placement. Thus, our approach enables the reduction of the global energy consumption of the infrastructure, and limits as much as possible degrading the performances
Anti load-balancing for energy-aware distributed scheduling of virtual machines
La multiplication de l'informatique en nuage (Cloud) a abouti à la création de centres de données dans le monde entier. Le Cloud contient des milliers de nœuds de calcul. Cependant, les centres de données consomment d'énorme quantités d'énergie à travers le monde estimées à plus de 1,5 % de la consommation mondiale d'électricité et devrait continuer à croître. Une problématique habituellement étudiée dans les systèmes distribués est de répartir équitablement la charge. Mais lorsque l'objectif est de réduire la consommation électrique, ce type d'algorithmes peut mener à avoir des serveurs fortement sous chargés et donc à consommer de l'énergie inutilement. Cette thèse présente de nouvelles techniques, des algorithmes et des logiciels pour la consolidation dynamique et distribuée de machines virtuelles (VM) dans le Cloud. L'objectif principal de cette thèse est de proposer des stratégies d'ordonnancement tenant compte de l'énergie dans le Cloud pour les économies d'énergie. Pour atteindre cet objectif, nous utilisons des approches centralisées et décentralisées. Les contributions à ce niveau méthodologique sont présentées sur ces deux axes. L'objectif de notre démarche est de réduire la consommation de l'énergie totale du centre de données en contrôlant la consommation globale d'énergie des applications tout en assurant les contrats de service pour l'exécution des applications. La consommation d'énergie est réduite en désactivant et réactivant dynamiquement les nœuds physiques pour répondre à la demande des ressources. Les principales contributions sont les suivantes: - Ici on s'intéressera à la problématique contraire de l'équilibrage de charge. Il s'agit d'une technique appelée Anti Load-Balancing pour concentrer la charge sur un nombre minimal de nœuds. Le but est de pouvoir éteindre les nœuds libérés et donc de minimiser la consommation énergétique du système. - Ensuite une approche centralisée a été proposée et fonctionne en associant une valeur de crédit à chaque nœud. Le crédit d'un nœud dépend de son affinité pour ses tâches, sa charge de travail actuelle et sa façon d'effectuer ses communications. Les économies d'énergie sont atteintes par la consolidation continue des machines virtuelles en fonction de l'utilisation actuelle des ressources, les topologies de réseaux virtuels établis entre les machines virtuelles et l'état thermique de nœuds de calcul. Les résultats de l'expérience sur une extension de CloudSim (EnerSim) montrent que l'énergie consommée par les applications du Cloud et l'efficacité énergétique ont été améliorées. - Le troisième axe est consacré à l'examen d'une approche appelée "Cooperative scheduling Anti load-balancing Algorithm for cloud". Il s'agit d'une approche décentralisée permettant la coopération entre les différents sites. Pour valider cet algorithme, nous avons étendu le simulateur MaGateSim. Avec une large évaluation expérimentale d'un ensemble de données réelles, nous
sommes arrivés à la conclusion que l'approche à la fois en utilisant des algorithmes centralisés et décentralisés peut réduire l'énergie consommée des centres de données.The multiplication of Cloud computing has resulted in the establishment of largescale data centers around the world containing thousands of compute nodes. However, Cloud consume huge amounts of energy. Energy consumption of data centers worldwide is estimated at more than 1.5% of the global electricity use and is expected to grow further. A problem usually studied in distributed systems is to evenly distribute the load. But when the goal is to reduce energy consumption, this type of algorithms can lead to have machines largely under-loaded and therefore consuming energy unnecessarily. This thesis presents novel techniques, algorithms, and software for distributed dynamic consolidation of Virtual Machines (VMs) in Cloud. The main objective of this thesis is to provide energy-aware scheduling strategies in cloud computing for energy saving. To achieve this goal, we use centralized and decentralized approaches. Contributions in this method are presented these two axes. The objective of our approach is to reduce data center's total energy consumed by controlling cloud applications' overall energy consumption while ensuring cloud applications' service level agreement. Energy consumption is reduced by dynamically deactivating and reactivating physical nodes to meet the current resource demand. The key contributions are: - First, we present an energy aware clouds scheduling using anti-load balancing algorithm : concentrate the load on a minimum number of severs. The goal is to turn off the machines released and therefore minimize the energy consumption of the system. - The second axis proposed an algorithm which works by associating a credit value with each node. The credit of a node depends on its affinity to its jobs, its current workload and its communication behavior. Energy savings are achieved by continuous consolidation of VMs according to current utilization of resources, virtual network topologies established between VMs, and thermal state of computing nodes. The experiment results, obtained with a simulator which extends CloudSim (EnerSim), show that the cloud application energy consumption and energy efficiency are being improved. - The third axis is dedicated to the consideration of a decentralized dynamic scheduling approach entitled Cooperative scheduling Anti-load balancing Algorithm for cloud. It is a decentralized approach that allows cooperation between different sites. To validate this algorithm, we have extended the simulator MaGateSim. With an extensive experimental evaluation with a real workload dataset, we got the conclusion that both the approach using centralized and decentralized algorithms can reduce energy consumed by data centers
La gestion des ressources pour des infrastructures vertes par la reconfiguration
Cette HDR présente des travaux dans le contexte des systèmes informatiques à grande échelle pouvant être des grilles de calcul ou le cloud computing. Partant de deux constats : la consommation énergétique de ces systèmes est trop importante et ces systèmes sont de plus en complexes, ce mémoire se propose de répondre à la problématique suivante : comment gérer de manière optimale les ressources afin d'obtenir des infrastructures matérielles et logicielles "vertes" c'est à dire efficaces en énergie ? Ces travaux proposent trois axes de recherche : le premier en considérant le système complet et les leviers verts associés, le deuxième en étudiant des politiques d'allocation de ressources avec contraintes d'énergie et de chaleur, le troisième en étudiant des reconfigurations autonomiques d'applications. Pour finir, une description d'un centre de décision autonome pour des infrastructures vertes est proposée
Programmation sûre de plates-formes embarquées de type multi/pluri-cœurs
The purpose of this document is to describe an overview of my work on the topic of "programming mutli/many-core COTS in the context of aeronautics" and to propose future research work.L’objectif de ce document est de décrire une synthèse des travaux que j’ai menés autour du thème de "la programmation sûre de plates-formes embarquées" et de proposer des perspectives de recherche pour les années à venir
- …