Running user-provided virtual machines in batch-oriented computing clusters

The use of virtualization in HPC clusters can provide rich software environments, application isolation and efficient workload management mechanisms, but system-level virtualization introduces a software layer on the computing nodes that reduces performance and inhibits the direct use of hardware devices. We propose an unobtrusive user-level platform that allows the execution of virtual machines inside batch jobs without limiting the computing cluster’s ability to execute the most demanding applications. A per-user platform uses a static mode in which the VMs run entirely using the resources of a single batch job and a dynamic mode in which the VMs navigate at runtime between the continuously allocated jobs node time-slots. A dynamic mode is introduced to build complex scenarios with several VMs for personalized HPC environments or persistent services such as databases or web services based applications. Fault-tolerant system agents, integrated using group communication primitives, control the system and execute user commands and automatic scheduling decisions made by an optional monitoring function. The performance of compute intensive applications running on our system suffers negligible overhead compared to the native configuration. The performance of distributed applications is dependent on their communication patterns as the user-mode network overlay introduces a relevant communication overhead.FC

Технологія віртуалізації. Динамічна реконфігурація ресурсів обчислювального кластера

На основании выполненного анализа современных платформ аппаратно-программной виртуализации обоснована целесообразность использования и исследования виртуальных машин на платформе Microsoft Hyper-V R2 в качестве узлов вычислительного кластера. Концепция создания гибких гомогенных архитектур кластерных систем углублена за счет возможности формирования динамически реконфигурируемой кластерной вычислительной системы с использованием механизмов виртуализации платформы Microsoft Hyper-V. Показана актуальность использования аппаратной платформы персональных компьютеров и серверов для реконфигурации ресурсов вычислительных кластеров.На основі виконаного аналізу сучасних платформ апаратно-програмної віртуалізації обґрунтовано доцільність використання і дослідження віртуальних машин на платформі Microsoft Hyper-V R2 як вузлів обчислювального кластера. Концепцію створення гнучких гомогенних архітектур кластерних систем поглиблено за рахунок можливості формування динамічно реконфігурованої кластерної обчислювальної системи з використанням механізмів віртуалізації платформи Microsoft Hyper-V. Показано актуальність використання апаратної платформи персональних комп’ютерів і серверів для реконфігурації ресурсів обчислювальних кластерів.On the basis of performed analysis of modern hardware and software virtualization platforms it is proved the practicability of usage and researching of virtual machines on the Microsoft Hyper-V R2 platform as a compute cluster nodes. The concept of flexible homogeneous cluster architectures construction was expanded with ability of dynamically reconfigurable cluster computing system implementation using Microsoft Hyper-V technology virtualization features. The urgency of hardware platform of personal computers and servers for reconfiguration of the resources of computing clusters is shown

Virtual Organization Clusters: Self-Provisioned Clouds on the Grid

Virtual Organization Clusters (VOCs) provide a novel architecture for overlaying dedicated cluster systems on existing grid infrastructures. VOCs provide customized, homogeneous execution environments on a per-Virtual Organization basis, without the cost of physical cluster construction or the overhead of per-job containers. Administrative access and overlay network capabilities are granted to Virtual Organizations (VOs) that choose to implement VOC technology, while the system remains completely transparent to end users and non-participating VOs. Unlike alternative systems that require explicit leases, VOCs are autonomically self-provisioned according to configurable usage policies. As a grid computing architecture, VOCs are designed to be technology agnostic and are implementable by any combination of software and services that follows the Virtual Organization Cluster Model. As demonstrated through simulation testing and evaluation of an implemented prototype, VOCs are a viable mechanism for increasing end-user job compatibility on grid sites. On existing production grids, where jobs are frequently submitted to a small subset of sites and thus experience high queuing delays relative to average job length, the grid-wide addition of VOCs does not adversely affect mean job sojourn time. By load-balancing jobs among grid sites, VOCs can reduce the total amount of queuing on a grid to a level sufficient to counteract the performance overhead introduced by virtualization

Cloud solutions for high performance computing: oxymoron or realm?

U posljednje je vrijeme zamjetan veliki interes HPC (High Performance Computing) zajednice prema Cloud Computing paradigmi, odnosno računalstvu u oblacima. Mnoge su prednosti izvođenja HPC aplikacija u računalnom oblaku, od kojih su najvažnije bolje korištenje računalnih resursa, učinkovita naplata njihovog korištenja, te dinamička i bez prekida u radu aplikacije preraspodjela računalnih resursa. Bez obzira na očite prednosti Cloud Computing okruženja za HPC, trenutni omjer korištenja HPC aplikacija u računalnim oblacima u odnosu na one koje se izvode u tradicionalnom HPC okruženju još je uvijek vrlo malen. Neki od razloga za takvo stanje su očiti, dok kod drugih nije tako. Tako na primjer tradicionalni proizvođači HPC opreme i aplikacija još uvijek pokušavaju iskoristiti njihova ulaganja u postojeća rješenja na način koji pogoduje tradicionalnom načinu rada HPC-a. Nadalje, iako je prisutan snažan razvoj virtualizacijske tehnologije, još uvijek postoje otvorena pitanja, poput skaliranja HPC aplikacija u virtualnom okruženju, te suradnje između fizičkih i virtualnih resursa. Tu se također nameće i pitanje podrške standardnih HPC alata za uspostavu virtualiziranih okolina. Na kraju, ali ne i manje važno, pojava heterogenog HPC računalstva koje se zasniva na kombinaciji standardnih procesora (CPU) i onih specijalizirane namjene (GPU procesori i akceleratori) nameće izazovna pitanja, poput skalabilnosti, učinkovitog Linpack mjerenja performansi, te razvoja HPC aplikacija u heterogenom CPU/GPU okolišu. Uz sve to, unatoč tome što mnogi proizvođači HPC opreme i aplikacija govore o tome kako imaju potpuno funkcionalna HPC rješenja u računalnim oblacima, postoji potreba da se osigura odgovore i na dodatna pitanja: Jesu li potpuno ispunjena obećanja mogućnosti virtualizacije svih komponenti sustava, ne samo onih virtualnih, nego i fizičkih? Koje vrste računalnih oblaka su podržane: privatne, javne ili njihova kombinacija, tj. hibridni oblaci? Kako dobro pojedina HPC aplikacija skalira na nekom računalnom oblaku? U pokušaju odgovora na postavljena pitanja, u ovom radu je dat pregled trenutnih HPC rješenja u oblacima. Osim toga, namjera ovog rada je da posluži kao vodič za onoga tko je spreman napraviti pomak od standardnih HPC rješenja prema onima u Cloud Computing okruženju. Naposljetku, da bi se što je moguće više olakšao izbor HPC Cloud rješenja, predložena je njihova klasifikacija u tri kategorije, od kojih svaka reflektira područja i načine primjene pojedinih rješenja, stupanj podržanosti virtualizacije, te, zbog uglavnom javno nedostupnih rezultata mjerenja performansi, do sada iskazanu HPC ekspertizu proizvođača tih rješenja.In the last years a strong interest of the HPC (High Performance Computing) community raised towards cloud computing. There are many apparent benefits of doing HPC in a cloud, the most important of them being better utilization of computational resources, efficient charge back of used resources and applications, on-demand and dynamic reallocation of computational resources between users and HPC applications, and automatic bursting of additional resources when needed. Surprisingly, the amount of HPC cloud solutions related to standard solutions is still negligible. Some of the reasons for the current situation are evident, some not so. For example, traditional HPC vendors are still trying to exploit their current investment as much as possible, thus favoring traditional way of doing HPC. The next, although virtualization techniques are developing in ever increasing rate, there are still open questions, like scaling of HPC applications in virtual environment, collaboration between physical and virtual resources, and support of the standard HPC tools for virtualized environments. At last but not the least, the advent of GPU computing has raised difficult questions even in the traditional and well developed HPC segment, like scalability, development of HPC GPU based applications. In addition, because many HPC vendors are speaking about already having a fully functional HPC cloud solution, there is a need to provide answers to the following questions: Are they fulfilling virtualization promises, both physical and virtual? Which type of clouds do they support: private, public or both, i.e. hybrid clouds? How well HPC applications scale on their cloud solutions? This paper is an overview of the current HPC cloud solutions, for sure not complete and solely a view of authors, however intended to be a helpful compass for someone trying to shift from standard HPC to large computations in cloud environments

Cloud solutions for high performance computing: oxymoron or realm?

U posljednje je vrijeme zamjetan veliki interes HPC (High Performance Computing) zajednice prema Cloud Computing paradigmi, odnosno računalstvu u oblacima. Mnoge su prednosti izvođenja HPC aplikacija u računalnom oblaku, od kojih su najvažnije bolje korištenje računalnih resursa, učinkovita naplata njihovog korištenja, te dinamička i bez prekida u radu aplikacije preraspodjela računalnih resursa. Bez obzira na očite prednosti Cloud Computing okruženja za HPC, trenutni omjer korištenja HPC aplikacija u računalnim oblacima u odnosu na one koje se izvode u tradicionalnom HPC okruženju još je uvijek vrlo malen. Neki od razloga za takvo stanje su očiti, dok kod drugih nije tako. Tako na primjer tradicionalni proizvođači HPC opreme i aplikacija još uvijek pokušavaju iskoristiti njihova ulaganja u postojeća rješenja na način koji pogoduje tradicionalnom načinu rada HPC-a. Nadalje, iako je prisutan snažan razvoj virtualizacijske tehnologije, još uvijek postoje otvorena pitanja, poput skaliranja HPC aplikacija u virtualnom okruženju, te suradnje između fizičkih i virtualnih resursa. Tu se također nameće i pitanje podrške standardnih HPC alata za uspostavu virtualiziranih okolina. Na kraju, ali ne i manje važno, pojava heterogenog HPC računalstva koje se zasniva na kombinaciji standardnih procesora (CPU) i onih specijalizirane namjene (GPU procesori i akceleratori) nameće izazovna pitanja, poput skalabilnosti, učinkovitog Linpack mjerenja performansi, te razvoja HPC aplikacija u heterogenom CPU/GPU okolišu. Uz sve to, unatoč tome što mnogi proizvođači HPC opreme i aplikacija govore o tome kako imaju potpuno funkcionalna HPC rješenja u računalnim oblacima, postoji potreba da se osigura odgovore i na dodatna pitanja: Jesu li potpuno ispunjena obećanja mogućnosti virtualizacije svih komponenti sustava, ne samo onih virtualnih, nego i fizičkih? Koje vrste računalnih oblaka su podržane: privatne, javne ili njihova kombinacija, tj. hibridni oblaci? Kako dobro pojedina HPC aplikacija skalira na nekom računalnom oblaku? U pokušaju odgovora na postavljena pitanja, u ovom radu je dat pregled trenutnih HPC rješenja u oblacima. Osim toga, namjera ovog rada je da posluži kao vodič za onoga tko je spreman napraviti pomak od standardnih HPC rješenja prema onima u Cloud Computing okruženju. Naposljetku, da bi se što je moguće više olakšao izbor HPC Cloud rješenja, predložena je njihova klasifikacija u tri kategorije, od kojih svaka reflektira područja i načine primjene pojedinih rješenja, stupanj podržanosti virtualizacije, te, zbog uglavnom javno nedostupnih rezultata mjerenja performansi, do sada iskazanu HPC ekspertizu proizvođača tih rješenja.In the last years a strong interest of the HPC (High Performance Computing) community raised towards cloud computing. There are many apparent benefits of doing HPC in a cloud, the most important of them being better utilization of computational resources, efficient charge back of used resources and applications, on-demand and dynamic reallocation of computational resources between users and HPC applications, and automatic bursting of additional resources when needed. Surprisingly, the amount of HPC cloud solutions related to standard solutions is still negligible. Some of the reasons for the current situation are evident, some not so. For example, traditional HPC vendors are still trying to exploit their current investment as much as possible, thus favoring traditional way of doing HPC. The next, although virtualization techniques are developing in ever increasing rate, there are still open questions, like scaling of HPC applications in virtual environment, collaboration between physical and virtual resources, and support of the standard HPC tools for virtualized environments. At last but not the least, the advent of GPU computing has raised difficult questions even in the traditional and well developed HPC segment, like scalability, development of HPC GPU based applications. In addition, because many HPC vendors are speaking about already having a fully functional HPC cloud solution, there is a need to provide answers to the following questions: Are they fulfilling virtualization promises, both physical and virtual? Which type of clouds do they support: private, public or both, i.e. hybrid clouds? How well HPC applications scale on their cloud solutions? This paper is an overview of the current HPC cloud solutions, for sure not complete and solely a view of authors, however intended to be a helpful compass for someone trying to shift from standard HPC to large computations in cloud environments

Anti load-balancing for energy-aware distributed scheduling of virtual machines

La multiplication de l'informatique en nuage (Cloud) a abouti à la création de centres de données dans le monde entier. Le Cloud contient des milliers de nœuds de calcul. Cependant, les centres de données consomment d'énorme quantités d'énergie à travers le monde estimées à plus de 1,5 % de la consommation mondiale d'électricité et devrait continuer à croître. Une problématique habituellement étudiée dans les systèmes distribués est de répartir équitablement la charge. Mais lorsque l'objectif est de réduire la consommation électrique, ce type d'algorithmes peut mener à avoir des serveurs fortement sous chargés et donc à consommer de l'énergie inutilement. Cette thèse présente de nouvelles techniques, des algorithmes et des logiciels pour la consolidation dynamique et distribuée de machines virtuelles (VM) dans le Cloud. L'objectif principal de cette thèse est de proposer des stratégies d'ordonnancement tenant compte de l'énergie dans le Cloud pour les économies d'énergie. Pour atteindre cet objectif, nous utilisons des approches centralisées et décentralisées. Les contributions à ce niveau méthodologique sont présentées sur ces deux axes. L'objectif de notre démarche est de réduire la consommation de l'énergie totale du centre de données en contrôlant la consommation globale d'énergie des applications tout en assurant les contrats de service pour l'exécution des applications. La consommation d'énergie est réduite en désactivant et réactivant dynamiquement les nœuds physiques pour répondre à la demande des ressources. Les principales contributions sont les suivantes: - Ici on s'intéressera à la problématique contraire de l'équilibrage de charge. Il s'agit d'une technique appelée Anti Load-Balancing pour concentrer la charge sur un nombre minimal de nœuds. Le but est de pouvoir éteindre les nœuds libérés et donc de minimiser la consommation énergétique du système. - Ensuite une approche centralisée a été proposée et fonctionne en associant une valeur de crédit à chaque nœud. Le crédit d'un nœud dépend de son affinité pour ses tâches, sa charge de travail actuelle et sa façon d'effectuer ses communications. Les économies d'énergie sont atteintes par la consolidation continue des machines virtuelles en fonction de l'utilisation actuelle des ressources, les topologies de réseaux virtuels établis entre les machines virtuelles et l'état thermique de nœuds de calcul. Les résultats de l'expérience sur une extension de CloudSim (EnerSim) montrent que l'énergie consommée par les applications du Cloud et l'efficacité énergétique ont été améliorées. - Le troisième axe est consacré à l'examen d'une approche appelée "Cooperative scheduling Anti load-balancing Algorithm for cloud". Il s'agit d'une approche décentralisée permettant la coopération entre les différents sites. Pour valider cet algorithme, nous avons étendu le simulateur MaGateSim. Avec une large évaluation expérimentale d'un ensemble de données réelles, nous sommes arrivés à la conclusion que l'approche à la fois en utilisant des algorithmes centralisés et décentralisés peut réduire l'énergie consommée des centres de données.The multiplication of Cloud computing has resulted in the establishment of largescale data centers around the world containing thousands of compute nodes. However, Cloud consume huge amounts of energy. Energy consumption of data centers worldwide is estimated at more than 1.5% of the global electricity use and is expected to grow further. A problem usually studied in distributed systems is to evenly distribute the load. But when the goal is to reduce energy consumption, this type of algorithms can lead to have machines largely under-loaded and therefore consuming energy unnecessarily. This thesis presents novel techniques, algorithms, and software for distributed dynamic consolidation of Virtual Machines (VMs) in Cloud. The main objective of this thesis is to provide energy-aware scheduling strategies in cloud computing for energy saving. To achieve this goal, we use centralized and decentralized approaches. Contributions in this method are presented these two axes. The objective of our approach is to reduce data center's total energy consumed by controlling cloud applications' overall energy consumption while ensuring cloud applications' service level agreement. Energy consumption is reduced by dynamically deactivating and reactivating physical nodes to meet the current resource demand. The key contributions are: - First, we present an energy aware clouds scheduling using anti-load balancing algorithm : concentrate the load on a minimum number of severs. The goal is to turn off the machines released and therefore minimize the energy consumption of the system. - The second axis proposed an algorithm which works by associating a credit value with each node. The credit of a node depends on its affinity to its jobs, its current workload and its communication behavior. Energy savings are achieved by continuous consolidation of VMs according to current utilization of resources, virtual network topologies established between VMs, and thermal state of computing nodes. The experiment results, obtained with a simulator which extends CloudSim (EnerSim), show that the cloud application energy consumption and energy efficiency are being improved. - The third axis is dedicated to the consideration of a decentralized dynamic scheduling approach entitled Cooperative scheduling Anti-load balancing Algorithm for cloud. It is a decentralized approach that allows cooperation between different sites. To validate this algorithm, we have extended the simulator MaGateSim. With an extensive experimental evaluation with a real workload dataset, we got the conclusion that both the approach using centralized and decentralized algorithms can reduce energy consumed by data centers

Towards Modern, Accessible and Dynamic HPC Using Container-based Virtual Clusters

In this thesis, a novel Virtual Container Cluster (VCC) framework is presented. Despite the growing popularity of container virtualisation in order to increase the flexi-bility of the software stack, run time environment virtualisation still poses significant portability challenges; by depending on the underlying cluster execution paradigm,a niche class of HPC only containers has emerged. This trend is detrimental to reusability, reproducibility, and encouraging new communities to HPC. Traditional virtualisation techniques have a rich history within HPC, and have been demonstrated to offer much more than software flexibility. A Virtual Machine by nature requires an OS and full stack environment akin to a physical machine, and this allows it to be instantiated regardless of the underlying machine and what services it provides. This capability is essential in order to implement job forwarding and spanning - where the burden of an entire job can be transferred or shared between hetero-geneous cluster systems - with a high level of confidence that the environments will be compatible. In turn, this brings improvements to global resource performance, reducing the job turnaround time and increasing cluster utilization. The VCC is an innovative solution that combines the full stack and container virtualisation approaches. Therefore, it offers both the flexibility of containers with the improved portability, performance and scalability of the full stack approach. In order to maintain the same accessibility and lower barrier of entry as the run time environment approach, the design incorporates an autonomous configuration and contextualisation mechanism, along with a Software Defined Networking technology, to ensure the full stack container does not place an additional burden on the user. The usefulness and performance is validated through benchmarking and two case studies: virtual clusters in the classroom and inter-institutional spanning

Спосіб планування та динамічного балансування навантаження на модулі хмарного середовища

Актуальність теми. Потребу в плануванні навантаження необхідно вирішувати на початковій стадії розвитку будь-якого проекту. Проблеми недостатньої продуктивності сервера в зв'язку зі зростанням навантаження можна вирішувати шляхом нарощування потужності сервера або ж за рахунок оптимізації використовуваних алгоритмів, програмних кодів тощо. Але рано чи пізно настає момент, коли і ці заходи виявляються недостатніми та неефективними. Основними характеристиками хмарних обчислень є масштабованість, еластичність, мобільність, необмежений обсяг даних, що оброблюються, та можливість нарощувати ресурси. Актуальним є аналіз існуючих підходів балансування навантаження в хмарному середовищі та експериментальне дослідження ефективності створених правил балансування навантаження . Об’єкт дослідження – системи балансування робочого навантаження та планування ресурсів в хмарних технологіях. Предмет дослідження – методи і алгоритми балансування навантаження на модулі у хмарному середовищі, критерії їх порівняння, узагальнена модель хмарного додатку, обґрунтування вибору правил балансування навантаження. Методи досліджень – проведення класифікації методів і алгоритмів балансування навантаження в хмарних системах, розробка порівняльної характеристики розповсюджених систем балансування навантаження, надання практичних рекомендацій по налаштуванню системи балансування навантаження, експериментальне дослідження ефективності створених правил балансування навантаження. Мета роботи: підвищення функціональної ефективності та ступеня рівномірного завантаження модулів хмарної інфраструктури. Для цього визначено завдання, які вирішуються в роботі: 1. Проведення систематизації методів і алгоритмів балансування навантаження в хмарних системах. 2. Розробка порівняльної характеристики розповсюджених систем балансування навантаження. 3. Розробка модифікованого способу динамічного балансування навантаження в хмарному середовищі на основі методу міграції задач та алгоритму Weighted Least Connections. 4. Експериментальне дослідження ефективності створених правил балансування навантаження.Actuality of theme. The need for load planning needs to be addressed at the initial stage of development of any project. Problems of inadequate server performance due to increased load can be solved by increasing the server capacity or by optimizing the algorithms, program codes used, etc. However, eventually the moment comes when these measures are inadequate and ineffective. The main characteristics of cloud computing are scalability, elasticity, mobility, unlimited amount of data being processed, and the ability to build resources. An actual analysis of existing load balancing approaches in cloud environments and an experimental study of the effectiveness of load balancing rules created are relevant. The object of the study - systems for balancing workload and resource planning in cloud-based technologies. Subject of research - methods and algorithms for balancing load on modules in cloud environments, criteria for their comparison, generalized model of cloud application, justification for choosing load balancing rules. Research methods - the classification of methods and algorithms of load balancing in cloud systems, the development of comparative characteristics of distributed load balancing systems, the provision of practical recommendations for adjusting the load balancing system, and the experimental study of the effectiveness of the created load balancing rules. The purpose of the work: increase the functional efficiency and the degree of uniform loading of cloud infrastructure modules. To do this, the tasks that are solved in the work are determined: 1. Conducting systematization of methods and algorithms of load balancing in cloud systems. 2. Development of comparative characteristics of distributed load balancing systems. 3. Development of the modified method of dynamic balancing of load in a cloud environment based on the method of task migration and the Weighted Least Connections algorithm. 4. Experimental study of the efficiency of the created load balancing rules.Актуальность темы. Потребность в планировании нагрузки необходимо решать на начальной стадии развития любого проекта. Проблемы недостаточной производительности сервера в связи с ростом нагрузки можно решать путем наращивания мощности сервера или же за счет оптимизации используемых алгоритмов, программных кодов и тому подобное. Но рано или поздно наступает момент, когда и эти меры оказываются недостаточными и неэффективными. Основными характеристиками облачных вычислений является масштабируемость, эластичность, мобильность, неограниченный объем данных, обрабатываемых и возможность наращивать ресурсы. Актуальным является анализ существующих подходов балансировки нагрузки в облачной среде и экспериментальное исследование эффективности созданных правил балансировки нагрузки. Объект исследования - системы балансировки рабочей нагрузки и планирования ресурсов в облачных технологиях. Предмет исследования - методы и алгоритмы балансировки нагрузки на модули в облачной среде, критерии их сравнения, обобщенная модель облачного приложения, обоснование выбора правил балансировки нагрузки. Методы исследований - проведение классификации методов и алгоритмов балансировки нагрузки в облачных системах, разработка сравнительной характеристики распространенных систем балансировки нагрузки, предоставление практических рекомендаций по настройке системы балансировки нагрузки, экспериментальное исследование эффективности созданных правил балансировки нагрузки. Цель работы: повышение функциональной эффективности и степени равномерной загрузки модулей облачной инфраструктуры. Для этого определены задачи, которые решаются в работе: 1. Проведение систематизации методов и алгоритмов балансировки нагрузки в облачных системах. 2. Разработка сравнительной характеристики распространенных систем балансировки нагрузки. 3. Разработка модифицированного способа динамической балансировки нагрузки в облачной среде на основе метода миграции задач и алгоритма Weighted Least Connections. 4. Экспериментальное исследование эффективности созданных правил балансировки нагрузки