Optimisation de l'empreinte carbone dans un environnement intercloud : modèles et méthodes

RÉSUMÉ Depuis une dizaine d’années, la dématérialisation de l’information connaît un essor particulier avec l’ascension du Cloud Computing. La puissance de calcul et de stockage offerte, ainsi que la flexibilité d’utilisation ont favorisé une externalisation accrue des données vers des serveurs distants. Ces derniers affranchissent les utilisateurs du fardeau de l’outil informatique traditionnel et leur donnent accès à un large éventail de services en ligne, qui sont des charges modulables, facturées selon l’utilisation. Particulièrement, dans le cas du modèle d’Infrastructure-service, le client dispose d’une infrastructure physique hébergée et peut ainsi louer des serveurs physiques, sur lesquels tourneront ses applications encapsulées dans des machines virtuelles ou Virtual Machines (VMs). Toutefois l’émergence du Cloud et son adoption à grande échelle constituent des défis pour les fournisseurs d’infrastructure. En effet, au-delà de l’implantation et de la configuration des réseaux physiques, il faut conjuguer avec l’infrastructure sous-jacente déjà existante, et déterminer des mécanismes efficaces d’assignation des requêtes des usagers aux serveurs et data centers, contraint par le respect des performances des applications hébergées et des exigences de sécurité imposées par les clients. La demande sans cesse croissante et le souci de fournir une certaine qualité de service, obligent les fournisseurs à investir d’importants capitaux afin de multiplier leurs offres d’hébergement dans plusieurs zones géographiques. Avec ce déploiement à grande échelle d’énormes data centers, leur utilisation à outrance, l’augmentation des coûts d’opération et de l’énergie électrique, les dépenses d’exploitation ont rapidement dépassé les investissements. De ce fait, plusieurs auteurs se sont penchés sur le problème de placement des charges dans un environnement Cloud et ont développé des outils d’aide aux prises de décision, basés concomitamment sur l’accroissement des profits, une meilleure correspondance entre les besoins essentiels du client et l’infrastructure disponible, et la maximisation de l’efficacité et de l’utilisation des ressources. Bien que le Cloud Computing offre une réponse favorable au problème de calcul et de stockage des informations, son adoption à grande échelle est freinée par les inquiétudes soulevées par sa signature écologique. En effet, l’utilisation excessive des data centers, de même que leur gestion et leur entretien, requièrent une énergie électrique accrue se traduisant par une empreinte carbone de plus en plus importante, accélérant ainsi le réchauffement climatique. Ainsi, au moment d’opter pour une solution Cloud, certains usagers questionnent l’impact environnemental d’un tel choix. Dans ce contexte, afin de favoriser l’expansion du Cloud, les géants de l’informatique n’ont d’autre choix que de conférer une dimension “vert” à leur infrastructure physique. Ceci se traduit par des techniques d’assignation des charges visant à réduire l’empreinte carbone des data centers afin de faire du Cloud Computing un succès tant technologique qu’écologique. Plusieurs études portant sur la réduction de l’empreinte carbone d’un unique data center, ont été récemment effectuées en considérant les techniques d’optimisation de l’énergie consommée. Toutefois, dans le contexte d’un Intercloud, où différents data centers sont géographiquement distribués et alimentés par des sources d’énergie renouvelables ou non, la consommation énergétique totale ne saurait refléter l’empreinte carbone dudit environnement. En ce sens, des recherches plus poussées ont porté sur l’optimisation de l’impact environnemental d’un InterCloud où l’hétérogénéité de l’infrastructure a été prise en compte. Cependant, seul le processus de placement des charges a été optimisé sans aucune considération pour l’amélioration de l’efficacité énergétique des data centers, pour la réduction de la consommation des ressources réseau, ou encore pour les exigences des clients en matière de performance des applications et de sécurité des données. À cet effet, cette thèse propose un cadre de planification des applications visant à minimiser l’empreinte carbone dans un environnement InterCloud. Généralement, le problème est traité de manière globale, en combinant le choix de l’emplacement des applications et le routage du trafic associé au problème de gestion du système de refroidissement dans les différents data centers. Divers aspects, comme la puissance des équipements de calcul, la consommation des ressources réseau et l’efficacité énergétique seront simultanément optimisés, sous la contrainte des exigences des clients. Le travail a été réalisé en trois phases. Dans le premier volet du travail, un modèle d’optimisation du placement des applications simples, à VM unique, a été développé afin de réduire l’impact écologique d’un ensemble de data centers. Le modèle d’empreinte carbone proposé améliore les approches de consommation énergétique déjà existantes en combinant l’optimisation du placement des VMs au mécanisme d’accroissement de l’efficacité énergétique des data centers. Ce dernier processus consiste à déterminer, pour chaque data center actif, la valeur optimale de température à fournir par le système de refroidissement, de manière à trouver un compromis entre les gains énergétiques, associés au cooling, et l’augmentation de la puissance des ventilateurs des serveurs, face à un accroissement de la température ambiante. Afin d’ajouter un certain réalisme au modèle, les exigences des clients, en termes de performances des applications hébergées, ou encore en rapport avec les notions de sécurité et de redondance, ont également été considérées. Une analyse de la monotonie et de la convexité du modèle non linéaire résultant a été effectuée afin de souligner l’importance entourant la détermination d’une valeur optimale de température. Par la suite, le problème a été transformé en un modèle linéaire et résolu de manière optimale avec un solveur mathématique, à l’aide des techniques de programmation linéaire en nombres entiers. Afin de mettre en évidence la pertinence du modèle d’optimisation proposé en termes de coût d’empreinte carbone, une analyse de la structure du coût et de l’impact de la charge a été réalisée. Dans le but de mieux apprécier les résultats, une version simplifiée du modèle, exempte de toute exigence du client, a alors été considérée. Ce même modèle simplifié a également été comparé à différentes techniques visant à optimiser l’empreinte carbone autant au sein d’un unique data center qu’à l’échelle d’un environnement InterCloud. Les résultats ont démontré que le modèle proposé permet de réduire jusqu’à 65% le coût d’empreinte carbone. De plus, afin de souligner l’efficacité du modèle proposé à réaliser un placement des VMs tout en respectant les contraintes de sécurité et de performances, le modèle simplifié a été comparé au modèle intégrant les exigences des clients. Bien que le modèle sans contraintes génère, en général des coûts d’empreinte carbone inférieurs à celui du modèle complet, il demeure moins intéressant à considérer, car le gain d’empreinte carbone résultant du processus de consolidation aveugle ne permet pas de contrebalancer le pourcentage de violation des contraintes. Ces résultats ont également permis de démontrer les bonnes performances du modèle complet comparé à sa variante simplifiée, dans le sens que le premier permet parfois d’obtenir des configurations de coût identique au modèle simplifié, en s’assurant, de surcroît, du respect des exigences des utilisateurs. Le mécanisme de placement des VMs est un problème complexe à résoudre. En raison de la nature NP-complet du problème, le temps de calcul croît de manière exponentielle en fonction des entrées et seules les instances de petite taille, même dans le cas du modèle simplifié, ont pu être résolues avec la méthode exacte. Afin de pallier ce problème, nous proposons, dans la seconde étape de notre travail, une méthode de résolution, basée sur les métaheuristiques, dans le but d’obtenir des solutions de qualité en un temps polynomial pour des instances de grande taille. La méthode de résolution proposée dans cet article est basée sur l’heuristique de Recherche Locale Itérée ou Iterated Local Search (ILS), qui implémente une descente comme mécanisme de recherche locale et, suite à l’arrêt prématuré du processus de descente, effectue des sauts dans l’espace des solutions afin de relancer l’exploration à partir d’une nouvelle configuration. Aussi, afin d’accélérer le processus d’évaluation d’une configuration, des fonctions de gains, traduisant la différence entre le coût de la solution actuelle et celui du voisin considéré, ont été déterminées. Divers mécanismes de perturbations ont également été implémentés afin d’éviter le piège des optima locaux. De manière générale, les résultats présentés sont de deux types : la paramétrisation de la méthode et l’évaluation des performances de l’algorithme. La phase de paramétrisation a permis de déterminer les mécanismes à implémenter à chaque étape de l’algorithme ainsi que la valeur idéale des paramètres clés. Par la suite, les performances de l’algorithme ont d’abord été comparées à celles obtenues avec la méthode exacte définie au premier volet. Les résultats démontrent que les solutions générées par la méthode proposée sont en moyenne à environ 0.2% de la solution optimale, avec un écart maximal de 2.6% et un temps d’exécution moyen inférieur à 3 secondes. Afin d’analyser les performances générales de la méthode proposée, cette dernière a été exécutée sur différentes tailles d’instances du modèle et les résultats obtenus ont été évalués par rapport à ceux découlant de l’implémentation de trois méthodes approchées retrouvées dans la littérature. Les résultats ont pu démontrer que l’heuristique proposée permet d’établir un bon compromis entre la qualité de la solution et le temps d’exécution, et peut engendrer une économie de coût de carbone pouvant s’élever jusqu’à 34%. Par ailleurs, des applications de plus en plus complexes, s’étendant sur plusieurs VMs, se font de plus en plus héberger dans le Cloud. Elles introduisent des trafics inter-VMs, sollicitant ainsi les ressources réseau afin de faire transiter l’information d’une machine virtuelle ou Virtual Machine (VM) à une autre. Or, comme la consommation énergétique des ressources réseau représente environ le quart de la puissance totale d’un data center, il en résulte alors que l’impact énergétique de ces équipements ne saurait être négligé plus longtemps, lorsque vient le temps de décider de l’emplacement des VMs afin de réduire l’empreinte écologique de plusieurs data centers. Dans ce contexte, la dernière phase de notre travail propose une extension du modèle développé à la première étape, où l’optimisation du placement des VMs est combinée au mécanisme d’amélioration de l’efficacité énergétique et au routage du trafic. De plus, le processus de routage du trafic étant également NP-complet, la combinaison de ce dernier au mécanisme de placement des VMs résulte en un problème encore plus difficile. En ce sens, nous avons également proposé une approche de résolution basée sur la combinaison de deux métaheuristiques, soit la Recherche Locale Itérée (ILS) et la Recherche Tabou (Tabu Search (TS)). De manière générale, la méthode développée implémente l’algorithme ILS où le mécanisme de recherche locale est une adaptation de l’heuristique TS. Cette hybridation permet de tirer profit des avantages des deux méthodes : d’une part, des mécanismes de mémoire à court et long terme afin d’éviter les cycles et les optima locaux, et d’autre part, des opérateurs de perturbation qui relancent l’exploration à partir d’une nouvelle configuration de départ. Dans la phase d’expérimentation, autant le modèle global que la méthode de résolution proposés ont été évalués. Le modèle global a été implémenté en AMPL/CPLEX en utilisant les techniques de programmation linéaire en nombres entiers et a été évalué par rapport à d’autres modèles de référence optimisant un unique objectif à la fois. Comme nous nous y attendions, le modèle proposé permet d’obtenir de meilleures configurations en termes de coût d’empreinte carbone, avec un gain pouvant s’élever jusqu’à environ 900% pour les instances considérées. Toutefois, cette optimisation se fait au prix d’un temps de calcul, en moyenne, relativement plus élevé, en raison de la complexité du modèle proposé. Cependant, l’économie en carbone réalisée étant substantiellement plus importante comparée aux écarts en temps de calcul observés, les résultats ont pu démontrer la grande efficacité du modèle proposé par rapport aux modèles réalisant une optimisation mono-objectif. La méthode de résolution approchée proposée a été implémentée en C++ et des expériences préliminaires nous ont permis de dégager les valeurs optimales des paramètres clés de la méthode, dont la plupart sont liées à la taille du problème. L’efficacité de la méthode, en termes de compromis entre coût d’empreinte carbone et temps d’exécution, a d’abord été comparée par rapport aux valeurs de borne inférieure, pour les instances de petite taille. Les résultats montrent que l’algorithme développé est en mesure de trouver des solutions, en moyenne, à moins de 3% de la borne inférieure en un temps polynomial, contrairement à une croissance exponentielle du temps de calcul pour la méthode exacte. Pour les plus grandes instances, une comparaison avec différentes méthodes de référence a pu démontrer que l’approche proposée est toujours en mesure de trouver les configurations de coût minimal en un temps réduit, soulignant ainsi les bonnes performances de l’heuristique développée et la justesse au niveau du choix des paramètres de simulation qui y sont associés. Ces expériences ont démontré, au regard des résultats obtenus, que le travail réalisé permettra d’offrir, aux fournisseurs de Cloud, des outils efficaces de planification des applications à l’échelle de leurs data centers, afin de mieux faire face aux inquiétudes soulevées quant à l’impact écologique du Cloud Computing sur le bien-être de la planète.----------ABSTRACT The last decade or so has seen a rapid rise in cloud computing usage, which has led to the dematerialization of data centers. The higher computing power and storage, combined with a greater usage flexibility, have promoted the outsourcing of data to remote servers, allowing users to overcome the burden of traditional IT tools, while having access to a wider range of online services that are charged on based on usage. Particularly, in the case of an infrastructure service model, the client is given access to a physical infrastructure where he can rent physical servers to run their applications, which are encapsulated in VMs. However, the emergence of cloud service and its wide adoption impose new challenges on infrastructure providers. They have to optimize the underlying existing infrastructure by identifying efficient mechanisms for assigning user requests to servers and data centers, while satisfying performance and security constraints, as imposed by the clients. Faced with an increasing demand, providers have to invest significant capital in order to increase their hosting offers in several geographic areas, to provide the required Quality of Service (QoS). The increased use of data centers also has a huge bearing on the operating costs and energy consumption, as operating expenses have quickly exceeded the investment. Therefore, several authors have been tackling the placement of loads in a cloud environment by developing tools to aid in the decision-making. Most of the proposed solutions are guided by financial aspects to increase profits by determining the best mapping between the basic needs of the client and the available infrastructure, in order to meet the QoS constraints while maximizing the efficiency and the use of resources. However, while cloud computing represents a great opportunity for both individuals and businesses, its widespread adoption is slowed by concerns regarding its global ecological impact. The excessive use of data centers, as well as their management and maintenance, require huge amounts of electric power, thus accelerating the global warming process. Therefore, before choosing a cloud solution, some users will take into consideration that environmental impact. This, in turn, forces cloud providers to consider the "green" aspect of their infrastructure by developing new ways of assigning loads that reduce the carbon footprint of their data centers in order for cloud computing to be both a technological and an ecological success. Several works have recently been published that aim to reduce the environmental impact of clouds. The first ones have focused on reducing the carbon footprint of a single data center by optimizing the consumed energy. However, in the context of an InterCloud environment composed of different data centers that are geographically distributed and powered by renewable energy sources or not, the total energy consumed cannot reflect the carbon footprint of that said environment. That’s why subsequent research has been focusing on optimizing the environmental impact of an InterCloud where the heterogeneity of the infrastructure is taken into account. However, only the VM placement process has been optimized with no consideration to improving data center energy efficiency, network power consumption or customer requirements, as far as application performance and data security are concerned. To this end, this thesis proposes a framework for assigning applications to an InterCloud with the view of minimizing the carbon footprint of such a computing environment. In order to address this issue, the problem is treated holistically, jointly optimizing the VM placement process, the traffic routing and a cooling management technique that considers the dynamic behavior of the IT fans. Various aspects, such the processing power, the network resource consumption and the energy efficiency, will be simultaneously optimized, while satisfying customer requirements. The work is carried out in three phases. First, we propose an optimization model for placing standalone VMs, in order to reduce the environmental impact of a set of data centers. The carbon footprint of the proposed model improves the energy consumption of existing approaches by combining both the optimization of the VM placement process and the energy efficiency of data centers. This latter process determines, for each active data center, the optimal temperature to be provided by the cooling system so as to find a compromise between the energy gains associated with the cooling and the increased power consumption of the server fans, at high temperatures. In order to add some realism to the model, customer requirements are also considered, in terms of application performance, security and redundancy. An analysis of the monotony and the convexity of the resulting nonlinear model was conducted to highlight the importance surrounding the determination of the optimal temperature value. Subsequently, the problem is transformed into a linear model and solved optimally with a mathematical solver, using integer linear programming. To demonstrate the relevance of the proposed optimization model in terms of carbon footprint, an analysis of the cost structure and the impact of the load is carried out. In order to better highlight the results, a simplified version of the model, free from any client requirements, is also considered. This same simplified model is also compared with different other techniques that optimize the carbon footprint both within a single data center and across an InterCloud environment. The results demonstrate that the proposed model can yield savings of up to 65%, in terms of carbon footprint cost. In addition, to highlight the effectiveness of the proposed model when placing VMs while satisfying clients and performance constraints, the simplified model is compared with the global model that incorporates customer requirements. Although the model without constraints usually generates smaller carbon footprint costs, its result is not as interesting as it may seem, because these savings do not offset the cost of violating constraints. These results also demonstrate the good performance of the global model compared to its simplified variant, in the sense that the first sometimes provides configurations identical to the simplified cost model, while ensuring that user requirements are met. Placing VMs is a complex problem to solve. Due to its NP-complete nature, the computing time grows exponentially in the length of the inputs. Even with the simplified model, only small instances can be solved with the exact method. In order to overcome this problem, we propose, in the second stage of our work, a resolution method based on metaheuristics in order to obtain good solutions for large instances in a polynomial time. The method proposed in this article is based on the ILS heuristic that implements a descent as a local search mechanism and, following the early termination of the descent, performs jumps in the solution space to restart the algorithm from a new configuration. Furthermore, in order to speed up the evaluation of a configuration, gain functions that reflect the cost difference between the current solution and the considered neighbor, are determined. Various perturbation mechanisms are also implemented to avoid the trap of local optima. In general, the presented results are of two types: the parametrization of the method and the performance evaluation of the proposed algorithm. The parametrization phase helps determine the mechanisms to implement for each step of the algorithm as well as the ideal value of each

Strategies for Increased Energy Awareness in Cloud Federations

This chapter first identifies three scenarios that current energy aware cloud solutions cannot handle as isolated IaaS, but their federative efforts offer opportunities to be explored. These scenarios are centered around: (i) multi-datacenter cloud operator, (ii) commercial cloud federations, (iii) academic cloud federations. Based on these scenarios, we identify energy-aware scheduling policies to be applied in the management solutions of cloud federations. Among others, these policies should consider the behavior of independent administrative domains, the frequently contradicting goals of the participating clouds and federation wide energy consumption

Optimisation de l'intégration des requêtes de réseaux virtuels dans un environnement multiCloud

De nos jours, l’Infrastructure-service ou Infrastructure as a Service (IaaS) est devenue le modèle de service du Cloud Computing le plus largement adopté. Dans ce modèle d’affaires, un fournisseur de service ou Service Provider (SP) peut louer, à partir d’un ou de plusieurs fournisseurs d’infrastructure ou Cloud Providers (CPs), des ressources physiques proposées en tant que services (calcul, stockage, accès réseau, routage, etc.). Ces derniers sont encapsulés dans des machines virtuelles ou Virtual Machines (VMs), interconnectées et assemblées sous forme de requête de réseau virtuel ou Virual Network Request (VNR), dans le but de créer des réseaux virtuels hétérogènes offrant des applications et des services personnalisés à des utilisateurs finaux. Malgré son adoption largement réussie, le modèle IaaS reste toujours confronté à un défi fondamental en matière de gestion de ressources, qui consiste en l’optimisation de l’intégration efficace et dynamique des VNRs dans les infrastructures sous-jacentes distribuées et partagées. En effet, des ressources hétérogènes doivent être efficacement allouées afin de pouvoir héberger les VMs dans des centres de données ou data centers (DCs) spécifiques, et de faire router les liaisons virtuelles ou Virtual Links (VLs), représentant le trafic échangé entre les VMs interconnectées, sur des chemins appropriés entre les DCs. Cette allocation de ressources et de services vise généralement à satisfaire des contraintes de performance, de Qualité de Service (QdS), de sécurité et de localisation géographique, imposées par le SP. Dans le contexte de la virtualisation de réseau, ce problème est connu NP-difficile, sous le nom d’intégration de réseau virtuel ou Virtual Network Embedding (VNE), qui n’a été abordé que récemment dans la littérature dans le cadre d’un réseau multiCloud, où les infrastructures Cloud sous-jacents appartiennent à différents CPs indépendants. Le VNE dans un environnement multiCloud ajoute plus de complexité et des défis d’évolutivitité au problème, car l’ensemble du processus nécessite une approche de résolution hiérarchique, dans laquelle deux phases principales d’opération sont réalisées, chacune ayant des objectifs différents selon les acteurs : la phase de partitionnement des VNRs à travers le réseau multiCloud, suivie de la phase d’intégration des segments de VNRs dans les infrastructures intraCloud sélectionnées. Dans la première phase réalisée indirectement par le SP, ce dernier mandate généralement un fournisseur de réseau virtuel ou Virtual Network Provider (VNP). Le VNP agit en tant que service de courtage virtuel pour le compte du SP, afin de sélectionner adéquatement des CPs capables de répondre efficacement aux objectifs et exigences du SP, puis partitionne les VNRs en plusieurs segments. Dans la deuxième phase, qui correspond notamment au problème bien connu du VNE dans le cadre d’un seul CP et qui a été largement abordé dans des travaux de recherche antérieurs, chaque CP sélectionné utilise une approche d’hébergement adéquate pour intégrer les segments de VNRs qui lui sont attribués dans son réseau intraCloud.----------ABSTRACT: Nowadays, the Infrastructure as a Service (IaaS) has become the most widely adopted cloud service model. In this business paradigm, a Service Provider (SP) can lease, from one or more Cloud Providers (CPs), infrastructure layer resources (processing, storage, network access, routing services, etc.) packaged into interconnected virtual machines (VMs) and assembled as a virtual network request (VNR), in order to build heterogeneous virtual networks that will offer customized services and applications to its end users. Despite its successful adoption, the IaaS model faces a fundamental resource management challenge lying in the efficient and dynamic embedding of VNRs onto distributed and shared substrate infrastructures. Heterogenous resources need to be efficiently allocated to host VMs in specific substrate data centers (DCs) and to route virtual links (VLs), representing the exchanged traffic between interconnected VMs, onto suitable substrate paths between the hosting DCs, in order to satisfy performance, Quality of Service (QoS), security and geographical location constraints imposed by the SP. In the context of network virtualization, this issue is usually referred to as the NP-hard Virtual Network Embedding (VNE) problem, which has been only recently addressed in the literature within a multicloud network, where the substrate infrastructures are owned by different and independent CPs. Such a context adds more complexity and scalability issues, since the whole VNE process requires a hierarchical resolution approach, where two major phases of operation are performed, each of them having different purposes according to the acting player: the multicloud VNRs splitting phase, followed by the intra-cloud VNR segments mapping phase. In the first phase played indirectly by the SP, the latter generally mandates a Virtual Network Provider (VNP), which acts as a virtual brokerage service on behalf of the SP, in order to select eligible CPs based on the SP’s goals and requirements, and split the VNRs into segments. In the second phase, which corresponds to the well known VNE within a single CP largely addressed in past research works, each selected CP uses a mapping approach to embed the assigned VNR segments into its intra-cloud network

Analysis of Application Delivery Platform for Software Defined Infrastructures

Application Service Providers (ASPs) obtaining resources from multiple clouds have to contend with different management and control platforms employed by the cloud service providers (CSPs) and network service providers (NSP). Distributing applications on multiple clouds has a number of benefits but the absence of a common multi-cloud management platform that would allow ASPs dynamic and real-time control over resources across multiple clouds and interconnecting networks makes this task arduous. OpenADN, being developed at Washington University in Saint Louis, fills this gap. However, performance issues of such a complex, distributed and multi-threaded platform, not tackled appropriately, may neutralize some of the gains accruable to the ASPs. In this paper, we establish the need for and methods of collecting precise and fine-grained behavioral data of OpenADN like platforms that can be used to optimize their behavior in order to control operational cost, performance (e.g., latency) and energy consumption.Comment: E-preprin

Optimal Selection Techniques for Cloud Service Providers

Nowadays Cloud computing permeates almost every domain in Information and Communications Technology (ICT) and, increasingly, most of the action is shifting from large, dominant players toward independent, heterogeneous, private/hybrid deployments, in line with an ever wider range of business models and stakeholders. The rapid growth in the numbers and diversity of small and medium Cloud providers is bringing new challenges in the as-a-Services space. Indeed, significant hurdles for smaller Cloud service providers in being competitive with the incumbent market leaders induce some innovative players to "federate" deployments in order to pool a larger, virtually limitless, set of resources across the federation, and stand to gain in terms of economies of scale and resource usage efficiency. Several are the challenges that need to be addressed in building and managing a federated environment, that may go under the "Security", "Interoperability", "Versatility", "Automatic Selection" and "Scalability" labels. The aim of this paper is to present a survey about the approaches and challenges belonging to the "Automatic Selection" category. This work provides a literature review of different approaches adopted in the "Automatic and Optimal Cloud Service Provider Selection", also covering "Federated and Multi-Cloud" environments

Modern computing: Vision and challenges

Over the past six decades, the computing systems field has experienced significant transformations, profoundly impacting society with transformational developments, such as the Internet and the commodification of computing. Underpinned by technological advancements, computer systems, far from being static, have been continuously evolving and adapting to cover multifaceted societal niches. This has led to new paradigms such as cloud, fog, edge computing, and the Internet of Things (IoT), which offer fresh economic and creative opportunities. Nevertheless, this rapid change poses complex research challenges, especially in maximizing potential and enhancing functionality. As such, to maintain an economical level of performance that meets ever-tighter requirements, one must understand the drivers of new model emergence and expansion, and how contemporary challenges differ from past ones. To that end, this article investigates and assesses the factors influencing the evolution of computing systems, covering established systems and architectures as well as newer developments, such as serverless computing, quantum computing, and on-device AI on edge devices. Trends emerge when one traces technological trajectory, which includes the rapid obsolescence of frameworks due to business and technical constraints, a move towards specialized systems and models, and varying approaches to centralized and decentralized control. This comprehensive review of modern computing systems looks ahead to the future of research in the field, highlighting key challenges and emerging trends, and underscoring their importance in cost-effectively driving technological progress

Modern computing: vision and challenges

Over the past six decades, the computing systems field has experienced significant transformations, profoundly impacting society with transformational developments, such as the Internet and the commodification of computing. Underpinned by technological advancements, computer systems, far from being static, have been continuously evolving and adapting to cover multifaceted societal niches. This has led to new paradigms such as cloud, fog, edge computing, and the Internet of Things (IoT), which offer fresh economic and creative opportunities. Nevertheless, this rapid change poses complex research challenges, especially in maximizing potential and enhancing functionality. As such, to maintain an economical level of performance that meets ever-tighter requirements, one must understand the drivers of new model emergence and expansion, and how contemporary challenges differ from past ones. To that end, this article investigates and assesses the factors influencing the evolution of computing systems, covering established systems and architectures as well as newer developments, such as serverless computing, quantum computing, and on-device AI on edge devices. Trends emerge when one traces technological trajectory, which includes the rapid obsolescence of frameworks due to business and technical constraints, a move towards specialized systems and models, and varying approaches to centralized and decentralized control. This comprehensive review of modern computing systems looks ahead to the future of research in the field, highlighting key challenges and emerging trends, and underscoring their importance in cost-effectively driving technological progress

A Service-based Joint Model Used for Distributed Learning: Application for Smart Agriculture

Distributed analytics facilitate to make the data-driven services smarter for a wider range of applications in many domains, including agriculture. The key to producing services at such level is timely analysis for deriving insights from reliable data. Centralized data analytic services are becoming infeasible due to limitations in the Information and Communication Technologies (ICT) infrastructure, timeliness of the information, and data ownership. Distributed Machine Learning (DML) platforms facilitate efficient data analysis and overcome such limitations effectively. Federated Learning (FL) is a DML methodology, which enables optimizing resource consumption while performing privacy-preserved timely analytics. In order to create such services through FL, there need to be innovative machine learning (ML) models as data complexity as well as application requirements limit the applicability of existing ML models. Even though NN-based models are highly advantageous, use of NN in FL settings is limited with thin clients (with less computational capabilities) and high-dimensional data (with a large number of model parameters). Therefore, in this paper, we propose a novel Neural Network (NN)- and Partial Least Square (PLS) regression-based joint FL model (FL-NNPLS). Its predictive performance is evaluated under sequentially and parallel-updating based FL algorithms in a smart farming context for milk quality analysis. Smart farming is a fast-growing industrial sector which requires effective analytics platforms to enable sustainable farming practices. However, the use of advanced ML techniques is still at an early stage for improving the effectiveness of farming practices. Our FL-NNPLS approach performs and compares well with a centralized approach and demonstrates state-of-the-art performance