Trade-off among timeliness, messages and accuracy for large-Ssale information management

The increasing amount of data and the number of nodes in large-scale environments require new techniques for information management. Examples of such environments are the decentralized infrastructures of Computational Grid and Computational Cloud applications. These large-scale applications need different kinds of aggregated information such as resource monitoring, resource discovery or economic information. The challenge of providing timely and accurate information in large scale environments arise from the distribution of the information. Reasons for delays in distributed information system are a long information transmission time due to the distribution, churn and failures. A problem of large applications such as peer-to-peer (P2P) systems is the increasing retrieval time of the information due to the decentralization of the data and the failure proneness. However, many applications need a timely information provision. Another problem is an increasing network consumption when the application scales to millions of users and data. Using approximation techniques allows reducing the retrieval time and the network consumption. However, the usage of approximation techniques decreases the accuracy of the results. Thus, the remaining problem is to offer a trade-off in order to solve the conflicting requirements of fast information retrieval, accurate results and low messaging cost. Our goal is to reach a self-adaptive decision mechanism to offer a trade-off among the retrieval time, the network consumption and the accuracy of the result. Self-adaption enables distributed software to modify its behavior based on changes in the operating environment. In large-scale information systems that use hierarchical data aggregation, we apply self-adaptation to control the approximation used for the information retrieval and reduces the network consumption and the retrieval time. The hypothesis of the thesis is that approximation techniquescan reduce the retrieval time and the network consumption while guaranteeing an accuracy of the results, while considering user’s defined priorities. First, this presented research addresses the problem of a trade-off among a timely information retrieval, accurate results and low messaging cost by proposing a summarization algorithm for resource discovery in P2P-content networks. After identifying how summarization can improve the discovery process, we propose an algorithm which uses a precision-recall metric to compare the accuracy and to offer a user-driven trade-off. Second, we propose an algorithm that applies a self-adaptive decision making on each node. The decision is about the pruning of the query and returning the result instead of continuing the query. The pruning reduces the retrieval time and the network consumption at the cost of a lower accuracy in contrast to continuing the query. The algorithm uses an analytic hierarchy process to assess the user’s priorities and to propose a trade-off in order to satisfy the accuracy requirements with a low message cost and a short delay. A quantitative analysis evaluates our presented algorithms with a simulator, which is fed with real data of a network topology and the nodes’ attributes. The usage of a simulator instead of the prototype allows the evaluation in a large scale of several thousands of nodes. The algorithm for content summarization is evaluated with half a million of resources and with different query types. The selfadaptive algorithm is evaluated with a simulator of several thousands of nodes that are created from real data. A qualitative analysis addresses the integration of the simulator’s components in existing market frameworks for Computational Grid and Cloud applications. The proposed content summarization algorithm reduces the information retrieval time from a logarithmic increase to a constant factor. Furthermore, the message size is reduced significantly by applying the summarization technique. For the user, a precision-recall metric allows defining the relation between the retrieval time and the accuracy. The self-adaptive algorithm reduces the number of messages needed from an exponential increase to a constant factor. At the same time, the retrieval time is reduced to a constant factor under an increasing number of nodes. Finally, the algorithm delivers the data with the required accuracy adjusting the depth of the query according to the network conditions.La gestió de la informació exigeix noves tècniques que tractin amb la creixent quantitat de dades i nodes en entorns a gran escala. Alguns exemples d’aquests entorns són les infraestructures descentralitzades de Computacional Grid i Cloud. Les aplicacions a gran escala necessiten diferents classes d’informació agregada com monitorització de recursos i informació econòmica. El desafiament de proporcionar una provisió ràpida i acurada d’informació en ambients de grans escala sorgeix de la distribució de la informació. Una raó és que el sistema d’informació ha de tractar amb l’adaptabilitat i fracassos d’aquests ambients. Un problema amb aplicacions molt grans com en sistemes peer-to-peer (P2P) és el creixent temps de recuperació de l’informació a causa de la descentralització de les dades i la facilitat al fracàs. No obstant això, moltes aplicacions necessiten una provisió d’informació puntual. A més, alguns usuaris i aplicacions accepten inexactituds dels resultats si la informació es reparteix a temps. A més i més, el consum de xarxa creixent fa que sorgeixi un altre problema per l’escalabilitat del sistema. La utilització de tècniques d’aproximació permet reduir el temps de recuperació i el consum de xarxa. No obstant això, l’ús de tècniques d’aproximació disminueix la precisió dels resultats. Així, el problema restant és oferir un compromís per resoldre els requisits en conflicte d’extracció de la informació ràpida, resultats acurats i cost d’enviament baix. El nostre objectiu és obtenir un mecanisme de decisió completament autoadaptatiu per tal d’oferir el compromís entre temps de recuperació, consum de xarxa i precisió del resultat. Autoadaptacío permet al programari distribuït modificar el seu comportament en funció dels canvis a l’entorn d’operació. En sistemes d’informació de gran escala que utilitzen agregació de dades jeràrquica, l’auto-adaptació permet controlar l’aproximació utilitzada per a l’extracció de la informació i redueixen el consum de xarxa i el temps de recuperació. La hipòtesi principal d’aquesta tesi és que els tècniques d’aproximació permeten reduir el temps de recuperació i el consum de xarxa mentre es garanteix una precisió adequada definida per l’usari. La recerca que es presenta, introdueix un algoritme de sumarització de continguts per a la descoberta de recursos a xarxes de contingut P2P. Després d’identificar com sumarització pot millorar el procés de descoberta, proposem una mètrica que s’utilitza per comparar la precisió i oferir un compromís definit per l’usuari. Després, introduïm un algoritme nou que aplica l’auto-adaptació a un ordre per satisfer els requisits de precisió amb un cost de missatge baix i un retard curt. Basat en les prioritats d’usuari, l’algoritme troba automàticament un compromís. L’anàlisi quantitativa avalua els algoritmes presentats amb un simulador per permetre l’evacuació d’uns quants milers de nodes. El simulador s’alimenta amb dades d’una topologia de xarxa i uns atributs dels nodes reals. L’algoritme de sumarització de contingut s’avalua amb mig milió de recursos i amb diferents tipus de sol·licituds. L’anàlisi qualitativa avalua la integració del components del simulador en estructures de mercat existents per a aplicacions de Computacional Grid i Cloud. Així, la funcionalitat implementada del simulador (com el procés d’agregació i la query language) és comprovada per la integració de prototips. L’algoritme de sumarització de contingut proposat redueix el temps d’extracció de l’informació d’un augment logarítmic a un factor constant. A més, també permet que la mida del missatge es redueix significativament. Per a l’usuari, una precision-recall mètric permet definir la relació entre el nivell de precisió i el temps d’extracció de la informació. Alhora, el temps de recuperació es redueix a un factor constant sota un nombre creixent de nodes. Finalment, l’algoritme reparteix les dades amb la precisió exigida i ajusta la profunditat de la sol·licitud segons les condicions de xarxa. Els algoritmes introduïts són prometedors per ser utilitzats per l’agregació d’informació en nous sistemes de gestió de la informació de gran escala en el futur

Automated Bidding in Computing Service Markets. Strategies, Architectures, Protocols

This dissertation contributes to the research on Computational Mechanism Design by providing novel theoretical and software models - a novel bidding strategy called Q-Strategy, which automates bidding processes in imperfect information markets, a software framework for realizing agents and bidding strategies called BidGenerator and a communication protocol called MX/CS, for expressing and exchanging economic and technical information in a market-based scheduling system

Migrations en temps réel des machines virtuelles interdépendantes

RÉSUMÉ Actuellement, les bonnes circulations et traitements des données sont devenus des clefs de succès dans tous les domaines techniques. Il est donc indispensable que les réseaux, véhiculant ces données, garantissent la qualité de leur transmission et réception. Cela est aussi applicable quand ces données sont échangées en continu par des hôtes virtuels distribués et interdépendants. La consolidation et répartition des charges (Load Balancing) devient un élément important pour améliorer les capacités et les services des réseaux. Cette répartition est possible par des réseaux infonuagiques utilisant des machines virtuelles. Comme ces machines peuvent être déployées et migrées en temps réel et à grande échelle, elles peuvent offrir de très bonnes possibilités de répartition des charges par leurs migrations en temps réel. Ainsi, il est important pour les décideurs de ces répartitions de charges de disposer des techniques efficaces permettant de minimiser les coûts de maintenance et de qualité de ces migrations en temps réel et de maximiser les retours sur investissement de leurs déploiements. Le problème de planification, de consolidation et de migration en temps réel des machines virtuelles (VMs) consiste à identifier les bons choix à effectuer pour placer les ressources d’un réseau de machines virtuelles et à déterminer les bonnes techniques pour les consolider par le déplacement de ces VMs entre des hôtes physiques. Ces déplacements des VMs doivent se faire sans interruption de service et dans des délais très réduits afin de respecter les contrats de niveaux de service et la qualité globale des services virtuels. Depuis quelques années, plusieurs recherches scientifiques se sont attardées sur l’étude de planification et de migration en temps réel des machines virtuelles. Cependant, ces études scientifiques se sont focalisées sur des VMs prises individuellement et non sur l’ensemble des VMs interdépendantes; cette démarche ne permet pas d’obtenir des solutions optimales prenant en considération les interdépendances entre ces VMs. D’autres études scientifiques se sont intéressées aux redéploiements dynamiques des charges d’un réseau en utilisant des migrations en temps réel des VMs et elles ont réussi à présenter des modélisations pour les résoudre. Cependant, elles n’ont pas considéré l’interdépendance entre des services applicatifs installés sur ces VMs; ces services ont besoin parfois d’échanger leurs informations afin d’effectuer leurs exécutions correctement. Cette thèse présente des techniques traitant de la planification, la consolidation, et la migration en temps réel de plusieurs machines virtuelles. L’interdépendance entre les VMs est considérée lors des développements de ces techniques. Notre travail est divisé en trois parties où chacune correspond à un de nos objectifs de recherche. Lors de la première partie, nous développons un modèle mathématique et son heuristique d’approximation pour solutionner le problème d’optimisation de la planification des emplacements des VMs prenant en considération leurs contraintes d’interdépendance; cette heuristique, efficace pour des grands ensembles de machines virtuelles, peut être ensuite exécutée par un logiciel installé sur une machine physique. Nous résolvons ce modèle grâce au solveur mathématique CPLEX en utilisant la méthode de programmation en nombres entiers mixte (MIP). L’objectif de ce modèle est de minimiser les coûts d’un réseau de VMs tout en respectant ses contraintes d’interdépendance. Afin de valider la performance de notre modélisation, nous résolvons avec CPLEX des petits ensembles de tests; ensuite, nous les vérifions et validons. Notre modèle est plus pertinent que celui de la modélisation sans les contraintes d’interdépendance qui donne des solutions dans des délais plus courts, mais qui demeurent non efficaces pour le bon fonctionnement des VMs interdépendantes. Comme le problème NP-difficile de « bin-packing » peut être réduit à notre problème de planification des VMs, ce dernier est aussi NP-difficile; pour cela, nous approximons sa modélisation avec une heuristique de recherche taboue qui est capable de traiter des grands ensembles en peu de temps. Cette heuristique trouve de bonnes solutions dans des délais acceptables pour des problèmes avec des grands ensembles. Cette heuristique visite une zone de solutions potentielles afin d’y trouver l’optimum local, puis elle refait cette même démarche dans des régions avoisinantes. Ainsi, notre heuristique réalise une exploration pertinente de l’espace des solutions possibles. Les performances de notre heuristique sont comparables à celles de notre modèle mathématique approximé dans le cas des problèmes avec des petits ensembles. De plus, cette heuristique est plus performante en ce qui concerne des temps de calcul puisqu’elle réussit à trouver de bonnes solutions dans des délais moindres que ceux des solutions exactes de CPLEX pour des grands ensembles de VMs. Lors de la deuxième partie de notre recherche, nous développons un modèle mathématique « multi-objectifs » (relaxé à un modèle « mono-objectif » par la méthode agrégée de la somme pondérée) et son heuristique d’approximation pour trouver une solution optimale pour le problème de migration en temps réel des VMs interdépendantes; cette modélisation obtient des solutions exactes et optimales pour un nombre réduit de VMs; cette heuristique, permettant de trouver des solutions quasi-optimales en peu de temps, peut être exécutée par un logiciel contrôleur installé sur une machine physique. Cette exécution peut être effectuée à intervalle régulier ou bien quand la qualité de service de certains services virtuels commence à se dégrader. En effet, avec cette modélisation « multi-objectifs » relaxé à « mono-objectif » via la méthode agrégée de la somme pondérée de chacun de nos objectifs, nous trouvons des solutions quasi-optimales pour nos quatre objectifs qui sont le délai de migration des VMs, leur délai d’arrêt, les pénalités dues aux non-respects des contrats de service, et leur qualité de service globale. La modélisation proposée permet plus de flexibilité en assignant un niveau relatif d’importance pour chacun des objectifs via leur facteur de pondération. Concernant la qualité globale de service et les pénalités des non-respects des contrats de niveaux de service (SLAs), les résultats obtenus grâce à notre modèle et son heuristique d’approximation sont meilleurs que la technique « pré-copie » utilisée et conçue pour les migrations en temps réel des VMs. Lors de la troisième partie de notre recherche, nous développons un modèle mathématique et son heuristique d’approximation visant à maximiser le profit net total tout en minimisant les pénalités des services virtuels aux contrats SLAs. Cette optimisation est une tâche complexe en raison de la difficulté de parvenir à un compromis réussi entre les pénalités sur les contrats de niveaux de service et le placement en temps réel des machines virtuelles (VM) interdépendantes. Cette troisième partie étudie donc ce problème de maximisation du profit net total tout en diminuant les pénalités de service et en réalisant des migrations en temps réel de machines virtuelles interdépendantes. Ce problème d’optimisation de placement en temps réel de machines virtuelles est NP-difficile puisque le problème NP-difficile « bin-packing » peut être réduit à ce problème, et son temps de calcul croit exponentiellement avec la taille des ensembles de machines virtuelles et de leurs machines physiques hôtes; pour cette raison, nous approximons notre modèle mathématique avec une heuristique de recherche taboue efficace. Nous testons notre formulation et heuristique pour des services virtuels, où le profit net total doit être maximisé, où les pénalités des services doivent être minimisées, et où des migrations efficaces en temps réel des VMs sont des sujets de préoccupation. Nos résultats de simulations montrent que notre heuristique d’approximation de notre modèle mathématique : (i) trouve de meilleures solutions que la configuration existante des milliers de machines utilisées dans des traces de Google; (ii) est adaptée pour de grandes ensembles des services virtuels avec des dizaines de milliers de machines virtuelles et machines physiques; et (iii) performe mieux en termes de pénalités et profits globaux que notre référence de comparaison c.-à-d. la configuration existante des machines utilisées dans des traces de Google.----------ABSTRACT Currently, data transmission and processing have become keys to success in many technology areas. Therefore, it is essential that networks guarantee the transmission and reception qualities of these data; also, this guarantee is important for data exchanged continuously by distributed and interconnected hosts. Also, “Load Balancing” techniques becomes an interesting key to improve network services and capacities. This load balancing technique is feasible with cloud networks based on virtual machines (VMs). Since these virtual machines can be deployed and live migrated on a large scale, they can offer very good possibilities of load balancing. Thus, it is important that decision makers dispose of effective techniques, such as load balancing, to minimize costs of these live migrations and to maximize their return on investment. Planning and live migration problems of virtual machines aim to identify right choices to place resources of virtual machine networks and to determine right techniques to move VMs between their physical hosts. These VMs’ moves should be done without service interruption and within very short delay. In recent years, several scientific researchers have studied planning and live migration of virtual machines; however, these scientific studies have focused on VMs individually without considering their interdependency constraints. Other scientific studies have investigated dynamic load balancing of a network using VM live migrations and they have succeeded to solve it using mathematical models; however, they did not consider the VMs’ interdependency. This thesis presents some techniques dealing with planning, consolidation, and live migrations of multiple virtual machines. These techniques take into account the VM interdependencies, the network service level contracts (SLAs) and overall quality. Our thesis is divided into three parts corresponding to our three research objectives. In the first part, we develop a mathematical model for VMs planning problem including the interdependency constraints. We solve this model using CPLEX as a mathematical solver with the mixed integer programming (MIP) method. The goal of this model is to minimize the overall cost of a VMs’ network while respecting its interdependent VMs constraints. To validate our modeling performance, we solved, with CPLEX, some small sets; then, we verified and validated our solutions. Our model is more relevant than other models ignoring interdependency constraints and which give solutions in a shorter time but remain ineffective for a proper functioning of interdependent VMs. Since VMs’ placement planning problem is an NP-hard problem (as the NP-hard “bin-packing” problem can be reduced to it), we approximate our model with a tabu search heuristic which is capable to handle large-sized sets. This heuristic finds good solutions in an acceptable delay by visiting areas of potential solutions in order to find local optimums, and then it repeats this process with other surrounding areas; thus, our heuristic performs relevant space explorations for possible solutions. Our heuristic has comparable performance to our approximated mathematical model in the case of small size sets; moreover, this heuristic is more efficient since its running time is lower than CPLEX to find near-enough exact solutions for large-sized sets. In the second part of our research, we have developed a "multi-objective" mathematical model to solve the problem of live migrations of interdependent VMs; this model is solved by relaxing it to a "mono-objective" model using the method of weighted sum of each of its objectives; thanks to this relaxation, we optimize four objectives simultaneously by dealing with live VM migrations, especially, their stop delays, their penalties on service level agreements and the overall quality of service. Our proposed model allows more flexibility by assigning a relative importance level for each objective. Results, of the overall quality of service and overall penalty on SLAs, obtained with our model are better than those of "pre-copy" VM live migrations ignoring VMs’ interdependency constraints. In the third part of this research, we develop a mathematical model to maximize the overall net profits of virtual services while minimizing the penalties on their SLAs. This optimization is a complex task because it is difficult to reach a successful compromise between decreasing the penalties on service level agreements and the live placement of interdependent virtual machines. This third part is therefore exploring this problem optimization of net profit and service penalties while performing live migrations of interdependent virtual machines. This live placement optimization problem of virtual machines is NP-hard and its calculation time grows exponentially with the size of virtual machine sets and their physical machines hosts; for this reason, we approximate our mathematical model with effective tabu search heuristic. We test our formulation and heuristic with virtual services which the overall net profit should be maximized, the penalty on SLAs should be minimized and live migrations should be effective. Our simulation results show that our heuristic: (i) finds better solutions than the existing configuration of machines used in Google traces; (ii) is adapted to large-sized virtual service sets with tens of thousands of virtual and physical machines; and (iii) performs better in terms of penalties and overall net profits when they are compared to those of the existing machines’ configuration of Google

Message Protocols for Provisioning and Usage of Computing Services

The commercial availability of computational resources enable consumers to scale their applications on-demand. However, it is necessary for both consumers and providers of computational resources to express their technical and economic preferences using common language protocols. Ultimately, this requires clear, flexible and pragmatic communication protocols and policies for the expression of bids and resulting generation of service level agreements (SLAs). Further standardization efforts in such description languages will foster the specification of common interfaces and matching rules for establishing SLAs. Grid middleware are not compatible with market-orientated resource provisioning. We aim to reduce this gap by defining extensions to a standardized specification such as JSDL. Furthermore, we present a methodology for matchmaking consumer bids and provider offers and map the additional economic attributes into a SLA. We demonstrate the usage of the message protocols in an application scenario