Resource Allocation for Query Optimization in Data Grid Systems: Static Load Balancing Strategies

International audienceResource allocation is one of the principal stages of relational query processing in data grid systems. Static allocation methods allocate nodes to relational operations during query compilation. Existing heuristics did not take into account the multi-queries environment, where some nodes may become overloaded because they are allocated to too many concurrent queries. Dynamic resource allocation mechanisms are currently developed to modify the physical plan during query execution. In fact, when a node is detected to be overloaded, some of the operations on it will migrate. However, if the resource contention is too heavy in the initial execution plan, the operation migration cost may be very high. In this paper, we propose two load balancing strategies adopted during the static resource allocation phase, so that the workload is balanced at the beginning, the operation migration cost is decreased during the query execution, and therefore the average response time is reduced

GeoLoc: Robust Resource Allocation Method for Query Optimization in Data Grid Systems

International audienceResource allocation (RA) is one of the key stages of distributed query processing in the Data Grid environment. In the last decade were published a number of works in the field that deals with different aspects of the problem. We believe that in those studies authors paid less attention to such important aspects as definition of allocation space and criterion of parallelism degree determination. In this paper we propose a method of RA that extends existing solutions in those two points of interest and resolves the problem in the specific conditions of the large scale heterogeneous environment of Data Grids. Firstly, we propose to use a geographical proximity of nodes to data sources to define the Allocation Space (AS). Secondly, we present the principle of execution time parity between scan and join (build and probe) operations for determination of parallelism degree and for generation of load balanced query execution plans. We conducted an experiment that proved the superiority of our GeoLoc method in terms of response time over the RA method that we chose for the comparison. The present study provides also a brief description of existing methods and their qualitative comparison with respect to proposed method

Fault Tolerant Resource Allocation for Query Processing in Grid Environments

International audienceIn this paper, we propose a new algorithm for fault-tolerant resource allocation for query processing in grid environments. For this, we propose an initial resource allocation algorithm followed by a fault-tolerance protocol. The proposed fault-tolerance protocol is based on the passive replication of stateful operators in queries. We provide theoretical analyses of the proposed algorithms and consolidate our analyses with the simulations

Resource allocation for query processing in grid systems: A survey

Grid systems are very useful platforms for distributed databases, especially in some situations in which the scale of data sources and user requests is very high. However, the main characteristics of grid systems such as dynamicity, large size and heterogeneity, bring new problems to the query processing domain such as resource discovery and resource allocation. In this paper, we provide a survey related to resource allocation methods for query processing In data grid systems. We provide a classification for existing studies considering their approaches to the resource allocation problem. We provide a synthesis of the studies and propose evaluations and comparisons for the different classes of studies. ©2012 CRL Publishing Ltd

Découverte et allocation des ressources pour le traitement de requêtes dans les systèmes grilles

De nos jours, les systèmes Grille, grâce à leur importante capacité de calcul et de stockage ainsi que leur disponibilité, constituent l'un des plus intéressants environnements informatiques. Dans beaucoup de différents domaines, on constate l'utilisation fréquente des facilités que les environnements Grille procurent. Le traitement des requêtes distribuées est l'un de ces domaines où il existe de grandes activités de recherche en cours, pour transférer l'environnement sous-jacent des systèmes distribués et parallèles à l'environnement Grille. Dans le cadre de cette thèse, nous nous concentrons sur la découverte des ressources et des algorithmes d'allocation de ressources pour le traitement des requêtes dans les environnements Grille. Pour ce faire, nous proposons un algorithme de découverte des ressources pour le traitement des requêtes dans les systèmes Grille en introduisant le contrôle de topologie auto-stabilisant et l'algorithme de découverte des ressources dirigé par l'élection convergente. Ensuite, nous présentons un algorithme d'allocation des ressources, qui réalise l'allocation des ressources pour les requêtes d'opérateur de jointure simple par la génération d'un espace de recherche réduit pour les nœuds candidats et en tenant compte des proximités des candidats aux sources de données. Nous présentons également un autre algorithme d'allocation des ressources pour les requêtes d'opérateurs de jointure multiple. Enfin, on propose un algorithme d'allocation de ressources, qui apporte une tolérance aux pannes lors de l'exécution de la requête par l'utilisation de la réplication passive d'opérateurs à état. La contribution générale de cette thèse est double. Premièrement, nous proposons un nouvel algorithme de découverte de ressource en tenant compte des caractéristiques des environnements Grille. Nous nous adressons également aux problèmes d'extensibilité et de dynamicité en construisant une topologie efficace sur l'environnement Grille et en utilisant le concept d'auto-stabilisation, et par la suite nous adressons le problème de l'hétérogénéité en proposant l'algorithme de découverte de ressources dirigé par l'élection convergente. La deuxième contribution de cette thèse est la proposition d'un nouvel algorithme d'allocation des ressources en tenant compte des caractéristiques de l'environnement Grille. Nous abordons les problèmes causés par la grande échelle caractéristique en réduisant l'espace de recherche pour les ressources candidats. De ce fait nous réduisons les coûts de communication au cours de l'exécution de la requête en allouant des nœuds au plus près des sources de données. Et enfin nous traitons la dynamicité des nœuds, du point de vue de leur existence dans le système, en proposant un algorithme d'affectation des ressources avec une tolérance aux pannes.Grid systems are today's one of the most interesting computing environments because of their large computing and storage capabilities and their availability. Many different domains profit the facilities of grid environments. Distributed query processing is one of these domains in which there exists large amounts of ongoing research to port the underlying environment from distributed and parallel systems to the grid environment. In this thesis, we focus on resource discovery and resource allocation algorithms for query processing in grid environments. For this, we propose resource discovery algorithm for query processing in grid systems by introducing self-stabilizing topology control and converge-cast based resource discovery algorithms. Then, we propose a resource allocation algorithm, which realizes allocation of resources for single join operator queries by generating a reduced search space for the candidate nodes and by considering proximities of candidates to the data sources. We also propose another resource allocation algorithm for queries with multiple join operators. Lastly, we propose a fault-tolerant resource allocation algorithm, which provides fault-tolerance during the execution of the query by the use of passive replication of stateful operators. The general contribution of this thesis is twofold. First, we propose a new resource discovery algorithm by considering the characteristics of the grid environments. We address scalability and dynamicity problems by constructing an efficient topology over the grid environment using the self-stabilization concept; and we deal with the heterogeneity problem by proposing the converge-cast based resource discovery algorithm. The second main contribution of this thesis is the proposition of a new resource allocation algorithm considering the characteristics of the grid environment. We tackle the scalability problem by reducing the search space for candidate resources. We decrease the communication costs during the query execution by allocating nodes closer to the data sources. And finally we deal with the dynamicity of nodes, in terms of their existence in the system, by proposing the fault-tolerant resource allocation algorithm

Allocation des ressources pour l'optimisation de requêtes dans les systèmes de grille de données

Les systèmes de grille de données sont de plus en plus utilisés grâce à leur capacité de stockage et de calcul. L'un des problèmes importants de ces systèmes est l'allocation de ressources pour l'optimisation de requêtes SQL. Récemment, la communauté scientifique a publié plusieurs approches et méthodes d'allocation de ressources, en s'efforçant de tenir compte des différentes spécificités de systèmes de grille de données : l'hétérogénéité, l'instabilité du système et la grande échelle. La structure de gestion centralisée prédomine dans les méthodes proposées, malgré les risques encourus par cette solution dans les systèmes à grande échelle. Dans cette thèse nous proposons une méthode d'allocation de ressources hybride et décentralisée pour l'optimisation d'une requête. La partie statique de notre méthode constitue la stratégie d'allocation initiale de ressources par un 'broker' d'une requête. Quant à la partie dynamique, nous proposons une stratégie, qui utilise la coopération entre des opérations relationnelles mobiles autonomes et des coordinateurs stationnaires des nœuds pour décentraliser le processus de réallocation dynamique de ressources. Les éléments clés de notre méthode sont : (i) la limitation de l'espace de recherche pour résoudre les problèmes causés par la grande échelle, (ii) le principe de répartition des ressources entre les opérations d'une requête pour déterminer le degré de parallélisme des opérations et pour équilibrer la charge dynamiquement et (iii) la décentralisation du processus d'allocation dynamique. Les résultats de l'évaluation des performances de notre méthode montrent l'efficacité de nos propositions. Notre stratégie d'allocation initiale de ressources a donné des résultats supérieurs à la méthode de référence que nous avons utilisée pour la comparaison. La stratégie de réallocation dynamique de ressources réduit notablement le temps de réponse en présence de l'instabilité du système et du déséquilibre de charge.Data grid systems are utilized more and more due to their storage and computing capacities. One of the main problems of these systems is the resource allocation for SQL query optimization. Recently, the scientific community published numerous approaches and methods of resource allocation, striving to take into account different peculiarities of data grid systems: heterogeneity, instability and large scale. Centralized management structure predominates in the proposed methods, in spite of the risks incurred of the solution in the large scale systems. In the thesis we adopt the hybrid approach of resource allocation for query optimization, meaning that, we first make a static resource allocation during the query compile time, and then reallocate the resources dynamically during the query runtime. As opposed to the previously proposed methods, we use a decentralized management structure. The static part of our method consists of the strategy of initial resource allocation with a query 'broker'. As for the dynamic part, we propose a strategy that uses the cooperation between relational mobile operations and stationary coordinators of nodes in order to decentralize the process of dynamic resource reallocation. Key elements of our method are: (i) limitation of research space for resolve problems caused by the large scale, (ii) principle of resources distribution between query operations for determining the parallelism degree of operations and for balancing the load dynamically and (iii) decentralization of the dynamic allocation process. Results of performance evaluation show the efficiency of our propositions. Our initial resource allocation strategy gives results superior to the referenced method that we used for the comparison. The dynamic reallocation strategy decrease considerably the response time in the presence of the system instability and load misbalance