National audienceLe concept d' intégration de données est conçu initialement pour fédérer et unifier l'accès aux diverses sources de don-nées. La grande partie des travaux menés dans ce domaine a porté sur le traitement des problèmes d'architecture des systèmes d' intégration de données et de réécriture de requêtes (GAV, LAV, GLAV, etc.). Une réécriture de requêtes peut être vue comme un plan logique de requête auquel plusieurs plans physiques d' exécution peuvent correspondre. Si le problème de réécriture de requêtes a  été intensivement étudié dans la littérature , la génération de plans physiques a partir des réécritures est encore mal maîtrisée. Nous nous intéressons , dans notre travail de recherche, au problème d'optimisation pour l'évaluation de requêtes dans les systèmes d' intégration de larges volumes de données 

BELGHOUL, Abdeslem

Belghoul, Abdeslem

Hal-Diderot

Optimisation de requêtes dans les systèmes d'intégration de données

Archive Ouverte en Sciences de l'Information et de la Communication

HAL Clermont Université

Optimisation de requeˆtes dans les syste`mes d’inte´grationde donne´esAbdeslem BelghoulTo cite this version:Abdeslem Belghoul. Optimisation de requeˆtes dans les syste`mes d’inte´gration de donne´es. BDA2014 : Gestion de donne´es - principes, technologies et applications, Oct 2014, Autrans, France.pp.24–25. <hal-01169948>HAL Id: hal-01169948https://hal.inria.fr/hal-01169948Submitted on 30 Jun 2015HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestine´e au de´poˆt et a` la diffusion de documentsscientifiques de niveau recherche, publie´s ou non,e´manant des e´tablissements d’enseignement et derecherche franc¸ais ou e´trangers, des laboratoirespublics ou prive´s.Distributed under a Creative Commons Attribution - NonCommercial - NoDerivatives 4.0International LicenseOptimisation de requêtes dans les systèmes d’intégrationde donnéesBELGHOUL AbdeslemUniversité Blaise Pascal, LIMOS, CNRSClermont-Ferrand, Francebelghoul@isima.frABSTRACTLe concept d’inte´gration de donne´es est conc¸u initialementpour fe´de´rer et unifier l’acce`s aux diverses sources de don-ne´es. La grande partie des travaux mene´s dans ce domainea porte´ sur le traitement des proble`mes d’architecture dessyste`mes d’inte´gration de donne´es et de re´e´criture de re-queˆtes (GAV, LAV, GLAV, etc.). Une re´e´criture de requeˆtespeut eˆtre vue comme un plan logique de requeˆte auquelplusieurs plans physiques d’exe´cution peuvent correspondre.Si le proble`me de re´e´criture de requeˆtes a e´te´ intensivemente´tudie´ dans la litte´rature, la ge´ne´ration de plans physiquesa` partir des re´e´critures est encore mal maˆıtrise´e. Nous nousinte´ressons, dans notre travail de recherche, au proble`med’optimisation pour l’e´valuation de requeˆtes dans les sys-te`mes d’inte´gration de larges volumes de donne´es.1. INTRODUCTIONLe concept d’inte´gration de donne´es est conc¸u pour fe´de´reret unifier l’acce`s a` des sources de donne´es he´te´roge`nes. Lesdiffe´rents travaux de recherche mene´s dans ce domaine [11, 8,4, 10] ont propose´ les principaux composants de l’architecturedes syste`mes d’inte´gration de donne´es I. Ces syste`mes sontconstitue´s d’un sche´ma global G, d’un ensemble de sche´masde sources de donne´es S et d’un ensemble de liens (map-ping) M reliant les relations du sche´ma G aux relations dessche´mas de S.Pour la de´finition des liens M, deux principales approchesont e´te´ propose´es [8, 4]. La premie`re, appele´e Global AsView (GAV), consiste a` de´crire chaque e´le´ment du sche´maglobal G a` travers les sche´mas des sources de donne´es deS. Quant a` la deuxie`me approche, appele´e Local As View(LAV), consiste a de´finir les e´le´ments des sources de don-ne´es de S a` travers les relations du sche´ma global G. Leme´canisme le plus utilise´ pour mate´rialiser l’ensemble desliens M est celui des vues (views).La difficulte´ dans les syste`mes d’inte´gration de donne´esre´side dans l’e´valuation de requeˆtes en utilisant les liens deM. Cette difficulte´ se trouve dans l’identification des vues(c) 2014, Copyright is with the authors. Published in the Proceedings ofthe BDA 2014 Conference (October 14, 2014, Grenoble-Autrans, France).Distribution of this paper is permitted under the terms of the Creative Com-mons license CC-by-nc-nd 4.0.(c) 2014, Droits restant aux auteurs. Publié dans les actes de la conférenceBDA 2014 (14 octobre 2014, Grenoble-Autrans, France). Redistributionde cet article autorisée selon les termes de la licence Creative CommonsCC-by-nc-nd 4.0.BDA 14 octobre 2014, Grenoble-Autrans, France.pertinentes et la ge´ne´ration de l’ensemble des plans logiquespossibles contenant le maximum de re´ponse [5, 6, 9].2. PROBLÉMATIQUELa proble´matique ge´ne´rale aborde´e a trait a` l’optimisationde requeˆtes dans les syste`mes d’inte´gration de larges vol-umes de donne´es. Il est constate´ que la grande partie destravaux mene´s dans ce domaine a traite´ les proble`mes lie´sa` l’architecture des syste`mes (GAV, LAV, GLAV, etc.) etla re´e´criture de requeˆtes [11, 8, 4, 10, 5]. Cette re´e´criture,peut eˆtre perc¸ue comme un plan logique de requeˆte, pouvanteˆtre exe´cute´e concre`tement de plusieurs manie`res correspon-dant a` diffe´rents plans physiques possibles. Ces derniersde´pendent de plusieurs parame`tres, tels que, l’optimiseur,les me´thodes d’acce`s aux donne´es, les agorithmes de join-tures imple´mente´s, etc.Notre travail de recherche vise, d’une part, la de´finitiond’une approche permettant de ge´ne´rer les diffe´rents plansphysiques possibles, et d’autre part, l’e´laboration d’un mod-e`le de couˆt permettant de choisir le plan physique efficient.Les parame`tres importants dudit mode`le devraient eˆtre iden-tifie´s dans le cadre de ce travail de the`se.3. ANALYSE DES PREMIERS RÉSULTATSDans l’objectif d’effectuer une premie`re analyse sur le fonc-tionnement de syste`me d’inte´gration de donne´es et l’identificationdes parame`tres impactant les performances d’exe´cution derequeˆtes, une plate-forme expe´rimentale a e´te´ mise en place,selon l’approche (GAV). Elle est compose´e de trois machinesvirtuelles munies de syste`me de gestion de base de donne´es(SGBD) dont deux he´bergeant les donne´es et la troisie`mejouant le roˆle de me´diateur.Notre travail est inscrit dans le cadre du projet intitule´”Petasky” (http://com.isima.fr/Petasky), qui est de´fini etsoutenu dans le cadre du de´fi ”Grandes masses de donne´esscientifiques”de la mission interdisciplinarite´ du CNRS-France.Le jeu de donne´es utilise´ provient du projet ”Large Syn-optic Survey Telescope” (LSST : http://www.lsst.org/lsst/).Ce jeu de donne´es est d’une taille estime´e a` 90 Go et d’unnombre d’enregistrements estime´ a` 170 millions re´partie surdeux tables dans deux serveurs. Un protocole de tests a e´te´e´labore´ afin d’e´tudier le fonctionnement du syste`me d’inte´grationet d’e´valuer les performances d’exe´cution de requeˆtes de join-ture.L’analyse des premiers re´sultats fait ressortir les e´le´mentssuivants :• Le me´diateur de´compose la requeˆte en un ensemble de24sous-requeˆtes qui sont envoye´es aux sources de donne´esconcerne´es. Aussi, il pousse la se´lection et la projectionau niveau des sources distantes. Il collecte les re´ponseset applique un algorithme de jointure.• La variation des parame`tres lie´s a` l’espace me´moire duSGBD, utilise´ par le me´diateur, a permis d’observerdes changements dans les performances d’exe´cutionsans le changement de l’algorithme de jointure ap-plique´. Aussi, il a e´te´ observe´ que le me´diateur n’utilisepas le cache me´moire du SGBD.• La variation des parame`tres lie´s a` la couche re´seaux duSGBD, au niveau du me´diateur, a permis de constaterdes changements dans les performances d’exe´cution.• Le me´diateur est sensible a` la fac¸on de de´finir les liensentre les relations du sche´ma global et les relations dessources distantes. Les cas suivants ont e´te´ observe´s :– Dans une liaison de type une vue (relation glob-ale) pour une et une seule relation de source dis-tante, le me´diateur interroge la deuxie`me sourcedistante autant de fois que le nombre d’enregistrementsde la premie`re source. Dans cas, l’algorithme join-ture applique´ est appele´ bind-join qui affiche uneexe´cution non optimale de la requeˆte.– Dans une liaison de type une vue (relation glob-ale) compose´e au moins deux relations distanteset l’autre compose´ d’une seule relation distante, leme´diateur interroge la deuxie`me source distanteautant de fois que le nombre d’enregistrements del’autre source. Ce plan d’exe´cution est le meˆmeque le plan pre´ce´dent.– Dans une liaison de type une vue relie´e a` au moinsa` deux relations distantes, le me´diateur mate´ri-alise les donne´es de la premie`re relation globalesur l’espace me´moire de travail et commence a`lire et faire la jointure des enregistrements de ladeuxie`me relation globale en appliquant le Hash-Join algorithme.– Dans une liaison de type une vue pour une et uneseule relation et les vues re´sidant dans le meˆmesite, le me´diateur pousse la jointure vers le sitecontenant les deux relations qui aura le choix dede´finir le plan physique d’exe´cution de la requeˆte.4. CONCLUSIONS ET PERSPECTIVES :Des premiers re´sultats obtenus, il convient de dire queles syste`mes d’inte´gration actuels ne sont pas adapte´s a` lagestion de large volumes de donne´es. Le mode d’exe´cutiond’une requeˆte de jointure dans un environnement distribue´est plus complexe que l’exe´cution d’une requeˆte de jointureen local. En effet, l’optimisation de l’exe´cution d’une requeˆtede jointure en local repose sur le choix de l’ordonnancementdes relations, la me´thode d’acce`s et l’algorithme de join-ture a` appliquer [1]. Quant a` l’exe´cution dans un syste`med’inte´gration de donne´es, en plus des e´le´ments d’optimisationd’une requeˆte de jointure en local, elle de´pend notammentde l’environnement distribue´, a` titre d’exemple :• A quel moment faut-il re´aliser la jointure au niveau dume´diateur ou au niveau du site distant ?• Quel type d’algorithme de jointure et de me´thode d’acce`sfaut-il appliquer ?• Quel type de fonction objective faut-il appliquer ?Dans ce contexte, notre travail de recherche vise l’e´tudedes diffe´rentes techniques d’optimisation de requeˆtes dis-tribue´es [3, 7]. Les auteurs de [2] conside`rent que la gestionet l’e´valuation de requeˆtes dans les syste`mes d’inte´grationde larges volumes de donne´es est un de´fi.Pour notre travail qui s’appuie sur [3, 7, 2] , il s’agit: (i) d’identifier les diffe´rents ope´rateurs physiques utilespour la construction de l’espace des solutions, (ii) d’identifierles parame`tres impactant les performances d’exe´cution d’unplan physique de requeˆte et l’e´laboration d’un mode`le decouˆt adapte´, et (iii) la de´finition de strate´gie d’optimisationqui s’appuient sur les e´le´ments pre´ce´dents pour ge´ne´rer desplans physiques avec des couˆts d’exe´cution raisonnables.5. REFERENCES[1] S. Chaudhuri. An overview of query optimization inrelational systems. In In PODS, pages 34–43, 1998.[2] X. L. Dong and D. Srivastava. Big data integration.Proc. VLDB Endow., 6(11):1188–1189, Aug. 2013.[3] L. M. Haas, D. Kossmann, E. L. Wimmers, andJ. Yang. Optimizing queries across diverse datasources. In Proceedings of the 23rd InternationalConference on Very Large Data Bases, VLDB ’97,pages 276–285, San Francisco, CA, USA, 1997.Morgan Kaufmann Publishers Inc.[4] A. Halevy, A. Rajaraman, and J. Ordille. Dataintegration: The teenage years. In Proceedings of the32Nd International Conference on Very Large DataBases, VLDB ’06, pages 9–16. VLDB Endowment,2006.[5] A. Y. Halevy. Answering queries using views: Asurvey. The VLDB Journal, 10(4):270–294, Dec. 2001.[6] T. Kirk, A. Y. Levy, Y. Sagiv, and D. Srivastava. Theinformation manifold. In In Proceedings of the AAAI1995 Spring Symp. on Information Gathering fromHeterogeneous, Distributed Enviroments, pages 85–91.[7] D. Kossmann. The state of the art in distributedquery processing. ACM Comput. Surv., 32(4):422–469,Dec. 2000.[8] M. Lenzerini. Data integration: A theoreticalperspective. In Proceedings of the Twenty-first ACMSIGMOD-SIGACT-SIGART Symposium on Principlesof Database Systems, PODS ’02, pages 233–246, NewYork, NY, USA, 2002. ACM.[9] A. Y. Levy, A. Rajaraman, and J. J. Ordille. Queryingheterogeneous information sources using sourcedescriptions. In Proceedings of the 22th InternationalConference on Very Large Data Bases, VLDB ’96,pages 251–262, San Francisco, CA, USA, 1996.Morgan Kaufmann Publishers Inc.[10] J. D. Ullman. Information integration using logicalviews. In Proceedings of the 6th InternationalConference on Database Theory, ICDT ’97, pages19–40, London, UK, UK, 1997. Springer-Verlag.[11] G. Wiederhold. Mediation in information systems.ACM Comput. Surv., 27(2):265–267, June 1995.25

http://creativecommons.org/licenses/by-nc-nd/

Optimisation de requêtes dans les systèmes d'intégration de données

Abstract

Similar works

Full text

Available Versions

Hal-Diderot

Archive Ouverte en Sciences de l'Information et de la Communication

HAL Clermont Université