Vers une fédération de Cloud Académique dans France Grille

Airaj, Mohammed

Cavet, C.

Hamar, Vanessa

Jouvin, Michel

Loomis, Charles

Lopez Garcia, Alvaro

Mathieu, Gilles

Mendez, Victor

Pansanel, Jérôme

Pierson, Jean-Marc

Puel, Mattieu

THIEBOLT, François

Tsaregorodtsev, Andrei

Thiebolt, François

HAL-OBSPM

Vers une fe´de´ration de Cloud Acade´mique dans FranceGrillesMohammed Airaj, C. Cavet, Vanessa Hamar, Michel Jouvin, Charles Loomis,Alvaro Lopez Garcia, Gilles Mathieu, Victor Mendez, Je´roˆme Pansanel,Jean-Marc Pierson, et al.To cite this version:Mohammed Airaj, C. Cavet, Vanessa Hamar, Michel Jouvin, Charles Loomis, et al.. Vers unefe´de´ration de Cloud Acade´mique dans France Grilles. Journe´es SUCCES 2013, Nov 2013, Paris,France. <hal-00927506>HAL Id: hal-00927506https://hal.archives-ouvertes.fr/hal-00927506Submitted on 13 Jan 2014HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestine´e au de´poˆt et a` la diffusion de documentsscientifiques de niveau recherche, publie´s ou non,e´manant des e´tablissements d’enseignement et derecherche franc¸ais ou e´trangers, des laboratoirespublics ou prive´s.Vers une fédération de Cloud Académique dans France Grilles Mohamed Airaj (1), Cécile Cavet (2), Vanessa Hamar (3), Michel Jouvin (4), Charles Loomis (5), Alvaro Lopez Garcia (6), Gilles Mathieu (7), Victor Mendez (8), Jérôme Pansanel (9), Jean-Marc Pierson (10), Mattieu Puel (11), François Thiebolt (12), Andrei Tsaregorodtsev (13) (1) mohammed.airaj@lal.in2p3.fr, (4) jouvin@lal.in2p3.fr, (5) loomis@ lal.in2p3.fr, Laboratoire de l'Accélérateur Linéaire (LAL), CNRS/IN2P3, Orsay, France (2) cecile.cavet@apc.univ-paris7.fr, Centre François Arago, APC, Université Paris Diderot, CNRS/IN2P3, CEA/Irfu, Observatoire de Paris, Sorbonne Paris Cité, Paris, France (3) hamar@cc.in2p3.fr, (7) gilles.mathieu@in2p3.fr, (11) mattieu.puel@cc.in2p3.fr, Centre de Calcul, CNRS/IN2P3, Villeurbanne, France (6) alvaro.lopez.garcia@cern.ch, Instituto de Fisica de Cantrabia (IFCA), CSIC/UC, Santander, Espagne (8) vmendez@pic.es, Port d'Informació Cientíca (PIC), Universitat Autónoma de Barcelona, Bellaterra, Barcelona, Espagne (9) jerome.pansanel@iphc.cnrs.fr, Institut Pluridisciplinaire Hubert Curien (IPHC), CNRS/Université de Strasbourg, Strasbourg, France (10) pierson@irit.fr, (12) Francois.Thiebolt@irit.fr, Institut de Recherche en Informatique de Toulouse (IRIT), CNRS/INPT/UPS/UT1/UTM, Toulouse, France (13) atsareg@in2p3.fr, Centre de Physique des Particules de Marseille (CPPM), CNRS/IN2P3, Marseille, France   Overview:   France Grilles, which operates the national production grid infrastructure, aims at federating distributed computing resources through participating institutions and user communities. The development and growing popularity of Cloud Computing solutions introduce a major shift in the way distributed resources are provided to users, extending services and modifying the way administrators operate them. As part of its missions, France Grilles is setting up a federated cloud infrastructure, capitalizing on available expertise and already deployed platforms to build a Cloud solution for academic purposes. The paper describes the global vision as well as the first technical steps made towards federating existing clouds, first use-case of the federation, and expected benefits both for user communities and administrators.   Enjeux scientifiques, besoin en calcul, stockage et visualisation :   France Grilles [FG] vise à fédérer des moyens de calcul distribués situés dans des centres de calcul issus des différents organismes qui le composent ou fournis par les communautés d'utilisateurs. Le middleware utilisé jusqu'ici est basé sur gLite [GLITE] et la technologie dite de grille, qui a été largement promue par la communauté de la physique des hautes énergies historiquement. Le Cloud Computing a évolué bien plus rapidement que les Grilles pour passer d’un concept à une offre commerciale concrète : ceci pour la simple raison que de nombreuses compagnies y ont trouvé un marché et un modèle économique. Ceci représente un changement majeur par rapport aux offres grilles, sur lesquelles le monde académique avait très peu de concurrence. Nous devons nous préparer à un paysage différent où les utilisateurs de larges ressources informatiques reçoivent des offres très compétitives d’utilisation de Clouds publics.  Le Cloud Computing est également une formidable opportunité car il apporte les avances technologiques nécessaires pour mieux répondre aux besoins variés des communautés de recherche, notamment en termes de flexibilité d’utilisation des ressources et d’extension/réduction à la demande. Cette évolution prévisible de la topologie et des technologies doit faire partie intégrante de la politique de France Grilles. France Grilles vise ainsi à la construction d’une offre de service basée sur les technologies Cloud. La définition et la mise en place de cette offre de service se décline selon trois axes :  - Construction d’une politique nationale de mise à disposition de ressources Cloud - Développement d’une infrastructure nationale - Définition d’un service aux utilisateurs  Du point de vue scientifique, les enjeux de la mise en place d’une telle infrastructure vont au-delà de l’accès à une infrastructure globale et une puissance de calcul. Elle peut en effet donner la possibilité à un utilisateur de recueillir plus d'information sur l'exécution de son application, en termes de ressources CPU mais également des métriques sur son efficacité énergétique, son utilisation du disque ou de la RAM, etc. Il s’agit là d’un aspect important dans la mesure où, connaissant mieux son application, l’utilisateur devient plus à même d’en maîtriser les coûts.  Développements, utilisation des infrastructures :   France Grilles propose de travailler au développement d’une infrastructure nationale de type IAAS, construite sur la base d’une fédération de ressources de calcul et de stockage, distribuée sur un ensemble de sites français [FGCLOUD]. Elle permet  à une expertise sur des technologies Cloud données de se développer puis de se disséminer sur l’ensemble des administrateurs de site, elle se base aussi sur l’expérience développée sur les sites français ainsi que dans les différentes initiatives au niveau européen. Bien que physiquement distribuées, les ressources de cette infrastructure doivent pouvoir être utilisées de manière homogène et transparente. Elles doivent également pouvoir faire partie intégrante d’une fédération d’infrastructures plus large, telle que celle proposée dans le cadre de l’infrastructure EGI [EGI].  La mise en place d’une telle infrastructure est progressive : il est prévu de débuter par la fédération de plateformes, à ce jour indépendantes, établies sur trois sites pilotes et opérées en production ou pré-production :  - la plateforme Cloud du CC-IN2P3 (Villeurbanne) [CCIN2P3] - la plateforme Stratuslab déployé au LAL (Orsay) [LAL] - la plateforme CloudMIP déployée à l’IRIT (Toulouse) [IRIT]  Cette plateforme fédérée dite "initiale" devra permettre d’assurer un accès agnostique en ce qui concerne l'intergiciel à des ressources dédiées au calcul distribué par une communauté d'utilisateurs pluridisciplinaire.  Dans un second temps, cette fédération sera étendue selon deux principes : - Augmentation progressive du nombre de sites participants : une quatrième plateforme, déployée à l’IN2P3/IPHC [IPHC] à Strasbourg, devrait intégrer la fédération dans l’automne 2013. - Augmentation de la quantité de ressources disponibles sur les sites existants, au besoin en réutilisant les ressources jusque-là disponible via la grille de production.  Outils, le cas échéant complémentarité des ressources, difficultés rencontrées :  L’un des défis majeurs à la mise en place d’une fédération au niveau national est l’hétérogénéité des plateformes déjà déployées. Les plateformes constituant la fédération initiale fonctionnent en effet chacune avec une technologie différente : Stratuslab [STRAT] pour le LAL, OpenStack [OPSTACK] pour le CCIN2P3 et OpenNebula [OPNEB] pour l’IRIT. La couche fédérative se doit donc d’être agnostique vis-à-vis de la technologie déployée. Cette approche est par ailleurs l’approche choisie au niveau européen au sein de la EGI Cloud Federation Task Force [FCTF]. Une première piste d’étude au niveau de France Grilles est l’utilisation de DIRAC [DIRAC] [TSA-08], et notamment VMDIRAC, un ordonnanceur de machines virtuelles initialement développé pour les besoins de l’expérience Belle [BELLE-11]. Le travail de contextualisation lancé dans ce contexte [RAFHYC-13] est essentiel ici pour permettre un accès homogène à l’ensemble des ressources fédérées. Il doit prendre en compte deux aspects : - La pile logicielle utilisée (par exemple ici les agents DIRAC des machines virtuelles) - Les besoins en contextualisation du point de vue de l’utilisation  L’utilisation de DIRAC comme pile logicielle permet une approche orientée vers la gestion utilisateur plutôt qu’une solution d’administration des plateformes, en augmentant les possibilités de configuration des machines. Prendre ensuite un point de vue utilisateur permet de mettre en avant des solutions techniques d’agrégation de Clouds de manière agnostique quant à la technologie utilisée : le besoin principal étant de « masquer » les différences d’utilisation d’une plateforme à l’autre. Ce travail de contextualisation doit être complété par la possibilité de rendre disponible un certain nombre d’images standard, exécutable sur chacune des plateformes fédérées. Pour cela, l’utilisation d’un marketplace commun est à l’étude. Afin de mener à bien ces différentes études techniques, un groupe d’expertise et de discussion a été mis en place au sein de France Grilles. Ce groupe réunit les experts des sites pilotes, ainsi que les administrateurs des sites souhaitant s’impliquer dans l’élargissement de la fédération, les développeurs des solutions possibles aux problématiques de contextualisation (comme DIRAC), ainsi que les utilisateurs pilotes.  Ce groupe a, entre autres, la responsabilité de définir une feuille de route pour l’implémentation de la stratégie opérationnelle, et permet d’ores-et-déjà de fournir un premier service en matière de Cloud Computing : le partage d’expertise en matière d’installation, administration et fédération de ressources Cloud.  Résultats scientifiques :   Dans le cadre d'une utilisation pilote de la fédération en cours d’établissement, le groupe Cloud a réalisé le portage d'une application scientifique de type chaîne de traitement de données (« pipeline ») sur les plateformes de Cloud. Cette application met en jeu un code séquentiel de traitement de données (en Fortran) qui est englobé par un gestionnaire de « pipeline » (en Python). Le gestionnaire visualise les résultats produits par le code de calcul via une interface Web qui interagit avec une base de données SQL. Dans un contexte réaliste (mission spatiale Euclid [EUCLID], lancement en 2020), le code de calcul va produire environ 100 TB de données ce qui représente la contrainte principale de la plateforme de calcul sur lequel le code va être exécuté.  Sur l'infrastructure de Cloud, il est nécessaire d'effectuer un certain nombre d'opérations afin qu'un utilisateur puisse faire fonctionner une application de manière autonome.  1. Portage de l'application scientifique Le portage de l'application consiste à créer une image disque de base (instantané d'un système d'exploitation) sur laquelle tous les logiciels nécessaires au fonctionnement de l'application auront été installés (customisation). Comme la création des images disques de base peut être fastidieuse (utilisation d’un hyperviseur, démarrage d’un OS, installation des paquets systèmes et contextualisation (voir ci-dessous)), il est intéressant de pouvoir utiliser un instantané d’OS issu du MarketPlace, catalogue d’image développé dans le cadre du projet StratusLab. De plus, l'image disque customisée (contenant le « pipeline ») a été référencée sur ce MarketPlace afin d'automatiser le portage de l'application. Un utilisateur peut donc lancer une machine virtuelle qui sera entièrement configurée pour une exécution immédiate de l'application scientifique. Et toujours grâce à l'interface du MarketPlace, les utilisateurs peuvent avoir une utilisation collective de l'image disque (lancement par plusieurs utilisateurs de machines virtuelles avec la même image disque et/ou utilisation par plusieurs utilisateurs de la même machine virtuelle).  2. Contextualisation des images disques Lors de la création d’image disque, il est nécessaire d’effectuer une contextualisation afin de permettre à l’utilisateur de pouvoir se connecter aux machines virtuelles instanciées sur le Cloud. Cette contextualisation a été réalisée via un procédé générique (CloudInit [CLOUDINIT], paquet système supportant un grand nombre d’intergiciel) afin de pouvoir accéder à différentes plateformes de Cloud. Ainsi, nous avons pu utiliser l’image disque customisée aussi bien sur StratusLab que sur l’infrastructure de Cloud du CC-IN2P3. L'utilisateur a donc accès à différentes plateforme de Cloud de manière quasi transparente.   3. Stockage des données Les produits issus de l'exécution du « pipeline » sont stockés sur un disque persistant de grande taille (500 GB) afin de sauvegarder de manière permanente les données en cas de défaillance de la machine virtuelle. Le disque persistent étant lié à une infrastructure de Cloud, nous explorerons par la suite la nécessité d’utiliser un gestionnaire de données sur des sites et des supports hétérogènes de type iRODS [iRODS] afin d’avoir accès à tout moment à ce volume de données.  Perspectives :  A court terme, le groupe Cloud de France Grilles vise à explorer les différentes solutions techniques permettant d’utiliser les plateformes constituantes en mode fédératif, validant ainsi le principe, l’architecture globale et l’intérêt pour les utilisateurs d’une telle infrastructure Cloud fédérée. Les perspectives à moyen terme sont le développement de cette fédération en termes de ressources et de plateformes, mais également son ouverture progressive à différentes communautés d’utilisateurs.  À terme, l’objectif du groupe est de mettre à disposition des chercheurs une infrastructure robuste et pérenne, basée sur les technologies Cloud, qui, tout en optimisant les coûts, permettra de répondre de manière optimale à leurs besoins de calcul et de stockage.   Références :   [FG]   Groupement d’Intérêt Scientifique France Grilles : http://www.france-grilles.fr   [GLITE]  Intergiciel gLite : http://glite.cern.ch/ [FGCLOUD] Infrastructure Cloud de France Grilles : http://www.france-grilles.fr/6-Cloud  [EGI]   European Grid Initiative (EGI): http://www.egi.eu  [CCIN2P3] Centre de Calcul de l’IN2P3 : http://cc.in2p3.fr  [LAL]  Laboratoire de l’Accélérateur Linéaire : http://lal.in2p3.fr  [IRIT]   Institut de Recherche en Informatique de Toulouse : http://www.irit.fr  [IPHC]   Institut Pluridisciplinaire Hubert Curien : http://www.iphc.cnrs.fr  [STRAT] Stratuslab : http://stratuslab.eu  [OPSTACK] OpenStack, Open Source Cloud Computing Software: http://www.openstack.org  [OPNEB] OpenNebula, Open Source Data Center Virtualization: http://www.opennebula.org  [FCTF]   EGI Federated Cloud Task Force: https://wiki.egi.eu/wiki/Fedcloud-tf:Main  [DIRAC]  Projet DIRAC: http://diracgrid.org   [TSA-08]  A. Tsaregorodtsev et al. “DIRAC: a community Grid Solution” in J. Phys.: Conf. Ser. 119 062048, 2008 [BELLE-11]  R. Graciani Diaz, A. Casajus Ramo, A. Carmona Agüero, T. Fifield, M. Sevior: "Belle-DIRAC Setup for Using Amazon Elastic Compute Cloud" In Journal of Grid Computing Volume 9 Issue 1, March 2011 Pages 65-79 [RAFHYC-13]  V. Mendez, A. Casajus, V. Fernandez, R. Graciani, G. Merino: "Rafhyc: An Architecture for Constructing Resilient Services on Federated Hybrid Clouds" In Journal of Grid Computing, 2013 [EUCLID] Euclid Consortium: http://www.euclid-ec.org  [CLOUDINIT] CloudInit : https://help.ubuntu.com/community/CloudInit   [iRODS] integrated Rule-Oriented Data System : www.irods.org  

Vers une fédération de Cloud Académique dans France Grilles

Abstract

Similar works

Full text

Available Versions

HAL-OBSPM

Hal-Diderot

HAL AMU

HAL-CEA

Scientific Publications of the University of Toulouse II Le Mirail

HAL-IN2P3