Grid flow control: Prototype of a grid gateway based on Network Processors

Due to network bandwidth growth, grid computing has been envisionned. As grids are aggregation of computer clusters based on high performance local networks and interconnected by very high speed core networks, access links to core networks remain bottleneck locations. In order to optimize grid computing overall performance, we propose to organize data transfers from one cluster to an other. This organization must allow ressource schedulers to schedule data transferts in addition of tasks. Based on a grid network resource reservation model this paper presents the design f a grid gateway, located at the LAN/WAN interface. To implement this approach, we have develop a prototype based on Network Processors IntelIXP2400 which is able to control flows at 1gigabits/s. We discuss the main design choices and experimental results

XtremWeb : une plate-forme de recherche sur le calcul global et pair à pair

ISBN 274620472XLa connection à grande échelle des ordinateurs aux réseaux de communication et les mécanismes qui permettent leur interopérabilité (standardisation des protocoles, homogénéisation des formats d'échange, systèmes de nomage efficace, sécurisation des sites) motivent des tentatives de globalisation des ressources et des données à partir de systèmes de Calcul Global, Pair à Pair ou de GRID. Ces systèmes sont les prémisses de l'émergence de systèmes d'exploitation à grande échelle. Dans cet article nous proposons d'abord de situer les systémes Pair à Pair par rapport aux autres structures de GRID en soulignant leur différences qui ont principalement une origine historique. Dans une deuxième partie nous présentons une ratio- nalisation des systémes de Calcul Global et Pair à Pair. Nous détaillons ensuite la plate-forme XtremWeb qui constitue l'une des premières tentatives de généralisation du concept de parité entre les ressources appliqué à la globalisation du processeur, de la mémoire et du stockage. Nous terminons par la présentation de quelques points durs en recherche : la sécurisation des participants et la communication inter-noeud

Déduplication extrême avec SIDUS : un premier pas vers la reproducibilité ?

Déduplication extrême avec SIDUS : un premier pas vers la reproducibilité 

Modèles et protocoles de cohérence des données en environnement volatil

Ce rapport s'intéresse au problème de la visualisation des données partagées dans les applications à base de couplage de codes sur les grilles. Nous proposons d'améliorer l'efficacité de la visualisation en intervenant sur les mécanismes de gestion des données répliquées et plus particulièrement au niveau du protocole de cohérence. La notion de lecture relâchée est alors introduite comme une extension du modèle de cohérence à l'entrée (entry consistency). Ce nouveau type d'opération peut être réalisé sans prise de verrou, en parallèle avec des écritures. En revanche, l'utilisateur relâche les contraintes sur la fraîcheur de la donnée et accepte de lire des versions légèrement anciennes, dont le retard est néanmoins contrôlé. L'implémentation de cette approche au sein du service de partage de données pour grilles JuxMem montre des gains considérables par rapport à une implémentation classique basée sur des lectures avec prise de verrou

Service discovery in a peer-to-peer environment for computational grids

Les grilles de calcul sont des systèmes distribués dont l'objectif est l'agrégation et le partage de ressources hétérogènes géographiquement réparties pour le calcul haute performance. Les services d'une grille sont l'ensemble des applicatifs que des serveurs mettent à disposition des clients. Une problématique largement soulevée par les utilisateurs de grilles est la découverte de services. Les mécanismes actuels de découverte de services manquent de fonctionnalités et deviennent inefficaces dans des environnements dynamiques à large échelle. Il est donc indispensable de proposer de nouveaux outils pour de tels environnements. Les technologies pair-à-pair émergentes fournissent des algorithmes permettant une décentralisation totale de la construction et de la maintenance de systèmes distribués performants et tolérants aux pannes. Le problème que l'on cherche à résoudre est de permettre une découverte flexible (recherche multicritères, complétion automatique) des services dans des grilles prenant place dans un environnement dynamique à large échelle (pair-à-pair) en tenant compte de la topologie du réseau physique sous-jacent

Adaptation multi-niveaux : l'infrastructure au service des applications

National audienceDe plus en plus d'applications sont construites à base de services et exécutées dans des environnements large échelle, dynamiques et distribués. La notion de "cloud" est souvent utilisée pour parler de ces environnements. Le paradigme de cloud computing correspond à un ensemble de niveaux indépendants ayant chacun leurs propres objectifs. Ces objectifs sont aussi bien de garantir la qualité de service fournie aux utilisateurs que de gérer les ressources disponibles. Mais la qualité de service tout comme les ressources disponibles peuvent évoluer au fil de l'exécution et les différents niveaux doivent s'adapter à ces évolutions. Du fait de leur indépendance, ces différents niveaux s'adaptent indépendamment les uns des autres. Pourtant si l'on considère un ensemble d'adaptations s'effectuant sur des niveaux différents, il est possible que ces adaptations soient contradictoires ou redondantes entre elles, ne produisant pas au final l'effet escompté ou bien l'atteignant de manière non performante. Nous présentons dans cet article ce que nous appelons adaptation multi-niveaux ainsi que l'intérêt qu'elle peut avoir. Nous illustrons cet intérêt sur le cas de la migration de service permettant d'adapter une application en utilisant l'infrastructure sous-jacente et ses capacités

Dynamic Load balancing and CFD Simulations on the MecaGRID and GRID5000

CFD simulations on Clusters and GRIDS having mixed processor speeds present several challenges to achieve efficient load balancing. If both the fast and slow processors are given the same amount of work, the faster processors will finish their computations first and wait for the slower processors to finish. To achieve load balancing more work must be given to the faster processors so that all the processors finish their computations at the same time (work is proportional to the processor mesh size). Another complication is that for current Clusters and GRIDS in the near future, the user will not know in advance the mixture of fast and slow processors that will be assigned to their computation, thus the user cannot partition the mesh in advance of the CFD simulation. This difficulty is doubly complicated as the mesh partitioning step is usually performed on a workstation thus not directly linked to the parallel CFD code. For mesh partitioners executing on parallel computers, the complication arises in that the mesh partitioning code and the CFD code are separate MPI codes designed to be run independently of each other. As a result the two codes cannot simply be run back-to-back as each code may be assigned different mixtures of fast and slow processors resulting in a partitioned mesh not optimal for the CFD run. In this study, in order to overcome the problems related to computing with arbitrary mixtures of fast and slow processors, the mesh generator has been integrated into the CFD code. Thus optimal size partitions are automatically created for different mixtures of fast and slow processors. The efficiency of this approach is demonstrated for Clusters, the MecaGRID and the GRID5000. Validation tests using the GRID5000, the MecaGRID, and the INRIA nina-pf cluster produced speedups on the order of 1.32 to 1.52 relative to the same run using the homogeneous partitioning which compares well with the theoretical speedup of 1.5. Finally, we use the dynamic computing capability of the new CFD code to compute a 20 million vertices mesh using 256 processors at five different GRID5000 sites

RedGRID: un environnement pour la redistribution d'objets complexes

National audienceDans le cadre du couplage de codes, la redistribution efficace des données est un enjeu majeur pour obtenir de bonnes performances. Or la plupart des travaux dans ce domaine se limitent le plus souvent à l'étude d'objets simples avec des distributions régulières, comme par exemple des tableaux denses avec une distribution bloc-cyclique. Afin de prendre en compte les applications modernes du couplage de codes (simulations multiphysiques, environnements de pilotage), il s'avère important de définir un modèle de description pour des objets plus complexes que des tableaux multidimensionnels (i.e. grilles structurées, ensembles de particules ou maillages non structurés) et de proposer de nouveaux algorithmes de redistribution adaptés. Dans ce papier, nous présentons deux approches de la redistribution : l'approche spatiale et l'approche placement. Au final, ces algorithmes sont implantés dans la bibliothèque RedGRID et sont validés par des résultats expérimentaux