Contributions à la réplication de données dans les systèmes distribués à grande échelle

Data replication is a key mechanism for building a reliable and efficient data management system. Indeed, by keeping several replicas for each piece of data, it is possible to improve durability. Furthermore, well-placed copies reduce data accesstime. However, having multiple copies for a single piece of data creates consistency problems when the data is updated. Over the last years, I made contributions related to these three aspects: data durability, data access performance and data consistency. RelaxDHT and SPLAD enhance data durability by placing data copies smartly. Caju, AREN and POPS reduce access time by improving data locality and by taking popularity into account. To enhance data lookup performance, DONUT creates efficient shortcuts taking data distribution into account. Finally, in the replicated database context, Gargamel parallelizes independent transactions only, improving database performance and avoiding aborting transactions. My research has been carried out in collaboration with height PhD students, four of which have defended. In my future work, I plan to extend these contributions by (i) designing a storage system tailored for MMOGs, which are very demanding, and (ii) designing a data management system that is able to re-distribute data automatically in order to scale the number of servers up and down according to the changing workload, leading to a greener data management.La réplication de données est une technique clé pour permettre aux systèmes de gestion de données distribués à grande échelle d'offrir un stockage fiable et performant. Comme il gère un nombre suffisant de copies de chaque donnée, le système peut améliorer la pérennité. De plus, la présence de copies bien placées réduit les temps d'accès. Cependant, cette même existence de plusieurs copies pose des problèmes de cohérence en cas de modification. Ces dernières années, mes contributions ont porté sur ces trois aspects liés à la réplication de données: la pérennité des données, la performance desaccès et la gestion de la cohérence. RelaxDHT et SPLAD permettent d'améliorer la pérennité des données en jouant sur le placement des copies. Caju, AREN et POPS permettent de réduire les temps d'accès aux données en améliorant la localité et en prenant en compte la popularité. Pour accélérer la localisation des copies, DONUT crée des raccourcis efficaces prenant en compte la distribution des données. Enfin, dans le contexte des bases de données répliquées,Gargamel permet de ne paralléliser que les transactions qui sont indépendantes, améliorant ainsi les performances et évitant tout abandon de transaction pour cause de conflit. Ces travaux ont été réalisés avec huit étudiants en thèse dont quatre ont soutenu. Pour l'avenir, je me propose d'étendre ces travaux, d'une part en concevant un système de gestion de données pour les MMOGs, une classe d'application particulièrement exigeante; et, d'autre part, en concevant des mécanismes de gestion de données permettant de n'utiliser que la quantité strictement nécessaire de ressources, en redistribuant dynamiquement les données en fonction des besoins, un pas vers une gestion plus écologique des données

Kevoree (Model@Runtime pour le développement continu de systèmes adaptatifs distribués hétérogènes)

La complexité croissante des systèmes d'information modernes a motivé l'apparition de nouveaux paradigmes (objets, composants, services, etc), permettant de mieux appréhender et maîtriser la masse critique de leurs fonctionnalités. Ces systèmes sont construits de façon modulaire et adaptable afin de minimiser les temps d'arrêts dus aux évolutions ou à la maintenance de ceux-ci. Afin de garantir des propriétés non fonctionnelles (par ex. maintien du temps de réponse malgré un nombre croissant de requêtes), ces systèmes sont également amenés à être distribués sur différentes ressources de calcul (grilles). Outre l'apport en puissance de calcul, la distribution peut également intervenir pour distribuer une tâche sur des nœuds aux propriétés spécifiques. C'est le cas dans le cas des terminaux mobiles proches des utilisateurs ou encore des objets et capteurs connectés proches physiquement du contexte de mesure. L'adaptation d'un système et de ses ressources nécessite cependant une connaissance de son état courant afin d'adapter son architecture et sa topologie aux nouveaux besoins. Un nouvel état doit ensuite être propagé à l'ensemble des nœuds de calcul. Le maintien de la cohérence et le partage de cet état est rendu particulièrement difficile à cause des connexions sporadiques inhérentes à la distribution, pouvant amener des sous-systèmes à diverger. En réponse à ces défi scientifiques, cette thèse propose une abstraction de conception et de déploiement pour systèmes distribués dynamiquement adaptables, grâce au principe du Model@Runtime. Cette approche propose la construction d'une couche de réflexion distribuée qui permet la manipulation abstraite de systèmes répartis sur des nœuds hétérogènes. En outre, cette contribution introduit dans la modélisation des systèmes adaptables la notion de cohérence variable, permettant ainsi de capturer la divergence des nœuds de calcul dans leur propre conception. Cette couche de réflexion, désormais cohérente "à terme", permet d'envisager la construction de systèmes adaptatifs hétérogènes, regroupant des nœuds mobiles et embarqués dont la connectivité peut être intermittente. Cette contribution a été concrétisée par un projet nommé ''Kevoree'' dont la validation démontre l'applicabilité de l'approche proposée pour des cas d'usages aussi hétérogènes qu'un réseau de capteurs ou une flotte de terminaux mobiles.The growing complexity of modern IT systems has motivated the development of new paradigms (objects, components, services,...) to better cope with the critical size of their functionalities. Such systems are then built as a modular and dynamically adaptable compositions, allowing them to minimise their down-times while performing evolutions or fixes. In order to ensure non-functional properties (i.e. request latency) such systems are distributed across different computation nodes. Besides the added value in term of computational power (cloud), this distribution can also target nodes with dedicated properties such as mobile nodes and sensors (internet of things), physically close to users for interactions. Adapting a system requires knowledge about its current state in order to adapt its architecture to its evolving needs. A new state must be then disseminated to other nodes to synchronise them. Maintaining its consistency and sharing this state is a difficult task especially in case of sporadic connexions which lead to divergent state between sub-systems. To tackle these scientific problems, this thesis proposes an abstraction to design and deploy distributed adaptive systems following the Model@Runtime paradigm. From this abstraction, the proposed approach allows defining a distributed reflexive layer to manipulate heterogeneous distributed nodes. In particular, this contribution introduces variable consistencies in model definition and divergence in system conception. This reflexive layer, eventually consistent allows the construction of distributed adapted systems even on mobile nodes with intermittent connectivity. This work has been realized in an open source project named Kevoree, and validated on various distributed systems ranging from sensor networks to cloud computing.RENNES1-Bibl. électronique (352382106) / SudocSudocFranceF

Consistance et protection des données dans les systèmes collaboratifs par les méthodes formelles

Le développement de logiciels complexes ou de contenus multimédias implique de nos jours plusieurs personnes de plus en plus géographiquement dispersées à travers le monde qui collaborent à travers des systèmes d’édition collaborative. Le but principal de cette collaboration est l’amélioration de la productivité et la réduction du temps et des coûts de développement. L’un des défis majeurs de ces outils d’édition collaborative est d’assurer la convergence et la fiabilité des données partagées. Pour répondre à ce défi, plusieurs approches existent dans la littérature parmi lesquelles, nous avons l’approche multiversions (MV), l’approche des types de données commutatives répliquées (CRDT) et l’approche de la transformée opérationnelle (OT). La première se base sur le principe du copier, modifier et fusionner et utilise un serveur central chargé de la fusion des différentes copies provenant des sites participant à la collaboration. Les modifications effectuées par chaque site sur sa copie ne sont fusionnées à la copie centrale qu’à la demande de l’utilisateur. La difficulté majeure de cette approche est le coût lié au stockage des diverses versions sur le serveur, l’utilisation d’estampilles pour ordonner les opérations lors de la fusion. Ce qui la rend difficilement utilisable dans un contexte d’environnement distribué. La deuxième approche considère que toutes les opérations sont commutatives donc pouvant être exécutées dans un ordre quelconque. Quant à la dernière approche, elle s’appuie sur une transformation des opérations reçues des sites distants par rapport à celles qui leur sont concurrentes. Dans cette approche, un algorithme de transformation inclusive (IT) est utilisé afin d’assurer la convergence des copies, mais la plupart des algorithmes proposés dans la littérature ne satisfont pas les critères de convergence. En plus de la cohérence, la fiabilité des données reste un autre défi dans les systèmes collaboratifs. Pour faire face à ce défi, plusieurs applications encapsulent, dans leur code source, des fonctionnalités transverses telles que celles de sécurité afin de répondre aux exigences de confidentialité et d’intégrité des données. Dans la littérature, la programmation orientée aspect (AOP) est l’une des approches utilisées afin d’assurer la modularité, la maintenabilité et la réutilisation des composants d’un logiciel. Une des difficultés de ce paradigme de programmation est l’assurance qu’une propriété de sécurité reste satisfaite après le tissage entre le programme de base et tous les aspects encapsulant les préoccupations transverses. Ce qui implique de trouver des techniques automatiques de vérification des propriétés de sécurité une fois le tissage fait. Dans le registre de la fiabilité des données, le contrôle d’accès joue un rôle prépondérant. Ainsi, en ce qui concerne le partage de contenus multimédias publiés sur le Web, il est nécessaire de collaborer pour les alimenter, mais un des défis majeurs est de les rendre fiables.----------ABSTRACT: Complex software and Web content development involve nowadays multiple programmers located in different areas working together on the same development project using collaborative systems in order to achieve efficiency, improve productivity and reduce development time. One of the key challenge in such a development environment is ensuring the convergence and the reliability of the shared data or content. In the literature, many approaches have been proposed to face this challenge. Among those approaches, we have multi-version (MV), commutative replication data type (CRDT) and operational transformation (OT) approach. The first approach is based on the "copy, modify and merge" principle and uses a central server to merge the updates from the different sites participating in the collaboration. The local updates of a specific site are merged only on demand. The key drawback of this approach is the storage cost of the various versions on the server and the overhead due to the generation of stamps for the operations ordering. Thus, this drawback makes this approach difficult to use in the context of a distributed collaborative environment. The second approach preconizes that all the operations are commutative so that they can be executed in any given order. The latter approach is based on the transformation of all the operations received from the remote sites against their concurrent operations before being merged. In this approach, an inclusive transformation algorithm is used in order to ensure the convergence criteria. Unfortunately, most of the proposed algorithms in the literature do not satisfy the convergence criteria. Beside the convergence, the reliability of the data remains another challenge in the collaborative systems. In order to face this challenge, many programs encapsulate crosscutting concerns (e.g. security, logging) for data confidentiality and integrity purposes. In the literature, aspect-oriented programming (AOP) is one the approaches used to better modularize the separation of concerns in order to make easier the maintenance and the reuse of the software components. However, one challenge of this paradigm is the insurance that a given property such as security one remains satisfied after the weaving of the base program and the aspects. Thus, we may find automated way to verify such security properties in the woven program. Concerning data reliability, access control is one of the major piece of the puzzle. Thus, in the Web content publication, one challenge is to collaborate in order to produce them and the other key challenge is to make them reliable

Approche agent mobile pour l’adaptation des réseaux mobiles ad hoc

Dans les réseaux ad hoc, un protocole de routage est fortement lié à la dynamique de l’environnement due à la mobilité des nœuds. Le comportement d’un certain protocole nécessite alors une adaptation pour répondre aux changements des caractéristiques de l’environnement principalement l'énergie, le débit des liens, la qualité de service et la topologie. L’effet de la mobilité des nœuds sur les liens et la topologie du réseau est très lisible. Les protocoles de routage employé dans ce type des réseaux doivent prendre en considération ce facteur de mobilité pour garantir une meilleure mise en œuvre et maintenance de la topologie afin d’assurer la continuité de communication et la reprise lorsqu’une déconnexion. D’une autre part, les agents mobiles représentent un outil adéquat pour l’adaptation des systèmes aux environnements décentralisés et évolutifs. Ils dotent des caractéristiques qui augmentent la tolérance aux pannes comme la capacité d’autonomie (indépendance lors de l’exécution), de proactivité (capacité de prendre des décisions de manière autonome) et de communication. L'objectif de ce travail consiste à proposer une approche qui utilise le paradigme « agent mobile » pour traiter le problème d'adaptation des réseaux mobiles ad hoc et de traiter la mobilité fréquente. Mots clés : réseaux ad hoc, routage, agent mobile, mobilité, métriques, adaptation du réseau

Comparaison des Modèles et Architectures pour un Accès Mobile Restreint et Local au Web de Données: Un état de l’art des architectures et solutions envisageables

This document presents a survey prior to a thesis project, which aims to propose solutions allowing local and restricted access to the Web of data. We have explored several relevant mechanisms proposed in the literature, dedicated to various problems and likely to constitute important points for our future contributions. Since our main objective is to offer tools dedicated to mobility situations in environments where internet access is unreliable, we were particularly interested in comparing approaches (P2P, DHT, etc.) allowing to realize a particular fog/edge computing scenario which is restricted and local mobile access to contextually relevant and shared related data. In this context, we have focused some of our research on so-called gossip protocols (or epidemic protocols) that are well suited to the dynamic nature of networks. The dynamic aspect of the peers also led us to consider the solutions that take into account the location of the peers in order to improve the quality of the services offered.In addition, we looked at solutions dealing with semantic heterogeneity in peer-to-peer environments, including ontology alignment mechanisms that allow us to fully benefit from the power of peer-to-peer systems without imposing the use of a common ontology to all peers.Data replication and caching can be an important alternative to accessing remote sources; we have devoted the last part of this document to solutions based on these mechanisms to supply a local access to data.Ce document présente un état de l'art préalable à un projet de thèse qui vise à proposer des solutions permettant un accès local et restreint au Web de données. Nous avons exploré plusieurs mécanismes pertinents proposés dans la littérature, dédiés à des problématiques différentes et pouvant constituer des points importants pour nos futures contributions. Notre objectif principal étant de proposer des outils dédiés à des situations de mobilité dans des environnements ou l’accès internet est peu fiable, nous nous sommes intéressés particulièrement à comparer des approches (P2P, DHT, etc.) permettant de réaliser un scénario de fog/edge computing particulier qui est l'accès mobile restreint et local à des données liées contextuellement pertinentes et partagées. Dans cette optique, nous avons focalisé une partie de nos recherches bibliographiques sur les protocoles dits de « gossip » (ou protocoles épidémiques) qui s’avèrent bien adaptés au caractère dynamique des réseaux. L'aspect dynamique des pairs nous a aussi amené à considérer des solutions qui prennent en compte la localisation des pairs pour améliorer la qualité des services offerts.Nous regardons de plus dans ce document, des solutions traitant de l’hétérogénéité sémantique dans des environnements pair-à-pair, notamment des mécanismes d’alignements d’ontologies qui permettent de profiter pleinement de la puissance des systèmes pair-à-pair sans imposer l’utilisation d’une ontologie commune à tous les pairs.La réplication et le cache de données pouvant constituer une alternative importante à l’accès à des sources distantes, nous avons consacré la dernière partie de ce document aux solutions reposant sur ces mécanismes et offrant ainsi un accès local aux données

Lessons from FTM: an Experiment in the Design and Implementation of a Low Cost Fault Tolerant System

This report describes an experiment in the design of a general purpose fault tolerant system, FTM. The main objective of the FTM design was to implement a "low-cost" fault tolerant system that could be used on standard workstations. At the operating system level, our goal was to provide a methodology for the design of modular reliable operating systems, while offering fault tolerance transparency to user applications. In other words, porting an application to FTM had only to require compiling the source code without having to modify it. These objectives were achieved using the Mach micro-kernel and a modular set of reliable servers which implement application checkpoints and provide continuous system functions despite machine crashes. At the architectural level, our approach relies on a high performance stable storage implementation, called Stable Transactional Memory (STM), which can be implemented either by hardware or software. We first motivate our design choices, then we detail the FTM implementation at both architectural and operating system level. We comment on the reasons for the evolution of our stable memory technology from hardware to software. Finally, we present a performance evaluation of the FTM prototype. We conclude with lessons learned and give some assessments

Conception et réalisation d'un réseau d'antenne 8x16 éléments et de composants tridimensionnels à ondes millimétriques à base d'interconnexions verticales sur guides intégrés au substrat

RÉSUMÉ Les systèmes d'imagerie passives à ondes millimétriques nécessitent des antennes de taille compacte et à faible coût, présentant un gain élevé, de faibles pertes et une grande efficacité. Afin de réaliser une antenne satisfaisant ces exigences, une structure d'alimentation tridimensionnelle compacte, associée à 8x16 antennes éléments à rayonnement longitudinal à fort gain, est présentée dans ce mémoire. L’ensemble de contributions réalisées dans le cadre de ce travail sera décrit comme suit. Premièrement, pour être capable de construire ce réseau diviseur/combineur de puissance non planaire exclusivement avec la technologie du guide d’ondes intégré au substrat (GIS) sans l'utilisation de transitions en microruban, en fentes ou en guide d'ondes métallique pour passer du plan-H au plan-E, un coin plan-E uniquement basé sur la technologie (GIS) est étudié, analysé et démontré pour la première fois. Cette interconnexion GIS verticale, qui peut être fabriquée avec des circuits imprimés ou d'autres procédés similaires, amène des avantages attractifs en termes de coûts, de flexibilité et d’intégrabilité. Deux circuits prototypes avec des bras verticaux tournés respectivement de 0 et 45 degrés sont fabriqués. La version standard montre des pertes d'insertion de 0,5 dB dans la bande de 30 à 40 GHz, tandis que celle pivotée présente 0,7 dB de pertes sur la même plage de fréquences. Avec ce coude, une jonction–T plan-E est étudiée et conçue. Les résultats mesurés montrent 10 dB de pertes par réflexion sur 19% de largeur bande autour de 35 GHz avec moins de ± 4 degrés de déséquilibre de phase. Un diviseur T-magique large bande optimisé est démontré et fabriqué. Les résultats simulés et mesurés montrent une puissance répartie uniformément et un très bon isolement avec de faibles pertes par réflexion. En associant deux antennes avec deux coudes aux bras verticaux pivotés de 45 degrés et dupliqués en miroir, un système de double polarisation est obtenu, montrant une isolation de plus 20 dB de 32 à 40 GHz. Deuxièmement, une antenne à fente corrugée Fermi à rayonnement longitudinal alimentée en GIS avec un faisceau étroit et une large bande est fabriquée. Le gain réalisé en mesures est d'environ 18,4 dBi. Une fente évasée en air créée au centre de l’antenne, lorsque cette dernière est utilisée dans un réseau, vise à réduire le couplage entre deux éléments adjacents.---------- ABSTRACT Passive millimeter-wave imaging systems require compact-size, low-cost, high gain, low-loss and high-efficiency antennas. In order to realize an antenna satisfying those requirements, a compact three dimensional feeding structure in connection with 8x16 high-gain, high-efficiency endfire radiating elements are presented in this thesis. A number of contributions are made in this work, which will be described as follows. First, to be able to construct this non-planar power dividing/combining network exclusively with substrate integrated waveguide (SIW) technology without the use of any microstrip, slot-line or metallic waveguide for H-to-E-plane transition, a right angle E-plane corner solely based on (SIW) technology is studied, analyzed and demonstrated for the first time. This SIW vertical interconnect, which can be made with PCB or other similar processes, presents attractive advantages in terms of cost, flexibility and integration. Two circuit prototypes with both 0 and 45 degree vertical rotated arms are fabricated. The standard version has 0.5 dB of insertion loss from 30 to 40 GHz while the rotated one gives 0.7 dB over the same frequency range. With this bend, an E-plane T-junction is studied and designed. Measured results show 10 dB return loss over 19 % of bandwidth at 35 GHz with less than ±4 degree phase imbalance. An optimized wideband magic-T splitter is fabricated and demonstrated. Both simulated and measured results show evenly distributed power with very good isolation and return loss. By associating two antennas with two mirror duplicated 45 degree vertical rotated arm bends, a dual polarization system is obtained, showing a 20 dB isolation over 32-40 GHz. Second, an optimized wideband end-fire corrugated SIW fed Fermi tapered slot antenna with narrow beamwidth is fabricated. The realized gain in our measurement is about 18.4 dBi. To enhance its performance when used in an array, a taper shaped air gap is created in the center of the antenna to reduce the coupling between two adjacent elements. Third, an SIW 16 way power divider is designed with Villeneuve modified distribution in order to obtain low side lobe level (SLL). A 16 element array using the Fermi antenna is fabricated

Architecture distribuée pour la détection d'activité dans un Espace Intelligent

La présente étude porte sur la capacité d'améliorer la détection des Activités de la Vie Quotidienne, AVQ (ou ADL :"Activity of Daily Life") par l'utilisation de capteur [i.e. capteurs] de mouvements portés par l'occupant d'un habitat intelligent. Les données provenant de ces capteurs devraient fusionner avec les informations issues de l'appartement pour donner une information plus pertinente par le principe de synergie [21]. La solution choisie pour le dispositif porté par la personne est l'innovation principale du projet : un réseau de capteurs disposés à plusieurs endroits sur le corps, communicant sans fil entre eux et avec le contrôle de l'appartement. Les données extraites sont le mouvement relatif du corps, et plus spécifiquement des mains et du tronc, par rapport à la verticale. De par les propriétés de ces éléments - nécessairement petits, discrets - des MEMS seront utilisés pour satisfaire ces critères. Le projet repose sur la conception des dispositifs embarqués sur l'occupant dans l'optique d'en étendre les fonctionnalités à d'autres analyses tels [i.e. telles] que le son, la position dans l'environnement, le statut médical, etc. Pour prouver la faisabilité, des capteurs externes seront ajoutés pour compléter les informations de base et donc étendre la qualité des inférences sur les activités en cours. Le mouvement est une donnée facilement détectable de par sa relative simplicité de mise en oeuvre et il fournit une bonne base de travail pour étudier de façon systématique les différents points clés de l'étude : la communication, la synergie des informations, l'analyse des activités, etc

Adaptation de services dans un espace intelligent sensible au contexte

Grâce à l’apparition des paradigmes de l’intelligence ambiante, on assiste à l’émergence de nouveaux systèmes intelligents ambiants visant à créer et gérer des environnements intelligents d’une façon intuitive et transparente. Ces environnements sont des espaces intelligents caractérisés notamment par l’ouverture, l’hétérogénéité, l’incertitude et la dynamique des entités qui les constituent. Ces caractéristiques soulèvent ainsi des defies scientifiques considérables pour la conception et la mise en place d’un système intelligent adéquat. Ces défis sont principalement au nombre de trois : l’abstraction et la gestion du contexte, la sensibilité au contexte et l’auto-adaptation face aux changements imprévisibles qui peuvent se produire dans un environnement ambiant. Dans cette thèse, nous avons proposé une architecture d’un système intelligent capable d’adapter les services selon les besoins des utilisateurs en tenant compte, d’une part, du contexte environnemental et de ses différents équipements et d’autre part, des besoins variables exprimés par les utilisateurs. Ce système est construit suivant un modèle sensible au contexte, adaptatif et réactif aux évènements. Il se repose sur des entités modulaires de faible couplage et de forte cohésion lui permettant d’être flexible et efficace. Ce système integer également un module d’adaptation de services afin de repérer le contexte et de l’ajuster dynamiquement suivant les attentes des utilisateurs. Cette adaptation est réalisée via deux algorithmes : le premier est un algorithme par renforcement (Q-learning), le deuxième est un algorithme supervisé (CBR). L’hybridation de ces deux algorithmes permet surmonter les inconvénients de Q-learning pour aboutir à une nouvelle approche capable de gérer le contexte, sélectionner et adapter le service