Phoenis : um componente relacional para plataformas de armazenamento em nuvem

Orientadora : Profª Drª Carmem Satie HaraDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciencias Exatas, Programa de Pós-Graduação em Informática. Defesa: Curitiba, 27/08/2010Bibliografia: fls. 70-77Resumo: O crescente volume e diversidade de dados, juntamente com a evolução dos conceitos da computação em nuvem, têm dado origem a um novo tipo de sistemas de banco de dados distribuído com foco em escalabilidade à custa de características comumente associadas a bancos de dados relacionais tradicionais. Na maioria dos casos, estes novos sistemas são destinados a implantação em larga escala e escalabilidade maciça, nos quais as características tradicionais de bancos de dados relacionais acabam por reduzir sua viabilidade como uma plataforma distribuída de armazenamento de dados. Para abordar esta questão, este trabalho propõe um novo design e arquitetura para um sistema de banco de dados relacional baseado em nuvem. O componente central deste sistema é um módulo de armazenamento, que é responsável por mapear o esquema lógico, baseado em relações, para um esquema físico, baseado em um repositório de dados distribuído. A arquitetura estratificada proposta oferece independência de dados física, permitindo que diferentes abordagens para mapeamento de dados e fragmentação, enquanto o repositório de dados distribuído é responsável por fornecer escalabilidade, disponibilidade, replicação de dados e propriedades ACID. Um protótipo do sistema, chamado de Phoenix, foi desenvolvido com base na arquitetura proposta usando um repositório de dados transacional. Um estudo experimental realizado em um grupo de servidores genéricos mostra que a Phoenix preserva as propriedades desejadas do repositório de dados, ao fornecer a funcionalidade de banco de dados relacional sem decorrer em uma alta obrecarga.Abstract: The ever-increasing volume and diversity of data coupled with the dissemination and maturation of various concepts of cloud computing has given rise to a new type of distributed database systems with a focus on scalability at the cost of benefits associated with traditional relational databases. These new systems are often aimed at large-scale deployment and massive scalability. In such scenarios, features of relational databases end up reducing its viability as a platform for distributed data storage. To address this issue, this work proposes a new design and architecture of a cloudbased relational database system. The system’s core component is a storage engine, which is responsible for mapping the logical schema, based on relations, to a physical storage, based on a distributed key-value datastore. The proposed stratified architecture provides physical data independence, by allowing different approaches for data mapping and partitioning, while the distributed datastore is responsible for providing scalability, availability, data eplication and ACID properties. A prototype of the system, named Phoenix, has been developed based on the proposed architecture using a transactional key-value store. An experimental study on a cluster of commodity servers shows that Phoenix preserves the desired properties of key-value stores, while providing relational database functionality at a very low overhead

Gestion de la Mise à Jour de Données Géographiques Répliquées

Today, new technologies allow the development of communication networks where users can easily share information. A specific context where the exchange of data is essential is a military mission where users are distributed in several sites and must cooperate together. Spatial data are replicated at every site, and each one evolves in parallel according to the units needs and to local analysis. The updates must be regularly supplied to the other actors to ensure an efficient collaboration. Difficulties occur when users integrate these numerous evolutions in their personal dataset. In a more general way, our research concerns the update of a particular spatial dataset from multi sources of evolutions. These updates might be heterogeneous, having different quality depending on the manner they were acquired. Moreover they are not necessarily pertinent for the end user. But especially, they might be in conflict together and with user data. As a consequence, they might create inconsistencies at the integration step. To solve those points, we propose a strategy based on appropriate metadata that takes into account user requirements and aims to reconcile concurrent evolutions before the integration process. This protocol is divided into two important phases: the updating session and the concurrency control. To well apply this method, we have to first define a spatial data infrastructure and an ISO 19115 metadata profile.De nos jours, l'information géographique constitue une ressource incontournable dans un contexte de prise de décision et les données numériques spatiales sont de plus en plus fréquemment exploitées comme support et aide à la décision par de nombreuses organisations.L'institution militaire utilise elle aussi les données spatiales comme soutien et aide à la décision. A chaque étape d'une mission, des informations géographiques de tous types sont employées (données numériques, cartes papiers, photographies aériennes...) pour aider les unités dans leurs choix stratégiques. Par ailleurs, l'utilisation de réseaux de communication favorise le partage et l'échange des données spatiales entre producteurs et utilisateurs situés à des endroits différents. L'information n'est pas centralisée, les données sont répliquées sur chaque site et les utilisateurs peuvent ponctuellement être déconnectés du réseau, par exemple lorsqu'une unité mobile va faire des mesures sur le terrain.La problématique principale concerne donc la gestion dans un contexte militaire, d'une application collaborative permettant la mise à jour asynchrone et symétrique de données géographiques répliquées selon un protocole à cohérence faible optimiste. Cela nécessite de définir un modèle de cohérence approprié au contexte militaire, un mécanisme de détection des mises à jour conflictuelles lié au type de données manipulées et des procédures de réconciliation des écritures divergentes adaptées aux besoins des unités participant à la mission.L'analyse des travaux montre que plusieurs protocoles ont été définis dans les communautés systèmes (Cederqvist :2001 ; Kermarrec :2001) et bases de données (Oracle :2003 ; Seshadri :2000) pour gérer la réplication des données. Cependant, les solutions apportées sont souvent fonctions du besoin spécifique de l'application et ne sont donc pas réutilisables dans un contexte différent, ou supposent l'existence d'un serveur de référence centralisant les données. Les mécanismes employés en information géographique pour gérer les données et les mises à jour ne sont pas non plus appropriés à notre étude car ils supposent que les données soient verrouillées aux autres utilisateurs jusqu'à ce que les mises à jour aient été intégrée (approche check in-check out (ESRI :2004), ou utilisent un serveur centralisé contenant les données de référence (versionnement : Cellary :1990).Notre objectif est donc de proposer des solutions permettant l'intégration cohérente et autant que possible automatique, des mises à jour de données spatiales dans un environnement de réplication optimiste, multimaître et asynchrone.Nous proposons une stratégie globale d'intégration des mises à jour spatiales basée sur une vérification de la cohérence couplé à des sessions de mises à jour. L'originalité de cette stratégie réside dans le fait qu'elle s'appuie sur des métadonnées pour fournir des solutions de réconciliation adaptées au contexte particulier d'une mission militaire.La contribution de cette thèse est double. Premièrement, elle s'inscrit dans le domaine de la gestion de la mise à jour des données spatiales, domaine toujours très actif du fait de la complexité et de l'hétérogénéité des données (Nous limitons néanmoins notre étude aux données géographiques vectorielles) et de la relative «jeunesse » des travaux sur le sujet. Deuxièmement, elle s'inscrit dans le domaine de la gestion de la cohérence des données répliquées selon un protocole optimiste, en spécifiant en particulier, de nouveaux algorithmes pour la détection et la réconciliation de données conflictuelles, dans le domaine applicatif de l'information géographique