Intégration et optimisation des grilles régulières de points dans une architecture SOLAP relationnelle

IRSTEA : PUB00043913Continuous fields are types of spatial representations used to model phenomena such as temperature, pollution or altitude. They are defined according to a mapping function f that assigns a value of the studied phenomenon to each p location of the studied area. Moreover, the representation of continuous fields at different scales or resolutions is often essential for effective spatial analysis. The advantage of continuous fields is the level of details generated by the continuity of the spatial data, and the quality of the spatial analysis provided by the multi-resolution. The downside of this type of spatial representations in the multidimensionnal analysis is the high cost of analysis and storage performances. Moreover, spatial data warehouses and spatial OLAP systems (EDS and SOLAP) are decision support systems that enable multidimensional spatial analysis of large volumes of spatial and non-spatial data. The analysis of continuous fields in SOLAP architecture represents an interesting research challenge. Various studies have focused on the integration of such representations in SOLAP system. However, this integration still at an early stage. Thus, this thesis focuses on the integration of incomplete continuous fields represented by a regular grid of points in the spatio-multidimensional analysis. This integration in the SOLAP system involves that the analysis of continuous fields must support:(i) conventional OLAP operators, (ii) Continuous spatial data, (iii) spatial operators (spatial slice), and (iv) querying data at different predefined levels of resolutions. In this thesis we propose differents approaches for the analysis of continuous fields in SOLAP system at different levels of the relational architecture (from the conceptual modeling to the optimization of computing performance). We propose a logical model FISS to optimize the performances of the multi-resolution analysis, based on interpolation methods. Then, we present a new methodology based on the Clustering sampling method, to optimize aggregation operations on regular grids of points in the relational SOLAP architecture.Les champs continus sont des types de représentations spatiales utilisées pour modéliser des phénomènes tels que la température, la pollution ou l’altitude. Ils sont définis selon une fonction de mapping f qui affecte une valeur du phénomène étudié à chaque localisation p du domaine d’étude. Par ailleurs, la représentation des champs continus à différentes échelles ou résolutions est souvent essentielle pour une analyse spatiale efficace. L’avantage des champs continus réside dans le niveau de détails généré par la continuité, ainsi que la qualité de l’analyse spatiale fournie par la multi-résolution. L’inconvénient de ce type de représentations dans l’analyse spatio-multidimensionnelle est le coût des performances d’analyse et de stockage. Par ailleurs, les entrepôts de données spatiaux et les systèmes OLAP spatiaux (EDS et SOLAP) sont des systèmes d’aide à la décision qui permettent l’analyse spatio-multidimensionnelle de grands volumes de données spatiales et non spatiales. L’analyse des champs continus dans l’architecture SOLAP représente un défi de recherche intéressant. Différents travaux se sont intéressés à l’intégration de ce type de représentations dans le système SOLAP. Cependant, celle-ci est toujours au stade embryonnaire. Cette thèse s’intéresse à l’intégration des champs continus incomplets représentés par une grille régulière de points dans l’analyse spatio-multidimensionnelle. Cette intégration dans le système SOLAP implique que l’analyse des champs continus doit supporter : (i) les opérateurs OLAP classiques, (ii) la vue continue des données spatiales, (iii) les opérateurs spatiaux (slice spatial) et (iv) l’interrogation des données à différentes résolutions prédéfinies. Dans cette thèse nous proposons différentes approches pour l’analyse des champs continus dans le SOLAP à différents niveaux de l’architecture relationnelle, de la modélisation conceptuelle à l’optimisation des performances de calcul. Nous proposons un modèle logique FISS qui permet d’optimiser les performances d’analyse à multi-résolution en se basant sur des méthodes d’interpolation. Puis, nous exposons une méthodologie basée sur la méthode d’échantillonnage du Clustering, qui permet d’optimiser les opérations d’agrégation des grilles régulières de points dans l’architecture SOLAP relationnelle en effectuant une estimation des résultats

Guide de Bonnes Pratiques sur la gestion des données de la Recherche

La gestion rigoureuse et cohérente des données de la recherche constitue aujourd’hui un enjeu de taille pour la production de nouvelles connaissances scientifiques. Guidés par le « Plan National pour la Science Ouverte », les différents organismes de recherche et les Instituts du CNRS s’emparent de ces questions primordiales pour participer à la réflexion et à la mise à dispositions des outils, méthodes et infrastructures répondant aux besoins des communautés scientifiques en matière de gestion et de partage des données scientifiques

Réécriture de workflows scientifiques et provenance

National audienceLes systèmes de workflow sont nombreux et disposent de modules de gestion de provenance qui collectent les informations relatives aux exécutions (données consommées et produites) permettant d'assurer la reproductibilité d'une expérience. Un grand nombre d'approches s'est développé pour aider à la gestion de ces masses de données de provenance. Un certain nombre de ces approches ont une bonne complexité parce qu'elles sont dédiées à des structures de workflows série-parallèles. Réécrire un workflow en un workflow série-parallèle permettrait donc de mieux exploiter l'ensemble des outils de provenance existants. Nos contributions sont : (i) introduction de la notion de réécriture de workflow provenance-equivalence, (ii) revue de transformations de graphes, (iii) conception de l'algorithme de réécriture SPFlow préservant la provenance (iv) évaluation de notre approche sur un millier de workflows

De l'information primaire à l'information à valeur ajoutée dans le contexte du numérique

http://colloque-isd.v27.net/Notre objet d'étude porte sur la « gestion de l'information numérique et la coordination avec l'information à valeur ajoutée ». Le traitement de l'information quelque soit sa nature et ses origines se trouve au confluent de plusieurs disciplines que sont : l'analyse linguistique automatique, l'informatique, les mathématiques, les réseaux d'information, la socio-économie, l'intelligence économique (IE), etc. Cette dimension pluridisciplinaire sur l'information numérique occupe de nos jours une place prépondérante dans l'activité des institutions (gouvernementales, scientifiques, socio-économiques et autres), et offre des possibilités de moduler des interactions complexes en matière des besoins informationnels. Ainsi, dans un processus d'IE, l'information associée à une ressource documentaire permet d'en favoriser l'utilisation, l'exploitation et l'annotation par un agent humain (veilleur ou décideur), du fait de son exploitation par un agent logiciel (plate-forme et outils informatiques). Dans le cadre de cette étude, nous vous proposons une architecture logicielle pour la mise en œuvre des traitements qui partent de l'information primaire pour aboutir à l'information à valeur ajoutée

SQL, NoSQL, NewSQL: stratégie de choix

Depuis les années 1980, les systèmes de gestion de bases de données relationnelles n'ont cessé de prendre de l'importance en regard des autres systèmes de gestion de données. Aujourd'hui, encore utilisés par la majorité des entreprises ils sont toujours appréciés pour leurs capacités à assurer une forte cohérence des données et garantir une fiabilité lors des transactions. Cependant, l'émergence des systèmes décisionnels et l'explosion des volumes de données à traiter ont conduit beaucoup de sociétés à dénormaliser leur modèle de données. Cette technique visant à regrouper l'information dans des agrégats a pour but d'optimiser les temps de réponses en rompant avec les trois formes normales si chères au SGBDR. Le Big data a conduit les grands acteurs de l'internet (Google, Facebook, et Amazon etc..) à développer puis adopter des technologies alternatives nommées NoSQL. Celles-ci leurs permettent de supporter une montée en charge horizontale tout en assurant une flexibilité du modèle de données. Dès lors, le NoSQL apparaît comme une solution à l'entreprise désirant gérer des montées en charges et des volumes importants. Cependant, cette technologie sacrifie à dessin la cohérence au bénéfice de la disponibilité. Dans ce modèle, les propriétés ACID sont souvent mises de côté pour la performance. En outre, la flexibilité offerte par le sans-schéma et l'abandon du SQL en font une technologie flexible et particulièrement appréciée des développeurs. Ils découvrent un SGBD où l'application devient maîtresse du schéma de la base de données. Plus d'interminables disputes avec un DBA qui impose un schéma non flexible de la base de données. La difficulté à gérer la faible cohérence des données pour les développeurs a conduit les grands ténors du web à développer le NewSQL. Ce nouveau SGBDR permet une scalabilité horizontale, une souplesse du schéma et une forte cohérence des données grâce à des transactions ACID. Le NewSQL est aussi jeune qu'il est plein de promesses. Il n'a pas le retour d'expérience des SGBDR et du NoSQL. Dans le document qui va suivre, sera cité les critères d'adoptions de chaque technologie. Ils seront mis ensemble à la fin dans un tableau de synthèse. Celui-ci pourra orienter la stratégie de choix d'une ou plusieurs d'entre elles

Ubiquité et confidentialité des données

Ubiquité et confidentialité des donnée

Elaboration d'un tableau de bord des coûts logistiques de distribution

National audienceLe schéma logistique d'une organisation doit appréhender, à moyen terme (3 à 5 ans), le réseau géographique d'entrepôts et de plates formes, les objectifs de délais et de qualité de service, et surtout les coûts qui constituent la variable à minimiser. L'objectif de cet article est de présenter la mise en place – sur Excel 97 – d'un tableau de bord des coûts logistiques de distribution. L'optique souhaitée est d'avoir une vision de la répartition des coûts et d'ouvrir des perspectives de réflexion sur la chaîne logistique en termes de gestion de stock, de préparation des commandes et d'utilisation des transports

Le plan de Gestion de Données pas à pas

Il s\u27agit d\u27un parcours pédagogique sur le Plan de Gestion de Données (PGD) ou Data Management Plan (DMP). Ce parcours a été conçu en pensant à toutes les questions qui peuvent se poser lors de la rédaction d\u27un PGD. Pour chacune des questions, plusieurs exemples extraits de PGD rendus publics par leurs auteurs sont présentés dans un carrousel encadré de bleu. Vous pouvez vous inspirer de ces exemples pour rédiger votre PGD

La place du transport de marchandises en compte propre. Rapport final - Volet 3

Ce rapport se compose de deux parties :• La première rassemble et traite un certain nombre de données qui permettent de décrire le cadre dans lequel opère le transport non professionnel et ses spécificités en milieu urbain.• La deuxième partie propose une typologie basée sur le suivi de filières du commerce et de l'artisanat qui occasionnent le plus grand nombre de flux de véhicules dans la ville. Elle analyse les raisons de la résistance du compte propre et les limites de son transfert vers le compte d'autrui, en milieu urbain.Transports de marchandises ; transport pour compte propre ; transport non professionnel ; milieu urbain