3 research outputs found

    Modélisation intégratrice du traitement BigData

    Get PDF
    Nowadays, multiple actors of Internet technology are producing very large amounts of data. Sensors, social media or e-commerce, all generate real-time extending information based on the 3 Vs of Gartner: Volume, Velocity and Variety. In order to efficiently exploit this data, it is important to keep track of the dynamic aspect of their chronological evolution by means of two main approaches: the polymorphism, a dynamic model able to support type changes every second with a successful processing and second, the support of data volatility by means of an intelligent model taking in consideration key-data, salient and valuable at a specific moment without processing all volumes of history and up to date data.The primary goal of this study is to establish, based on these approaches, an integrative vision of data life cycle set on 3 steps, (1) data synthesis by selecting key-values of micro-data acquired by different data source operators, (2) data fusion by sorting and duplicating the selected key-values based on a de-normalization aspect in order to get a faster processing of data and (3) the data transformation into a specific format of map of maps of maps, via Hadoop in the standard MapReduce process, in order to define the related graph in applicative layer.In addition, this study is supported by a software prototype using the already described modeling tools, as a toolbox compared to an automatic programming software and allowing to create a customized processing chain of BigDataDans le monde d’aujourd’hui de multiples acteurs de la technologie numérique produisent des quantités infinies de données. Capteurs, réseaux sociaux ou e-commerce, ils génèrent tous de l’information qui s’incrémente en temps-réel selon les 3 V de Gartner : en Volume, en Vitesse et en Variabilité. Afin d’exploiter efficacement et durablement ces données, il est important de respecter la dynamicité de leur évolution chronologique au moyen de deux approches : le polymorphisme d’une part, au moyen d’un modèle dynamique capable de supporter le changement de type à chaque instant sans failles de traitement ; d’autre part le support de la volatilité par un modèle intelligent prenant en compte des données clé seulement interprétables à un instant « t », au lieu de traiter toute la volumétrie des données actuelle et historique.L’objectif premier de cette étude est de pouvoir établir au moyen de ces approches une vision intégratrice du cycle de vie des données qui s’établit selon 3 étapes, (1) la synthèse des données via la sélection des valeurs-clés des micro-données acquises par les différents opérateurs au niveau de la source, (2) la fusion en faisant le tri des valeurs-clés sélectionnées et les dupliquant suivant un aspect de dé-normalisation afin d’obtenir un traitement plus rapide des données et (3) la transformation en un format particulier de carte de cartes de cartes, via Hadoop dans le processus classique de MapReduce afin d’obtenir un graphe défini dans la couche applicative.Cette réflexion est en outre soutenue par un prototype logiciel mettant en oeuvre les opérateurs de modélisation sus-décrits et aboutissant à une boîte à outils de modélisation comparable à un AGL et, permettant une mise en place assistée d'un ou plusieurs traitements sur BigDat

    Exploitation des réseaux principaux des voiries d'agglomération : schéma directeur d'exploitation de la route : réseaux de niveau 1. Guide méthodologique

    Get PDF
    Le guide pour l'exploitation des réseaux de niveau 1 s'inscrit dans le cadre du Schéma Directeur d'Exploitation de la Route ; il est destiné en premier lieu aux gestionnaires de réseaux, mais également aux concepteurs de la politique d'exploitation, qu'ils soient les uns et les autres liés à l'État ou aux collectivités locales. Ce document est un guide méthodologique au sens strict du terme, c'est-à-dire qu'il propose une démarche allant de la définition de la problématique à non pas la conception du projet mais plutôt à la fourniture des éléments de réflexion pour avancer dans les études préalables à cette conception. Les recommandations données dans cet ouvrage sont le fruit d'expériences. Néanmoins sur un certain nombres de points, l'état actuel des connaissances ne permettant pas de se prononcer, le parti a été de porter à connaissance les solutions envisageables sans se prononcer de façon décisive. C'est pourquoi, les éléments proposés ne constituent en aucun cas un cadre rigide mais bien au contraire une base pour mettre en lumière les pièges à éviter et donner quelques conseils. De plus, en fonction du contexte local, des amendements à la démarche générale pourront être proposés . Le domaine traité étant en constante évolution, des éditions ultérieures pourront s'enrichir des expériences et des technologies à venir. Le guide se compose de quatre grandes parties : - la première propose une démarche d'études lors de ce que nous avons appelé la phase préparatoire, - la deuxième développe plutôt les éléments utiles pour des études permettant une bonne conduite de l'opération, - la troisième expose le volet évaluation qui nécessairement recouvre les deux premières parties. Il est complété par une quatrième partie composée des annexes et d'une bibliographie, visant à développer de manière plus fine quelques thèmes que nous avons jugé pertinent d'évoquer mais sans rechercher l'exhaustivité et à fournir une base de documents auxquels le lecteur pourra s'intéresser. Pour pouvoir faire une bonne utilisation de ce document, il est recommandé dans un premier temps de faire une lecture complète pour s'imprégner de la démarche globale suggérée. Il est ensuite conseillé de travailler de manière linéaire partie par partie au moins pour les deux premières, car les différents chapitres de ces parties forment un tout et caractérisent un niveau d'élaboration du projet . Néanmoins certaines informations demandées dans les dossiers sanctionnant la première partie sont fournies dans la seconde . Cependant, comme le niveau de détail demandé dans ces documents est moins important que celui proposé dans le texte de cette seconde partie, il a été jugé préférable de les présenter en une seule fois et de faire référence aux chapitres correspondants pour l'élaboration du contenu des dossiers. D'autre part, le lecteur trouvera quelquefois des redites . Cette approche a été choisie pour éviter des allers-retours trop importants eu égard au fait que le document peut être utilisé de manière ponctuelle quelquefois pour préciser ou appréhender un point particulie
    corecore