Les index bitmap compressés

Les index bitmap sont très utilisés dans les moteurs de recherche et les bases de données pour accélérer les opérations de recherche. Leurs principaux avantages sont leur forme compacte et leur capacité à tirer profit du traitement parallèle de bits dans les CPU (bit-level parallelism). Lorsque employés sur des attributs de faibles cardinalités, l'efficacité des index bitmaps en matière d'occupation d'espace mémoire et de temps de traitements comparé aux autres types d'index classiques, tels que l'arbre-B, est largement reconnue dans la littérature. Cependant, plus la cardinalité d'un attribut s'élève plus la taille et les temps de traitements de son index bitmap augmentent jusqu'à consommer plus d'espaces mémoires que les données indexées et d'importants temps de calculs. Afin de maintenir l'efficacité de ces solutions d'indexation dans ces conditions- là, plusieurs chercheurs ont proposé des travaux dans le but de réduire la taille et améliorer les temps de traitement de bitmaps indexant des attributs de larges cardinalités. Les solutions proposées dans la littérature adressant cette problématique se divisent en trois catégories : le paquetage des bitmaps, l'encodage des bitmaps et la compression des bitmaps. Les contributions proposées dans cette thèse se classent parmi la troisième catégorie. Après avoir constaté que la plupart des techniques de compression de bitmaps introduites ces 15 dernières années se basent sur le modèle de la solution WAH, qui combine une compression par plages de valeurs avec une représentation bitmap sous forme de chaînes de bits alignées par mots CPU, cette thèse propose la technique Roaring bitmap, qui adopte un nouveau modèle pour compresser les bitmaps. Cette méthode discrétise l'espace des entiers représentés par un bitmap en des partitions de taille fixe, puis applique sur chacune une forme de compression appropriée selon la densité du groupe d'entiers. Des expériences ont été conduites pour comparer les performances temps-espace du nouveau modèle avec ceux de deux autres solutions de compression bitmap parmi les plus connues dans la littérature : WAH et Concise. Les résultats ont montré que, sur des faibles densités, la nouvelle méthode ne consomme que ≈ 50% de l'espace mémoire occupé par Concise et ≈ 25% de celui de WAH. Aussi, Roaring bitmap a pu accélérer les temps de calcul d'opérations logiques par rapport aux deux autres techniques sur tous les tests effectués, en étant de 4 à 5 fois plus performant sur des données synthétiques, et jusqu'à 1100 fois plus rapide sur des données réelles. La librairie de Roaring bitmap et celles des autres solutions adoptant le modèle WAH qui sont disponibles au grand public ne supportent que des bitmaps d'au plus 232 (≈ 4 milliards) entrées. Avec l'avènement du Big Data, le besoin d'indexer de très larges collections de données sur lesquelles de telles librairies se révèlent impraticables est souvent rencontré. Les ingénieurs du moteur de recherche Apache Lucene ont rencontré ce problème, et ont introduit la solution OpenBitSet, qui peut allouer des bitmaps avec jusqu'à 64 x 232 – 1 entrées. Cependant, cette solution reste simple et n'applique aucune forme de compression sur les bitmaps. La présente thèse propose trois nouveaux modèles de compression bitmap basés sur le format de Roaring bitmap et qui peuvent indexer jusqu'à 264 entrées. Des expériences sur des données synthétiques comparant les performances des trois nouveaux modèles avec la solution d'Apache Lucene, OpenBitSet, et d'autres collections Java du paquetage Java.Util : ArrayList, LinkedList, HashSet et TreeSet, ont montré qu'OpenBitSet et les collections Java consomment, respectivement, jusqu'à ≈ 300 millions de fois et ≈ 1800 fois plus d'espaces mémoire comparés aux trois nouveaux modèles. Ces derniers ont également calculé des intersections entre deux ensembles d'entiers, ≈ 6 millions de fois, ≈ 63 milles fois et ≈ 6 fois plus rapidement par rapport à OpenBitSet, aux deux collections ArrayList et LinkedList, et aux deux structures HashSet et TreeSet, respectivement. En évaluant les temps pour calculer l'union de deux ensembles d'entiers, les nouvelles méthodes ont été jusqu'à ≈ 3 millions de fois plus performantes qu'OpenBitSet. Aussi, cette dernière structure de données a été jusqu'à ≈ 14 millions de fois plus lente pour insérer un entier généré aléatoirement que les trois solutions proposées. Afin de valider le format de la solution Roaring bitmap dans un SGBD réel, cette technique d'indexation a été intégrée au moteur OLAP Druid. Ce système se base essentiellement sur des index bitmap compressés avec la technique Concise pour accélérer les temps de réponse de requêtes OLAP effectuant des analyses détaillées sur les données (drill-down). Des expériences sur des données réelles ont été réalisées pour évaluer les performances de Roaring bitmap et de Concise au sein du SGBD Druid. Les résultats ont montré que Roaring bitmap a amélioré de ≈ 2 fois les temps de réponse de requêtes d'agrégations et près de 5 fois le temps de traitements de requêtes de recherche comparé à la solution Concise.\ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : index bitmap, compression, performances, opérations logiques, structures de données

L’amélioration de la collecte de données et de l’évaluation de formules pour la vérification de l’exécution

Les technologies de l’information sont devenues une partie importante de notre vie. Bien que ces magnifiques techniques nous facilitent la vie et facilitent la vie, les accidents et les catastrophes causés par des dysfonctionnements de logiciels provoquent beaucoup de pertes de vies et de richesse qui peuvent en fait être évitées. La vérification et la validation de logiciels sont un ensemble de techniques visant à vérifier la fonctionnalité et à évaluer la qualité logicielle. La vérification de l’exécution est l’une des techniques couramment utilisées dans le domaine industriel. Son origine provient d’autres techniques de vérification, mais elle a aussi ses propres fonctionnalités et caractéristiques. Le but de cette recherche est d’explorer les méthodes et les solutions pour améliorer deux aspects de la vérification de l’exécution : la collecte de données et l’évaluation de formules. Dans la première partie, nous présentons un canal de communication unidirectionnelle basé sur des codes optiques qui sont applicables pour la transmission de données dans un environnement spécifique. Ensuite, dans la deuxième partie, nous introduisons notre solution de l’évaluation hors ligne de logiques temporelles basées sur la manipulation bitmap et la compression bitmap. Les deux parties ont été écrites sous forme d’articles à publier, dont l’un a été publié, tandis que l’autre est en cours d’examen

Diffusion numérique du patrimoine, dimension de la politique culturelle (La)

Les enjeux du numérique pour la politique culturelle et la valorisation du patrimoine. Propositions pour une politique de la diffusion numérique du patrimoine

HTML et Javascript

Programmation Web, étude des langages HTML et JavaScrip

Nouvelle génération de systèmes de vision temps réel à grande dynamique

Cette thèse s intègre dans le cadre du projet européen EUREKA "High Dynamic Range - Low NoiseCMOS imagers", qui a pour but de développer de nouvelles approches de fabrication de capteursd images CMOS à haute performance. L objectif de la thèse est la conception d un système de visiontemps réel à grande gamme dynamique (HDR). L axe principal sera la reconstruction, en temps réelet à la cadence du capteur (60 images/sec), d une vidéo à grande dynamique sur une architecturede calcul embarquée.La plupart des capteurs actuels produisent une image numérique qui n est pas capable de reproduireles vraies échelles d intensités lumineuses du monde réel. De la même manière, les écrans, impri-mantes et afficheurs courants ne permettent pas la restitution effective d une gamme tonale étendue.L approche envisagée dans cette thèse est la capture multiple d images acquises avec des tempsd exposition différents permettant de palier les limites des dispositifs actuels.Afin de concevoir un système capable de s adapter temporellement aux conditions lumineuses,l étude d algorithmes dédiés à la grande dynamique, tels que les techniques d auto exposition, dereproduction de tons, en passant par la génération de cartes de radiances est réalisée. Le nouveausystème matériel de type "smart caméra" est capable de capturer, générer et restituer du contenu àgrande dynamique dans un contexte de parallélisation et de traitement des flux vidéos en temps réelThis thesis is a part of the EUREKA European project called "High Dynamic Range - Low NoiseCMOS imagers", which developped new approaches to design high performance CMOS sensors.The purpose of this thesis is to design a real-time high dynamic range (HDR) vision system. Themain focus will be the real-time video reconstruction at 60 frames/sec in an embedded architecture.Most of the sensors produce a digital image that is not able to reproduce the real world light inten-sities. Similarly, monitors, printers and current displays do not recover of a wide tonal range. Theapproach proposed in this thesis is multiple acquisitions, taken with different exposure times, to over-come the limitations of the standard devices.To temporally adapt the light conditions, the study of algorithms dedicated to the high dynamic rangetechniques is performed. Our new smart camera system is able to capture, generate and showcontent in a highly parallelizable context for a real time processingDIJON-BU Doc.électronique (212319901) / SudocSudocFranceF

Informatique et culture scientifique du numérique

National audienceCe document transcrit les MOOC réalisés par le Learning Lab Inria, avec le soutien du Ministère de l’éducation nationale et de la jeunesse, en partenariat avec le projet Class ́Code et l’Université Côte d’Azur.Cette première version reprend et remet en forme les contenus des MOOC, notamment en transcrivant les propos oraux des différents intervenants issus des supports multimédias, et en adaptant les contenus à un média textuel. Les apports supplémentaires concernent modestement la partie surles logiciels libres et celle sur le son et la musique. En l’état, il manque encore un chapitre sur les implications et applications de l’informatique (bioinformatique, médecine, arts, etc.) et un autre sur l’architecture des ordinateurs et des réseaux. Cependant, le taux de recouvrement n’est pas nul car ces sujets sont également abordés dans d’autres sections du manuel. Toutefois, le manuel reste exploitable comme tel et sera enrichi et amélioré dans des versions suivantes

Traitement des signaux et images en temps réel ("implantation de H.264 sur MPSoC")

Cette thèse est élaborée en cotutelle entre l université Badji Mokhtar (Laboratoire LERICA) et l université de bourgogne (Laboratoire LE2I, UMR CNRS 5158). Elle constitue une contribution à l étude et l implantation de l encodeur H.264/AVC. Durent l évolution des normes de compression vidéo, une réalité sure est vérifiée de plus en plus : avoir une bonne performance du processus de compression nécessite l élaboration d équipements beaucoup plus performants en termes de puissance de calcul, de flexibilité et de portabilité et ceci afin de répondre aux exigences des différents traitements et satisfaire au critère Temps Réel . Pour assurer un temps réel pour ce genre d applications, une solution reste possible est l utilisation des systèmes sur puce (SoC) ou bien des systèmes multiprocesseurs sur puce (MPSoC) implantés sur des plateformes reconfigurables à base de circuit FPGA. L objective de cette thèse consiste à l étude et l implantation des algorithmes de traitement des signaux et images et en particulier la norme H.264/AVC, et cela dans le but d assurer un temps réel pour le cycle codage-décodage. Nous utilisons deux plateformes FPGA de Xilinx (ML501 et XUPV5). Dans la littérature, il existe déjà plusieurs implémentations du décodeur. Pour l encodeur, malgré les efforts énormes réalisés, il reste toujours du travail pour l optimisation des algorithmes et l extraction des parallélismes possibles surtout avec une variété de profils et de niveaux de la norme H.264/AVC.Dans un premier temps de cette thèse, nous proposons une implantation matérielle d un contrôleur mémoire spécialement pour l encodeur H.264/AVC. Ce contrôleur est réalisé en ajoutant, au contrôleur mémoire DDR2 des deux plateformes de Xilinx, une couche intelligente capable de calculer les adresses et récupérer les données nécessaires pour les différents modules de traitement de l encodeur. Ensuite, nous proposons des implantations matérielles (niveau RTL) des modules de traitement de l encodeur H.264. Sur ces implantations, nous allons exploiter les deux principes de parallélisme et de pipelining autorisé par l encodeur en vue de la grande dépendance inter-blocs. Nous avons ainsi proposé plusieurs améliorations et nouvelles techniques dans les modules de la chaine Intra et le filtre anti-blocs. A la fin de cette thèse, nous utilisons les modules réalisés en matériels pour la l implantation Matérielle/logicielle de l encodeur H.264/AVC. Des résultats de synthèse et de simulation, en utilisant les deux plateformes de Xilinx, sont montrés et comparés avec les autres implémentations existantesThis thesis has been carried out in joint supervision between the Badji Mokhtar University (LERICA Laboratory) and the University of Burgundy (LE2I laboratory, UMR CNRS 5158). It is a contribution to the study and implementation of the H.264/AVC encoder. The evolution in video coding standards have historically demanded stringent performances of the compression process, which imposes the development of platforms that perform much better in terms of computing power, flexibility and portability. Such demands are necessary to fulfill requirements of the different treatments and to meet "Real Time" processing constraints. In order to ensure real-time performances, a possible solution is to made use of systems on chip (SoC) or multiprocessor systems on chip (MPSoC) built on platforms based reconfigurable FPGAs. The objective of this thesis is the study and implementation of algorithms for signal and image processing (in particular the H.264/AVC standard); especial attention was given to provide real-time coding-decoding cycles. We use two FPGA platforms (ML501 and XUPV5 from Xilinx) to implement our architectures. In the literature, there are already several implementations of the decoder. For the encoder part, despite the enormous efforts made, work remains to optimize algorithms and extract the inherent parallelism of the architecture. This is especially true with a variety of profiles and levels of H.264/AVC. Initially, we proposed a hardware implementation of a memory controller specifically targeted to the H.264/AVC encoder. This controller is obtained by adding, to the DDR2 memory controller, an intelligent layer capable of calculating the addresses and to retrieve the necessary data for several of the processing modules of the encoder. Afterwards, we proposed hardware implementations (RTL) for the processing modules of the H.264 encoder. In these implementations, we made use of principles of parallelism and pipelining, taking into account the constraints imposed by the inter-block dependency in the encoder. We proposed several enhancements and new technologies in the channel Intra modules and the deblocking filter. At the end of this thesis, we use the modules implemented in hardware for implementing the H.264/AVC encoder in a hardware/software design. Synthesis and simulation results, using both platforms for Xilinx, are shown and compared with other existing implementationsDIJON-BU Doc.électronique (212319901) / SudocSudocFranceF

Analyse de la performance des utilisateurs avec et sans défis visuels dans la localisation de sons rendus par une acoustique immersive de bas de gamme

Cette thèse porte sur la localisation de la position virtuelle de sources sonores utilisant des moyens de reproduction acoustique du type immersif de faible coût. L’étude compare la performance d’utilisateurs avec et sans défis visuels. Des études de multiples sources montrent qu’un pourcentage important des personnes ayant des défis visuels vivent avec des revenus annuels très bas. Ce constat a orienté ce projet de recherche, afin que les technologies acoustiques utilisées dans les essais soient des technologies de reproduction acoustique de faible coût. Ceci, pour couvrir le contexte acoustique le plus probable chez les utilisateurs de cette technologie. La création de plusieurs jeux acoustiques immersifs dans le contexte académique a exposé le besoin d’un modèle de perception capable d’orienter les concepteurs de scénarios acoustiques par rapport aux échantillons sonores à utiliser (la fréquence du son et leur positionnement). Un modèle de convivialité pour l’utilisation d’échantillons sonores dans un contexte acoustique immersif de bas coût est défini comme résultat des constats expérimentaux. La littérature expose l’existence d’une capacité accrue pour déterminer la localisation d’objets et d’interlocuteurs par des personnes non voyantes. L’origine de cet accroissement de capacité semble être relié à une utilisation plus efficace de l’information auditive ou à une spécialisation d’une partie du cortex visuel pour traiter l’information sonore. La présente expérience suggère que, dans un contexte acoustique immersif de faible coût, les personnes avec et sans défis visuels ont une performance similaire dans la localisation de la position virtuelle des sons produits. Les conclusions sont établies à partir du résultat de l’analyse comparative de métriques objectives pour 55 participants (19 ayant des défis visuels et 36 sans défis visuels) réalisant une activité de jeu acoustique sans interface visuelle. L’analyse des actions de localisation des participants dans 10500 évènements sonores, donne des résultats conformes aux attentes et est à la base des constats et du modèle de convivialité. Des stratégies de localisation de la position virtuelle du son ont été analysées et les conclusions sont présentées. Un modèle de convivialité acoustique appliqué au contexte est proposé. Celui-ci est un graphique d’interprétation simple, destiné aux concepteurs d’acoustique pour environnements immersifs