Tri de la table de faits et compression des index bitmaps avec alignement sur les mots

Bitmap indexes are frequently used to index multidimensional data. They rely mostly on sequential input/output. Bitmaps can be compressed to reduce input/output costs and minimize CPU usage. The most efficient compression techniques are based on run-length encoding (RLE), such as Word-Aligned Hybrid (WAH) compression. This type of compression accelerates logical operations (AND, OR) over the bitmaps. However, run-length encoding is sensitive to the order of the facts. Thus, we propose to sort the fact tables. We review lexicographic, Gray-code, and block-wise sorting. We found that a lexicographic sort improves compression--sometimes generating indexes twice as small--and make indexes several times faster. While sorting takes time, this is partially offset by the fact that it is faster to index a sorted table. Column order is significant: it is generally preferable to put the columns having more distinct values at the beginning. A block-wise sort is much less efficient than a full sort. Moreover, we found that Gray-code sorting is not better than lexicographic sorting when using word-aligned compression.Comment: to appear at BDA'0

Les index bitmap compressés

Les index bitmap sont très utilisés dans les moteurs de recherche et les bases de données pour accélérer les opérations de recherche. Leurs principaux avantages sont leur forme compacte et leur capacité à tirer profit du traitement parallèle de bits dans les CPU (bit-level parallelism). Lorsque employés sur des attributs de faibles cardinalités, l'efficacité des index bitmaps en matière d'occupation d'espace mémoire et de temps de traitements comparé aux autres types d'index classiques, tels que l'arbre-B, est largement reconnue dans la littérature. Cependant, plus la cardinalité d'un attribut s'élève plus la taille et les temps de traitements de son index bitmap augmentent jusqu'à consommer plus d'espaces mémoires que les données indexées et d'importants temps de calculs. Afin de maintenir l'efficacité de ces solutions d'indexation dans ces conditions- là, plusieurs chercheurs ont proposé des travaux dans le but de réduire la taille et améliorer les temps de traitement de bitmaps indexant des attributs de larges cardinalités. Les solutions proposées dans la littérature adressant cette problématique se divisent en trois catégories : le paquetage des bitmaps, l'encodage des bitmaps et la compression des bitmaps. Les contributions proposées dans cette thèse se classent parmi la troisième catégorie. Après avoir constaté que la plupart des techniques de compression de bitmaps introduites ces 15 dernières années se basent sur le modèle de la solution WAH, qui combine une compression par plages de valeurs avec une représentation bitmap sous forme de chaînes de bits alignées par mots CPU, cette thèse propose la technique Roaring bitmap, qui adopte un nouveau modèle pour compresser les bitmaps. Cette méthode discrétise l'espace des entiers représentés par un bitmap en des partitions de taille fixe, puis applique sur chacune une forme de compression appropriée selon la densité du groupe d'entiers. Des expériences ont été conduites pour comparer les performances temps-espace du nouveau modèle avec ceux de deux autres solutions de compression bitmap parmi les plus connues dans la littérature : WAH et Concise. Les résultats ont montré que, sur des faibles densités, la nouvelle méthode ne consomme que ≈ 50% de l'espace mémoire occupé par Concise et ≈ 25% de celui de WAH. Aussi, Roaring bitmap a pu accélérer les temps de calcul d'opérations logiques par rapport aux deux autres techniques sur tous les tests effectués, en étant de 4 à 5 fois plus performant sur des données synthétiques, et jusqu'à 1100 fois plus rapide sur des données réelles. La librairie de Roaring bitmap et celles des autres solutions adoptant le modèle WAH qui sont disponibles au grand public ne supportent que des bitmaps d'au plus 232 (≈ 4 milliards) entrées. Avec l'avènement du Big Data, le besoin d'indexer de très larges collections de données sur lesquelles de telles librairies se révèlent impraticables est souvent rencontré. Les ingénieurs du moteur de recherche Apache Lucene ont rencontré ce problème, et ont introduit la solution OpenBitSet, qui peut allouer des bitmaps avec jusqu'à 64 x 232 – 1 entrées. Cependant, cette solution reste simple et n'applique aucune forme de compression sur les bitmaps. La présente thèse propose trois nouveaux modèles de compression bitmap basés sur le format de Roaring bitmap et qui peuvent indexer jusqu'à 264 entrées. Des expériences sur des données synthétiques comparant les performances des trois nouveaux modèles avec la solution d'Apache Lucene, OpenBitSet, et d'autres collections Java du paquetage Java.Util : ArrayList, LinkedList, HashSet et TreeSet, ont montré qu'OpenBitSet et les collections Java consomment, respectivement, jusqu'à ≈ 300 millions de fois et ≈ 1800 fois plus d'espaces mémoire comparés aux trois nouveaux modèles. Ces derniers ont également calculé des intersections entre deux ensembles d'entiers, ≈ 6 millions de fois, ≈ 63 milles fois et ≈ 6 fois plus rapidement par rapport à OpenBitSet, aux deux collections ArrayList et LinkedList, et aux deux structures HashSet et TreeSet, respectivement. En évaluant les temps pour calculer l'union de deux ensembles d'entiers, les nouvelles méthodes ont été jusqu'à ≈ 3 millions de fois plus performantes qu'OpenBitSet. Aussi, cette dernière structure de données a été jusqu'à ≈ 14 millions de fois plus lente pour insérer un entier généré aléatoirement que les trois solutions proposées. Afin de valider le format de la solution Roaring bitmap dans un SGBD réel, cette technique d'indexation a été intégrée au moteur OLAP Druid. Ce système se base essentiellement sur des index bitmap compressés avec la technique Concise pour accélérer les temps de réponse de requêtes OLAP effectuant des analyses détaillées sur les données (drill-down). Des expériences sur des données réelles ont été réalisées pour évaluer les performances de Roaring bitmap et de Concise au sein du SGBD Druid. Les résultats ont montré que Roaring bitmap a amélioré de ≈ 2 fois les temps de réponse de requêtes d'agrégations et près de 5 fois le temps de traitements de requêtes de recherche comparé à la solution Concise.\ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : index bitmap, compression, performances, opérations logiques, structures de données

Histogram-Aware Sorting for Enhanced Word-Aligned Compression in Bitmap Indexes

Bitmap indexes must be compressed to reduce input/output costs and minimize CPU usage. To accelerate logical operations (AND, OR, XOR) over bitmaps, we use techniques based on run-length encoding (RLE), such as Word-Aligned Hybrid (WAH) compression. These techniques are sensitive to the order of the rows: a simple lexicographical sort can divide the index size by 9 and make indexes several times faster. We investigate reordering heuristics based on computed attribute-value histograms. Simply permuting the columns of the table based on these histograms can increase the sorting efficiency by 40%.Comment: To appear in proceedings of DOLAP 200

La Caméra imaginaire

La notion de « caméra », empruntée au lexique cinématographique, est fréquemment utilisée par les joueurs, les développeurs ou encore les journalistes pour qualifier les déplacements du point de vue dans les jeux vidéo. En effet, le terme de « caméra » s’est généralisé dans les discours portant sur le jeu vidéo dès les années 1990 et constitue un exemple clé des échanges et des contaminations qui ont marqué l’histoire du jeu vidéo, autant que l’histoire récente du cinéma hollywoodien. Si plusieurs travaux du jeune champ d’études des game studies (ou études du jeu vidéo) se sont déjà penchés sur la « cinématographicité » des images vidéoludiques, sur l’ensemble des dynamiques d’emprunt et d’hybridation qui affectent les images du jeu vidéo, l’histoire du terme de « caméra » n’a jamais fait l’objet d’une étude détaillée. Or, sa généralisation dans le domaine du jeu vidéo fait de la « caméra » un facteur crucial des contaminations réciproques qui ont marqué ces deux industries culturelles dès la fin du XXè siècle. Son usage dans le contexte des game studies repose sur une connaissance partagée du terme qui est rarement interrogé par les chercheurs. Cet ouvrage propose de retracer l’émergence, la naturalisation et la généralisation de la notion de « caméra » dans le contexte des jeux vidéo. Pour ce faire, l’auteur propose de recomposer les variations conceptuelles du terme en reconstituant, par l’analyse qualitative, les différents cadrages sémantiques de cette notion tout en prêtant une attention particulière à son contexte d’utilisation et aux relations multiples qui lient les différents agents du champ culturel du jeu vidéo qui en ont fait usage (joueurs, créateurs, critiques, éditeurs, etc.). Faire l’histoire de la notion de « caméra » nécessite en amont de questionner la relation qu’entretiennent cinéma et jeu vidéo, et permet, en aval, d’envisager à nouveau frais les termes employés pour analyser les régimes de visibilité du jeu vidéo, mais aussi de porter un regard neuf sur les productions hollywoodiennes des dernières décennies qui mobilisent la grammaire vidéoludique, à l’image de Tron et de son remake ou du récent Ready Player One

La Caméra imaginaire : Jeux vidéo et modes de visualisation

Cet ouvrage propose, dans un premier temps, de cartographier l’émergence, la naturalisation et la généralisation de cette notion dans le contexte des jeux vidéo. Pour ce faire, Selim Krichane (Section d’histoire et esthétique du cinéma, l’un des fondateurs de l’UNIL Gamelab, groupe d’étude sur le jeu vidéo de l’Université de Lausanne) retrace les variations conceptuelles du terme en reconstituant ses différents cadrages sémantiques. Dans un deuxième temps, l’auteur élabore une grille d’analyse des modes de visualisation vidéoludiques fondée sur l’analyse historique des termes employés pour désigner les images du jeu vidéo (« caméra », « vue », « tableau », etc.). Finalement, c’est à travers ses diverses retombées sur l’activité ludique que la notion est envisagée, dans la mesure où la « caméra » fait de la vision de l’espace une mécanique de jeu en soi, bouleversant l’expérience du joueur autant que la teneur des univers fictionnels et des récits vidéoludiques