Anwendungsspezifische Adaption und Erweiterung von OLAP-Anwendungen auf Basis von MDX

Die Anforderungen an OLAP-Systeme (Online Analytical Processing) verschieben sich von z.B. wöchentlichen zu immer kürzeren Aktualisierungsintervallen bis hin zu Auswertungen, die den aktuellen Stand des operativen Systems darstellen. Zugleich vervielfachen sich die auszuwertenden Daten. Dabei werden Funktionalitäten der Frontends wie eine zentrale einfache Schnittstelle, die neben der vom Benutzer programmierbaren Datenanalyse auch Datenmanagementaufgaben wie Import/Export, Backup/Restore, Optimierung und Rechteverwaltung beherrscht, vorausgesetzt. Vor allem die Abarbeitungsgeschwindigkeit stellt dabei immer noch eine große Herausforderung dar. Am Markt sind zurzeit zwei Trends zu beobachten. Zum einen entwickeln Anbieter eigene In-Memory-OLAP-Datenbanken um ihre Anwendung zu beschleunigen. Zum anderen scheuen viele Anbieter den enormen Entwicklungsaufwand für eigene OLAP-Backends und setzen deshalb Datenbanken der etablierten Anbieter ein. Hier hat sich vor allem MDX als Quasi-Standard durchgesetzt. In diesem Paper werden wir ausgehend von den Anforderungen aktueller OLAP-Anwendungen, MDX (Multi-Dimensional Expressions) und seine Splashing-Möglichkeiten analysieren und notwendige Erweiterungen herausstellen

Operators for reclassification queries in a temporal multidimensional model

Data warehouse dimensions are usually considered to be static because their schema and data tend not to change; however, both dimension schema and dimension data can change. This paper focuses on a type of dimension data change called reclassificationwhich occurs when a member of a certain level becomes a member of a higher level in the same dimension, e.g. when a product changes category (it is reclassified). This type of change gives rise to the notion of classification period and to a type of query that can be useful for decision-support. For example, What were total chess-set sales during first classification period in Toy category? A set of operators has been proposed to facilitate formulating this type of query and it is shown how to incorporate them in SQL, a familiar database developer language. Our operators’ expressivity is also shown because formulating such queries without using these operators usually leads to complex and non-intuitive solutions.Usualmente las dimensiones de una bodega de datos son consideradas estáticas porque su esquema y datos tienden a no cambiar. Sin embargo, tanto el esquema como los datos de las dimensiones pueden cambiar. Este artículo se enfoca en un tipo de cambio dimensional denominado reclasificación, que ocurre cuando un miembro de un nivel cambia de miembro en un nivel superior de la dimensión, ejemplo, cuando un producto cambia de categoría (es reclasificado). Este tipo de cambios da lugar al concepto período de clasificación y a un tipo de consultas que pueden ser útiles para la toma de decisiones. Verbigracia, ¿cuál fue el total vendido del producto ajedrez durante su primer periodo de clasificación en la categoría juguete? Para facilitar el planteamiento de este tipo de consultas se propone un conjunto de operadores y se muestra como éstos se incorporan en SQL, un lenguaje familiar para los desarrolladores de bases de datos. También se demuestra la expresividad de los operadores propuestos, ya que la formulación de esas consultas sin usar estos operadores usualmente conduce a soluciones complejas y poco intuitivas

Vers une optimisation du processus d'analyse en ligne de données 3D : cas des fouilles archéologiques

L'archéologie est une discipline des sciences humaines dont l'objet d'étude est l'ensemble des vestiges matériels laissés par l'Homme (objets, bâtiments, infrastructures, paysages...). Une technique précise, la fouille, est employée afin de tirer toutes les informations possibles des sols et structures fouillés en tenant compte de la localisation exacte des objets découverts, de l'étude de la succession des différentes couches de terrain déblayé afin de pouvoir procéder à une datation stratigraphique. L'analyse d'une fouille archéologique demande souvent beaucoup d'efforts pour l'archéologue car, à ce jour, aucun système informatique n'a permis de clairement les aider dans l'analyse de leurs données. Ainsi, pour exploiter des données issues d'une fouille archéologique, nous avons identifié trois critères : la rapidité et la facilité d'utilisation, la possibilité de faire évoluer les données dans le système (les interprétations de l'archéologue suivant des heuristiques qui ne peuvent pas toujours être formalisées de façon absolue) et la visualisation tridimensionnelle. L'outil d'analyse en ligne de type SOLAP est optimisé pour une analyse interactive dite multidimensionnelle où les requêtes, même celles de types agrégatives sont simples et leurs réponses sont rapides. Reste donc à l'optimiser sur les deux autres critères retenus pour exploiter les données issues d'une fouille archéologique et qui marquent les principales faiblesses de l'outil : l'évolution des données pendant la phase d'analyse et l'intégration de la 3e dimension. Ce projet de maîtrise vise à apporter des nouveaux concepts permettant à un utilisateur de réviser ces données pendant sa phase d'analyse. Par la suite, un prototype appliqué à l'archéologie a été élaboré afin de vérifier simplement si les efforts pour réviser des données pouvaient être compatibles avec les efforts d'un outil d'analyse en ligne en conservant la fluidité d'exploration interactive. D'autre part, ce projet de maîtrise a permis d'étudier la faisabilité d'un SOLAP 3D et de soulever une interrogation sur la nécessité d'introduire la 3e dimension à un outil d'analyse en ligne

METADATA REPOSITORY MODEL FOR DATA WAREHOUSE SCHEMA EVOLUTION AND INTEGRATION WITH MASTER DATA MANAGEMENT SYSTEM

Skladište podataka (SP) se u današnje vrijeme nalazi u iznimno dinamičnom poslovnom okruženju. S jedne strane imamo brojne (heterogene) izvore podataka koji su podložni čestim promjenama podataka i strukture, dok s druge strane imamo brojne promjene u informacijskim zahtjevima koje postavljaju poslovni korisnici. Višedimenzionalna shema (VDS) u svakom trenutku mora moći usvojiti promjene iz izvora podataka te im se prilagoditi, kao i zadovoljiti korisničke zahtjeve za informacijama, što je iznimno složen zadatak. Problem koji se istražuje kod evolucije skladišta podataka jest pamćenje promjena opsega te strukture podataka i meta-podataka, u dužem vremenskom periodu. Akademska zajednica je do danas napravila određene korake prema rješavanju ovoga problema, no uvijek ima prostora za poboljšanje postojećih istraživanja, kao i za osmišljanje novih rješenja. Cilj ovog doktorskog istraživanja bio je razviti model repozitorija meta-podataka (MDV) koji se zasniva na Data Vault (DV) metodi za modeliranje baza podataka. Ovako definiran repozitorij meta-podataka služi za integraciju skladišta podataka (SP) i sustava za upravljanje matičnim podacima (UMP) te za praćenje i upravljanje promjenama u SP/UMP podacima i meta-podacima, kao i u njihovim shemama. Na ovaj način evolucija sheme skladišta podataka provodi se isključivo uz proširenje postojeće sheme i bez gubitka informacija. Također, složenost provedbe evolucije SP/UMP sheme je smanjena u odnosu na tradicionalne pristupe zasnovane na relacijskom modelu, a repozitorij zasnovan na MDV modelu služi kao proširenje tradicionalnog relacijskog sistemskog kataloga. U svrhu izgradnje praktičnog prototipa i testiranja predloženog rješenja razvijen je trajni i obuhvatni model repozitorija meta-podataka za integraciju i praćenje promjena shema SP i UMP, sistematiziran je formalni konačni skup osnovnih promjena nad shemom SP i UMP, definirana je formalna algebra za održavanje SP i UMP sheme te je razvijena arhitektura integriranog SP i UMP. Na kraju je razvijen i sam praktični prototip koji služi za empirijsku verifikaciju predloženog rješenja.Data Warehouse (DW) environment nowadays is an extremely dynamic one. On the one hand we have a number of (heterogeneous) data sources that are subject to frequent changes of data and structure, while on the other hand we have the frequent changes in the information requirements (set by business users). DW has an extremely complex task it must at all times be able to adapt to changes from data sources as well as to satisfy user's requests for information. This problem that we explore here is known and recognized in literature as a DW evolution problem tracking and storing the scope and structure changes of data and metadata for a very long time period. The academic community has taken some steps towards solving this problem but there is always some room for an improvement of the existing research, as well as for a development of new solutions. The goal of this doctoral thesis was to develop a metadata repository model (MDV) which is based on the Data Vault (DV) method for database modeling. Thus defined metadata repository model is used for integrating a data warehouse (DW) system and a master data management (MDM) system and for tracking and managing changes in the DW/MDM data and metadata, as well as in their schemas. In this way, a DW schema evolution is carried out only with the expansion of the existing schema and without loss of information. Also, the complexity of the DW schema evolution implementation is decreased compared to traditional approaches based on the relational model. Additionally, MDV repository serves as an extension of traditional relational database system catalog. In order to build a practical prototype and to test the proposed solution, a permanent and comprehensive metadata repository model for integration and tracking of DW/MDM data and schema changes was developed, a final set of fundamental changes over the DW/MDM schema was systematized, a formal algebra for DW/MDM schema maintenance was develped, an architecture of integrated DW/MDM was proposed, and a prototype of our dual DW/MDM solution was developed and empirically verifie