276 research outputs found
SemLinker: automating big data integration for casual users
A data integration approach combines data from different sources and builds a unified view for the users. Big data integration inherently is a complex task, and the existing approaches are either potentially limited or invariably rely on manual inputs and interposition from experts or skilled users. SemLinker, an ontology-based data integration system, is part of a metadata management framework for personal data lake (PDL), a personal store-everything architecture. PDL is for casual and unskilled users, therefore SemLinker adopts an automated data integration workflow to minimize manual input requirements. To support the flat architecture of a lake, SemLinker builds and maintains a schema metadata level without involving any physical transformation of data during integration, preserving the data in their native formats while, at the same time, allowing them to be queried and analyzed. Scalability, heterogeneity, and schema evolution are big data integration challenges that are addressed by SemLinker. Large and real-world datasets of substantial heterogeneities are used in evaluating SemLinker. The results demonstrate and confirm the integration efficiency and robustness of SemLinker, especially regarding its capability in the automatic handling of data heterogeneities and schema evolutions
Aspects of semantic ETL
Tesi en modalitat de cotutela: Universitat Politècnica de Catalunya i Aalborg UniversitetBusiness Intelligence tools support making better business decisions by analyzing available organizational data. Data Warehouses (DWs), typically structured with the Multidimensional (MD) model, are used to store data from different internal and external sources processed using Extract-Transformation-Load (ETL) processes. On-Line analytical Processing (OLAP) queries are applied on DWs to derive important business-critical knowledge. DW and OLAP technologies perform efficiently when they are applied on data that are static in nature and well organized in structure. Nowadays, Semantic Web technologies and the Linked Data principles inspire organizations to publish their semantic data, which allow machines to understand the meaning of data, using the Resource Description Framework (RDF) model. In addition to traditional (non-semantic) data sources, the incorporation of semantic data sources into a DW raises the additional challenges of schema derivation, semantic heterogeneity, and schema and data management model over traditional ETL tools. Furthermore, most SW data provided by business, academic and governmental organizations include facts and figures, which raise new requirements for BI tools to enable OLAP-like analyses over those semantic (RDF) data. In this thesis, we 1) propose a layer-based ETL framework for handling diverse semantic and non-semantic data sources by addressing the challenges mentioned above, 2) propose a set of high-level ETL constructs for processing semantic data, 3) implement appropriate environments (both programmable and GUI) to facilitate ETL processes and evaluate the proposed solutions. Our ETL framework is a semantic ETL framework because it integrates data semantically. We propose SETL, a unified framework for semantic ETL. The framework is divided into three layers: the Definition Layer, ETL Layer, and Data Warehouse Layer. In the Definition Layer, the semantic DW (SDW) schema, sources, and the mappings among the sources and the target are defined. In the ETL Layer, ETL processes to populate the SDW from sources are designed. The Data Warehouse Layer manages the storage of transformed semantic data. The framework supports the inclusion of semantic (RDF) data in DWs in addition to relational data. It allows users to define an ontology of a DW and annotate it with MD constructs (such as dimensions, cubes, levels, etc.) using the Data Cube for OLAP (QB4OLAP) vocabulary. It supports traditional transformation operations and provides a method to generate semantic data from the source data according to the semantics encoded in the ontology. It also provides a method to connect internal SDW data with external knowledge bases. On top of SETL, we propose SETLCONSTUCT where we define a set of high-level ETL tasks/operations to process semantic data sources. We divide the integration process into two layers: the Definition Layer and Execution Layer. The Definition Layer includes two tasks that allow DW designers to define target (SDW) schemas and the mappings between (intermediate) sources and the (intermediate) target. To create mappings among the sources and target constructs, we provide a mapping vocabulary called S2TMAP. Different from other ETL tools, we propose a new paradigm: we characterize the ETL flow transformations at the Definition Layer instead of independently within each ETL operation (in the Execution Layer). This way, the designer has an overall view of the process, which generates metadata (the mapping file) that the ETL operators will read and parametrize themselves with automatically. In the Execution Layer, we propose a set of high-level ETL operations to process semantic data sources. Finally, we develop a GUI-based semantic BI system SETLBI to define, process, integrate, and query semantic and non-semantic data. In addition to the Definition Layer and the ETL Layer, SETLBI has the OLAP Layer, which provides an interactive interface to enable OLAP analysis over the semantic DWLes eines d’Intel·ligència Empresarial (BI), conegudes en anglès com Business
Intelligence, donen suport a la millora de la presa de decisions empresarials
mitjançant l’anà lisi de les dades de l’organització disponibles. Els magatzems
de dades, o data warehouse, (DWs), tĂpicament estructurats seguint el model
Multidimensional (MD), s’utilitzen per emmagatzemar dades de diferents
fonts, tant internes com externes, processades mitjançant processos Extract-
Transformation-Load (ETL). Les consultes de processament analĂtic en lĂnia
(OLAP) s’apliquen als DW per extraure coneixement crĂtic en l’à mbit empresarial.
Els DW i les tecnologies OLAP funcionen de manera eficient quan
s’apliquen sobre dades de natura està tica i ben estructurades. Avui en dia,
les tecnologies de la Web SemĂ ntica (SW) i els principis Linked Data (LD) inspiren les organitzacions per publicar les seves dades en formats semĂ ntics,
que permeten que les mà quines entenguin el significat de les dades, mitjançant
el llenguatge de descripciĂł de recursos (RDF). Una de les raons per
les quals les dades semà ntiques han tingut tant d’èxit és que es poden gestionar i fer que estiguin disponibles per tercers amb poc esforç, i no depenen d’esquemes de dades sofisticats.
A més de les fonts de dades tradicionals (no semà ntiques), la incorporació
de fonts de dades semĂ ntiques en un DW planteja reptes addicionals
tals com derivar-hi esquema, l’heterogeneïtat semà ntica i la representació de
l’esquema i les dades a través d’eines d’ETL. A més, la majoria de dades SW
proporcionades per empreses, organitzacions acadèmiques o governamentals
inclouen fets i figures que representen nous reptes per les eines de BI per tal
d’habilitar l’anà lisi OLAP sobre dades semà ntiques (RDF). En aquesta tesi, 1)
proposem un marc ETL basat en capes per a la gestiĂł de diverses fonts de
dades semà ntiques i no semà ntiques i adreçant els reptes esmentats anteriorment, 2) proposem un conjunt d’operacions ETL per processar dades semà ntiques, i 3) la creació d’entorns apropiats de desenvolupament (programà tics i GUIs) per facilitar la creació i gestió de DW i processos ETL semà ntics, aixà com avaluar les solucions proposades. El nostre marc ETL és un marc ETL semà ntic perquè Es capaç de considerar e integrar dades de forma semà ntica.
Els segĂĽents parĂ grafs elaboren sobre aquests contribucions.
Proposem SETL, un marc unificat per a ETL semĂ ntic. El marc es divideix
en tres capes: la capa de definiciĂł, la capa ETL i la capa DW. A la
capa de definició, es defineixen l’esquema del DW semà ntic (SDW), les fonts
i els mappings entre les fonts i l’esquema del DW. A la capa ETL, es dissenyen
processos ETL per popular el SDW a partir de fonts. A la capa DW,
es gestiona l’emmagatzematge de les dades semà ntiques transformades. El
nostre marc dĂłna suport a la inclusiĂł de dades semĂ ntiques (RDF) en DWs,
a mĂ©s de dades relacionals. AixĂ, permet als usuaris definir una ontologia
d’un DW i anotar-la amb construccions MD (com ara dimensions, cubs, nivells,
etc.) utilitzant el vocabulari Data Cube for OLAP (QB4OLAP). També
admet operacions de transformació tradicionals i proporciona un mètode per
generar semà ntica de les dades d’origen segons la semà ntica codificada al
document ontologia. També proporciona un mètode per connectar l’SDW
amb bases de coneixement externes. Per tant, crea una base de coneixement,
composta per un ontologia i les seves instĂ ncies, on les dades estan
connectades semĂ nticament amb altres dades externes / internes. Per fer-ho,
desenvolupem un mètode programà tic, basat en Python, d’alt nivell, per
realitzar les tasques esmentades anteriorment. S’ha portat a terme un experiment
complet d’avaluació comparant SETL amb una solució elaborada amb
eines tradicional (que requereixen molta més codificació). Com a cas d’ús,
hem emprat el Danish Agricultural dataset, i els resultats mostren que SETL
proporciona un millor rendiment, millora la productivitat del programador i
la qualitat de la base de coneixement. La comparaciĂł entre SETL i Pentaho
Data Integration (PDI) mostra que SETL és un 13,5% més rà pid que PDI. A
més de ser més rà pid que PDI, tracta les dades semà ntiques com a ciutadans
de primera classe, mentre que PDI no contĂ© operadors especĂfics per a dades
semĂ ntiques.
A sobre de SETL, proposem SETLCONSTUCT on definim un conjunt de
tasques d’alt nivell / operacions ETL per processar fonts de dades semà ntiques
i orientades a encapsular i facilitar la creació de l’ETL semà ntic. Dividim
el procés d’integració en dues capes: la capa de definició i la capa
d’execució. La capa de definició inclou dues tasques que permeten definir
als dissenyadors de DW esquemes destà (SDW) i mappings entre fonts (o resultats intermedis) i l’SDW (potencialment, altres resultats intermedis). Per
crear mappings entre les fonts i el SDW, proporcionem un vocabulari de mapping anomenat Source-To-Target Mapping (S2TMAP). A diferència d’altres
eines ETL, proposem un nou paradigma: les transformacions del flux ETL es
caracteritzen a la capa de definiciĂł, i no de forma independent dins de cada
operació ETL (a la capa d’execució). Aquest nou paradigma permet al dissenyador tenir una visió global del procés, que genera metadades (el fitxer de mapping) que els operadors ETL individuals llegiran i es parametritzaran automà ticament.
A la capa d’execució proposem un conjunt d’operacions ETL d’alt nivell per processar fonts de dades semà ntiques. A més de la neteja, la unió i la transformació per dades semà ntiques, proposem operacions per generar semà ntica multidimensional i actualitzar el SDW per reflectir els canvis
en les fonts. A més, ampliem SETLCONSTRUCT per permetre la generació
automà tica de flux d’execució ETL (l’anomenem SETLAUTO). Finalment, proporcionem una à mplia avaluació per comparar la productivitat, el temps de
desenvolupament i el rendiment de SETLCONSTRUCT i SETLAUTO amb el marc anterior SETL. L’avaluació demostra que SETLCONSTRUCT millora considerablement sobre SETL en termes de productivitat, temps de desenvolupament i rendiment. L’avaluació mostra que 1) SETLCONSTRUCT utilitza un 92% menys de carà cters mecanografiats (NOTC) que SETL, i SETLAUTO redueix encara més el nombre de conceptes usats (NOUC) un altre 25%; 2) utilitzant SETLCONSTRUCT, el temps de desenvolupament es redueix gairebé a la meitat en comparació amb SETL, i es redueix un altre 27 % mitjançant SETLAUTO; 3) SETLCONSTRUCT es escalable i té un rendiment similar en comparació amb SETL.
Finalment, desenvolupem un sistema de BI semĂ ntic basat en GUI SETLBI
per definir, processar, integrar i consultar dades semĂ ntiques i no semĂ ntiques.
A mĂ©s de la capa de definiciĂł i de la capa ETL, SETLBI tĂ© una capa OLAP, que proporciona una interfĂcie interactiva per permetre l’anĂ lisi OLAP
d’autoservei sobre el DW semà ntic. Cada capa està composada per un conjunt
d’operacions / tasques. Per formalitzar les connexions intra i inter-capes
dels components de cada capa, emprem una ontologia. La capa ETL amplia
l’execució de la capa de SETLCONSTUCT afegint operacions per processar
fonts de dades no semà ntiques. Per últim, demostrem el sistema final mitjançant el cens de la població de Bangladesh (2011).
La solució final d’aquesta tesi és l’eina SETLBI . SETLBI facilita (1) als dissenyadors del DW amb pocs / sense coneixements de SW, integrar semà nticament les dades (semà ntiques o no) i analitzar-les emprant OLAP, i (2) als usuaris de la SW els permet definir vistes sobre dades semà ntiques, integrar-les amb fonts no semà ntiques, i visualitzar-les segons el model MD i fer anà lisi OLAP. A més, els usuaris SW poden enriquir l’esquema SDW generat amb construccions RDFS / OWL. Prenent aquest marc com a punt de partida, els investigadors poden emprar-lo per a crear SDWs de forma interactiva i automà tica. Aquest projecte crea un pont entre les tecnologies BI i SW, i obre la porta a altres oportunitats de recerca com desenvolupar tècniques de DW i ETL comprensibles per les mà quines.(Danskere) Business Intelligence (BI) værktøjer understøtter at tage bedre forretningsbeslutninger,
ved at analysere tilgængelige organisatoriske data. Data Warehouses
(DWs), typisk konstrueret med den Multidimensionelle (MD) model,
bruges til at lagre data fra forskellige interne og eksterne kilder, der behandles
ved hjælp af Extract-Transformation-Load (ETL) processer. On-Line
Analytical Processing (OLAP) forespørgsler anvendes på DWs for at udlede
vigtig forretningskritisk viden. DW og OLAP-teknologier fungerer effektivt,
nĂĄr de anvendes pĂĄ data, som er statiske af natur og velorganiseret i struktur.
I dag inspirerer Semantic Web (SW) teknologier og Linked Data (LD) principper
organisationer til at offentliggøre deres semantiske data, som tillader
maskiner at forstå betydningen af denne, ved hjælp af Resource Description
Framework (RDF) modellen. En af grundene til, at semantiske data er blevet
succesfuldt, er at styringen og udgivelsen af af dataene er nemt, og ikke er
afhængigt af et sofistikeret skema.
Ud over problemer ved overførslen af traditionelle (ikke-semantiske) databaser
til DWs, opstår yderligere udfordringer ved overførslen af semantiske
databaser, sĂĄsom skema nedarvning, semantisk heterogenitet samt skemaet
for data repræsentation over traditionelle ETL værktøjer. På den anden side
udgør en stor del af den semantiske data der bliver offentliggjort af virksomheder,
akademikere samt regeringer, af figurer og fakta, der igen giver
nye problemstillinger og krav til BI værktøjer, for at gøre OLAP lignende
analyser over de semantiske data mulige. I denne afhandling gør vi følgende:
1) foreslĂĄr et lag-baseret ETL framework til at hĂĄndterer multiple
semantiske og ikke-semantiske datakilder, ved at svare pĂĄ udfordringerne
nævnt herover, 2) foreslår en mængde af ETL operationer til at behandle
semantisk data, 3) implementerer passende miljøer (både programmerbare
samt grafiske brugergrænseflader), for at lette ETL processer og evaluere den
foreslåede løsning. Vores ETL framework er et semantisk ETL framework,
fordi det integrerer data semantisk. Den følgende sektion forklarer vores
bidrag.
Vi foreslĂĄr SETL, et samlet framework for semantisk ETL. Frameworket
er splittet i tre lag: et definitions-lag, et ETL-lag, og et DW-lag. Det semanvii
tiske DW (SWD) skema, datakilder, samt sammenhængen mellem datakilder
og deres mĂĄl, er defineret i definitions-laget. I ETL-laget designes ETLprocesser
til at udfylde SDW fra datakilderne. DW-laget administrerer lagring
af transformerede semantiske data. Frameworket understøtter inkluderingen
af semantiske (RDF) data i DWs ud over relationelle data. Det giver
brugerne mulighed for at definere en ontologi for et DW og annotere med
MD-konstruktioner (såsom dimensioner, kuber, niveauer osv.) ved hjælp af
Data Cube til OLAP (QB4OLAP) ordforrådet. Det understøtter traditionelle
transformations operationer, og giver en metode til at generere semantiske
data fra de oprindelige data, i henhold til semantikken indkodet i ontologien.
Det muliggør også en metode til at forbinde interne SDW data med
eksterne vidensbaser. Herved skaber det en vidensbase, der er sammensat af
en ontologi og dets instanser, hvor data er semantisk forbundet med andre
eksterne / interne data. Vi udvikler et høj niveau Python-baseret programmerbart
framework for at udføre de ovennævnte opgaver. En omfattende
eksperimentel evaluering, der sammenligner SETL med en traditionel løsning
(hvilket krævede meget manuel kodning), om brugen af danske landbrugsog
forretnings datasæt, viser at SETL præsterer bedre, programmør produktivitet
og vidensbase kvalitet. Sammenligningen mellem SETL og Pentaho
Data Integration (PDI) ved behandling af en semantisk kilde viser, at SETL
er 13,5% hurtigere end PDI.
Udover SETL, foreslår vi SETLCONSTRUCT hvor vi definerer et sæt ETLoperationer
på højt niveau til behandling af semantiske datakilder. Vi deler
integrationsprocessen i to lag: Definitions-lag og eksekverings-lag. Definitionslaget
indeholder to opgaver, der giver DW designere muligheden for at definere
(SDW) skemaer, og kortlægningerne mellem kilder og målet. For
at oprette kortlægning mellem kilderne og målene, leverer vi et kortlægnings
ordforrĂĄd kaldet Source-to-Target Mapping (S2TMAP). Forskelligt fra
andre ETL-værktøjer foreslår vi et nyt paradigme: vi karakteriserer ETLflowtransformationerne
i definitions-laget i stedet for uafhængigt inden for
hver ETL-operation (i eksekverings-laget). PĂĄ denne mĂĄde har designeren
et overblik over processen, som genererer metadata (kortlægningsfilen), som
ETL operatørerne vil læse og parametrisere automatisk. I eksekverings-laget
foreslår vi en mængde høj niveau ETL-operationer til at behandle semantiske
datakilder. Udover rensning, sammenføjning og datatypebaseret transformationer
af semantiske data, foreslĂĄr vi operationer til at generere multidimensionel
semantik pĂĄ data-niveau og operationer til at opdatere et SDW for
at afspejle ændringer i kilde-dataen. Derudover udvider vi SETLCONSTRUCT
for at muliggøre automatisk ETL-eksekveringsstrømgenerering (vi kalder det
SETLAUTO). Endelig leverer vi en omfattende evaluering for at sammenligne
produktivitet, udviklingstid og ydeevne for scon og SETLAUTO med
den tidligere ramme SETL. Evalueringen viser, at SETLCONSTRUCT forbedres
markant i forhold til SETL med hensyn til produktivitet, udviklingstid og ydeevne. Evalueringen viser, at 1) SETLCONSTRUCT bruger 92% færre antal
indtastede tegn (NOTC) end SETL, og SETLAUTO reducerer antallet af brugte
begreber (NOUC) yderligere med 25%; 2) ved at bruge SETLCONSTRUCT, er
udviklingstiden næsten halveret sammenlignet med SETL, og skæres med
yderligere 27% ved hjælp af SETLAUTO; 3) SETLCONSTRUCT er skalerbar og
har lignende ydelse sammenlignet med SETL.
Til slut udvikler vi et GUI-baseret semantisk BI system SETLBI for at
definere, processere, integrere og lave forespørgsler på semantiske og ikkesemantiske
data. Ud over definitions-laget og ETL-laget, har SETLBI et
OLAP-lag, som giver en interaktiv grænseflade for at muliggøre selvbetjenings
OLAP analyser over det semantiske DW. Hvert lag er sammensat af en
mængde operationer/opgaver. Vi udarbejder en ontologi til at formalisere
intra-og ekstra-lags forbindelserne mellem komponenterne og lagene. ETLlaget
udvider eksekverings-laget af SETLCONSTUCT ved at tilføje operationer
til at behandle ikke-semantiske datakilder. Vi demonstrerer systemet ved
hjælp af Bangladesh population census 2011 datasættet.
Sammenfatningen af denne afhandling er BI-værktøjet SETLBI . SETLBI
fremmer (1) DW-designere med ringe / ingen SW-viden til semantisk at integrere
semantiske og / eller ikke-semantiske data og analysere det i OLAP
stil, og (2) SW brugere med grundlæggende MD-baggrund til at definere MDvisninger
over semantiske data, der aktiverer OLAP-lignende analyse. Derudover
kan SW-brugere berige det genererede SDW-skema med RDFS / OWLkonstruktioner.
Med udgangspunkt i frameworket som et grundlag kan
forskere sigte mod at udvikle yderligere interaktive og automatiske integrationsrammer
for SDW. Dette projekt bygger bro mellem de traditionelle BIteknologier
og SW-teknologier, som igen vil åbne døren for yderligere forskningsmuligheder
som at udvikle maskinforstĂĄelige ETL og lagerteknikker.Postprint (published version
Recommended from our members
Finding Data Should be Easier than Finding Oil
The competitiveness of modern enterprises heavily depends on their ability to make the right business decisions by relying on efficient and timely analysis of the right business critical data. In large and data intensive companies such as Equinor, a Norwegian multinational oil and gas company with more than 20,000 employees, gathering such data is not a trivial task due to the growing size and complexity of corporate information sources. As a result, the data gathering task is often the most time-consuming part of the decision making process, in particular when it comes to the work processes of Equinor's exploration geologists that should find in a timely manner new exploitable accumulations of oil or gas in given areas by analysing data about these areas. In this work we present our experience in addressing this data challenge tast at Equinor. We have developed and deployed at Equinor a semantic data access system that relies on the Ontology Based Data Access (OBDA) approach. Our system is based on our solid theoretical contributions and has been extensively evaluated at Equinor
Symbiosis in computational vision systems
AbstractWhile the goal of computational vision systems is the totally automated understanding of images, it is not necessary for this goal to be achieved before practical vision systems can be developed. In particular, systems that require some amount of human intervention can be applied to real problems with beneficial results. In “symbiotic” vision systems the computer brings something to bear on the problem that either replaces or supplements a subtask that would otherwise be done by a human expert.In symbiotic systems there is a large range of possibilities for the type and amount of interaction that the human expert must provide. This can range from minor aid to the computer system, when it reaches an ambiguity that it cannot resolve, to major control of the processing in complicated regions of the image that are of primary interest. Symbiotic vision systems must allow the user to access the system at the point in the range that is suitable. In addition, the system must have facilities to both present information and accept “advice” from the expert in a way that is natural and convenient.Two example vision systems will illustrate different ways in which these problems have been solved. The first, MISSEE, uses a cycle of perception combined with a schema-based system architecture to provide a flexible framework in which the user can select the amount of interaction he wishes to undertake. The second, which carries out the normal moveout phase of seismic data processing, has a more limited focus, but provides a natural means of communication
Metadata-driven data integration
Cotutela: Universitat Politècnica de Catalunya i Université Libre de Bruxelles, IT4BI-DC programme for the joint Ph.D. degree in computer science.Data has an undoubtable impact on society. Storing and processing large amounts of available data is currently one of the key success factors for an organization. Nonetheless, we are recently witnessing a change represented by huge and heterogeneous amounts of data. Indeed, 90% of the data in the world has been generated in the last two years. Thus, in order to carry on these data exploitation tasks, organizations must first perform data integration combining data from multiple sources to yield a unified view over them. Yet, the integration of massive and heterogeneous amounts of data requires revisiting the traditional integration assumptions to cope with the new requirements posed by such data-intensive settings.
This PhD thesis aims to provide a novel framework for data integration in the context of data-intensive ecosystems, which entails dealing with vast amounts of heterogeneous data, from multiple sources and in their original format. To this end, we advocate for an integration process consisting of sequential activities governed by a semantic layer, implemented via a shared repository of metadata. From an stewardship perspective, this activities are the deployment of a data integration architecture, followed by the population of such shared metadata. From a data consumption perspective, the activities are virtual and materialized data integration, the former an exploratory task and the latter a consolidation one. Following the proposed framework, we focus on providing contributions to each of the four activities.
We begin proposing a software reference architecture for semantic-aware data-intensive systems. Such architecture serves as a blueprint to deploy a stack of systems, its core being the metadata repository. Next, we propose a graph-based metadata model as formalism for metadata management. We focus on supporting schema and data source evolution, a predominant factor on the heterogeneous sources at hand. For virtual integration, we propose query rewriting algorithms that rely on the previously proposed metadata model. We additionally consider semantic heterogeneities in the data sources, which the proposed algorithms are capable of automatically resolving. Finally, the thesis focuses on the materialized integration activity, and to this end, proposes a method to select intermediate results to materialize in data-intensive flows. Overall, the results of this thesis serve as contribution to the field of data integration in contemporary data-intensive ecosystems.Les dades tenen un impacte indubtable en la societat. La capacitat d’emmagatzemar i processar grans quantitats de dades disponibles és avui en dia un dels factors claus per l’èxit d’una organització. No obstant, avui en dia estem presenciant un canvi representat per grans volums de dades heterogenis. En efecte, el 90% de les dades mundials han sigut generades en els últims dos anys. Per tal de dur a terme aquestes tasques d’explotació de dades, les organitzacions primer han de realitzar una integració de les dades, combinantles a partir de diferents fonts amb l’objectiu de tenir-ne una vista unificada d’elles. Per això, aquest fet requereix reconsiderar les assumpcions tradicionals en integració amb l’objectiu de lidiar amb els requisits imposats per aquests sistemes de tractament massiu de dades.
Aquesta tesi doctoral té com a objectiu proporcional un nou marc de treball per a la integració de dades en el context de sistemes de tractament massiu de dades, el qual implica lidiar amb una gran quantitat de dades heterogènies, provinents de múltiples fonts i en el seu format original. Per això, proposem un procés d’integració compost d’una seqüència d’activitats governades per una capa semà ntica, la qual és implementada a partir d’un repositori de metadades compartides. Des d’una perspectiva d’administració, aquestes activitats són el desplegament d’una arquitectura d’integració de dades, seguit per la inserció d’aquestes metadades compartides. Des d’una perspectiva de consum de dades, les activitats són la integració virtual i materialització de les dades, la primera sent una tasca exploratòria i la segona una de consolidació.
Seguint el marc de treball proposat, ens centrem en proporcionar contribucions a cada una de les quatre activitats. La tesi inicia proposant una arquitectura de referència de software per a sistemes de tractament massiu de dades amb coneixement semà ntic. Aquesta arquitectura serveix com a planell per a desplegar un conjunt de sistemes, sent el repositori de metadades al seu nucli.
Posteriorment, proposem un model basat en grafs per a la gestió de metadades. Concretament, ens centrem en donar suport a l’evolució d’esquemes i fonts de dades, un dels factors predominants en les fonts de dades heterogènies considerades. Per a l’integració virtual, proposem algorismes de rescriptura de consultes que usen el model de metadades previament proposat. Com a afegitó, considerem heterogeneïtat semà ntica en les fonts de dades, les quals els algorismes de rescriptura poden resoldre automà ticament. Finalment, la tesi es centra en l’activitat d’integració materialitzada. Per això proposa un mètode per a seleccionar els resultats intermedis a materialitzar un fluxes
de tractament intensiu de dades. En general, els resultats d’aquesta tesi serveixen com a contribució al camp d’integració de dades en els ecosistemes de tractament massiu de dades contemporanisLes données ont un impact indéniable sur la société. Le stockage et le traitement de grandes quantités de données disponibles constituent actuellement l’un des facteurs clés de succès d’une entreprise. Néanmoins, nous assistons récemment à un changement représenté par des quantités de données massives et hétérogènes. En effet, 90% des données dans le monde ont été générées au cours des deux dernières années. Ainsi, pour mener à bien ces tâches d’exploitation des données, les organisations doivent d’abord réaliser une intégration des données en combinant des données provenant de sources multiples pour obtenir une vue unifiée de ces dernières. Cependant, l’intégration
de quantités de données massives et hétérogènes nécessite de revoir les hypothèses d’intégration traditionnelles afin de faire face aux nouvelles exigences posées par les systèmes de gestion de données massives.
Cette thèse de doctorat a pour objectif de fournir un nouveau cadre pour l’intégration de données dans le contexte d’écosystèmes à forte intensité de données, ce qui implique de traiter de grandes quantités de données hétérogènes, provenant de sources multiples et dans leur format d’origine. À cette fin, nous préconisons un processus d’intégration constitué d’activités séquentielles régies par une couche sémantique, mise en oeuvre via un dépôt partagé de métadonnées. Du point de vue de la gestion, ces activités consistent à déployer une architecture d’intégration de données, suivies de la population de métadonnées partagées. Du point de vue de la consommation de données, les activités sont l’intégration de données virtuelle et matérialisée, la première étant une tâche exploratoire et la seconde, une tâche de consolidation.
Conformément au cadre proposé, nous nous attachons à fournir des contributions à chacune des quatre activités. Nous commençons par proposer une architecture logicielle de référence pour les systèmes de gestion de données massives et à connaissance sémantique. Une telle architecture
consiste en un schéma directeur pour le déploiement d’une pile de systèmes, le dépôt de métadonnées étant son composant principal. Ensuite, nous proposons un modèle de métadonnées basé sur des graphes comme formalisme pour la gestion des métadonnées. Nous mettons l’accent sur la prise en charge de l’évolution des schémas et des sources de données, facteur prédominant des sources hétérogènes sous-jacentes. Pour l’intégration virtuelle, nous proposons des algorithmes de réécriture de requêtes qui s’appuient sur le modèle de métadonnées proposé précédemment. Nous considérons en outre les hétérogénéités sémantiques dans les sources de données, que les
algorithmes proposés sont capables de résoudre automatiquement. Enfin, la thèse se concentre sur l’activité d’intégration matérialisée et propose à cette fin une méthode de sélection de résultats intermédiaires à matérialiser dans des flux des données massives. Dans l’ensemble, les résultats de cette thèse constituent une contribution au domaine de l’intégration des données dans les écosystèmes contemporains de gestion de données massivesPostprint (published version
i3MAGE: Incremental, Interactive, Inter-Model Mapping Generation
Data integration is a highly important prerequisite for most enterprise data analyses. While hard in general, a particular concern is about human effort for designing a global integration schema, authoring queries against that schema, and creating mappings to connect data sources with the global schema.
Ontology-based data integration (OBDI), which employs ontologies as a target model, reduces the effort for schema design and usage. On the other side, it requires mappings that are particularly difficult to create. Architects who work with OBDI hence need systems to support the process of mapping development. One key type of tooling to support mapping development is automatic or semi-automatic generation of mapping suggestions. While many such tools exist in the wider sphere of data integration, few are built to work in the case of OBDI, where the inter-model gap between relational input schemata and a target ontology has to be bridged. Among those that support OBDI at all, none so far are fully optimized for this specific case by performing a truly inter-model matching while also leveraging distinct but corresponding aspects of both models.
We propose i3MAGE, an approach and a system for automatic and semi-automatic generation of mappings in OBDI. The system is built on generic inter-model matching, and it is optimized in various ways for matching relational source schemata to target ontology schemata. To be truly semi-automatic in every respect, i3MAGE works both incrementally, building mappings pay-as-you-go, and interactively in exchange with a human user. We introduce a specialized benchmark and evaluate i3MAGE against a number of other approaches. In addition, we provide examples, where i3MAGE can be deployed in holistic data integration environments
Dimensional enrichment of statistical linked open data
On-Line Analytical Processing (OLAP) is a data analysis technique typically used for local and well-prepared data. However, initiatives like Open Data and Open Government bring new and publicly available data on the web that are to be analyzed in the same way. The use of semantic web technologies for this context is especially encouraged by the Linked Data initiative. There is already a considerable amount of statistical linked open data sets published using the RDF Data Cube Vocabulary (QB) which is designed for these purposes. However, QB lacks some essential schema constructs (e.g., dimension levels) to support OLAP. Thus, the QB4OLAP vocabulary has been proposed to extend QB with the necessary constructs and be fully compliant with OLAP. In this paper, we focus on the enrichment of an existing QB data set with QB4OLAP semantics. We first thoroughly compare the two vocabularies and outline the benefits of QB4OLAP. Then, we propose a series of steps to automate the enrichment of QB data sets with specific QB4OLAP semantics; being the most important, the definition of aggregate functions and the detection of new concepts in the dimension hierarchy construction. The proposed steps are defined to form a semi-automatic enrichment method, which is implemented in a tool that enables the enrichment in an interactive and iterative fashion. The user can enrich the QB data set with QB4OLAP concepts (e.g., full-fledged dimension hierarchies) by choosing among the candidate concepts automatically discovered with the steps proposed. Finally, we conduct experiments with 25 users and use three real-world QB data sets to evaluate our approach. The evaluation demonstrates the feasibility of our approach and shows that, in practice, our tool facilitates, speeds up, and guarantees the correct results of the enrichment process.Peer ReviewedPostprint (author's final draft
- …