Naive Evaluation of Queries over Incomplete Databases

International audienceThe term naive evaluation refers to evaluating queries over incomplete databases as if nulls were usual data values, i.e., to using the standard database query evaluation engine. Since the semantics of query answering over incomplete databases is that of certain answers, we would like to know when naive evaluation computes them: i.e., when certain answers can be found without inventing new specialized algorithms. For relational databases it is well known that unions of conjunctive queries possess this desirable property, and results on preservation of formulae under homomorphisms tell us that within relational calculus, this class cannot be extended under the open-world assumption. Our goal here is twofold. First, we develop a general framework that allows us to determine, for a given semantics of incompleteness, classes of queries for which naive evaluation computes certain answers. Second, we apply this approach to a variety of semantics, showing that for many classes of queries beyond unions of conjunctive queries, naive evaluation makes perfect sense under assumptions different from open-world. Our key observations are: (1) naive evaluation is equivalent to monotonicity of queries with respect to a semantics-induced ordering, and (2) for most reasonable semantics of incompleteness, such monotonicity is captured by preservation under various types of homomorphisms. Using these results we find classes of queries for which naive evaluation works, e.g., positive first-order formulae for the closed-world semantics. Even more, we introduce a general relation-based framework for defining semantics of incompleteness, show how it can be used to capture many known semantics and to introduce new ones, and describe classes of first-order queries for which naive evaluation works under such semantics

Representing and Querying Incomplete Information: a Data Interoperability Perspective

This habilitation thesis presents some of my most recent work, which has been done in collaboration with several other people. In particular this thesis concentrates on our contributions to the study of incomplete information in the context of data interoperability. In this scenario data is heterogenous and decentralized, needs to be integrated from several sources and exchanged between different applications. Incompleteness, i.e. the presence of “missing” or “unknown” portions of data, is naturally generated in data exchange and integration, due to data heterogeneity. The management of incomplete information poses new challenges in this context.The focus of our study is the development of models of incomplete information suitable to data interoperability tasks, and the study of techniques for efficiently querying several forms of incompleteness

Preservation Theorems Through the Lens of Topology

In this paper, we introduce a family of topological spaces that captures the existence of preservation theorems. The structure of those spaces allows us to study the relativisation of preservation theorems under suitable definitions of surjective morphisms, subclasses, sums, products, topological closures, and projective limits. Throughout the paper, we also integrate already known results into this new framework and show how it captures the essence of their proofs

Grundlagen der Anfrageverarbeitung beim relationalen Datenaustausch

Relational data exchange deals with translating relational data according to a given specification. This problem is one of the many tasks that arise in data integration, for example, in data restructuring, in ETL (Extract-Transform-Load) processes used for updating data warehouses, or in data exchange between different, possibly independently created, applications. Systems for relational data exchange exist for several decades now. Motivated by their experiences with one of those systems, Fagin, Kolaitis, Miller, and Popa (2003) studied fundamental and algorithmic issues arising in relational data exchange. One of these issues is how to answer queries that are posed against the target schema (i.e., against the result of the data exchange) so that the answers are consistent with the source data. For monotonic queries, the certain answers semantics proposed by Fagin, Kolaitis, Miller, and Popa (2003) is appropriate. For many non-monotonic queries, however, the certain answers semantics was shown to yield counter-intuitive results. This thesis deals with computing the certain answers for monotonic queries on the one hand, and on the other hand, it deals with the issue of which semantics are appropriate for answering non-monotonic queries, and how hard it is to evaluate non-monotonic queries under these semantics. As shown by Fagin, Kolaitis, Miller, and Popa (2003), computing the certain answers for unions of conjunctive queries - a subclass of the monotonic queries - basically reduces to computing universal solutions, provided the data transformation is specified by a set of tgds (tuple-generating dependencies) and egds (equality-generating dependencies). If M is such a specification and S is a source database, then T is called a solution for S under M if T is a possible result of translating S according to M. Intuitively, universal solutions are most general solutions. Since the above-mentioned work by Fagin, Kolaitis, Miller, and Popa it was unknown whether it is decidable if a source database has a universal solution under a given data exchange specification. In this thesis, we show that this problem is undecidable. More precisely, we construct a specification M that consists of tgds only so that it is undecidable whether a given source database has a universal solution under M. From the proof it also follows that it is undecidable whether the chase procedure - by which universal models can be obtained - terminates on a given source database and the set of tgds in M. The above results in particular strengthen results of Deutsch, Nash, and Remmel (2008). Concerning the issue of which semantics are appropriate for answering non-monotonic queries, we study several semantics for answering such queries. All of these semantics are based on the closed world assumption (CWA). First, the CWA-semantics of Libkin (2006) are extended so that they can be applied to specifications consisting of tgds and egds. The key is to extend the concept of CWA-solution, on which the CWA-semantics are based. CWA-solutions are characterized as universal solutions that are derivable from the source database using a suitably controlled version of the chase procedure. In particular, if CWA-solutions exist, then there is a minimal CWA-solution that is unique up to isomorphism: the core of the universal solutions introduced by Fagin, Kolaitis, and Popa (2003). We show that evaluation of a query under some of the CWA-semantics reduces to computing the certain answers to the query on the minimal CWA-solution. The CWA-semantics resolve some the known problems with answering non-monotonic queries. There are, however, two natural properties that are not possessed by the CWA-semantics. On the one hand, queries may be answered differently with respect to data exchange specifications that are logically equivalent. On the other hand, there are queries whose answer under the CWA-semantics intuitively contradicts the information derivable from the source database and the data exchange specification. To find an alternative semantics, we first test several CWA-based semantics from the area of deductive databases for their suitability regarding non-monotonic query answering in relational data exchange. More precisely, we focus on the CWA-semantics by Reiter (1978), the GCWA-semantics (Minker 1982), the EGCWA-semantics (Yahya, Henschen 1985) and the PWS-semantics (Chan 1993). It turns out that these semantics are either too weak or too strong, or do not possess the desired properties. Finally, based on the GCWA-semantics we develop the GCWA*-semantics which intuitively possesses the desired properties. For monotonic queries, some of the CWA-semantics as well as the GCWA*-semantics coincide with the certain answers semantics, that is, results obtained for the certain answers semantics carry over to those semantics. When studying the complexity of evaluating non-monotonic queries under the above-mentioned semantics, we focus on the data complexity, that is, the complexity when the data exchange specification and the query are fixed. We show that in many cases, evaluating non-monotonic queries is hard: co-NP- or NP-complete, or even undecidable. For example, evaluating conjunctive queries with at least one negative literal under simple specifications may be co-NP-hard. Notice, however, that this result only says that there is such a query and such a specification for which the problem is hard, but not that the problem is hard for all such queries and specifications. On the other hand, we identify a broad class of queries - the class of universal queries - which can be evaluated in polynomial time under the GCWA*-semantics, provided the data exchange specification is suitably restricted. More precisely, we show that universal queries can be evaluated on the core of the universal solutions, independent of the source database and the specification.Beim relationalen Datenaustausch geht es um die Transformation relationaler Daten gemäß einer vorgegebenen Spezifikation. Dieses Problem ist eines der vielen Probleme, die bei der Informationsintegration anfallen, und unterliegt Anwendungen wie der Datenrestrukturierung, dem Austausch von Daten zwischen unabhängig voneinander entwickelten Anwendungen und der Aktualisierung von Datenwarenhäusern mittels ETL. Systeme für den relationalen Datenaustausch existieren bereits seit einiger Zeit. Motiviert durch die Erfahrungen mit solch einem System haben sich Fagin, Kolaitis, Miller und Popa (2003) genauer mit grundlegenden und algorithmischen Fragestellungen zum relationalen Datenaustausch auseinandergesetzt. Eine dieser Fragestellungen ist, wie Anfragen über dem Zielschema (d.h. Anfragen an das Resultat des Datenaustauschs) beantwortet werden können, so dass die Antworten semantisch konsistent mit den Eingabedaten sind. Für monotone Anfragen ist die von Fagin, Kolaitis, Miller und Popa (2003) vorgestellte Sichere Antworten-Semantik gut geeignet. Für viele nicht-monotone Anfragen liefert sie jedoch unnatürliche Antworten. Die vorliegende Dissertation beschäftigt sich zum Einen mit der Berechnung der sicheren Antworten für monotone Anfragen und zum Anderen mit der Problematik, was geeignete Semantiken für nicht-monotone Anfragen sind und wie schwer es ist, nicht-monotone Anfragen unter diesen Semantiken auszuwerten. Die Berechnung der sicheren Antworten für Vereinigungen konjunktiver Anfragen - einer Teilklasse der monotonen Anfragen - reduziert sich nach Fagin, Kolaitis, Miller und Popa (2003) im Wesentlichen auf die Berechnung universeller Lösungen, wenn die Datentransformation durch eine Menge so genannter tgds (engl. tuple-generating dependencies) und egds (engl. equality-generating dependencies) spezifiziert wurde. Wenn M solch eine Spezifikation und S eine Quelldatenbank ist, so nennt man T eine Lösung für S unter M, wenn T ein mögliches Resultat der Transformation von S bezüglich M ist. Universelle Lösungen sind intuitiv allgemeinste Lösungen. Seit der oben genannten Arbeit von Fagin, Kolaitis, Miller und Popa war unbekannt, ob die Existenz universeller Lösungen für eine gegebene Quelldatenbank entscheidbar ist. In der vorliegenden Dissertation wird gezeigt, dass dieses Problem unentscheidbar ist. Genauer wird gezeigt, dass es bereits eine feste Spezifikation M mittels tgds gibt, so dass unentscheidbar ist, ob eine gegebene Quelldatenbank unter M eine universelle Lösung besitzt. Nebenbei folgt aus dem Beweis, dass das Problem, ob die zur Berechnung universeller Lösungen eingesetzte Chase-Prozedur für die Menge der tgds in M bei gegebener Quelldatenbank terminiert, unentscheidbar ist. Die oben genannten Resultate verstärken insbesondere Ergebnisse von Deutsch, Nash und Remmel (2008). Zu der Frage, was geeignete Semantiken für nicht-monotone Anfragen sind, werden verschiedene Semantiken für nicht-monotone Anfragen untersucht. All diese Semantiken basieren auf der so genannten Closed World Assumption (CWA). Zunächst werden die von Libkin (2006) eingeführten CWA-Semantiken so erweitert, dass diese auf Spezifikationen durch tgds und egds anwendbar sind. Der Schlüssel dazu ist die Erweiterung des Konzeptes der CWA-Lösungen, auf dem die CWA-Semantiken basieren. CWA-Lösungen werden als universelle Lösungen charakterisiert, die durch eine spezielle Variante der Chase-Prozedur aus einer Quelldatenbank abgeleitet werden können. Insbesondere gibt es eine bis auf Isomorphie eindeutige minimale CWA-Lösung (falls mindestens eine CWA-Lösung existiert): den von Fagin, Kolaitis und Popa (2003) eingeführten Kern der universellen Lösungen. Die Auswertung von Anfragen unter einigen der CWA-Semantiken lassen sich auf die Berechnung der sicheren Antworten der Anfrage auf einer solchen minimalen CWA-Lösung reduzieren. Die CWA-Semantik beseitigt einige der bekannten Probleme bei der Beantwortung nicht-monotoner Anfragen. Es gibt jedoch zwei natürliche Eigenschaften, die die CWA-Semantiken nicht besitzen. Zum Einen werden Anfragen unter logisch äquivalenten Spezifikationen nicht notwendigerweise gleich beantwortet. Des Weiteren gibt es Anfragen, deren Antwort unter den CWA-Semantiken intuitiv den aus der Quelldatenbank und der Spezifikation ableitbaren Information widerspricht. Um eine alternative Semantik zu finden, werden zuerst verschiedene CWA-basierte Semantiken aus dem Bereich der deduktiven Datenbanken betrachtet und auf ihre Tauglichkeit zur Beantwortung nicht-monotoner Anfragen im relationalen Datenaustausch untersucht. Genauer konzentrieren wir uns hier auf die CWA-Semantik von Reiter (1978), die GCWA-Semantik (Minker 1982), die EGCWA-Semantik (Yahya, Henschen 1985) und die PWS-Semantik (Chan 1993). Es stellt sich heraus, dass diese Semantiken zu stark oder zu schwach sind bzw. nicht die erforderlichen Eigenschaften aufweisen. Schließlich wird basierend auf der GCWA-Semantik die GCWA*-Semantik entwickelt, die intuitiv die gewünschten Eigenschaften besitzt. Für monotone Anfragen stimmen einige der CWA-Semantiken sowie die GCWA*-Semantik mit der Sicheren Antworten-Semantik überein, d.h. Resultate für die Sichere Antworten-Semantik gehen auf diese Semantiken über. Bei der Frage, wie schwer es ist, nicht-monotone Anfragen unter den oben angesprochenen Semantiken auszuwerten, konzentrieren wir uns auf die Datenkomplexität, d.h. die Komplexität bei fester Spezifikation und Anfrage. Wir zeigen, dass die Auswertung nicht-monotoner Anfragen in vielen Fällen sehr schwierig ist: co-NP- bzw. NP-schwer bzw. sogar unentscheidbar in der Datenkomplexität. So kann z.B. die Auswertung konjunktiver Anfragen mit nur einem zusätzlichen negativen Literal unter bereits sehr einfachen Spezifikationen co-NP-hart sein. Man beachte, dass dieses Resultat besagt, dass es eine schwierige Anfrage und eine schwierige Spezifikation gibt, jedoch nicht, dass alle solchen Anfragen und Spezifikationen schwer sind. Auf der anderen Seite identifizieren wir eine größere Klasse von Anfragen - die so genannten universellen Anfragen -, die sich unter der GCWA*-Semantik in Polynomialzeit auswerten lassen, wenn die Spezifikation der Datentransformation genügend eingeschränkt ist. Präziser wird gezeigt, dass universelle Anfragen unabhängig von der (genügend eingeschränkten) Spezifikation und der Quelldatenbank auf dem Kern der universellen Lösungen in Polynomialzeit auswertet werden können, auf dem auch eine Vielzahl anderer Anfragen ausgewertet werden können