Proceedings of the Fifth European Workshop on Probabilistic Graphical Models

Peer reviewe

LITERATURE REVIEW OF CAUSAL INFERENCE WITH THE USE OF STRUCTURAL CAUSAL MODELS (SCM)

Σκοπός αυτής της διπλωματικής είναι η μοντελοποίηση της αιτιώδους συμπερασματολογίας, καθώς και η μελέτη της σε εμπειρικά δεδομένα. Στην στατιστική, όταν βρίσκουμε δυο μεταβλητές εξαρτημένες δεν συνεπάγεται ότι η εξάρτηση αυτή είναι αιτιακή, δηλαδή ότι η μια είναι η αιτία και η άλλη το αποτέλεσμα. Δηλαδή, για την μοντελοποίηση της αιτιώδους συμπερασματολογίας εκτός απο μέτρα συσχέτισης χρειαζόμαστε και μέτρα που να δείχνουν την κατεύθυνση της πληροφορίας. Για αυτό τον σκοπό χρησιμοποιούμε τους κατευθυνόμενουν άκυκλους γράφους (ΚΑΓ). Στα πρώτα τρία κεφάλαια, γίνεται μελέτη των ΚΑΓ ως προς την ικανότητα τους να αποθηκεύουν πληροφορία που σχετίζεται με την εξάρτηση και ανεξαρτησία τυχαίων μεταβητών. Επίσης, διατυπόνονται και δύο βασικές υποθέσεις 1) η Μαρκοβιανή και 2) η πιστότητα που παίζουν καθοριστικό ρόλο σε αυτη την διαδικασία. Στην συνέχεια, στο τέταρτο κεφάλαιο παρουσιάζονται τα Αιτιώδη Δομικα Μοντέλα (ΑΔΜ), τα οποία είναι ο τρόπος που χρησιμοποιήσαμε στην διπλωματική αυτή για την μοντελοποίηση την αιτιακής συμπερασματολογίας. Τα ΑΔΜ εχουν την ικανότητα να μοντελοποιούν κατανομές πιθανότητας αλλα και συμβατους γράφους με την κατανομή την ίδια στιγμή. ’Οπως η κατανομές στην στατιστική θεωρούμε οτι δημιουργούν τα δεδόμενα, έτσι και τα ΑΔΜ στην αιτιώδη συμπερασματολογία εχουν τον ίδιο ρόλο με την διαφορά οτι παρέχουν περισσότερες πληροφοριές. Ο λόγος όμως που τα κάνει ιδιαίτερα προσιτό μέσο για την μελέτη της αιτιώδους συμπερασματολογίας είναι οτι έχουν την δυνατότητα να μοντελοποιούν και κατανομές που προκύπτουν απο τυχαιοποιη- μένες δοκιμές ή αλλιώς κατανομές που προέκυψαν μετά απο επέμβαση στο σύστημα. Ένας τρόπος για να εξαταστεί αν μια μεταβλητή εχει αιτιώδη επίδραση σε μια άλλη είναι, κρατώντας όλες τις παραμέτρους του συστήματος σταθερές, να μεταβάλεις μόνο την ζητούμενη και να δείς τις αλλαγές που επιφέρει αυτή στο σύστημα. Αυτο όμως ειναι αρκετά δύσκολο να γίνει στην πραγματικότητα. Παρόλα αυτά τα ΑΔΜ δίνουν την λύση σε αυτό το πρόβλημα. Στο πέμπτο κεφάλαιο με την υπόθεση οτι το ΑΔΜ που δημιουργεί τα δεδομένα ειναι γνωστό, παρουσιάζεται ενδελεχώς ο τρόπος υπολογισμού της αιτιώδους επίδρασης μιας μεταβλητής βασισμένος στις τυχαιοποιημένες δοκιμές- κατανομές που προκύποτουν μετά απο επέμβαση. Τέλος στο έκτο κεφάλαιο παρουσιάζονται αλγόρρυθμοι εξαγωγής των ΑΔΜ απο εμπειρικά δεδομένα και στο έβδομο και τελευταίο κεφάλαιο γίνεται η σύγκρισή τους.In this dissertation, we are tying to model Causality inference so as to identify and extract her from empirical data. In statistics, when we find two random variables to be dependent, doesn’t mean that they have also causal relation,Cause-Effect. As a result, if we want to model Causality between random variables, we need to model the direction of this dependency, from the Causes to Effects, except from how depended or correlated are these variables. In order to do that we use the Directed Acyclic Graphs, DAGs. As a result, in the First,Second and Third Chapter we illustrate how capable the DAGs are as tool to store Probabilistic dependence-independence Knowledge. Also, we illustrate two basic assumptions: the Markov and the Faithfulness. These two play a significant role in that procedure. At the Forth chapter, we propose the Structural Causal Models, SCMs, as a way to model Causal information. The SCMs can induce distribution Functions and compatible DAGs to that distribution at the same time. In statistics, we use Distribution Functions as a data generation process. In Causality inference we use the SCMs the same way with the exception that these can give us much more information about the data than classical Distribution Functions. The main reason that we use the SCMs as a modelling tool is their additional ability to produce information about randomized-trial or their ability to induce Intervention distributions. One way to identify that one variable has causal influence in the outcome of an other variable is by keeping all the factors that influence the outcome variable static except the one we are interested in. This is very difficult in practice. However, the SCMs give us the solution. In the Fifth Chapter of this dissertation, assuming a known SCM which generate the data, we give a brief illustration about how we can compute the Causal influence of a variable in a system based on the randomize trial or precisely, the knowledge of intervention distributions. Finally, in the Sixth Chapter we illustrate algorithms which extract the correct SCM from empirical data, and in the last Seventh chapter we compare these algorithms under their ability to predict a correct SCM

Concrete causation

Concrete Causation beschäftigt sich mit Theorien der Verursachung, ihrer Interpretation und ihrer Einbettung in metaphysisch-ontologische Fragestellungen sowie der Anwendung solcher Theorien in naturwissenschaftlichem und entscheidungstheoretischem Kontext. Die Arbeit gliedert sich in vier Kapitel, die eine historisch-systematische Verortung der zentralen Probleme vornehmen (Kapitel 1), um dann eine begriffliche und technische Darstellung der Theorien von David Lewis und Judea Pearl zu liefern (Kapitel 2). Der mathematisch-technische Rahmen von Pearl (in Bayes'schen Netzen) wird nach philosophisch motivierten begrifflichen Überlegungen für eine epistemische Interpretation von Kausalität und in einer Erweiterung des interventionistischen Ansatzes für die Betonung des wissensordnenden Aspekts von Kausalrelationen herangezogen (Kapitel 3). Die Integration von kausalem und nicht-kausalem Wissen in einheitlichen Strukturen stellt einen Ansatz zur Lösung von Problemen der (kausalen) Entscheidungstheorie dar und ermöglicht gleichzeitig die Abbildung von logisch-mathematischen, synonymischen sowie reduktiven Zusammenhängen in operationalisierbaren Netzen der Belief Propagation (Kapitel 4).Concrete Causation centers about theories of causation, their interpretation, and their embedding in metaphysical-ontological questions, as well as the application of such theories in the context of science and decision theory. The dissertation is divided into four chapters, that firstly undertake the historical-systematic localization of central problems (chapter 1) to then give a rendition of the concepts and the formalisms underlying David Lewis' and Judea Pearl's theories (chapter 2). After philosophically motivated conceptual deliberations Pearl’s mathematical-technical framework is drawn on for an epistemic interpretation and for emphasizing the knowledge-organizing aspect of causality in an extension of the interventionist Bayes net account of causation (chapter 3). Integrating causal and non-causal knowledge in unified structures ultimately leads to an approach towards solving problems of (causal) decision theory and at the same time facilitates the representation of logical-mathematical, synonymical, as well as reductive relationships in efficiently structured, operational nets of belief propagation (chapter 4)

Information-Theoretic Causal Discovery

It is well-known that correlation does not equal causation, but how can we infer causal relations from data? Causal discovery tries to answer precisely this question by rigorously analyzing under which assumptions it is feasible to infer causal networks from passively collected, so-called observational data. Particularly, causal discovery aims to infer a directed graph among a set of observed random variables under assumptions which are as realistic as possible. A key assumption in causal discovery is faithfulness. That is, we assume that separations in the true graph imply independencies in the distribution and vice versa. If faithfulness holds and we have access to a perfect independence oracle, traditional causal discovery approaches can infer the Markov equivalence class of the true causal graph---i.e., infer the correct undirected network and even some of the edge directions. In a real-world setting, faithfulness may be violated, however, and neither do we have access to such an independence oracle. Beyond that, we are interested in inferring the complete DAG structure and not just the Markov equivalence class. To circumvent or at least alleviate these limitations, we take an information-theoretic approach. In the first part of this thesis, we consider violations of faithfulness that can be induced by exclusive or relations or cancelling paths, and develop a weaker faithfulness assumption, called 2-adjacency faithfulness, to detect some of these mechanisms. Further, we analyze under which conditions it is possible to infer the correct DAG structure even if such violations occur. In the second part, we focus on independence testing via conditional mutual information (CMI). CMI is an information-theoretic measure of dependence based on Shannon entropy. We first suggest estimating CMI for discrete variables via normalized maximum likelihood instead of the plug-in maximum likelihood estimator that tends to overestimate dependencies. On top of that, we show that CMI can be consistently estimated for discrete-continuous mixture random variables by simply discretizing the continuous parts of each variable. Last, we consider the problem of distinguishing the two Markov equivalent graphs X to Y and Y to X, which is a necessary step towards discovering all edge directions. To solve this problem, it is inevitable to make assumptions about the generating mechanism. We build upon the idea which states that the cause is algorithmically independent of its mechanism. We propose two methods to approximate this postulate via the Minimum Description Length (MDL) principle: one for univariate numeric data and one for multivariate mixed-type data. Finally, we combine insights from our MDL-based approach and regression-based methods with strong guarantees and show we can identify cause and effect via L0-regularized regression

Graphical preference representation under a possibilistic framework

La modélisation structurée de préférences, fondée sur les notions d'indépendance préférentielle, a un potentiel énorme pour fournir des approches efficaces pour la représentation et le raisonnement sur les préférences des décideurs dans les applications de la vie réelle. Cette thèse soulève la question de la représentation des préférences par une structure graphique. Nous proposons une nouvelle lecture de réseaux possibilistes, que nous appelons p-pref nets, où les degrés de possibilité représentent des degrés de satisfaction. L'approche utilise des poids de possibilité non instanciés (appelés poids symboliques), pour définir les tables de préférences conditionnelles. Ces tables donnent naissance à des vecteurs de poids symboliques qui codent les préférences qui sont satisfaites et celles qui sont violées dans un contexte donné. Nous nous concentrons ensuite sur les aspects théoriques de la manipulation de ces vecteurs. En effet, la comparaison de ces vecteurs peut s'appuyer sur différentes méthodes: celles induites par la règle de chaînage basée sur le produit ou celle basée sur le minimum que sous-tend le réseau possibiliste, les raffinements du minimum le discrimin, ou leximin, ainsi que l'ordre Pareto, et le Pareto symétrique qui le raffine. Nous prouvons que la comparaison par produit correspond exactement au celle du Pareto symétrique et nous nous concentrons sur les avantages de ce dernier par rapport aux autres méthodes. En outre, nous montrons que l'ordre du produit est consistant avec celui obtenu en comparant des ensembles de préférences satisfaites des tables. L'image est complétée par la proposition des algorithmes d'optimisation et de dominance pour les p-pref nets. Dans ce travail, nous discutons divers outils graphiques pour la représentation des préférences. Nous nous focalisons en particulier sur les CP-nets car ils partagent la même structure graphique que les p-pref nets et sont basés sur la même nature de préférences. Nous prouvons que les ordres induits par les CP-nets ne peuvent pas contredire ceux des p-pref nets et nous avons fixé les contraintes nécessaires pour raffiner les ordres des p-pref nets afin de capturer les contraintes Ceteris Paribus des CP-nets. Cela indique que les CP-nets représentent potentiellement une sous-classe des p-pref nets avec des contraintes. Ensuite, nous fournissons une comparaison approfondie entre les différents modèles graphiques qualitatifs et quantitatifs, et les p-pref nets. Nous en déduisons que ces derniers peuvent être placés à mi- chemin entre les modèles qualitatifs et les modèles quantitatifs puisqu'ils ne nécessitent pas une instanciation complète des poids symboliques alors que des informations supplémentaires sur l'importance des poids peuvent être prises en compte. La dernière partie de ce travail est consacrée à l'extension du modèle proposé pour représenter les préférences de plusieurs agents. Dans un premier temps, nous proposons l'utilisation de réseaux possibilistes où les préférences sont de type tout ou rien et nous définissons le conditionnement dans le cas de distributions booléennes. Nous montrons par ailleurs que ces réseaux multi-agents ont une contrepartie logique utile pour vérifier la cohérence des agents. Nous expliquons les étapes principales pour transformer ces réseaux en format logique. Enfin, nous décrivons une extension pour représenter des préférences nuancées et fournissons des algorithmes pour les requêtes d'optimisation et de dominance.Structured modeling of preference statements, grounded in the notions of preferential independence, has tremendous potential to provide efficient approaches for modeling and reasoning about decision maker preferences in real-life applications. This thesis raises the question of representing preferences through a graphical structure. We propose a new reading of possibilistic networks, that we call p-pref nets, where possibility weights represent satisfaction degrees. The approach uses non-instantiated possibility weights, which we call symbolic weights, to define conditional preference tables. These conditional preference tables give birth to vectors of symbolic weights that reflect the preferences that are satisfied and those that are violated in a considered situation. We then focus on the theoretical aspects of handling of these vectors. Indeed, the comparison of such vectors may rely on different orderings: the ones induced by the product-based, or the minimum based chain rule underlying the possibilistic network, the discrimin, or leximin refinements of the minimum- based ordering, as well as Pareto ordering, and the symmetric Pareto ordering that refines it. We prove that the product-based comparison corresponds exactly to symmetric Pareto and we focus on its assets compared to the other ordering methods. Besides, we show that productbased ordering is consistent with the ordering obtained by comparing sets of satisfied preference tables. The picture is then completed by the proposition of algorithms for handling optimization and dominance queries. In this work we discuss various graphical tools for preference representation. We shed light particularly on CP-nets since they share the same graphical structure as p-pref nets and are based on the same preference statements. We prove that the CP-net orderings cannot contradict those of the p-pref nets and we found suitable additional constraints to refine p-pref net orderings in order to capture Ceteris Paribus constraints of CP-nets. This indicates that CP-nets potentially represent a subclass of p-pref nets with constraints. Finally, we provide an thorough comparison between the different qualitative and quantitative graphical models and p-pref nets. We deduce that the latter can be positioned halfway between qualitative and quantitative models since they do not need a full instantiation of the symbolic weights while additional information about the relative strengths of these weights can be taken into account. The last part of this work is dedicated to extent the proposed model to represent multiple agents preferences. As a first step, we propose the use of possibilistic networks for representing all or nothing multiple agents preferences and define conditioning in the case of Boolean possibilities. These multiple agents networks have a logical counterpart helpful for checking agents consistency. We explain the main steps for transforming multiple agents networks into logical format. Finally, we outline an extension with priority levels of these networks and provide algorithms for handling optimization and dominance queries