Binary Join Trees

A longer and updated version of this paper appears in: Shenoy, P. P., "Binary Join Trees for Computing Marginals in the Shenoy-Shafer Architecture," International Journal of Approximate Reasoning, 17(2--3), 1997, 239--263 (available from .The main goal of this paper is to describe a datastructure called binary join trees that are useful incomputing multiple marginals efficiently usingthe Shenoy-Shafer architecture. We define binaryjoin trees, describe their utility, and sketch a procedure for constructing them

Binary Join Trees for Computing Marginals in the Shenoy-Shafer Architecture

The main goal of this paper is to describe a data structure called binary join trees that are useful in computing multiple marginals efficiently in the Shenoy-Shafer architecture. We define binary join trees, describe their utility, and describe a procedure for constructing them

Argumentation systems and belief functions

Uncertain knowledge can be represented in the framework of argumentation systems. In this framework, uncertainty is expressed using so-called assumptions. Depending on the setting of the assumptions, a given hypothesis of interest can be proved or falsified. The main goal of assumption-based reasoning is to determine the set of all supporting arguments for a given hypothesis. Such a supporting argument is a particular setting of assumptions. The assignment of probabilities to assumptions leads to the framework of probabilistic argumentation systems and allows an additional quantitative judgement of a given hypothesis. One possibility to compute the degree of support for a given hypothesis is to compute first the corresponding set of supporting arguments and then to derive the desired result. The problem of this approach is that the set of supporting arguments is sometimes very huge and can't be represented explicitly. This thesis proposes an alternative way for computing degrees of support which is often superior to the first approach. Instead of computing a symbolic result from which the numerical result is derived, we avoid symbolic computations right away. This can be done due to the fact that degree of support corresponds to the notion of normalized belief in Dempster-Shafer theory. We will show how a probabilistic argumentation system can be transformed into a set of independent mass functions. For efficient computations, the local computation framework of Shenoy is used. In this framework, computation is based on a message-passing scheme in a join tree. Four different architectures could be used for propagating potentials in the join tree. These architectures correspond to a complete compilation of the knowledge which allows to answer queries fast. In contrast, this thesis proposes a new method which corresponds to a partial compilation of the knowledge. This method is particularly interesting if there are only a few queries. In addition, it can prevent that the join tree has to be reconstructed in order to answer a given query. Finally, the language ABEL is presented. It allows to express probabilistic argumentations systems in a convenient way. We will show how several examples from different domains can be modeled using ABEL. These examples are also used to point out important aspects of the computational theory presented in the first chapters of this thesis.Das Konzept der Argumentations-Systeme dient dem Zweck der Darstellung von insicherer oder unpräziser Information. Unsicherheit wird in Argumentations- Systemen durch sogenannte Annahmen dargestellt. Eine gegebene Hypothese kann dann in Abhängigkeit der Annahmen bewiesen oder verworfen werden. Hauptaufgabe des Annahmen-basierten Schliessens ist die Bestimmung von Argumenten welche eine gegebene Hypothese stützen. Die Zuordnung von Wahrscheinlichkeiten zu den Annahmen führt zum Konzept der probabilistischen Argumentations-Systeme. Eine zusätzliche quantitative Beurteilung einer gegebenen Hypothese wird dadurch möglich. Ein erster Ansatz den Grad der Unterstützung einer Hypothese zu berechnen besteht darin, zuerst die Menge aller stützenden Argumente zu berechnen Das gewünschte numerische Resultat kann dann daraus abgeleitet werden. Häufig ist dieser Ansatz jedoch nicht durchführbar weil die Menge der unterstützenden Argumente zu gross und deshalb nicht explizit darstellbar ist. In dieser Arbeit stellen wir einen alternativen Ansatz zur Berechnung des Grades der Unterstützung einer Hypothese vor. Dieser alternative Ansatz ist oft effizienter als der erste Ansatz. Anstatt ein symbolisches Zwischenresultats zu berechnen von welchem dann das numerische Endresultat abgeleitet wird, vermeiden wir symbolisches Rechnen schon ganz zu Beginn. Dies ist möglich weil der Grad der Unterstützung zum Begriff der Glaubwürdigkeit in der Dempster-Shafer Theorie äquivalent ist. Wir werden zeigen wie ein gegebenes probabilistisches Argumentations-System in eine Menge von equivalenten Mass Funktionen überführt werden kann. Als Grundlage für die Berechnungen wird das Konzept der Valuations Netzwerke verwendet. Dadurch wird versucht, die Berechnungen möglichst effizient durchzuführen. Es gibt dabei vier verschiedene Rechenarchitekturen. Diese vier Rechenarchitekturen entsprechen einer vollständigen Kompilation der vorhandenen Informationen. Der Vorteil davon ist, dass Abfragen dann sehr schnell beantwortet werden können. Im Gegensatz dazu stellen wir in dieser Arbeit eine neue Methode vor die eher einer partiellen Kompiliation der vorhandenen Informationen entspricht. Diese neue Methode ist vorallem interessant, falls nur wenige Abfragen zu beantworten sind. Des weitern kann diese Methode verhindern, dass ein Valuationsnetz zur Beantwortung einer Abfrage neu konstruiert werden muss. Zum Schluss geben wir eine Einführung in die Modellierspreche ABEL. Diese Sprache erlaubt, probabilistische Argumentations-Systeme auf eine geeignete und komfortable Art und Weise zu formulieren. Wir zeigen wie Beispiele aus verschiedenen Anwendungsgebieten mit ABEL modelliert werden können. Diese Beispiele werden auch dazu verwendet, wichtige Aspekte der in den ersten Kapiteln dieser Arbeit dargestellten Rechentheorie zu unterstreichen

A Comparison of Lauritzen-Spiegelhalter, Hugin, and Shenoy-Shafer Architectures for Computing Marginals of Probability Distributions

In the last decade, several architectures have been proposed for exact computation of marginals using local computation. In this paper, we compare three architectures—Lauritzen-Spiegelhalter, Hugin, and Shenoy-Shafer—from the perspective of graphical structure for message propagation, message-passing scheme, computational efficiency, and storage efficiency

New Results for the MAP Problem in Bayesian Networks

This paper presents new results for the (partial) maximum a posteriori (MAP) problem in Bayesian networks, which is the problem of querying the most probable state configuration of some of the network variables given evidence. First, it is demonstrated that the problem remains hard even in networks with very simple topology, such as binary polytrees and simple trees (including the Naive Bayes structure). Such proofs extend previous complexity results for the problem. Inapproximability results are also derived in the case of trees if the number of states per variable is not bounded. Although the problem is shown to be hard and inapproximable even in very simple scenarios, a new exact algorithm is described that is empirically fast in networks of bounded treewidth and bounded number of states per variable. The same algorithm is used as basis of a Fully Polynomial Time Approximation Scheme for MAP under such assumptions. Approximation schemes were generally thought to be impossible for this problem, but we show otherwise for classes of networks that are important in practice. The algorithms are extensively tested using some well-known networks as well as random generated cases to show their effectiveness.Comment: A couple of typos were fixed, as well as the notation in part of section 4, which was misleading. Theoretical and empirical results have not change