Portfolios in Stochastic Local Search: Efficiently Computing Most Probable Explanations in Bayesian Networks

Portfolio methods support the combination of different algorithms and heuristics, including stochastic local search (SLS) heuristics, and have been identified as a promising approach to solve computationally hard problems. While successful in experiments, theoretical foundations and analytical results for portfolio-based SLS heuristics are less developed. This article aims to improve the understanding of the role of portfolios of heuristics in SLS. We emphasize the problem of computing most probable explanations (MPEs) in Bayesian networks (BNs). Algorithmically, we discuss a portfolio-based SLS algorithm for MPE computation, Stochastic Greedy Search (SGS). SGS supports the integration of different initialization operators (or initialization heuristics) and different search operators (greedy and noisy heuristics), thereby enabling new analytical and experimental results. Analytically, we introduce a novel Markov chain model tailored to portfolio-based SLS algorithms including SGS, thereby enabling us to analytically form expected hitting time results that explain empirical run time results. For a specific BN, we show the benefit of using a homogenous initialization portfolio. To further illustrate the portfolio approach, we consider novel additive search heuristics for handling determinism in the form of zero entries in conditional probability tables in BNs. Our additive approach adds rather than multiplies probabilities when computing the utility of an explanation. We motivate the additive measure by studying the dramatic impact of zero entries in conditional probability tables on the number of zero-probability explanations, which again complicates the search process. We consider the relationship between MAXSAT and MPE, and show that additive utility (or gain) is a generalization, to the probabilistic setting, of MAXSAT utility (or gain) used in the celebrated GSAT and WalkSAT algorithms and their descendants. Utilizing our Markov chain framework, we show that expected hitting time is a rational function - i.e. a ratio of two polynomials - of the probability of applying an additive search operator. Experimentally, we report on synthetically generated BNs as well as BNs from applications, and compare SGSs performance to that of Hugin, which performs BN inference by compilation to and propagation in clique trees. On synthetic networks, SGS speeds up computation by approximately two orders of magnitude compared to Hugin. In application networks, our approach is highly competitive in Bayesian networks with a high degree of determinism. In addition to showing that stochastic local search can be competitive with clique tree clustering, our empirical results provide an improved understanding of the circumstances under which portfolio-based SLS outperforms clique tree clustering and vice versa

Boosting Answer Set Optimization with Weighted Comparator Networks

Answer set programming (ASP) is a paradigm for modeling knowledge intensive domains and solving challenging reasoning problems. In ASP solving, a typical strategy is to preprocess problem instances by rewriting complex rules into simpler ones. Normalization is a rewriting process that removes extended rule types altogether in favor of normal rules. Recently, such techniques led to optimization rewriting in ASP, where the goal is to boost answer set optimization by refactoring the optimization criteria of interest. In this paper, we present a novel, general, and effective technique for optimization rewriting based on comparator networks, which are specific kinds of circuits for reordering the elements of vectors. The idea is to connect an ASP encoding of a comparator network to the literals being optimized and to redistribute the weights of these literals over the structure of the network. The encoding captures information about the weight of an answer set in auxiliary atoms in a structured way that is proven to yield exponential improvements during branch-and-bound optimization on an infinite family of example programs. The used comparator network can be tuned freely, e.g., to find the best size for a given benchmark class. Experiments show accelerated optimization performance on several benchmark problems.Comment: 36 page

Engineering SAT Applications

Das Erfüllbarkeitsproblem der Aussagenlogik (SAT) ist nicht nur in der theoretischen Informatik ein grundlegendes Problem, da alle NP-vollständigen Probleme auf SAT zurückgeführt werden können. Durch die Entwicklung von sehr effizienten SAT Lösern sind in den vergangenen 15 Jahren auch eine Vielzahl von praktischen Anwendungsmöglichkeiten entwickelt worden. Zu den bekanntesten gehört die Verifikation von Hardware- und Software-Bausteinen. Bei der Berechnung von unerfüllbaren SAT-Problemen sind Entwickler und Anwender oftmals an einer Erklärung für die Unerfüllbarkeit interessiert. Eine Möglichkeit diese zu ermitteln ist die Berechnung von minimal unerfüllbaren Teilformeln. Es sind drei grundlegend verschiedene Strategien zur Berechnung dieser Teilformeln bekannt: mittels Einfügen von Klauseln in ein erfüllbares Teilproblem, durch Entfernen von Kauseln aus einem unerfüllbaren Teilproblem und eine Kombination der beiden erstgenannten Methoden. In der vorliegenden Arbeit entwickeln wir zuerst eine interaktive Variante der Strategie, die auf Entfernen von Klauseln basiert. Sie ermöglicht es den Anwendern interessante Bereiche des Suchraumes manuell zu erschließen und aussagekräftige Erklärung für die Unerfüllbarkeit zu ermitteln. Der theoretische Hintergrund, der für die interaktive Berechnung von minimal unerfüllbaren Teilformeln entwickelt wurde, um dem Benutzer des Prototyps unnötige Schritte in der Berechnung der Teilformeln zu ersparen werden im Anschluss für die automatische Aufzählung von mehreren minimal unerfüllbaren Teilformeln verwendet, um dort die aktuell schnellsten Algorithmen weiter zu verbessern. Die Idee dabei ist mehrere Klauseln zu einem Block zusammenzufassen. Wir zeigen, wie diese Blöcke die Berechnungen von minimal unerfüllbaren Teilformeln positiv beeinflussen können. Durch die Implementierung eines Prototypen, der auf den aktuellen Methoden basiert, konnten wir die Effektivität unserer entwickelten Ideen belegen. Nachdem wir im ersten Teil der Arbeit grundlegende Algorithmen, die bei unerfüllbaren SAT-Problemen angewendet werden, verbessert haben, wenden wir uns im zweiten Teil der Arbeit neuen Anwendungsmöglichkeiten für SAT zu. Zuerst steht dabei ein Problem aus der Bioinformatik im Mittelpunkt. Wir lösen das sogenannte Kompatibilitätproblem für evolutionäre Bäume mittels einer Kodierung als Erfüllbarkeitsproblem und zeigen anschließend, wie wir mithilfe dieser neuen Kodierung ein nah verwandtes Optimierungsproblem lösen können. Den von uns neu entwickelten Ansatz vergleichen wir im Anschluss mit den bisher effektivsten Ansätzen das Optmierungsproblem zu lösen. Wir konnten zeigen, dass wir für den überwiegenden Teil der getesteten Instanzen neue Bestwerte in der Berechnungszeit erreichen. Die zweite neue Anwendung von SAT ist ein Problem aus der Graphentheorie, bzw. dem Graphenzeichen. Durch eine schlichte, intuitive, aber dennoch effektive Formulierung war es uns möglich neue Resultate für das Book Embedding Problem zu ermitteln. Zum einen konnten wir eine nicht triviale untere Schranke von vier für die benötigte Seitenzahl von 1-planaren Graphen ermitteln. Zum anderen konnten wir zeigen, dass es nicht für jeden planaren Graphen möglich ist, eine Einbettung in drei Seiten mittels einer sogenannten Schnyder-Aufteilung in drei verschiedene Bäume zu berechnen

On the Complexity of Alternative Solutions

Diese Dissertation untersucht die Komplexität alternativer Lösungen. Das heißt, wir betrachten die Frage, ob eine oder mehrere gegebene Lösungen eines Problems, das Finden weiterer Lösungen vereinfacht. In der Praxis relevant ist diese Fragestellung zum Beispiel, wenn sich eine mit großem Aufwand berechnete Lösung eines schwierigen Problems im Nachhinein als unzureichend erweist. In diesem Falle ist es notwendig nach alternativen Lösungen zu suchen, wobei nun die bereits gefundene Lösung als Ausgangspunkt der Berechnung genutzt werden kann. Darüber hinaus hat die untersuchte Aufgabenstellung eine Bedeutung in der Erstellung von (auch hier immer beliebteren) japanischen Rätseln wie Sudoku, Kakkuro oder Nurikabe. Beispielsweise werden im Fall von Sudoku, ausgehend von einem vollständig ausgefüllten Gitter (Startlösung), Ziffern so gestrichen dass die Startlösung die eindeutige Lösung des Rätsels bleibt. Dazu muss während des Streichprozesses wiederholt geprüft werden, ob es neben der Startlösung alternative Lösungen gibt. Im ersten Teil der Arbeit (Kapitel 3 und 4) betrachten wir die Klasse der NP-vollständigen Probleme. Wir formalisieren den Begriff der Lösung mittels sogenannter Verifier und das Problem alternativer Lösungen für NP-Sprachen. Indem wir die Härte des Problems alternativer Lösungen für einige Probleme zeigen, motivieren wir die Vermutung, dass eine gegebene Lösung das Finden alternativer Lösungen nicht vereinfacht. Wir entwickeln den Begriff des universellen Verifiers, der es ermöglicht, einen geeigneten Lösungsbegriff für ein Problem formal zu charakterisieren. Darüber hinaus zeigen wir, dass es möglich ist, mit einer einzigen sogenannten -Reduzierung einen Lösungsbegriff für ein Problem als geeignet zu identifizieren sowie die Härte des Problems alternativer Lösungen für jede Anzahl gegebener Lösungen zu zeigen. Unter Benutzung dieser Reduzierung, erhärten wir die obige Vermutung, indem wir für eine große Zahl NP-vollständiger Probleme wie zum Beispiel 0/1-Integer Programming, 3Dimensional Matching, Minimum Edge Cost Flow und Vertex Cover zeigen, dass bezüglich eines geeigneten Lösungsbegriffes alternative Lösungen nicht leicht zu berechnen sind. Darüber hinaus übertragen wir die Theorie für NP-Probleme auch auf die Klasse RE der aufzählbaren Sprachen (Kapitel 5) und die Klassen der Polynomialzeithierarchie (Kapitel 6). Für RE zeigen wir damit, dass das Problem alternativer Lösungen für RE wenig sinnvoll ist, da wir für jedes RE-Problem einen geeigneten Lösungsbegriff finden, der höchstens eine Lösung zulässt. Die Situation in der Polynomialzeithierarchie ist vermutlich ähnlich zum NP-Fall. Für können wir die Härte des Problems alternativer Lösungen für einige typische Probleme zeigen, z.B. für Generalized Subset Sum und Strongest Implicant Core. Deshalb und wegen der starken strukturellen Ähnlichkeit zu NP (Die Polynomialzeithierarchie ist eine Verallgemeinerung von NP, insbesondere gilt = NP) vermuten wir auch hier, dass alternative Lösungen im Allgemeinen genauso schwer zu finden sind, wie eine erste Lösung

Proceedings of the 21st Conference on Formal Methods in Computer-Aided Design – FMCAD 2021

The Conference on Formal Methods in Computer-Aided Design (FMCAD) is an annual conference on the theory and applications of formal methods in hardware and system verification. FMCAD provides a leading forum to researchers in academia and industry for presenting and discussing groundbreaking methods, technologies, theoretical results, and tools for reasoning formally about computing systems. FMCAD covers formal aspects of computer-aided system design including verification, specification, synthesis, and testing

Decision-Focused Learning: Foundations, State of the Art, Benchmark and Future Opportunities

Decision-focused learning (DFL) is an emerging paradigm in machine learning which trains a model to optimize decisions, integrating prediction and optimization in an end-to-end system. This paradigm holds the promise to revolutionize decision-making in many real-world applications which operate under uncertainty, where the estimation of unknown parameters within these decision models often becomes a substantial roadblock. This paper presents a comprehensive review of DFL. It provides an in-depth analysis of the various techniques devised to integrate machine learning and optimization models, introduces a taxonomy of DFL methods distinguished by their unique characteristics, and conducts an extensive empirical evaluation of these methods proposing suitable benchmark dataset and tasks for DFL. Finally, the study provides valuable insights into current and potential future avenues in DFL research.Comment: Experimental Survey and Benchmarkin