Using Prior Knowledge and Learning from Experience in Estimation of Distribution Algorithms

Estimation of distribution algorithms (EDAs) are stochastic optimization techniques that explore the space of potential solutions by building and sampling explicit probabilistic models of promising candidate solutions. One of the primary advantages of EDAs over many other stochastic optimization techniques is that after each run they leave behind a sequence of probabilistic models describing useful decompositions of the problem. This sequence of models can be seen as a roadmap of how the EDA solves the problem. While this roadmap holds a great deal of information about the problem, until recently this information has largely been ignored. My thesis is that it is possible to exploit this information to speed up problem solving in EDAs in a principled way. The main contribution of this dissertation will be to show that there are multiple ways to exploit this problem-specific knowledge. Most importantly, it can be done in a principled way such that these methods lead to substantial speedups without requiring parameter tuning or hand-inspection of models

An Iterative Path-Breaking Approach with Mutation and Restart Strategies for the MAX-SAT Problem

Although Path-Relinking is an effective local search method for many combinatorial optimization problems, its application is not straightforward in solving the MAX-SAT, an optimization variant of the satisfiability problem (SAT) that has many real-world applications and has gained more and more attention in academy and industry. Indeed, it was not used in any recent competitive MAX-SAT algorithms in our knowledge. In this paper, we propose a new local search algorithm called IPBMR for the MAX-SAT, that remedies the drawbacks of the Path-Relinking method by using a careful combination of three components: a new strategy named Path-Breaking to avoid unpromising regions of the search space when generating trajectories between two elite solutions; a weak and a strong mutation strategies, together with restarts, to diversify the search; and stochastic path generating steps to avoid premature local optimum solutions. We then present experimental results to show that IPBMR outperforms two of the best state-of-the-art MAX-SAT solvers, and an empirical investigation to identify and explain the effect of the three components in IPBMR

Domain-independent local search for linear integer optimization

Integer and combinatorial optimization problems constitute a major challenge for algorithmics. They arise when a large number of discrete organizational decisions have to be made, subject to constraints and optimization criteria. This thesis describes and investigates new domain-independent local search strategies for linear integer optimization. We introduce WSAT(OIP), an integer local search method which operates on an algebraic problem representation. WSAT(OIP) generalizes Walksat, a successful local search procedure for propositional satisfiability (SAT), to more expressive constraint systems. For this purpose, we introduce over-constrained integer programs (OIPs), a constraint class which is closely related to integer programs. OIP allows for a natural generalization of the principles of SAT local search to integer optimization. Further, it will be shown that OIPs are a special case of integer linear programs and permit combinations with linear programming for bound computation, initialization by rounding, search space reduction, and feasibility testing. The representation is similar enough to integer programs to make use of existing algebraic modeling languages as front-end to a local search solver. To improve performance on realistic problems, WSAT(OIP) incorporates strategies from Tabu Search. We experimentally investigate WSAT(OIP) for a variety of realistic integer optimization problems from the domains of time tabling, sports scheduling, radar surveillance, course assignment, and capacitated production planning. The experimental design examines efficiency, scaling (with increasing problem size and constrainedness), and robustness. The results demonstrate that integer local search can outperform or compete with state-of-the-art integer programming (IP) branch-and-bound and constraint programming (CP) approaches to these problems in finding near-optimal solutions. Key findings of our empirical study include that integer local search is able to solve difficult constraint problems from time-tabling and sports scheduling when cast into a 0-1 representation, which are beyond the scope of IP branch-and-bound strategies and for which devising robust constraint programs is a non-trivial task. For several realistic optimization problems (0-1 integer and finite domain) we show that integer local search exhibits graceful runtime scaling with increasing problem size and constrainedness. It can therefore significantly outperform IP branch-and-bound strategies on large or tightly constrained problems in finding near-optimal solutions. The problems under consideration are mostly beyond the limitations of a previous general-purpose simulated annealing strategy for 0-1 integer programs.Ganzzahlige und kombinatorische Optimierungsprobleme stellen eine schwierige Herausforderung im Gebiet der Algorithmen dar. Sie treten auf, wenn eine große Anzahl diskreter organisatorischer Entscheidungen unter Berücksichtigung von Constraints und Optimierungskriterien zu treffen sind. Diese Arbeit beschreibt und untersucht neue, domänenunabhängige Strategien der lokalen Suche zur ganzzahligen linearen Optimierung. Wir beschreiben WSAT(OIP), eine Strategie "ganzzahliger lokaler Suche';, die auf einer algebraischen Problemrepräsentation operiert. WSAT(OIP) verallgemeinert Walksat, eine erfolgreiche Prozedur lokaler Suche für das Erfüllbarkeitsproblem der Aussagenlogik (SAT), auf ausdrucksstärkere Constraint-Systeme. Für diesen Zweck führen wir die Klasse der "Over-constrained Integer Programs';(OIPs) ein, eine Constraint-Klasse, die eng mit ganzzahligen Programmen verwandt ist. OIPs erlauben einerseits eine natürliche Verallgemeinerung der Prinzipien von lokaler Suche für SAT. Andererseits sind sie ein Spezialfall der ganzzahligen linearen Programme und ermöglichen die Kombination mit linearer Programmierung zur Berechnung von Schranken, Initialisierung durch Rundung, Suchraum-Reduktion und für Gültigkeits-Tests. OIPs sind ganzzahligen Programmen ähnlich, so daß existierende algebraische Modellierungssprachen als Eingabeschnittstelle für einen Problemlöser benutzt werden können, der auf lokaler Suche basiert. Um die Performanz auf realistischen Problemen zu verbessern, ist WSAT(OIP) mit Strategien der Tabu-Suche ausgestattet. Wir führen eine experimentelle Untersuchung von WSAT(OIP) auf einer Reihe von realistischen ganzzahligen Constraint- und Optimierungsproblemen durch. Die Probleme stammen aus den Domänen Zeitplan-Erstellung, Sport-Ablaufplanung, Radar- Überwachung, Kurs-Zuteilung und Produktions-Planung. Das experimentelle Design untersucht Effizienz, Skalierung mit zunehmender Problemgröße und stärkeren Constraints sowie Robustheit. Die Ergebnisse zeigen, daß ganzzahlige lokale Suche bezüglich Performanz auf diesen Problemklassen zeitgemäße Ansätze der ganzzahligen Programmierung und der Constraint-Programmierung beim Finden nahe-optimaler Lösungen schlägt oder mit ihnen konkurriert. Kernergebnisse der empirischen Untersuchung sind, daß ganzzahlige lokale Suche in der Lage ist, schwierige Constraint-Probleme der Zeitplan-Erstellung und Sport-Ablaufplanung in einer 0-1 Repräsentation zu lösen, die außerhalb der Grenzen der ganzzahligen linearen Programmierung liegen, und für die die Entwicklung eines robustes Constraint-Programms eine nicht-triviale Aufgabe darstellt. Für mehrere realistische Optimierungsprobleme (ganzzahlig 0-1 und endliche Bereiche)zeigen wir, daß ganzzahlige lokale Suche eine günstige Skalierung der Laufzeit mit zunehmender Problemgröße und Constrainedness aufweist. Dadurch zeigt das Verfahren auf großen Problemen und auf Problemen mit starken Constraints deutlich bessere Performanz für das Finden nahe-Lösungen als die Branch-and-Bound Strategie der ganzzahligen Programmierung. Die untersuchten Probleme liegen zumeist außerhalb der Grenzen einer existierenden Simulated Annealing Strategie für allgemeine lineare 0-1 Programme