Solving Optimization Problems via Maximum Satisfiability : Encodings and Re-Encodings

NP-hard combinatorial optimization problems are commonly encountered in numerous different domains. As such efficient methods for solving instances of such problems can save time, money, and other resources in several different applications. This thesis investigates exact declarative approaches to combinatorial optimization within the maximum satisfiability (MaxSAT) paradigm, using propositional logic as the constraint language of choice. Specifically we contribute to both MaxSAT solving and encoding techniques. In the first part of the thesis we contribute to MaxSAT solving technology by developing solver independent MaxSAT preprocessing techniques that re-encode MaxSAT instances into other instances. In order for preprocessing to be effective, the total time spent re-encoding the original instance and solving the new instance should be lower than the time required to directly solve the original instance. We show how the recently proposed label-based framework for MaxSAT preprocessing can be efficiently integrated with state-of-art MaxSAT solvers in a way that improves the empirical performance of those solvers. We also investigate the theoretical effect that label-based preprocessing has on the number of iterations needed by MaxSAT solvers in order to solve instances. We show that preprocessing does not improve best-case performance (in the number of iterations) of MaxSAT solvers, but can improve the worst-case performance. Going beyond previously proposed preprocessing rules we also propose and evaluate a MaxSAT-specific preprocessing technique called subsumed label elimination (SLE). We show that SLE is theoretically different from previously proposed MaxSAT preprocessing rules and that using SLE in conjunction with other preprocessing rules improves empirical performance of several MaxSAT solvers. In the second part of the thesis we propose and evaluate new MaxSAT encodings to two important data analysis tasks: correlation clustering and bounded treewidth Bayesian network learning. For both problems we empirically evaluate the resulting MaxSAT-based solution approach with other exact algorithms for the problems. We show that, on many benchmarks, the MaxSAT-based approach is faster and more memory efficient than other exact approaches. For correlation clustering, we also show that the quality of solutions obtained using MaxSAT is often significantly higher than the quality of solutions obtained by approximative (inexact) algorithms. We end the thesis with a discussion highlighting possible further research directions.Kombinatorinen optimointi on laajasti tutkittu matematiikan ja tietojenkäsittelytieteen osa-alue. Kombinatorisissa optimointiongelmissa diskreetin ratkaisujen joukon yli määritelty kustannusfunktio määrittää kunkin ratkaisun hyvyyden. Tehtävänä on löytää sallittujen ratkaisujen joukosta kustannusfunktion mukaan paras mahdollinen. Esimerkiksi niin sanotussa kauppamatkustajan ongelmassa annettuna joukko kaupunkeja tavoitteena on löytää lyhin mahdollinen reitti, jota kulkemalla voidaan käydä kaikissa kaupungeissa. Kauppamatkustajan ongelma sekä monet muut kombinatoriset optimointiongelmat ovat laskennallisesti haastavia, tarkemmin ilmaistuna NP-vaikeita. Haastavia kombinatorisia optimointiongelmia esiintyy monilla eri tieteen ja teollisuuden aloilla; esimerkiksi useat koneoppimiseen liittyvät ongelmat voidaan esittää kombinatorisina optimointiongelmina. Kombinatoristen optimointiongelmien moninaisuus motivoi tehokkaiden ratkaisualgoritmien kehitystä. Väitöskirjassa kehitetään deklaratiivisia ratkaisumenetelmiä NP-vaikeille optimointiongelmille. Deklaratiivinen ratkaisumenetelmä olettaa, että ratkaistavalle ongelmalle on olemassa jonkin matemaattisen rajoitekielen rajoitemalli, joka kuvaa kunkin ongelman instanssin joukkona matemaattisia rajoitteita siten, että kunkin rajoiteinstanssin optimaalinen ratkaisu voidaan tulkita alkuperäisen ongelman optimaalisena ratkaisuna. Deklaratiivisessa ratkaisumenetelmässä ratkaistavan optimointiongelman instanssi ratkaistaan kuvaamalla ensin instanssi rajoitemallilla joukoksi rajoitteita ja ratkaisemalla sitten rajoiteinstanssi rajoitekielen ratkaisualgoritmilla. Työssä käytetään lauselogiikkaa rajoitekielenä ja keskitytään lauselogiikan toteutuvuusongelman (SAT) laajennukseen optimointiongelmille. Tätä ongelmaa kutsutaan nimellä MaxSAT. Työssä kehitetään sekä sekä yleisiä MaxSAT-ratkaisumenetelmiä että MaxSAT-malleja tietyille koneoppimiseen liittyville optimointiongelmille. Väitöskirjan keskeiset kontribuutiot esitellään kahdessa osassa. Ensimmäisessä osassa kehitetään MaxSAT-ratkaisumenetelmiä, tarkemmin sanottuna MaxSAT-esikäsittelymenetelmiä. Esikäsittelymenetelmät ovat tehokkaasti laskettavissa olevia päättelysääntöjä (esikäsittelysääntöjä), joita käyttämällä annettuja MaxSAT-instansseja voidaan yksinkertaistaa. Esikäsittelyn tavoitteena on tehdä MaxSAT-instansseista helpommin ratkaistavia käytännössä. Väitöstyössä: i) esitellään tapa integroida keskeiset lauselogiikan toteutuvuusongelman esikäsittelysäännöt nykyaikaisiin MaxSAT-ratkaisualgoritmeihin ii) analysoidaan esikäsittelyn vaikutusta ratkaisualgoritmien käyttäytymiseen ja iii) esitellään uusi MaxSAT-esikäsittelysääntö. Kaikkia kontribuutioita MaxSAT-esikäsittelyyn analysoidaan sekä teoreettisella että kokeellisella tasolla. Kirjan toisessa osassa kehitetään MaxSAT-malleja kahdelle koneoppimiseen liittyvälle optimointiongelmalle: korrelaatioklusteroinnille ja Bayes-verkkojen rakenteenoppimisongelmalle. Kehitettäviä malleja analysoidaan sekä teoreettisesti, että kokeellisesti. Teoreettisella tasolla mallit todistetaan oikeellisiksi. Kokeellisella tasolla osoitetaan, että mallit mahdollistavat alkuperäisten ongelmien instanssien tehokkaan ratkaisemisen aiemmin näille ongelmille esiteltyihin eksakteihin ratkaisualgoritmeihin verrattuna

SAT-based approaches for constraint optimization

La optimització amb restriccions ha estat utilitzada amb èxit par a resoldre problemes en molts dominis reals (industrials). Aquesta tesi es centra en les aproximacions lògiques, concretament en Màxima Satisfactibilitat (MaxSAT) que és la versió d’optimització del problema de Satisfactibilitat booleana (SAT). A través de MaxSAT, s’han resolt molts problemes de forma eficient. Famílies d’instàncies de la majoria d’aquests problemes han estat sotmeses a la MaxSAT Evaluation (MSE), creant així una col•lecció pública i accessible d’instàncies de referència. En les edicions recents de la MSE, els algorismes SAT-based han estat les aproximacions que han tingut un millor comportament per a les instàncies industrials. Aquesta tesi està centrada en millorar els algorismes SAT-based . El nostre treball ha contribuït a tancar varies instàncies obertes i a reduir dramàticament el temps de resolució en moltes altres. A més, hem trobat sorprenentment que reformular y resoldre el problema MaxSAT a través de programació lineal sencera era especialment adequat per algunes famílies. Finalment, hem desenvolupat el primer portfoli altament eficient par a MaxSAT que ha dominat en totes las categories de la MSE des de 2013.La optimización con restricciones ha sido utilizada con éxito para resolver problemas en muchos dominios reales (industriales). Esta tesis se centra en las aproximaciones lógicas, concretamente en Máxima Satisfacibilidad (MaxSAT) que es la versión de optimización del problema de Satisfacibilidad booleana (SAT). A través de MaxSAT, se han resuelto muchos problemas de forma eficiente. Familias de instancias de la mayoría de ellos han sido sometidas a la MaxSAT Evaluation (MSE), creando así una colección pública y accesible de instancias de referencia. En las ediciones recientes de la MSE, los algoritmos SAT-based han sido las aproximaciones que han tenido un mejor comportamiento para las instancias industriales. Esta tesis está centrada en mejorar los algoritmos SAT-based. Nuestro trabajo ha contribuido a cerrar varias instancias abiertas y a reducir dramáticamente el tiempo de resolución en muchas otras. Además, hemos encontrado sorprendentemente que reformular y resolver el problema MaxSAT a través de programación lineal entera era especialmente adecuado para algunas familias. Finalmente, hemos desarrollado el primer portfolio altamente eficiente para MaxSAT que ha dominado en todas las categorías de la MSE desde 2013.Constraint optimization has been successfully used to solve problems in many real world (industrial) domains. This PhD thesis is focused on logic-based approaches, in particular, on Maximum Satisfiability (MaxSAT) which is the optimization version of Satisfiability (SAT). There have been many problems efficiency solved through MaxSAT. Instance families on the majority of them have been submitted to the international MaxSAT Evaluation (MSE), creating a collection of publicly available benchmark instances. At recent editions of MSE, SAT-based algorithms were the best performing single algorithm approaches for industrial problems. This PhD thesis is focused on the improvement of SAT-based algorithms. All this work has contributed to close up some open instances and to reduce dramatically the solving time in many others. In addition, we have surprisingly found that reformulating and solving the MaxSAT problem through Integer Linear Programming (ILP) was extremely well suited for some families. Finally, we have developed the first highly efficient MaxSAT portfolio that dominated all categories of MSE since 2013