A Newton-bracketing method for a simple conic optimization problem

For the Lagrangian-DNN relaxation of quadratic optimization problems (QOPs), we propose a Newton-bracketing method to improve the performance of the bisection-projection method implemented in BBCPOP [to appear in ACM Tran. Softw., 2019]. The relaxation problem is converted into the problem of finding the largest zero $y^*$ of a continuously differentiable (except at $y^*$) convex function $g : \mathbb{R} \rightarrow \mathbb{R}$ such that $g(y) = 0$ if $y \leq y^*$ and $g(y) > 0$ otherwise. In theory, the method generates lower and upper bounds of $y^*$ both converging to $y^*$. Their convergence is quadratic if the right derivative of $g$ at $y^*$ is positive. Accurate computation of $g'(y)$ is necessary for the robustness of the method, but it is difficult to achieve in practice. As an alternative, we present a secant-bracketing method. We demonstrate that the method improves the quality of the lower bounds obtained by BBCPOP and SDPNAL+ for binary QOP instances from BIQMAC. Moreover, new lower bounds for the unknown optimal values of large scale QAP instances from QAPLIB are reported.Comment: 19 pages, 2 figure

加速近接勾配法の2値判別と多項式最適化への応用

学位の種別: 課程博士審査委員会委員 : （主査）東京大学教授 岩田 覚, 東京大学教授 寒野 善博, 東京大学准教授 平井 広志, 東京大学准教授 鈴木 大慈, 統計数理研究所教授 武田 朗子University of Tokyo(東京大学

An Exceptionally Difficult Binary Quadratic Optimization Problem with Symmetry: a Challenge for The Largest Unsolved QAP Instance Tai256c

Tai256c is the largest unsolved quadratic assignment problem (QAP) instance in QAPLIB. It is known that QAP tai256c can be converted into a 256 dimensional binary quadratic optimization problem (BQOP) with a single cardinality constraint which requires the sum of the binary variables to be 92. As the BQOP is much simpler than the original QAP, the conversion increases the possibility to solve the QAP. Solving exactly the BQOP, however, is still very difficult. Indeed, a 1.48\% gap remains between the best known upper bound (UB) and lower bound (LB) of the unknown optimal value. This paper shows that the BQOP admits a nontrivial symmetry, a property that makes the BQOP very hard to solve. The symmetry induces equivalent subproblems in branch and bound (BB) methods. To effectively improve the LB, we propose an efficient BB method that incorporates a doubly nonnegative relaxation, the standard orbit branching and a technique to prune equivalent subproblems. With this BB method, a new LB with 1.25\% gap is successfully obtained, and computing an LB with $1.0\%$ gap is shown to be still quite difficult.Comment: 19 pages, 7 figures. arXiv admin note: substantial text overlap with arXiv:2210.1596

Exploiting Structures in Mixed-Integer Second-Order Cone Optimization Problems for Branch-and-Conic-Cut Algorithms

This thesis studies computational approaches for mixed-integer second-order cone optimization (MISOCO) problems. MISOCO models appear in many real-world applications, so MISOCO has gained significant interest in recent years. However, despite recent advancements, there is a gap between the theoretical developments and computational practice. Three chapters of this thesis address three areas of computational methodology for an efficient branch-and-conic-cut (BCC) algorithm to solve MISOCO problems faster in practice. These chapters include a detailed discussion on practical work on adding cuts in a BCC algorithm, novel methodologies for warm-starting second-order cone optimization (SOCO) subproblems, and heuristics for MISOCO problems.The first part of this thesis concerns the development of a novel warm-starting method of interior-point methods (IPM) for SOCO problems. The method exploits the Jordan frames of an original instance and solves two auxiliary linear optimization problems. The solutions obtained from these problems are used to identify an ideal initial point of the IPM. Numerical results on public test sets indicate that the warm-start method works well in practice and reduces the number of iterations required to solve related SOCO problems by around 30-40%.The second part of this thesis presents novel heuristics for MISOCO problems. These heuristics use the Jordan frames from both continuous relaxations and penalty problems and present a way of finding feasible solutions for MISOCO problems. Numerical results on conic and quadratic test sets show significant performance in terms of finding a solution that has a small gap to optimality.The last part of this thesis presents application of disjunctive conic cuts (DCC) and disjunctive cylindrical cuts (DCyC) to asset allocation problems (AAP). To maximize the benefit from these powerful cuts, several decisions regarding the addition of these cuts are inspected in a practical setting. The analysis in this chapter gives insight about how these cuts can be added in case-specific settings

Semidefinite Programming. methods and algorithms for energy management

La présente thèse a pour objet d explorer les potentialités d une méthode prometteuse de l optimisation conique, la programmation semi-définie positive (SDP), pour les problèmes de management d énergie, à savoir relatifs à la satisfaction des équilibres offre-demande électrique et gazier.Nos travaux se déclinent selon deux axes. Tout d abord nous nous intéressons à l utilisation de la SDP pour produire des relaxations de problèmes combinatoires et quadratiques. Si une relaxation SDP dite standard peut être élaborée très simplement, il est généralement souhaitable de la renforcer par des coupes, pouvant être déterminées par l'étude de la structure du problème ou à l'aide de méthodes plus systématiques. Nous mettons en œuvre ces deux approches sur différentes modélisations du problème de planification des arrêts nucléaires, réputé pour sa difficulté combinatoire. Nous terminons sur ce sujet par une expérimentation de la hiérarchie de Lasserre, donnant lieu à une suite de SDP dont la valeur optimale tend vers la solution du problème initial.Le second axe de la thèse porte sur l'application de la SDP à la prise en compte de l'incertitude. Nous mettons en œuvre une approche originale dénommée optimisation distributionnellement robuste , pouvant être vue comme un compromis entre optimisation stochastique et optimisation robuste et menant à des approximations sous forme de SDP. Nous nous appliquons à estimer l'apport de cette approche sur un problème d'équilibre offre-demande avec incertitude. Puis, nous présentons une relaxation SDP pour les problèmes MISOCP. Cette relaxation se révèle être de très bonne qualité, tout en ne nécessitant qu un temps de calcul raisonnable. La SDP se confirme donc être une méthode d optimisation prometteuse qui offre de nombreuses opportunités d'innovation en management d énergie.The present thesis aims at exploring the potentialities of a powerful optimization technique, namely Semidefinite Programming, for addressing some difficult problems of energy management. We pursue two main objectives. The first one consists of using SDP to provide tight relaxations of combinatorial and quadratic problems. A first relaxation, called standard can be derived in a generic way but it is generally desirable to reinforce them, by means of tailor-made tools or in a systematic fashion. These two approaches are implemented on different models of the Nuclear Outages Scheduling Problem, a famous combinatorial problem. We conclude this topic by experimenting the Lasserre's hierarchy on this problem, leading to a sequence of semidefinite relaxations whose optimal values tends to the optimal value of the initial problem.The second objective deals with the use of SDP for the treatment of uncertainty. We investigate an original approach called distributionnally robust optimization , that can be seen as a compromise between stochastic and robust optimization and admits approximations under the form of a SDP. We compare the benefits of this method w.r.t classical approaches on a demand/supply equilibrium problem. Finally, we propose a scheme for deriving SDP relaxations of MISOCP and we report promising computational results indicating that the semidefinite relaxation improves significantly the continuous relaxation, while requiring a reasonable computational effort.SDP therefore proves to be a promising optimization method that offers great opportunities for innovation in energy management.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

A Novel Approach to Tightening Semidefinite Relaxations for Certain Combinatorial Problems

RÉSUMÉ : Ce mémoire présente une nouvelle famille de coupes nommées contraintes polytopiques kprojection (kPPCs) qui peuvent être utilisées pour résoudre certains problèmes quadratiques binaires. Notamment les problèmes qui satisfont une propriété de projection pour les solutions réalisables sur un sous-graphe induit ont la même structure que les solutions faisables sur le graphe entier. Parmi ces problèmes se trouvent le problème max-cut et le problème d’ensemble stable (stable set problem). Les coupes sont généralement des inégalités, cependant les kPPCs s’en distinguent par le fait qu’elles sont formées d’un ensemble d’inégalités. De plus, elle peuvent être définies pour un seul sous-graphe induit ou pour un ensemble de sous-graphes induits, et sont utilisées pour resserrer les relaxations en programmation semi-définie. Trois aspects des kPPCs sont examinés dans ce mémoire : une hiérarchie qui converge vers une formulation exacte, une formulation pour trouver la contrainte kPPC la plus violée, et l’amélioration de la borne supérieure (pour un problème de maximisation) d’une implémentation pratique de kPPCs pour le problème max-cut. La relaxation SDP avec kPPCs forme une hiérarchie. Le kème niveau de la hiérarchie est la relaxation SDP avec kPPCs pour tous les sous-graphes induits de taille k. Lorsque k augmente, l’intensité de la relaxation augmente également puisque CUTk ⊆ CUTk+1 où CUTk est le polytope de coupe de taille k. Au nème niveau, la formulation n’est plus une relaxation et rejoint exactement le problème d’origine CUTn. Il existe n/k sous-graphes induits uniques pour un graphe à n noeuds. Par conséquent, il n’est possible d’énumérer explicitement les niveaux de la hiérarchie que pour de petits exemples. Cependant, la force de la hiérarchie des kPPCs est que la matrice semi-définie positive, qui est variable dans la relaxation SDP, n’augmente pas en taille lorsque le niveau augmente, contrairement aux hiérarchies de Lasserre. Pour un sous-graphe induit donné I, un modèle d’optimisation (nommé distance-au-polytope) est présenté pour déterminer si la solution optimale de la relaxation SDP viole les kPPCs pour I et, dans l’affirmative, pour quantifier la violation. Le modèle distance-au-polytope a une fonction objectif quadratique, des contraintes linéaires et se résout rapidement. La solution optimale est la distance euclidienne entre le mineur principal de la solution optimale de la relaxation (X*I) et le polytope de coupe (CUT|I|). Si la distance est égale à zéro, alors l’inclusion de kPPCs pour I dans la relaxation SDP ne resserrera pas la borne. Si la distance est strictement supérieure à zéro, alors les kPPCs pour I ne sont pas satisfaites par la solution courante. Par conséquent, leur inclusion dans la relaxation SDP changera la solution courante X* (bien qu’une amélioration de la borne ne soit pas garantie). Ce mémoire présente un modèle d’optimisation binaire-mixte dans un cône de second ordre (SOC) qui, pour un k donné, trouve la kPPC la plus éloignée du polytope de coupe. Le problème interne est le modèle distance-au-polytope. Le problème externe comporte des variables binaires qui prennent en compte tous les sous-graphes induits de taille k. Les problèmes à deux niveaux sont intrinsèquement difficiles à résoudre. Une reformulation est donc présentée qui change le problème à deux niveaux en un problème SOC équivalent à un seul niveau. La reformulation utilise des techniques telles que les conditions KKT, les contraintes disjointes et le saut de dualité. De plus, nous montrons comment renforcer le modèle à un seul niveau en incluant des contraintes de bris de symétrie et en incluant des variables binaires additionnelles qui réduisent la taille de l’arbre d’énumération. MOSEK est utilisé pour résoudre le problème et les résultats sont présentés jusqu’à la taille 20. À chaque itération d’une méthode de plan sécant, une relaxation est résolue et, si un critère d’arrêt n’est pas atteint, une procédure de séparation cherche les coupes violées ou valides à ajouter à la relaxation. Ce mémoire présente un algorithme de plan sécant utilisant les kPPCs pour le problème max-cut. Notre méthode de plan sécant comporte 3 étapes. La première résout la relaxation SDP simple pour fournir une solution optimale initiale. La seconde résout itérativement la relaxation SDP simple à laquelle s’ajoute des inégalités triangulaires. À chaque itération, l’ensemble des inégalités triangulaires est composé, d’une part, de certaines inégalités triangulaires qui sont violées par la solution précédente et, d’autre part, des inégalités triangulaires actives de l’itération précédente. Les inégalités non actives ne sont pas saturées et ne sont par conséquent pas conservées. La troisième étape débute quand l’étape 2 n’apporte plus d’amélioration significative : des kPPCs sont ajoutées au modèle (relaxation SDP simple avec inégalités triangulaires fournies par la dernière itération de l’étape 2). Pour trouver les kPPCs violées, la procédure de séparation résout le problème distance-aupolytope pour les indices générés à partir des inégalités triangulaires violées. Cette méthode donne de meilleurs résultats que la sélection aléatoire des sous-graphes induits pour en tester la violation. En particulier, nous montrons que davantage de kPPCs violées sont trouvées et que la violation est plus grande. Finalement, nous présentons des résultats numériques (pour n = 500 − 1000) montrant que, lorsque l’amélioration de la borne à partir d’inégalités triangulaires est faible, les kPPCs sont encore capables de resserrer la relaxation.----------ABSTRACT : This thesis introduces a new family of cuts called k-projection polytope constraints (kPPCs)that can be used to solve certain binary quadratic problems. Specifically those problems that satisfy a projection property in which feasible solutions on an induced subgraph have the same structure as feasible solutions on the full graph, such as the max-cut problem and the stable set problem. Typically cuts (also called valid inequalities) are inequalities, however kPPCs differ as they are a set of equalities. Furthermore they can be defined for a single induced subgraph or a set of induced subgraphs and are used to tighten semidefinite programming (SDP) relaxations. Three aspects of kPPCs are examined in this thesis: a hierarchy that converges to an exact formulation, a formulation to find the most violated kPPC and a practical implementation of a cutting plane algorithm using kPPCs that improves the upper bound (of a maximization problem) for the max-cut problem. The SDP relaxation with kPPCs forms a hierarchy. The kth level of the hierarchy is the SDP relaxation with kPPCs for all induced subgraphs of size k. As k increases, the strength of the relaxation also increases since CUTk ⊆ CUTk+1 where CUTk is the cut polytope of size k. At the nth level the formulation is no longer a relaxation and defines the original problem, CUTn, exactly. There are n/K unique induced subgraphs for a graph with n vertices. Therefore explicitly producing the levels of the hierarchy is only possible for small examples. However the strength of the hierarchy of kPPCs is that the positive semidefinite matrix variable in the SDP relaxation does not grow in size as the level is increased. This is in contrast to other hierarchies including the Lasserre hierarchy. For a given induced subgraph I, an optimization model (denoted distance-to-polytope) is presented to determine if the optimal solution to an SDP relaxation violates the kPPC for I and, if so, to quantify the violation. The distance-to-polytope model has a quadratic objective function, linear constraints and solves quickly. The optimal solution is the euclidean distance between the principal minor of the optimal solution to the relaxation (X*I ) and the cut polytope (CUT|I|). If the distance equals zero then including the kPPC for I in the SDP relaxation will not tighten the bound. If the distance is strictly greater than zero then the kPPC for I is not satisfied by the current solution. Therefore including it in the SDP relaxation will change the current solution X* (although a strict improvement in the bound is not guaranteed). The maximally violated valid inequality problem (MVVIP) determines the valid inequality from a family of cuts that is most violated. This thesis examines this problem for kPPCs. Specifically we present a mixed-binary second order cone optimization model that, for a given k, finds the kPPC that is furthest from the cut polytope. The inner problem is the distance-to-polytope model. The outer problem includes binary variables that consider all induced subgraphs of size k. Bilevel problems are inherently hard to solve. A reformulation is presented that changes the bilevel model into an equivalent single level second order cone problem. The reformulation uses techniques such as KKT conditions, disjunctive constraints and the duality gap. Moreover we show how to strengthen the single level model by including symmetry breaking constraints and including additional binary variables that reduce the size of the enumeration tree. MOSEK is used to solve the problem and results are presented up to size 20. At each iteration of a cutting plane method a relaxation is solved and if a stopping criteria is not met a separation procedure looks for violated and valid cuts to add to the relaxation. This thesis presents a cutting plane algorithm using kPPCs for the max-cut problem. There are 3 stages in our cutting plane method. The first solves the basic SDP relaxation to give an initial optimal solution. The second stage iteratively solves the basic SDP relaxation plus some triangle inequalities. At each iteration the set of triangle inequalities is composed of some triangle inequalities that are violated by the previous solution and the triangle inequalities from the previous iteration that are active. The non-active inequalities are not binding and therefore are not kept. When there are no more violated triangle inequalities (or the improvement has stalled) we begin the third stage in which kPPCs are added to the model (basic SDP relaxation plus triangle inequalities from the last iteration of stage 2). The separation procedure to find violated kPPCs solves the distance-to-polytope problem for indices generated from violated triangle inequalities. Compared to randomly selecting induced subgraphs to test for violation, generating them from the indices used in triangle inequalities gives better results. Specifically we show that more violated kPPCs are found and that the amount of violation is larger. Finally we examine dense graphs of size 500 to 1000 and present computational results showing that kPPCs are able to improve the bound even after triangle inequalities can no longer tighten the relaxation

Integrality and cutting planes in semidefinite programming approaches for combinatorial optimization

Many real-life decision problems are discrete in nature. To solve such problems as mathematical optimization problems, integrality constraints are commonly incorporated in the model to reflect the choice of finitely many alternatives. At the same time, it is known that semidefinite programming is very suitable for obtaining strong relaxations of combinatorial optimization problems. In this dissertation, we study the interplay between semidefinite programming and integrality, where a special focus is put on the use of cutting-plane methods. Although the notions of integrality and cutting planes are well-studied in linear programming, integer semidefinite programs (ISDPs) are considered only recently. We show that manycombinatorial optimization problems can be modeled as ISDPs. Several theoretical concepts, such as the Chvátal-Gomory closure, total dual integrality and integer Lagrangian duality, are studied for the case of integer semidefinite programming. On the practical side, we introduce an improved branch-and-cut approach for ISDPs and a cutting-plane augmented Lagrangian method for solving semidefinite programs with a large number of cutting planes. Throughout the thesis, we apply our results to a wide range of combinatorial optimization problems, among which the quadratic cycle cover problem, the quadratic traveling salesman problem and the graph partition problem. Our approaches lead to novel, strong and efficient solution strategies for these problems, with the potential to be extended to other problem classes