Contributions to the moment-SOS approach in global polynomial optimization

L''Optimisation Polynomiale' s'intéresse aux problèmes d'optimisation P de la forme min {f(x): x dans K} où f est un polynôme et K est un ensemble semi-algébrique de base, c'est-à-dire défini par un nombre fini de contraintes inégalité polynomiales, K={x dans Rn : gj(x) <= 0}. Cette sous discipline de l'optimisation a émergé dans la dernière décennie grâce à la combinaison de deux facteurs: l'existence de certains résultats puissants de géométrie algébrique réelle et la puissance de l'optimisation semidéfinie (qui permet d'exploiter les premiers). Il en a résulté une méthodologie générale (que nous appelons ``moments-SOS') qui permet d'approcher aussi près que l'on veut l'optimum global de P en résolvant une hiérarchie de relaxations convexes. Cependant, chaque relaxation étant un programme semi-défini dont la taille augmente avec le rang dans la hiérarchie, malheureusement, au vu de l'état de l'art actuel des progiciels de programmation semidéfinie, cette méthodologie est pour l'instant limitée à des problèmes P de taille modeste sauf si des symétries ou de la parcimonie sont présentes dans la définition de P. Cette thèse essaie donc de répondre à la question: Peux-t-on quand même utiliser la méthodologie moments-SOS pour aider à résoudre P même si on ne peut résoudre que quelques (voire une seule) relaxations de la hiérarchie? Et si oui, comment? Nous apportons deux contributions: I. Dans une première contribution nous considérons les problèmes non convexes en variables mixtes (MINLP) pour lesquelles dans les contraintes polynomiales {g(x) <=0} où le polynôme g n'est pas concave, g est concerné par peu de variables. Pour résoudre de tels problèmes (de taille est relativement importante) on utilise en général des méthodes de type ``Branch-and-Bound'. En particulier, pour des raisons d'efficacité évidentes, à chaque nœud de l'arbre de recherche on doit calculer rapidement une borne inférieure sur l'optimum global. Pour ce faire on utilise des relaxations convexes du problème obtenues grâce à l'utilisation de sous estimateurs convexes du critère f (et des polynômes g pour les contraintes g(x)<= 0 non convexes). Notre contribution est de fournir une méthodologie générale d'obtention de tels sous estimateurs polynomiaux convexes pour tout polynôme g, sur une boite. La nouveauté de notre contribution (grâce à la méthodologie moment-SOS) est de pouvoir minimiser directement le critère d'erreur naturel qui mesure la norme L_1 de la différence f-f' entre f et son sous estimateur convexe polynomial f'. Les résultats expérimentaux confirment que le sous estimateur convexe polynomial que nous obtenons est nettement meilleur que ceux obtenus par des méthodes classiques de type ``alpha-BB' et leurs variantes, tant du point de vue du critère L_1 que du point de vue de la qualité des bornes inférieures obtenus quand on minimise f' (au lieu de f) sur la boite. II: Dans une deuxième contribution on considère des problèmes P pour lesquels seules quelques relaxations de la hiérarchie moments-SOS peuvent être implantées, par exemple celle de rang k dans la hiérarchie, et on utilise la solution de cette relaxation pour construire une solution admissible de P. Cette idée a déjà été exploitée pour certains problèmes combinatoire en variables 0/1, parfois avec des garanties de performance remarquables (par exemple pour le problème MAXCUT). Nous utilisons des résultats récents de l'approche moment-SOS en programmation polynomiale paramétrique pour définir un algorithme qui calcule une solution admissible pour P à partir d'une modification mineure de la relaxation convexe d'ordre k. L'idée de base est de considérer la variable x_1 comme un paramètre dans un intervalle Y_1 de R et on approxime la fonction ``valeur optimale' J(y) du problème d'optimisation paramétrique P(y)= min {f(x): x dans K; x_1=y} par un polynôme univarié de degré d fixé. Cette étape se ramène à la résolution d'un problème d'optimisation convexe (programme semidéfini). On calcule un minimiseur global y de J sur l'intervalle Y (un problème d'optimisation convexe ``facile') et on fixe la variable x_1=y. On itère ensuite sur les variables restantes x_2,...,x_n en prenant x_2 comme paramètre dans un intervalle Y_2, etc. jusqu'à obtenir une solution complète x de R^n qui est faisable si K est convexe ou dans certains problèmes en variables 0/1 où la faisabilité est facile à vérifier (e.g., MAXCUT, k-CLUSTTER, Knapsack). Sinon on utilise le point obtenu x comme initialisation dans un procédure d'optimisation locale pour obtenir une solution admissible. Les résultats expérimentaux obtenus sur de nombreux exemples sont très encourageants et prometteurs.Polynomial Optimization is concerned with optimization problems of the form (P) : f* = { f(x) with x in set K}, where K is a basic semi-algebraic set in Rn defined by K={x in Rn such as gj(x) less or equal 0}; and f is a real polynomial of n variables x = (x1, x2, ..., xn). In this thesis we are interested in problems (P) where symmetries and/or structured sparsity are not easy to detect or to exploit, and where only a few (or even no) semidefinite relaxations of the moment-SOS approach can be implemented. And the issue we investigate is: How can the moment-SOS methodology be still used to help solve such problem (P)? We provide two applications of the moment-SOS approach to help solve (P) in two different contexts. * In a first contribution we consider MINLP problems on a box B = [xL, xU] of Rn and propose a moment-SOS approach to construct polynomial convex underestimators for the objective function f (if non convex) and for -gj if in the constraint gj(x) less or equal 0, the polynomial gj is not concave. We work in the context where one wishes to find a convex underestimator of a non-convex polynomial f of a few variables on a box B of Rn. The novelty with previous works on this topic is that we want to compute a polynomial convex underestimator p of f that minimizes the important tightness criterion which is the L1 norm of (f-h) on B, over all convex polynomials h of degree d _fixed. Indeed in previous works for computing a convex underestimator L of f, this tightness criterion is not taken into account directly. It turns out that the moment-SOS approach is well suited to compute a polynomial convex underestimator p that minimizes the tightness criterion and numerical experiments on a sample of non-trivial examples show that p outperforms L not only with respect to the tightness score but also in terms of the resulting lower bounds obtained by minimizing respectively p and L on B. Similar improvements also occur when we use the moment-SOS underestimator instead of the aBB-one in refinements of the aBB method. * In a second contribution we propose an algorithm that also uses an optimal solution of a semidefinite relaxation in the moment-SOS hierarchy (in fact a slight modification) to provide a feasible solution for the initial optimization problem but with no rounding procedure. In the present context, we treat the first variable x1 of x = (x1, x2, ...., xn) as a parameter in some bounded interval Y of R. Notice that f*=min { J(y) : y in Y} where J is the function J(y) := inf {f(x) : x in K ; x1=y}. That is one has reduced the original n-dimensional optimization problem (P) to an equivalent one-dimensional optimization problem on an interval. But of course determining the optimal value function J is even more complicated than (P) as one has to determine a function (instead of a point in Rn), an infinite-dimensional problem. But the idea is to approximate J(y) on Y by a univariate polynomial p(y) with the degree d and fortunately, computing such a univariate polynomial is possible via solving a semidefinite relaxation associated with the parameter optimization problem. The degree d of p(y) is related to the size of this semidefinite relaxation. The higher the degree d is, the better is the approximation of J(y) by p(y) and in fact, one may show that p(y) converges to J(y) in a strong sense on Y as d increases. But of course the resulting semidefinite relaxation becomes harder (or impossible) to solve as d increases and so in practice d is fixed to a small value. Once the univariate polynomial p(y) has been determined, one computes x1* in Y that minimizes p(y) on Y, a convex optimization problem that can be solved efficiently. The process is iterated to compute x2 in a similar manner, and so on, until a point x in Rn has been computed. Finally, as x* is not feasible in general, we then use x* as a starting point for a local optimization procedure to find a final feasible point x in K. When K is convex, the following variant is implemented. After having computed x1* as indicated, x2* is computed with x1 fixed at the value x1*, and x3 is computed with x1 and x2 fixed at the values x1* and x2* respectively, etc., so that the resulting point x* is feasible, i.e., x* in K. The same variant applies for 0/1 programs for which feasibility is easy to detect like e.g., for MAXCUT, k-CLUSTER or 0/1-KNAPSACK problems

Non-Convex Optimization and Applications to Bilinear Programming and Super-Resolution Imaging

Bilinear programs and Phase Retrieval are two instances of nonconvex problems that arise in engineering and physical applications, and both occur with their fundamental difficulties. In this thesis, we consider various methods and algorithms for tackling these challenging problems and discuss their effectiveness. Bilinear programs (BLPs) are ubiquitous in engineering applications, economics, and operations research, and have a natural encoding to quadratic programs. They appear in the study of Lyapunov functions used to deduce the stability of solutions to differential equations describing dynamical systems. For multivariate dynamical systems, the problem formulation for computing an appropriate Lyapunov function is a BLP. In electric power systems engineering, one of the most practically important and well-researched subfields of constrained nonlinear optimization is Optimal Power Flow wherein one attempts to optimize an electric power system subject to physical constraints imposed by electrical laws and engineering limits, which can be naturally formulated as a quadratic program. In a recent publication, we studied the relationship between data flow constraints for numerical domains such as polyhedra and bilinear constraints. The problem of recovering an image from its Fourier modulus, or intensity, measurements emerges in many physical and engineering applications. The problem is known as Fourier phase retrieval wherein one attempts to recover the phase information of a signal in order to accurately reconstruct it from estimated intensity measurements by applying the inverse Fourier transform. The problem of recovering phase information from a set of measurements can be formulated as a quadratic program. This problem is well-studied but still presents many challenges. The resolution of an optical device is defined as the smallest distance between two objects such that the two objects can still be recognized as separate entities. Due to the physics of diffraction, and the way that light bends around an obstacle, the resolving power of an optical system is limited. This limit, known as the diffraction limit, was first introduced by Ernst Abbe in 1873. Obtaining the complete phase information would enable one to perfectly reconstruct an image; however, the problem is severely ill-posed and the leads to a specialized type of quadratic program, known as super-resolution imaging, wherein one attempts to learn phase information beyond the limits of diffraction and the limitations imposed by the imaging device

Dynamic Optimization of Gas Transmission Networks for Storage of Renewable Energy

To ensure security of supply in the presence of highly volatile generation of renewable electric energy, extensive storage is required. In this thesis the application of mathematical optimization methods to gas transmission networks with electricity driven compressor stations, operated as electricity storage, is discussed. Therefore, a transient network model that incorporates the gas dynamics described by the isothermal Euler equations as well as technical network elements is introduced and reviewed as coupled systems of hyperbolic balance laws. For optimization problems on networks these PDEs are commonly discretized by finite differences using an implicit box-scheme. The comparison with finite volume simulations, obtained using a high order ADER method, shows that the finite difference approximations represent sufficiently well the gas dynamics for typical flow situations on transmission networks while requiring much less computational effort. The optimization model is then applied to realistic test problems abstracting parts of the German gas transmission network. The results for different price scenarios, which are used as indicator for the availability of renewable energy, show the potential of using pipelines as short term storage for electric energy but also the limitations. The thesis is concluded by a discussion of the recently proposed distributed optimization algorithm ALADIN and its application to the structured gas network optimization problems. Therefore, an implementation of this algorithm as well as the experiences applying it to the introduced model are presented. Compared to a general purpose interior-point method, this approach of exploiting the problem structure shows promising performance for simple examples but fails for more complicated model instances.Um die Versorgungssicherheit auch bei stark fluktuierender Stromerzeugung aus regenerativen Quellen sicherzustellen, werden umfangreiche Speicher benötigt. In dieser Arbeit wird die Anwendung mathematischer Optimierungsmethoden auf Gasnetze mit elektrisch betriebenen Verdichtern diskutiert, die als Stromspeicher eingesetzt werden sollen. Dafür wird ein transientes Netzmodell, das sowohl die Gasdynamik in Form der isothermen Euler-Gleichungen als auch weitere technische Netzelemente umfasst, eingeführt und anschließend im Kontext von hyperbolischer Erhaltungsgleichungen auf Netzen besprochen. Für Optimierungsprobleme auf Netzen werden diese partiellen Differentialgleichungen üblicherweise mit Finiten Differenzen eines impliziten Boxschemas diskretisiert. Der Vergleich mit den Ergebnissen von Finite-Volumen-Simulationen, die mit einem ADER-Verfahren höherer Ordnung bestimmt werden, zeigt, dass diese Finite-Differenzen-Approximationen die typische Dynamik in Gastransportnetzen genügend genau darstellen und dafür erheblich weniger Rechenaufwand benötigen. Dieses Optimierungsmodell wird dann auf realistische Testprobleme angewendet, die Teile des deutschen Gastransportnetzes abstrahieren. Die Ergebnisse für verschiedene Preissituationen, die als Indikator für das Angebot an erneuerbarer Energie genutzt werden, zeigen das Potential der Nutzung von Gasleitungen als kurzfristiger Stromspeicher aber auch die Einschränkungen. Zum Abschluss dieser Arbeit werden der kürzlich vorgestellte, verteilte Optimierungsalgorithmus ALADIN und seine Anwendung auf die strukturierten Gasnetzoptimierungsprobleme diskutiert. Dazu werden eine konkrete Implementation des Algorithmus und die Erfahrungen aus deren Einsatz für die vorgestellten Netzmodelle präsentiert. Im Vergleich zu einem Standardverfahren zeigt dieser Vorschlag einer Struktur ausnutzenden Lösungsmethode für einfache Beispiele ein vielversprechendes Verhalten, scheitert jedoch für kompliziertere Modellinstanzen

Decomposition methods for mixed-integer nonlinear programming

En esta tesis se pueden distinguir dos líneas principales de investigación. La primera se ocupa de los métodos de Aproximación Externa (Outer Approximation), mientras que la segunda estudia un solución basada en el método de Generación de Columnas (Column Generation). En esta tesis investigamos y analizamos aspectos teóricos y prácticos de ambas ideas dentro del marco de la descomposición. El objetivo principal de este estudio es desarrollar métodos sistemáticos basados en la descomposición para resolver problemas de gran escala utilizando los métodos de Aproximación Externa y Generación de Columnas. En el capítulo 1 se introduce un concepto importante necesario para la descomposición. Este concepto consiste en una reformulación separable en bloques del problema de programación no lineal de enteros mixtos. En el capítulo 1 también se hace una descripción de los métodos mencionados anteriormente, incluyendo los de Ramificación y Acotación, además de otros conceptos clave que son necesarios para esta tesis, como por ejemplo los de Aproximación Interior, etc. Los capítulos 2, 3 y 4 investigan el uso del concepto de Aproximación Externa. Específicamente, en el capítulo 2 se presenta un algoritmo de Aproximación Externa basado en descomposición para resolver problemas de programación no-lineales convexos enteros-mixtos, basados en la construcción de hiperplanos soporte para un conjunto factible. El capítulo 3 amplia el marco de aplicación de un algoritmo de Aproximación Externa basado en descomposición, a problemas de programación no lineales no convexos enteros mixtos, introduciendo una Aproximación Externa convexa por partes de un conjunto factible no convexo. Otra perspectiva de la definición de Aproximación Externa para problemas no convexos se considera en el capítulo 4, que presenta un algoritmo de Refinamiento Interno y Externo basado en descomposición, que construye una Aproximación Externa al mismo tiempo que calcula la Aproximación Interna usando Generación de Columnas. La Aproximación Externa usada en el algoritmo de Refinamiento Interno y Externo se basa en la visión multiobjetivo de la denominada versión recursos restringidos del problema original. Dos capítulos están dedicados a la Generación de Columnas. En el capítulo 4 se presenta un algoritmo de Generación de Columnas para calcular una Aproximación Interna del problema original. Además se describe un algoritmo heurístico basado en particiones que usa un refinamiento de la Aproximación Interna. El capítulo 5 analiza varias técnicas de aceleración para la Generación de Columnas, donde se describe un algoritmo heurístico general basado en la Generación de Columnas, que puede generar varias soluciones candidatas de alta calidad. El capítulo 6 contiene una breve descripción de la implementación en Python de DECOGO (software de programación no lineal de enteros mixtos).La programación no lineal de enteros mixtos es un campo de optimización importante y desafiante. Este tipo de problemas pueden contener variables continuas e enteras, así como restricciones lineales y no lineales. Esta clase de problemas tiene un papel fundamental en la ciencia y la industria, ya que proporcionan una forma precisa de describir fenómenos en diferentes áreas como ingeniería química y mecánica, cadena de suministro, gestión, etc. La mayoría de los algoritmos de última generación para resolver los problemas de programación no lineal de enteros mixtos no convexos están basados en los métodos de ramificación y acotación. El principal inconveniente de este enfoque es que el árbol de búsqueda puede crecer muy rápido impidiendo que el algoritmo encuentre una solución de alta calidad en un tiempo razonable. Una posible alternativa que evite la generación de grandes árboles consiste en hacer uso del concepto de descomposición para hacer que el procedimiento sea más manejable. La descomposición proporciona un marco general en el que el problema original se divide en pequeños subproblemas y sus resultados se combinan en un problema maestro más sencillo. Esta tesis analiza los métodos de descomposición para la programación no lineal de enteros mixtos. El principal objetivo de esta tesis es desarrollar métodos alternativos al de ramificación y acotación, basados en el concepto de descomposición. Para la industria y la ciencia, es importante calcular una solución óptima, o al menos, mejorar la mejor solución disponible hasta ahora. Además, esto debe hacerse en un plazo de tiempo razonable. Por lo tanto, el objetivo de esta tesis es diseñar algoritmos eficientes que permitan resolver problemas de gran escala que tienen una aplicación práctica directa. En particular, nos centraremos en modelos que pueden ser aplicados en la planificación y operación de sistemas energéticos

Nonsmooth and derivative-free optimization based hybrid methods and applications

"In this thesis, we develop hybrid methods for solving global and in particular, nonsmooth optimization problems. Hybrid methods are becoming more popular in global optimization since they allow to apply powerful smooth optimization techniques to solve global optimization problems. Such methods are able to efficiently solve global optimization problems with large number of variables. To date global search algorithms have been mainly applied to improve global search properties of the local search methods (including smooth optimization algorithms). In this thesis we apply rather different strategy to design hybrid methods. We use local search algorithms to improve the efficiency of global search methods. The thesis consists of two parts. In the first part we describe hybrid algorithms and in the second part we consider their various applications." -- taken from Abstract.Operational Research and Cybernetic