(Global) Optimization: Historical notes and recent developments

Recent developments in (Global) Optimization are surveyed in this paper. We collected and commented quite a large number of recent references which, in our opinion, well represent the vivacity, deepness, and width of scope of current computational approaches and theoretical results about nonconvex optimization problems. Before the presentation of the recent developments, which are subdivided into two parts related to heuristic and exact approaches, respectively, we briefly sketch the origin of the discipline and observe what, from the initial attempts, survived, what was not considered at all as well as a few approaches which have been recently rediscovered, mostly in connection with machine learning

Enhancements of Discretization Approaches for Non-Convex Mixed-Integer Quadratically Constraint Quadratic Programming

We study mixed-integer programming (MIP) relaxation techniques for the solution of non-convex mixed-integer quadratically constrained quadratic programs (MIQCQPs). We present two MIP relaxation methods for non-convex continuous variable products that enhance existing approaches. One is based on a separable reformulation, while the other extends the well-known MIP relaxation normalized multiparametric disaggregation technique (NMDT). In addition, we introduce a logarithmic MIP relaxation for univariate quadratic terms, called sawtooth relaxation, based on [4]. We combine the latter with the separable reformulation to derive MIP relaxations of MIQCQPs. We provide a comprehensive theoretical analysis of these techniques, and perform a broad computational study to demonstrate the effectiveness of the enhanced MIP relaxations in terms producing tight dual bounds for MIQCQP

Optimization Methods in Electric Power Systems: Global Solutions for Optimal Power Flow and Algorithms for Resilient Design under Geomagnetic Disturbances

An electric power system is a network of various components that generates and delivers power to end users. Since 1881, U.S. electric utilities have supplied power to billions of industrial, commercial, public, and residential customers continuously. Given the rapid growth of power utilities, power system optimization has evolved with developments in computing and optimization theory. In this dissertation, we focus on two optimization problems associated with power system planning: the AC optimal power flow (ACOPF) problem and the optimal transmission line switching (OTS) problem under geomagnetic disturbances (GMDs). The former problem is formulated as a nonlinear, non-convex network optimization problem, while the latter is the network design version of the ACOPF problem that allows topology reconfiguration and considers space weather-induced effects on power systems. Overall, the goal of this research includes: (1) developing computationally efficient approaches for the ACOPF problem in order to improve power dispatch efficiency and (2) identifying an optimal topology configuration to help ISO operate power systems reliably and efficiently under geomagnetic disturbances. Chapter 1 introduces the problems we are studying and motivates the proposed research. We present the ACOPF problem and the state-of-the-art solution methods developed in recent years. Next, we introduce geomagnetic disturbances and describe how they can impact electrical power systems. In Chapter 2, we revisit the polar power-voltage formulation of the ACOPF problem and focus on convex relaxation methods to develop lower bounds on the problem objective. Based on these approaches, we propose an adaptive, multivariate partitioning algorithm with bound tightening and heuristic branching strategies that progressively improves these relaxations and, given sufficient time, converges to the globally optimal solution. Computational results show that our methodology provides a computationally tractable approach to obtain tight relaxation bounds for hard ACOPF cases from the literature. In Chapter 3, we focus on the impact that extreme GMD events could potentially have on the ability of a power system to deliver power reliably. We develop a mixed-integer, nonlinear model which captures and mitigates GMD effects through line switching, generator dispatch, and load shedding. In addition, we present a heuristic algorithm that provides high-quality solutions quickly. Our work demonstrates that line switching is an effective way to mitigate GIC impacts. In Chapter 4, we extend the preliminary study presented in Chapter 3 and further consider the uncertain nature of GMD events. We propose a two-stage distributionally robust (DR) optimization model that captures geo-electric fields induced by uncertain GMDs. Additionally, we present a reformulation of a two-stage DRO that creates a decomposition framework for solving our problem. Computational results show that our DRO approach provides solutions that are robust to errors in GMD event predictions. Finally, in Chapter 5, we summarize the research contributions of our work and provide directions for future research

Contributions to the moment-SOS approach in global polynomial optimization

L''Optimisation Polynomiale' s'intéresse aux problèmes d'optimisation P de la forme min {f(x): x dans K} où f est un polynôme et K est un ensemble semi-algébrique de base, c'est-à-dire défini par un nombre fini de contraintes inégalité polynomiales, K={x dans Rn : gj(x) <= 0}. Cette sous discipline de l'optimisation a émergé dans la dernière décennie grâce à la combinaison de deux facteurs: l'existence de certains résultats puissants de géométrie algébrique réelle et la puissance de l'optimisation semidéfinie (qui permet d'exploiter les premiers). Il en a résulté une méthodologie générale (que nous appelons ``moments-SOS') qui permet d'approcher aussi près que l'on veut l'optimum global de P en résolvant une hiérarchie de relaxations convexes. Cependant, chaque relaxation étant un programme semi-défini dont la taille augmente avec le rang dans la hiérarchie, malheureusement, au vu de l'état de l'art actuel des progiciels de programmation semidéfinie, cette méthodologie est pour l'instant limitée à des problèmes P de taille modeste sauf si des symétries ou de la parcimonie sont présentes dans la définition de P. Cette thèse essaie donc de répondre à la question: Peux-t-on quand même utiliser la méthodologie moments-SOS pour aider à résoudre P même si on ne peut résoudre que quelques (voire une seule) relaxations de la hiérarchie? Et si oui, comment? Nous apportons deux contributions: I. Dans une première contribution nous considérons les problèmes non convexes en variables mixtes (MINLP) pour lesquelles dans les contraintes polynomiales {g(x) <=0} où le polynôme g n'est pas concave, g est concerné par peu de variables. Pour résoudre de tels problèmes (de taille est relativement importante) on utilise en général des méthodes de type ``Branch-and-Bound'. En particulier, pour des raisons d'efficacité évidentes, à chaque nœud de l'arbre de recherche on doit calculer rapidement une borne inférieure sur l'optimum global. Pour ce faire on utilise des relaxations convexes du problème obtenues grâce à l'utilisation de sous estimateurs convexes du critère f (et des polynômes g pour les contraintes g(x)<= 0 non convexes). Notre contribution est de fournir une méthodologie générale d'obtention de tels sous estimateurs polynomiaux convexes pour tout polynôme g, sur une boite. La nouveauté de notre contribution (grâce à la méthodologie moment-SOS) est de pouvoir minimiser directement le critère d'erreur naturel qui mesure la norme L_1 de la différence f-f' entre f et son sous estimateur convexe polynomial f'. Les résultats expérimentaux confirment que le sous estimateur convexe polynomial que nous obtenons est nettement meilleur que ceux obtenus par des méthodes classiques de type ``alpha-BB' et leurs variantes, tant du point de vue du critère L_1 que du point de vue de la qualité des bornes inférieures obtenus quand on minimise f' (au lieu de f) sur la boite. II: Dans une deuxième contribution on considère des problèmes P pour lesquels seules quelques relaxations de la hiérarchie moments-SOS peuvent être implantées, par exemple celle de rang k dans la hiérarchie, et on utilise la solution de cette relaxation pour construire une solution admissible de P. Cette idée a déjà été exploitée pour certains problèmes combinatoire en variables 0/1, parfois avec des garanties de performance remarquables (par exemple pour le problème MAXCUT). Nous utilisons des résultats récents de l'approche moment-SOS en programmation polynomiale paramétrique pour définir un algorithme qui calcule une solution admissible pour P à partir d'une modification mineure de la relaxation convexe d'ordre k. L'idée de base est de considérer la variable x_1 comme un paramètre dans un intervalle Y_1 de R et on approxime la fonction ``valeur optimale' J(y) du problème d'optimisation paramétrique P(y)= min {f(x): x dans K; x_1=y} par un polynôme univarié de degré d fixé. Cette étape se ramène à la résolution d'un problème d'optimisation convexe (programme semidéfini). On calcule un minimiseur global y de J sur l'intervalle Y (un problème d'optimisation convexe ``facile') et on fixe la variable x_1=y. On itère ensuite sur les variables restantes x_2,...,x_n en prenant x_2 comme paramètre dans un intervalle Y_2, etc. jusqu'à obtenir une solution complète x de R^n qui est faisable si K est convexe ou dans certains problèmes en variables 0/1 où la faisabilité est facile à vérifier (e.g., MAXCUT, k-CLUSTTER, Knapsack). Sinon on utilise le point obtenu x comme initialisation dans un procédure d'optimisation locale pour obtenir une solution admissible. Les résultats expérimentaux obtenus sur de nombreux exemples sont très encourageants et prometteurs.Polynomial Optimization is concerned with optimization problems of the form (P) : f* = { f(x) with x in set K}, where K is a basic semi-algebraic set in Rn defined by K={x in Rn such as gj(x) less or equal 0}; and f is a real polynomial of n variables x = (x1, x2, ..., xn). In this thesis we are interested in problems (P) where symmetries and/or structured sparsity are not easy to detect or to exploit, and where only a few (or even no) semidefinite relaxations of the moment-SOS approach can be implemented. And the issue we investigate is: How can the moment-SOS methodology be still used to help solve such problem (P)? We provide two applications of the moment-SOS approach to help solve (P) in two different contexts. * In a first contribution we consider MINLP problems on a box B = [xL, xU] of Rn and propose a moment-SOS approach to construct polynomial convex underestimators for the objective function f (if non convex) and for -gj if in the constraint gj(x) less or equal 0, the polynomial gj is not concave. We work in the context where one wishes to find a convex underestimator of a non-convex polynomial f of a few variables on a box B of Rn. The novelty with previous works on this topic is that we want to compute a polynomial convex underestimator p of f that minimizes the important tightness criterion which is the L1 norm of (f-h) on B, over all convex polynomials h of degree d _fixed. Indeed in previous works for computing a convex underestimator L of f, this tightness criterion is not taken into account directly. It turns out that the moment-SOS approach is well suited to compute a polynomial convex underestimator p that minimizes the tightness criterion and numerical experiments on a sample of non-trivial examples show that p outperforms L not only with respect to the tightness score but also in terms of the resulting lower bounds obtained by minimizing respectively p and L on B. Similar improvements also occur when we use the moment-SOS underestimator instead of the aBB-one in refinements of the aBB method. * In a second contribution we propose an algorithm that also uses an optimal solution of a semidefinite relaxation in the moment-SOS hierarchy (in fact a slight modification) to provide a feasible solution for the initial optimization problem but with no rounding procedure. In the present context, we treat the first variable x1 of x = (x1, x2, ...., xn) as a parameter in some bounded interval Y of R. Notice that f*=min { J(y) : y in Y} where J is the function J(y) := inf {f(x) : x in K ; x1=y}. That is one has reduced the original n-dimensional optimization problem (P) to an equivalent one-dimensional optimization problem on an interval. But of course determining the optimal value function J is even more complicated than (P) as one has to determine a function (instead of a point in Rn), an infinite-dimensional problem. But the idea is to approximate J(y) on Y by a univariate polynomial p(y) with the degree d and fortunately, computing such a univariate polynomial is possible via solving a semidefinite relaxation associated with the parameter optimization problem. The degree d of p(y) is related to the size of this semidefinite relaxation. The higher the degree d is, the better is the approximation of J(y) by p(y) and in fact, one may show that p(y) converges to J(y) in a strong sense on Y as d increases. But of course the resulting semidefinite relaxation becomes harder (or impossible) to solve as d increases and so in practice d is fixed to a small value. Once the univariate polynomial p(y) has been determined, one computes x1* in Y that minimizes p(y) on Y, a convex optimization problem that can be solved efficiently. The process is iterated to compute x2 in a similar manner, and so on, until a point x in Rn has been computed. Finally, as x* is not feasible in general, we then use x* as a starting point for a local optimization procedure to find a final feasible point x in K. When K is convex, the following variant is implemented. After having computed x1* as indicated, x2* is computed with x1 fixed at the value x1*, and x3 is computed with x1 and x2 fixed at the values x1* and x2* respectively, etc., so that the resulting point x* is feasible, i.e., x* in K. The same variant applies for 0/1 programs for which feasibility is easy to detect like e.g., for MAXCUT, k-CLUSTER or 0/1-KNAPSACK problems

Algorithmic contributions to bilevel location problems with queueing and user equilibrium : exact and semi-exact approaches

Bien que la littérature sur le problème d'emplacement soit vaste, la plupart des publications considèrent des modèles simples, dans lesquels une autorité centrale assigne les utilisateurs aux installations les plus proches. Des caractéristiques plus réalistes, telles que le comportement des usagers, la compétition et la congestion, sont souvent négligées, peut-être en raison de leur nature hautement non-linéaire «compliquée». Quelques articles ont incorporé ces traits, mais uniquement de facon séparée, et seulement des approches heuristiques ont été proposées comme méthodes de résolution. Le problème d'emplacement d'installations consiste à localiser un ensemble d'installations de manière optimale afin de répondre à une demande donnée. Dans un environnement congestioné où les usagers ont le choix, les installations sont généralement modélisées sous la forme de files d'attente. Les utilisateurs sélectionnent les installations à fréquenter en fonction de leur utilité perçue, qui est généralement écrite comme une combinaison linéaire de la distance de déplacement, du temps d'attente dans les installations, etc. En résulte un modèle dit "à deux niveaux" appartenant à la classe des programmes mathématiques à contraintes d'équilibre (MPEC en anglais), où l'équilibre peut être exprimé sous la forme d'une inéquation variationnelle. Notre travail est axé sur le problème d'emplacement d'installations où les usagers ont le choix (CC-FLP en anglais) et nous fournissons un certain nombre de contributions importantes. Du point de vue de la modélisation, nous proposons différents modèles qui capturent les principales caractéristiques du CC-FLP. Pour ces programmes non-linéaires, discrets, et NP-difficiles, nous avons conçu des algorithmes exactes et d'approximation, ainsi que des heuristiques sur-mesure. Notre travail couvre trois articles. Dans le premier article, nous considérons différents modèles qui intègrent l'abandon aux centres de services, en raison des places limitées dans la file d'attente, tandis que le comportement des utilisateurs peut être déterministe ou stochastique. Dans ce dernier cas, le comportement des usagers correspond au principe d'équilibre de Wardrop, tandis que dans le premier cas, les clients se distribuent entre les établissements selon un modèle de choix d'utilité aléatoire Logit. Au-delà de l'analyse des propriétés théoriques du modèle, nous concevons une heuristique menée par les usagers et un algorithme d'approximation linéaire pour lequel nous prouvons une borne d'erreur de l'approximation, dans le cas d'une file d'attente M/M/1. Le second article est consacré à la conception d'un nouvel algorithme de `Branch and Bound' (B&B) pour résoudre une sous-classe plus générale des MPEC. L'algorithme est implémenté et évalué sur un CC-FLP. L'idée est de traiter virtuellement chaque nœud de l'arbre B& B comme un problème d'optimisation distinct, afin de tirer parti de la puissance des solveurs MILP et de leur prétraitement fort au niveau de la racine. Notre approche algorithmique est basée sur une combinaison de programmation linéaire à nombres entiers et mixtes (MILP en anglais), de techniques de linéarisation et de la résolution itérative de sous-problèmes convexes, et nécessite une gestion d’arbre sophistiquée. Dans le troisième article, nous incorporons les prix dans le CC-FLP. Le prix est une variable de décision continue, tout comme la localisation et le niveaux et de service, et les utilisateurs l'intègrent dans leur utilité. Les concepts de tarification du réseaux et de CC-FLP étant fusionnés en un seul modèle, le problème devient extrêmement difficile, également en raison de la présence de variables de localisation et de niveau de service, ainsi que de délais d'attente bidimensionnels. Pour ce programme à deux niveaux non-convexe, nous avons conçu un algorithme basé sur des approximations linéaires emprunté à la fois à la littérature sur la localisation et à la tarification du réseau.While the location literature is vast, most papers consider simpler models, in which a central authority assigns users to the closest facilities. More realistic traits, such as user behaviour, competition, and congestion are often overlooked, perhaps due to their `complicating' highly non-linear nature. A few papers did incorporate them, but separately, and only heuristic approaches have been proposed as solution methods. The facility location problem consists in optimally locating a set of facilities in order to satisfy a given demand. In a congested user-choice environment, facilities are typically modeled as queues, and users select the facilities to patronize based on their perceived utility, which is, in general, written as linear combination of travel distance, waiting time at facilities, etc. The resulting bilevel model belongs to the class of mathematical programs with equilibrium constraints (MPECs), where the equilibrium can be expressed as a variational inequality. Our work is focused on the \emph{competitive congested user-choice facility location problem} (CC-FLP), and we provide a number of strong contributions. From the modeling point of view, we propose various models that capture the key features of CC-FLP. For these NP-hard discrete nonlinear programs we designed exact and approximated algorithms, as well as tailored heuristics. Our work spans three papers. In the first article we consider different models that incorporate balking at facilities, due to limited places in the queue, while user behaviour can be either deterministic or stochastic. In the latter case, user behaviour fits Wardrop's equilibrium principle, while in the former case, customers distribute among facilities according to a Logit random utility choice model. Beyond the analysis of the model's theoretical properties, we design a user-driven heuristic and a linear approximation algorithm, for which we prove a bound on the approximation error, for the M/M/1 queue. The second paper is dedicated to the design of a novel exact branch-and-bound (B&B) algorithm for solving a more general subclass of MPECs, which is implemented and evaluated on a CC-FLP. The idea is to virtually treat each node of the B&B tree as a separate optimization problem, in oder to leverage the strength of the MILP solvers and their strong preprocessing at the root node. Our algorithmic approach is based on a combination of Mixed-Integer Linear Programming (MILP), linearization techniques and the iterative solution of convex subproblems, and requires a sophisticated tree management. In the third paper we incorporate mill pricing into the CC-FLP. Price is a continuous decision variable, along with the location and service levels, and user incorporate it into their utility. Since concepts from network pricing and CC-FLP are merged into a single model, the problem becomes extremely challenging, also due to the presence of facility location and service level decision variables, as well as bivariate queueing delays. For this non-convex bilevel program we devise an algorithm based on linear approximations, that borrows from both location and network pricing literature

On the convex hull of convex quadratic optimization problems with indicators

We consider the convex quadratic optimization problem with indicator variables and arbitrary constraints on the indicators. We show that a convex hull description of the associated mixed-integer set in an extended space with a quadratic number of additional variables consists of a single positive semidefinite constraint (explicitly stated) and linear constraints. In particular, convexification of this class of problems reduces to describing a polyhedral set in an extended formulation. While the vertex representation of this polyhedral set is exponential and an explicit linear inequality description may not be readily available in general, we derive a compact mixed-integer linear formulation whose solutions coincide with the vertices of the polyhedral set. We also give descriptions in the original space of variables: we provide a description based on an infinite number of conic-quadratic inequalities, which are ``finitely generated." In particular, it is possible to characterize whether a given inequality is necessary to describe the convex hull. The new theory presented here unifies several previously established results, and paves the way toward utilizing polyhedral methods to analyze the convex hull of mixed-integer nonlinear sets