Partially distributed outer approximation

This paper presents a novel partially distributed outer approximation algorithm, named PaDOA, for solving a class of structured mixed integer convex programming problems to global optimality. The proposed scheme uses an iterative outer approximation method for coupled mixed integer optimization problems with separable convex objective functions, affine coupling constraints, and compact domain. PaDOA proceeds by alternating between solving large-scale structured mixed-integer linear programming problems and partially decoupled mixed-integer nonlinear programming subproblems that comprise much fewer integer variables. We establish conditions under which PaDOA converges to global minimizers after a finite number of iterations and verify these properties with an application to thermostatically controlled loads and to mixed-integer regression

Outer-approximation algorithms for nonsmooth convex MINLP problems with chance constraints

Orientador: Prof. Dr. Yuan Jin YunCoorientador: Prof. Dr. Welington Luis de OliveiraTese (doutorado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Matemática. Defesa : Curitiba, 13/04/2018Inclui referências: p.82-88Resumo: As restri?c˜oes de probabilidade desempenham um papel fundamental nos problemas de otimiza?c˜ao envolvendo incertezas. Essas restri?c˜oes exigem que um sistema de desigualdade dependendo de um vetor aleat'orio tenha que ser satisfeito com uma probabilidade suficientemente alta. Neste trabalho, lidamos com problemas de otimiza?c˜ao com restri?c˜oes de probabilidades envolvendo vari'aveis inteiras. Assumimos que as fun?c˜oes envolvidas s˜ao convexas e a restri?c˜ao de probabilidade tenha propriedade generalizada de convexidade. Para lidar com problemas de otimiza?c˜ao desse tipo, combinamos o algoritmo de aproxima ?c˜ao externa (OA) e o algoritmo de feixes. Os algoritmos OA tem sido aplicado para problemas su'aveis e para uma pequena classe limitada de problemas n˜ao-su'aveis. Neste trabalho, estendemos o algoritmo OA para lidar com problemas mais gerais n˜ao-su'aveis. Al'em disso, mostramos que quando os subproblemas n˜ao-lineares resultantes do algoritmo OA s˜ao resolvidos por um m'etodo de feixes, ent˜ao os subgradientes que satisfazem as condi?c˜oes de Karush Kuhn Tucker (KKT) est˜ao prontamente dispon'?veis independentemente da estrutura das fun?c˜oes convexas n˜ao-su'aveis. Esta propriedade 'e crucial para provar a convergˆencia (finita) do algoritmo OA. Problemas com restri?c˜oes probabil'?sticas aparecem, por exemplo, em modelos de energia (estoc'asticos). No contexto de interesse, pelo menos uma das restri?c˜oes n˜ao lineares envolve uma fun?c˜ao de probabilidade P[h(x, y) ? ?], onde h 'e uma fun?c˜ao cˆoncava e ? ? Rm 'e um vetor aleat'orio. Em geral, uma integra?c˜ao num'erica multidimensional 'e empregada para avaliar essa fun?c˜ao de probabilidade. Como uma alternativa para lidar com restri?c˜oes de probabilidades (que 'e muito cara computacionalmente), propomos a aproxima?c˜ao da medida de probabilidade P por uma c'opula apropriada. N'os investigamos uma fam'?lia de c'opulas n˜ao-su'aveis e fornecemos algumas propriedades generalizadas de convexidade novas e 'uteis. Em particular, provamos que a fam'?lia de c'opulas de Zhang 'e ??cˆoncava para todo ? ? 0. Esse resultado nos permite aproximar as restri?c˜oes probabil'?sticas por restri?c˜oes muito mais simples envolvendo c'opulas. Avaliamos numericamente as abordagens dadas em duas classe de problemas provenientes do gerenciamento do sistema de energia el'etrica. Palavras-chave: Otimiza¸c˜ao n˜ao-linear inteira, Otimiza¸c˜ao Estoc'astica, Restri¸c˜oes Probabil '?sticas.Abstract: Probability constraints play a key role in optimization problems involving uncertainties. These constraints (also known as chance constraints) require that an inequality system depending on a random vector has to be satisfied with high enough probability. In this work we deal with chance-constrained optimization problems having mixed-integer variables. We assume that the involved functions are convex and the probability constraint has generalized convexity properties. In order to deal with optimization problems of this type, we combine outer-approximation (OA) and bundle method algorithms. OA algorithms have been applied to smooth problems and to a small class of nonsmooth problems. In this work we extend the OA to handle more general nonsmooth problems. Moreover, we show that when the resulting OA's nonlinear subproblems are solved by a bundle method, then subgradients satisfying the Karush-Kuhn-Tucker (KKT) conditions are readily available regardless the structure of the nonsmooth convex functions. This property is crucial for proving (finite) convergence of the OA algorithm. Chance-constrained problems appear, for instance, in (stochastic) energy models. In the context of interest, at least one nonlinear constraint models the probability function P[h(x, y) ? ?], where h is a concave map and ? ? Rm is a random vector. In general, multidimensional numerical integration is employed to evaluate this probability function. As an alternative to deal with probability constraints (which is very expensive computationally), we propose approximating the probability measure P with a suitable copula. We investigate a family of nonsmooth copulae and provide some new and useful generalized convexity properties. In particular, we prove that Zhang's copulae are ?-concave for all ? ? 0. This result allows us to approximate chance-constrained programs by much simpler copula-constrained ones. We assess numerically the given approaches on two classes of problems coming from power system management. Keywords: Mixed-Integer Nonlinear Optimization, Stochastic Optimization, Chance constraints

Decomposition methods for mixed-integer nonlinear programming

En esta tesis se pueden distinguir dos líneas principales de investigación. La primera se ocupa de los métodos de Aproximación Externa (Outer Approximation), mientras que la segunda estudia un solución basada en el método de Generación de Columnas (Column Generation). En esta tesis investigamos y analizamos aspectos teóricos y prácticos de ambas ideas dentro del marco de la descomposición. El objetivo principal de este estudio es desarrollar métodos sistemáticos basados en la descomposición para resolver problemas de gran escala utilizando los métodos de Aproximación Externa y Generación de Columnas. En el capítulo 1 se introduce un concepto importante necesario para la descomposición. Este concepto consiste en una reformulación separable en bloques del problema de programación no lineal de enteros mixtos. En el capítulo 1 también se hace una descripción de los métodos mencionados anteriormente, incluyendo los de Ramificación y Acotación, además de otros conceptos clave que son necesarios para esta tesis, como por ejemplo los de Aproximación Interior, etc. Los capítulos 2, 3 y 4 investigan el uso del concepto de Aproximación Externa. Específicamente, en el capítulo 2 se presenta un algoritmo de Aproximación Externa basado en descomposición para resolver problemas de programación no-lineales convexos enteros-mixtos, basados en la construcción de hiperplanos soporte para un conjunto factible. El capítulo 3 amplia el marco de aplicación de un algoritmo de Aproximación Externa basado en descomposición, a problemas de programación no lineales no convexos enteros mixtos, introduciendo una Aproximación Externa convexa por partes de un conjunto factible no convexo. Otra perspectiva de la definición de Aproximación Externa para problemas no convexos se considera en el capítulo 4, que presenta un algoritmo de Refinamiento Interno y Externo basado en descomposición, que construye una Aproximación Externa al mismo tiempo que calcula la Aproximación Interna usando Generación de Columnas. La Aproximación Externa usada en el algoritmo de Refinamiento Interno y Externo se basa en la visión multiobjetivo de la denominada versión recursos restringidos del problema original. Dos capítulos están dedicados a la Generación de Columnas. En el capítulo 4 se presenta un algoritmo de Generación de Columnas para calcular una Aproximación Interna del problema original. Además se describe un algoritmo heurístico basado en particiones que usa un refinamiento de la Aproximación Interna. El capítulo 5 analiza varias técnicas de aceleración para la Generación de Columnas, donde se describe un algoritmo heurístico general basado en la Generación de Columnas, que puede generar varias soluciones candidatas de alta calidad. El capítulo 6 contiene una breve descripción de la implementación en Python de DECOGO (software de programación no lineal de enteros mixtos).La programación no lineal de enteros mixtos es un campo de optimización importante y desafiante. Este tipo de problemas pueden contener variables continuas e enteras, así como restricciones lineales y no lineales. Esta clase de problemas tiene un papel fundamental en la ciencia y la industria, ya que proporcionan una forma precisa de describir fenómenos en diferentes áreas como ingeniería química y mecánica, cadena de suministro, gestión, etc. La mayoría de los algoritmos de última generación para resolver los problemas de programación no lineal de enteros mixtos no convexos están basados en los métodos de ramificación y acotación. El principal inconveniente de este enfoque es que el árbol de búsqueda puede crecer muy rápido impidiendo que el algoritmo encuentre una solución de alta calidad en un tiempo razonable. Una posible alternativa que evite la generación de grandes árboles consiste en hacer uso del concepto de descomposición para hacer que el procedimiento sea más manejable. La descomposición proporciona un marco general en el que el problema original se divide en pequeños subproblemas y sus resultados se combinan en un problema maestro más sencillo. Esta tesis analiza los métodos de descomposición para la programación no lineal de enteros mixtos. El principal objetivo de esta tesis es desarrollar métodos alternativos al de ramificación y acotación, basados en el concepto de descomposición. Para la industria y la ciencia, es importante calcular una solución óptima, o al menos, mejorar la mejor solución disponible hasta ahora. Además, esto debe hacerse en un plazo de tiempo razonable. Por lo tanto, el objetivo de esta tesis es diseñar algoritmos eficientes que permitan resolver problemas de gran escala que tienen una aplicación práctica directa. En particular, nos centraremos en modelos que pueden ser aplicados en la planificación y operación de sistemas energéticos

A mean-risk mixed integer nonlinear program for transportation network protection

This paper focuses on transportation network protection to hedge against extreme events such as earthquakes. Traditional two-stage stochastic programming has been widely adopted to obtain solutions under a risk-neutral preference through the use of expectations in the recourse function. In reality, decision makers hold different risk preferences. We develop a mean-risk two-stage stochastic programming model that allows for greater flexibility in handling risk preferences when allocating limited resources. In particular, the first stage minimizes the retrofitting cost by making strategic retrofit decisions whereas the second stage minimizes the travel cost. The conditional value-at-risk (CVaR) is included as the risk measure for the total system cost. The two-stage model is equivalent to a nonconvex mixed integer nonlinear program (MINLP). To solve this model using the Generalized Benders Decomposition (GBD) method, we derive a convex reformulation of the second-stage problem to overcome algorithmic challenges embedded in the non-convexity, nonlinearity, and non-separability of first- and second-stage variables. The model is used for developing retrofit strategies for networked highway bridges, which is one of the research areas that can significantly benefit from mean-risk models. We first justify the model using a hypothetical nine-node network. Then we evaluate our decomposition algorithm by applying the model to the Sioux Falls network, which is a large-scale benchmark network in the transportation research community. The effects of the chosen risk measure and critical parameters on optimal solutions are empirically explored

A Scalable Algorithm For Sparse Portfolio Selection

The sparse portfolio selection problem is one of the most famous and frequently-studied problems in the optimization and financial economics literatures. In a universe of risky assets, the goal is to construct a portfolio with maximal expected return and minimum variance, subject to an upper bound on the number of positions, linear inequalities and minimum investment constraints. Existing certifiably optimal approaches to this problem do not converge within a practical amount of time at real world problem sizes with more than 400 securities. In this paper, we propose a more scalable approach. By imposing a ridge regularization term, we reformulate the problem as a convex binary optimization problem, which is solvable via an efficient outer-approximation procedure. We propose various techniques for improving the performance of the procedure, including a heuristic which supplies high-quality warm-starts, a preprocessing technique for decreasing the gap at the root node, and an analytic technique for strengthening our cuts. We also study the problem's Boolean relaxation, establish that it is second-order-cone representable, and supply a sufficient condition for its tightness. In numerical experiments, we establish that the outer-approximation procedure gives rise to dramatic speedups for sparse portfolio selection problems.Comment: Submitted to INFORMS Journal on Computin

Solving joint chance constrained problems using regularization and Benders' decomposition

In this paper we investigate stochastic programms with joint chance constraints. We consider discrete scenario set and reformulate the problem by adding auxiliary variables. Since the resulting problem has a difficult feasible set, we regularize it. To decrease the dependence on the scenario number, we propose a numerical method by iteratively solving a master problem while adding Benders cuts. We find the solution of the slave problem (generating the Benders cuts) in a closed form and propose a heuristic method to decrease the number of cuts. We perform a numerical study by increasing the number of scenarios and compare our solution with a solution obtained by solving the same problem with continuous distribution

Cutting Plane Algorithms are Exact for Euclidean Max-Sum Problems

This paper studies binary quadratic programs in which the objective is defined by a Euclidean distance matrix, subject to a general polyhedral constraint set. This class of nonconcave maximisation problems includes the capacitated, generalised and bi-level diversity problems as special cases. We introduce two exact cutting plane algorithms to solve this class of optimisation problems. The new algorithms remove the need for a concave reformulation, which is known to significantly slow down convergence. We establish exactness of the new algorithms by examining the concavity of the quadratic objective in a given direction, a concept we refer to as directional concavity. Numerical results show that the algorithms outperform other exact methods for benchmark diversity problems (capacitated, generalised and bi-level), and can easily solve problems of up to three thousand variables

Advanced decision support through real-time optimization in the process industry

En la industria de procesos se puede obtener un aumento de la eficiencia de las plantas de producción, bien mediante la sustitución de procesos o equipos antiguos por otros más modernos y eficientes, o bien operando de forma más eficiente las instalaciones actuales en lugar de realizar grandes inversiones con tiempos de amortización inciertos. Si nos centramos en esta segunda línea de acción, hoy en día la toma de decisiones es conceptualmente más compleja que en el pasado, debido al rápido crecimiento que ha tenido la tecnología últimamente y a que los sistemas de comunicación han generado un gran número de alternativas entre las que se ha de elegir. Además, una decisión incorrecta o subóptima, con la complejidad estructural de los problemas actuales, a menudo resulta en un aumento de los costes a lo largo de la cadena de producción. A pesar de ello, el uso de sistemas de apoyo a la toma de decisiones (DSS) sigue siendo atípico en las industrias de procesos debido a los esfuerzos que se requieren en términos de desarrollo y mantenimiento de modelos matemáticos y al desafío de formulaciones matemáticas complejas, los exigentes requisitos computacionales y/o la difícil integración con la infraestructura de control o planificación existente. Esta tesis contribuye en la reducción de estas barreras desarrollando formulaciones eficientes para la optimización en tiempo real (RTO) en una planta industrial. En particular, esta tesis busca mejorar la operación de tres secciones interconectadas de una fábrica de producción de fibra de viscosa: una red de evaporación, una de sistema de enfriamiento y una red de recuperación de calor.Departamento de Ingeniería de Sistemas y AutomáticaDoctorado en Ingeniería Industria