Pooling problem: Alternate formulations and solution methods

Copyright @ 2004 INFORMSThe pooling problem, which is fundamental to the petroleum industry, describes a situation in which products possessing different attribute qualities are mixed in a series of pools in such a way that the attribute qualities of the blended products of the end pools must satisfy given requirements. It is well known that the pooling problem can be modeled through bilinear and nonconvex quadratic programming. In this paper, we investigate how best to apply a new branch-and-cut quadratic programming algorithm to solve the pooling problem. To this effect, we consider two standard models: One is based primarily on flow variables, and the other relies on the proportion. of flows entering pools. A hybrid of these two models is proposed for general pooling problems. Comparison of the computational properties of flow and proportion models is made on several problem instances taken from the literature. Moreover, a simple alternating procedure and a variable neighborhood search heuristic are developed to solve large instances and compared with the well-known method of successive linear programming. Solution of difficult test problems from the literature is substantially accelerated, and larger ones are solved exactly or approximately.This project was funded by Ultramar Canada and Luc Massé. The work of C. Audet was supported by NSERC (Natural Sciences and Engineering Research Council) fellowship PDF-207432-1998 and by CRPC (Center for Research on Parallel Computation). The work of J. Brimberg was supported by NSERC grant #OGP205041. The work of P. Hansen was supported by FCAR(Fonds pour la Formation des Chercheurs et l’Aide à la Recherche) grant #95ER1048, and NSERC grant #GP0105574

The Discrete Dantzig Selector: Estimating Sparse Linear Models via Mixed Integer Linear Optimization

We propose a novel high-dimensional linear regression estimator: the Discrete Dantzig Selector, which minimizes the number of nonzero regression coefficients subject to a budget on the maximal absolute correlation between the features and residuals. Motivated by the significant advances in integer optimization over the past 10-15 years, we present a Mixed Integer Linear Optimization (MILO) approach to obtain certifiably optimal global solutions to this nonconvex optimization problem. The current state of algorithmics in integer optimization makes our proposal substantially more computationally attractive than the least squares subset selection framework based on integer quadratic optimization, recently proposed in [8] and the continuous nonconvex quadratic optimization framework of [33]. We propose new discrete first-order methods, which when paired with state-of-the-art MILO solvers, lead to good solutions for the Discrete Dantzig Selector problem for a given computational budget. We illustrate that our integrated approach provides globally optimal solutions in significantly shorter computation times, when compared to off-the-shelf MILO solvers. We demonstrate both theoretically and empirically that in a wide range of regimes the statistical properties of the Discrete Dantzig Selector are superior to those of popular $\ell_{1}$-based approaches. We illustrate that our approach can handle problem instances with p = 10,000 features with certifiable optimality making it a highly scalable combinatorial variable selection approach in sparse linear modeling

Global optimization for low-dimensional switching linear regression and bounded-error estimation

The paper provides global optimization algorithms for two particularly difficult nonconvex problems raised by hybrid system identification: switching linear regression and bounded-error estimation. While most works focus on local optimization heuristics without global optimality guarantees or with guarantees valid only under restrictive conditions, the proposed approach always yields a solution with a certificate of global optimality. This approach relies on a branch-and-bound strategy for which we devise lower bounds that can be efficiently computed. In order to obtain scalable algorithms with respect to the number of data, we directly optimize the model parameters in a continuous optimization setting without involving integer variables. Numerical experiments show that the proposed algorithms offer a higher accuracy than convex relaxations with a reasonable computational burden for hybrid system identification. In addition, we discuss how bounded-error estimation is related to robust estimation in the presence of outliers and exact recovery under sparse noise, for which we also obtain promising numerical results

Decomposition methods for mixed-integer nonlinear programming

En esta tesis se pueden distinguir dos líneas principales de investigación. La primera se ocupa de los métodos de Aproximación Externa (Outer Approximation), mientras que la segunda estudia un solución basada en el método de Generación de Columnas (Column Generation). En esta tesis investigamos y analizamos aspectos teóricos y prácticos de ambas ideas dentro del marco de la descomposición. El objetivo principal de este estudio es desarrollar métodos sistemáticos basados en la descomposición para resolver problemas de gran escala utilizando los métodos de Aproximación Externa y Generación de Columnas. En el capítulo 1 se introduce un concepto importante necesario para la descomposición. Este concepto consiste en una reformulación separable en bloques del problema de programación no lineal de enteros mixtos. En el capítulo 1 también se hace una descripción de los métodos mencionados anteriormente, incluyendo los de Ramificación y Acotación, además de otros conceptos clave que son necesarios para esta tesis, como por ejemplo los de Aproximación Interior, etc. Los capítulos 2, 3 y 4 investigan el uso del concepto de Aproximación Externa. Específicamente, en el capítulo 2 se presenta un algoritmo de Aproximación Externa basado en descomposición para resolver problemas de programación no-lineales convexos enteros-mixtos, basados en la construcción de hiperplanos soporte para un conjunto factible. El capítulo 3 amplia el marco de aplicación de un algoritmo de Aproximación Externa basado en descomposición, a problemas de programación no lineales no convexos enteros mixtos, introduciendo una Aproximación Externa convexa por partes de un conjunto factible no convexo. Otra perspectiva de la definición de Aproximación Externa para problemas no convexos se considera en el capítulo 4, que presenta un algoritmo de Refinamiento Interno y Externo basado en descomposición, que construye una Aproximación Externa al mismo tiempo que calcula la Aproximación Interna usando Generación de Columnas. La Aproximación Externa usada en el algoritmo de Refinamiento Interno y Externo se basa en la visión multiobjetivo de la denominada versión recursos restringidos del problema original. Dos capítulos están dedicados a la Generación de Columnas. En el capítulo 4 se presenta un algoritmo de Generación de Columnas para calcular una Aproximación Interna del problema original. Además se describe un algoritmo heurístico basado en particiones que usa un refinamiento de la Aproximación Interna. El capítulo 5 analiza varias técnicas de aceleración para la Generación de Columnas, donde se describe un algoritmo heurístico general basado en la Generación de Columnas, que puede generar varias soluciones candidatas de alta calidad. El capítulo 6 contiene una breve descripción de la implementación en Python de DECOGO (software de programación no lineal de enteros mixtos).La programación no lineal de enteros mixtos es un campo de optimización importante y desafiante. Este tipo de problemas pueden contener variables continuas e enteras, así como restricciones lineales y no lineales. Esta clase de problemas tiene un papel fundamental en la ciencia y la industria, ya que proporcionan una forma precisa de describir fenómenos en diferentes áreas como ingeniería química y mecánica, cadena de suministro, gestión, etc. La mayoría de los algoritmos de última generación para resolver los problemas de programación no lineal de enteros mixtos no convexos están basados en los métodos de ramificación y acotación. El principal inconveniente de este enfoque es que el árbol de búsqueda puede crecer muy rápido impidiendo que el algoritmo encuentre una solución de alta calidad en un tiempo razonable. Una posible alternativa que evite la generación de grandes árboles consiste en hacer uso del concepto de descomposición para hacer que el procedimiento sea más manejable. La descomposición proporciona un marco general en el que el problema original se divide en pequeños subproblemas y sus resultados se combinan en un problema maestro más sencillo. Esta tesis analiza los métodos de descomposición para la programación no lineal de enteros mixtos. El principal objetivo de esta tesis es desarrollar métodos alternativos al de ramificación y acotación, basados en el concepto de descomposición. Para la industria y la ciencia, es importante calcular una solución óptima, o al menos, mejorar la mejor solución disponible hasta ahora. Además, esto debe hacerse en un plazo de tiempo razonable. Por lo tanto, el objetivo de esta tesis es diseñar algoritmos eficientes que permitan resolver problemas de gran escala que tienen una aplicación práctica directa. En particular, nos centraremos en modelos que pueden ser aplicados en la planificación y operación de sistemas energéticos