A Node Formulation for Multistage Stochastic Programs with Endogenous Uncertainty

This paper introduces a node formulation for multistage stochastic programs with endogenous (i.e., decision-dependent) uncertainty. Problems with such structure arise when the choices of the decision maker determine a change in the likelihood of future random events. The node formulation avoids an explicit statement of non-anticipativity constraints, and as such keeps the dimension of the model sizeable. An exact solution algorithm for a special case is introduced and tested on a case study. Results show that the algorithm outperforms a commercial solver as the size of the instances increases

Global supply chains of high value low volume products

Imperial Users onl

Integrated batch process development based on mixed-logic dynamic optimization

Specialty chemicals industry relies on batch manufacturing, since it requires the frequent adaptation of production systems to market fluctuations. To be first in the market, batch industry requires decision-support systems for the rapid development and implementation of chemical processes. Moreover, the processes should be competitive to ensure their long-term viability. General-purpose and flexible plants and the consideration of physicochemical insights to define an efficient operation are also cornerstones for the success of specialty chemical industries. Precisely, this thesis tackles the systematic development of batch processes that are efficient, economically competitive, and environmentally friendly, to assist their agile introduction into production systems in grassroots and retrofit scenarios. Synthesis of conceptual processing schemes and plant allocation subproblems are solved simultaneously, taking into account the plant design. With this purpose, an optimization-based approach is proposed, where all structural alternatives are represented in a State-Equipment Network (SEN) superstructure, following formulated into a Mixed-Logic Dynamic Optimization (MLDO) problem which is later solved to minimize an objective function. Essentially, the strength of the proposed methodology lies in the modeling strategy which combines the different kinds of decisions of the integrated problem in a unique optimization model. Accordingly, it considers: (i) synthesis and allocation alternatives combination, (ii) dynamic process performance models and dynamic control variable profiles, (iii) discrete events associated to transitions of batch phases and operations, (iv) quantitative and qualitative information, (v) material transference synchronization to ensure batch integrity between unit procedures, and (vi) batch and semicontinuous processing elements. Different strategies can be used to solve the resulting MLDO problem. A deterministic direct-simultaneous approach is first proposed. The mixed-logic problem is reformulated into a mixed-integer one, which is fully-discretized to provide a Mixed-Integer Non-Linear Programming (MINLP) that is optimized using conventional solvers. Then, a Differential Genetic Algorithm (DGA) and a hybrid approach are presented. The purpose of these evolutionary strategies is to pose solution alternatives that keep solution goodness while seek for the improvement of computational efficiency to handle industrial-size problems. The optimization-based approach is applied in retrofit scenarios to solve the simultaneous process synthesis and plant allocation, taking into account the physical restrictions of existing plant elements. The production of specialty chemicals based on a competitive reactions system in an existing reactor network is first defined through process development and improvement according to different economic scenarios, decision criteria, and plant modifications. Additionally, a photo-Fenton process is optimized to eliminate an emergent wastewater pollutant in a given pilot plant, pursuing the minimization of processing time and cost. Batch process development in grassroots scenarios is also proven to be a problem of utmost importance to deal with uncertainty in future markets. Seeking for plant flexibility in several demand scenarios, the expected profit is maximized through a two-stage stochastic formulation that includes simultaneous plant design, process synthesis, and plant allocation decisions. A heuristic solution algorithm is used to handle the problem complexity. A grassroots plant design is defined to implement the previous competitive reaction system, where decisions like the feed-forward trajectories or operating modes allow the adaptation of master recipes to different demands. Finally, an acrylic fiber production example is presented to illustrate process development decisions like the selection of tasks, technological alternatives, chemicals, and solvent reuse.La indústria de productes químics especials es basa en la fabricació discontinua, ja que permet adaptar de forma freqüent els sistemes de producció en funció de les fluctuacions de mercat. Per ser líder al sector, són necessàries eines de suport a la decisió que ajudin a l’àgil desenvolupament i implementació de nous processos. A més, aquests han de ser competitius per garantir la seva viabilitat a llarg termini. Altres peces clau per una operació eficient són l’ús de plantes flexibles així com l’estudi dels fenòmens fisicoquímics. Aquesta tesis aborda justament el desenvolupament sistemàtic de processos químics discontinus que siguin eficients, econòmicament competitius i ecològics, per contribuir a la seva ràpida introducció en els sistemes de producció, tant en escenaris de plantes existents com des de les bases. En concret, es planteja la resolució simultània de la síntesi conceptual d’esquemes de procés i l’assignació d’equips, tenint en compte el disseny de la planta. Amb aquest objectiu, es proposa una metodologia de solució basada en optimització, on les alternatives estructurals es representen en una Xarxa d’Estats i Equips (SEN per les sigles en anglès) que es formula mitjançant un problema d’Optimització Dinàmica Mixta-Lògica (MLDO per les sigles en anglès) que es resol minimitzant una funció objectiu. La solidesa de la metodologia proposada rau en la estratègia de modelat del problema MLDO, que integra els diferents tipus de decisions en un sol model d’optimització. En concret, es consideren: (i) la combinació d’alternatives de síntesi i assignació d’equips, (ii) models de procés i trajectòries de control dinàmics, (iii) esdeveniments discrets associats al canvi de fase i operació, (iv) informació quantitativa i qualitativa, (v) sincronització de transferències de material en tasques consecutives, i (vi) elements de processat discontinus i semi-continus. Existeixen diverses estratègies per resoldre el problema MLDO resultant. En aquesta tesi es proposa en primer lloc un mètode determinístic directe-simultani, on el model mixt-lògic es transforma en un mixt-enter. Aquest es discretitza al seu torn de forma completa per obtenir un problema de Programació No-Lineal Mixta-Entera (MINLP per les sigles en anglès) el qual es pot resoldre utilitzant algoritmes d’optimització convencionals. A més, es presenten un Algoritme Genètic Diferencial (DGA per les sigles en anglès) i un mètode híbrid. Totes dues estratègies esdevenen alternatives de cerca amb l’objectiu de mantenir la bondat de la solució i millorar l’eficàcia de computació per tractar problemes de dimensió industrial. La metodologia de solució proposada s’aplica al desenvolupament de processos discontinus en escenaris de plantes existents, tenint en compte les restriccions físiques dels equips. Un primer exemple aborda la manufactura de productes químics basada en un sistema de reaccions competitives. Concretament, es desenvolupa i millora el procés de producció implementat en una xarxa de reactors considerant diferents escenaris econòmics, criteris de decisió, i modificacions de planta. En un segon exemple, s’optimitza el procés foto-Fenton per ser executat en una planta pilot per eliminar contaminants emergents. Buscant integrar el desenvolupament de procés i el disseny de plantes flexibles en escenaris de base, es presenta una formulació estocàstica en dues etapes per a optimitzar el benefici esperat d’acord a diversos escenaris de demanda. Per gestionar la complexitat d’aquest problema es proposa la utilització d’una heurística. Com a exemple, es planteja el disseny d’una planta de base on implementar l’anterior sistema de reaccions competitives. Decisions com les trajectòries dinàmiques de control o la configuració d’equips permeten adaptar la recepta màster en funció de la demanda. Un darrer exemple defineix el procés de producció de fibra acrílica, il·lustrant decisions com la selecció de tasques, tecnologia, reactius o reutilització de dissolvents.La industria productos químicos especiales se basa en la fabricación discontinua, la cual permite la adaptación frecuente de los sistemas de producción en función de las fluctuaciones de mercado. Para ser líder en el sector, son necesarias herramientas de soporte a la decisión que contribuyan al ágil desarrollo e implementación de nuevos procesos. Además, éstos deben ser competitivos para garantizar su viabilidad a largo plazo. Otras piezas clave para una operación eficiente son la utilización de plantas flexibles y el estudio de los fenómenos fisicoquímicos. Esta tesis aborda justamente el desarrollo sistemático de procesos químicos discontinuos que sean eficientes, económicamente competitivos y ecológicos, para contribuir a su rápida introducción en los sistemas de producción, ya sea en escenarios de plantas existentes o desde las bases. En particular, se plantea la resoluciónsimultánea de la síntesis conceptual de esquemas de proceso y la asignación de equipos, teniendo en cuenta además el diseño de planta.Con este fin, se propone una metodología de solución basada en optimización, donde todas las alternativas estructurales se representan en una Red de Estados y Equipos (SENpor sus siglas en inglés) que se formula mediante un problema de Optimización Dinámica Mixta-Lógica (MLDO por sus siglas en inglés) que se resuelve minimizando una función objetivo. La solidez de la metodología propuesta reside en la estrategia de modelado delproblema MLDO, que integra los diferentes tipos de decisiones en un solo modelo de optimización. En concreto, se consideran: (i) la combinación de alternativas de síntesis y asignación de equipos, (ii) modelos de proceso y trayectorias de control dinámicos, (iii)eventos discretos asociados al cambio de fase y operación, (iv) información cuantitativa y cualitativa, (v) sincronización de la transferencia de material en tareas consecutivas, y(vi) elementos de procesado discontinuos y semicontinuos.Existen diversas estrategias para resolver el problema MLDO resultante. En esta tesis se propone en primer lugar un método determinístico directo-simultáneo, donde el problema mixto-lógico se reformula en un mixto-entero. A su vez, éste se discretiza de formacompleta para obtener un problema de Programación No-Lineal Mixta-Entera (MINLP por sus siglas en inglés) el cual se puede resolver mediante algoritmos de optimización convencionales. Además, se presentan un Algoritmo Genético Diferencial (DGA por sussiglas en inglés) y un método híbrido. Ambas estrategias se plantean como alternativas de búsqueda con objeto de mantener la bondad de la solución y mejorar la eficacia de computación para tratar problemas de dimensión industrial.La metodología de solución propuesta se aplica al desarrollo de procesos discontinuos en escenarios con plantas existentes, teniendo en cuenta las restricciones físicas de los equipos. Un primer ejemplo aborda la fabricación de productos químicos basada en un sistema de reacciones competitivas. En concreto, se desarrolla y mejora el proceso de producción a implementar en una red de reactores considerando diferentes escenarios económicos, criterios de decisión, y modificaciones de planta. En un segundo ejemplo,se optimiza el proceso foto-Fenton a ser ejecutado en una planta piloto para eliminar contaminantes emergentes.Persiguiendo la integración del desarrollo de proceso con el diseño de plantas flexi-bles en escenarios base, se presenta asimismo una formulación estocástica en dos etapas para optimizar el beneficio esperado de acuerdo a varios escenarios de demanda. Paramanejar la complejidad de dicho problema se propone la utilización de una heurística.Como ejemplo, se plantea el diseño de una planta de base para implementar el anterior sistema de reacciones competitivas, donde decisiones como las trayectorias dinámicas de control o la configuración de equipos permiten adaptar la receta máster en función de lademandas. Por último, se presenta un ejemplo donde se define el proceso de producción de fibra acrílica, ilustrando decisiones como la selección de tareas, alternativas tecnológicas, reactivos químicos o la reutilización de disolventes.Postprint (published version

Learning-Based Matheuristic Solution Methods for Stochastic Network Design

Cette dissertation consiste en trois études, chacune constituant un article de recherche. Dans tous les trois articles, nous considérons le problème de conception de réseaux multiproduits, avec coût fixe, capacité et des demandes stochastiques en tant que programmes stochastiques en deux étapes. Dans un tel contexte, les décisions de conception sont prises dans la première étape avant que la demande réelle ne soit réalisée, tandis que les décisions de flux de la deuxième étape ajustent la solution de la première étape à la réalisation de la demande observée. Nous considérons l’incertitude de la demande comme un nombre fini de scénarios discrets, ce qui est une approche courante dans la littérature. En utilisant l’ensemble de scénarios, le problème mixte en nombre entier (MIP) résultant, appelé formulation étendue (FE), est extrêmement difficile à résoudre, sauf dans des cas triviaux. Cette thèse vise à faire progresser le corpus de connaissances en développant des algorithmes efficaces intégrant des mécanismes d’apprentissage en matheuristique, capables de traiter efficacement des problèmes stochastiques de conception pour des réseaux de grande taille. Le premier article, s’intitulé "A Learning-Based Matheuristc for Stochastic Multicommodity Network Design". Nous introduisons et décrivons formellement un nouveau mécanisme d’apprentissage basé sur l’optimisation pour extraire des informations concernant la structure de la solution du problème stochastique à partir de solutions obtenues avec des combinaisons particulières de scénarios. Nous proposons ensuite une matheuristique "Learn&Optimize", qui utilise les méthodes d’apprentissage pour déduire un ensemble de variables de conception prometteuses, en conjonction avec un solveur MIP de pointe pour résoudre un problème réduit. Le deuxième article, s’intitulé "A Reduced-Cost-Based Restriction and Refinement Matheuristic for Stochastic Network Design". Nous étudions comment concevoir efficacement des mécanismes d’apprentissage basés sur l’information duale afin de guider la détermination des variables dans le contexte de la conception de réseaux stochastiques. Ce travail examine les coûts réduits associés aux variables hors base dans les solutions déterministes pour guider la sélection des variables dans la formulation stochastique. Nous proposons plusieurs stratégies pour extraire des informations sur les coûts réduits afin de fixer un ensemble approprié de variables dans le modèle restreint. Nous proposons ensuite une approche matheuristique utilisant des techniques itératives de réduction des problèmes. Le troisième article, s’intitulé "An Integrated Learning and Progressive Hedging Method to Solve Stochastic Network Design". Ici, notre objectif principal est de concevoir une méthode de résolution capable de gérer un grand nombre de scénarios. Nous nous appuyons sur l’algorithme Progressive Hedging (PHA), ou les scénarios sont regroupés en sous-problèmes. Nous intégrons des methodes d’apprentissage au sein de PHA pour traiter une grand nombre de scénarios. Dans notre approche, les mécanismes d’apprentissage developpés dans le premier article de cette thèse sont adaptés pour résoudre les sous-problèmes multi-scénarios. Nous introduisons une nouvelle solution de référence à chaque étape d’agrégation de notre ILPH en exploitant les informations collectées à partir des sous problèmes et nous utilisons ces informations pour mettre à jour les pénalités dans PHA. Par conséquent, PHA est guidé par les informations locales fournies par la procédure d’apprentissage, résultant en une approche intégrée capable de traiter des instances complexes et de grande taille. Dans les trois articles, nous montrons, au moyen de campagnes expérimentales approfondies, l’intérêt des approches proposées en termes de temps de calcul et de qualité des solutions produites, en particulier pour traiter des cas très difficiles avec un grand nombre de scénarios.This dissertation consists of three studies, each of which constitutes a self-contained research article. In all of the three articles, we consider the multi-commodity capacitated fixed-charge network design problem with uncertain demands as a two-stage stochastic program. In such setting, design decisions are made in the first stage before the actual demand is realized, while second-stage flow-routing decisions adjust the first-stage solution to the observed demand realization. We consider the demand uncertainty as a finite number of discrete scenarios, which is a common approach in the literature. By using the scenario set, the resulting large-scale mixed integer program (MIP) problem, referred to as the extensive form (EF), is extremely hard to solve exactly in all but trivial cases. This dissertation is aimed at advancing the body of knowledge by developing efficient algorithms incorporating learning mechanisms in matheuristics, which are able to handle large scale instances of stochastic network design problems efficiently. In the first article, we propose a novel Learning-Based Matheuristic for Stochastic Network Design Problems. We introduce and formally describe a new optimizationbased learning mechanism to extract information regarding the solution structure of a stochastic problem out of the solutions of particular combinations of scenarios. We subsequently propose the Learn&Optimize matheuristic, which makes use of the learning methods in inferring a set of promising design variables, in conjunction with a state-ofthe- art MIP solver to address a reduced problem. In the second article, we introduce a Reduced-Cost-Based Restriction and Refinement Matheuristic. We study on how to efficiently design learning mechanisms based on dual information as a means of guiding variable fixing in the context of stochastic network design. The present work investigates how the reduced cost associated with non-basic variables in deterministic solutions can be leveraged to guide variable selection within stochastic formulations. We specifically propose several strategies to extract reduced cost information so as to effectively identify an appropriate set of fixed variables within a restricted model. We then propose a matheuristic approach using problem reduction techniques iteratively (i.e., defining and exploring restricted region of global solutions, as guided by applicable dual information). Finally, in the third article, our main goal is to design a solution method that is able to manage a large number of scenarios. We rely on the progressive hedging algorithm (PHA) where the scenarios are grouped in subproblems. We propose a two phase integrated learning and progressive hedging (ILPH) approach to deal with a large number of scenarios. Within our proposed approach, the learning mechanisms from the first study of this dissertation have been adapted as an efficient heuristic method to address the multi-scenario subproblems within each iteration of PHA.We introduce a new reference point within each aggregation step of our proposed ILPH by exploiting the information garnered from subproblems, and using this information to update the penalties. Consequently, the ILPH is governed and guided by the local information provided by the learning procedure, resulting in an integrated approach capable of handling very large and complex instances. In all of the three mentioned articles, we show, by means of extensive experimental campaigns, the interest of the proposed approaches in terms of computation time and solution quality, especially in dealing with very difficult instances with a large number of scenarios

Scheduling process operations under uncertainty and integration with long term planning

This thesis centers upon the application of mathematical modelling, optimization theory and uncertainty analysis to the problem of scheduling batch operations for large scale industries. Over the years, decision making strategies such as scheduling, that deals with allocation of plant resources, has been widely adopted by industries to efficiently carry out their operations and achieve the desired targets. In this thesis, the focus is on planning and scheduling under endogenous uncertainty in the context of multijob, multitasking batch plants. This class of scheduling problems are of practical importance, specially in the analytical services sector, where effective scheduling models could increase the efficiency in carrying out the plant operations and may lead to increased throughput, or reduced makespan, resulting in greater profits or customer satisfaction

Essays on Multistage Stochastic Programming applied to Asset Liability Management

Uncertainty is a key element of reality. Thus, it becomes natural that the search for methods allows us to represent the unknown in mathematical terms. These problems originate a large class of probabilistic programs recognized as stochastic programming models. They are more realistic than deterministic ones, and their aim is to incorporate uncertainty into their definitions. This dissertation approaches the probabilistic problem class of multistage stochastic problems with chance constraints and joint-chance constraints. Initially, we propose a multistage stochastic asset liability management (ALM) model for a Brazilian pension fund industry. Our model is formalized in compliance with the Brazilian laws and policies. Next, given the relevance of the input parameters for these optimization models, we turn our attention to different sampling models, which compose the discretization process of these stochastic models. We check how these different sampling methodologies impact on the final solution and the portfolio allocation, outlining good options for ALM models. Finally, we propose a framework for the scenario-tree generation and optimization of multistage stochastic programming problems. Relying on the Knuth transform, we generate the scenario trees, taking advantage of the left-child, right-sibling representation, which makes the simulation more efficient in terms of time and the number of scenarios. We also formalize an ALM model reformulation based on implicit extensive form for the optimization model. This technique is designed by the definition of a filtration process with bundles, and coded with the support of an algebraic modeling language. The efficiency of this methodology is tested in a multistage stochastic ALM model with joint-chance constraints. Our framework makes it possible to reach the optimal solution for trees with a reasonable number of scenarios.A incerteza é um elemento fundamental da realidade. Então, torna-se natural a busca por métodos que nos permitam representar o desconhecido em termos matemáticos. Esses problemas originam uma grande classe de programas probabilísticos reconhecidos como modelos de programação estocástica. Eles são mais realísticos que os modelos determinísticos, e tem por objetivo incorporar a incerteza em suas definições. Essa tese aborda os problemas probabilísticos da classe de problemas de multi-estágio com incerteza e com restrições probabilísticas e com restrições probabilísticas conjuntas. Inicialmente, nós propomos um modelo de administração de ativos e passivos multi-estágio estocástico para a indústria de fundos de pensão brasileira. Nosso modelo é formalizado em conformidade com a leis e políticas brasileiras. A seguir, dada a relevância dos dados de entrada para esses modelos de otimização, tornamos nossa atenção às diferentes técnicas de amostragem. Elas compõem o processo de discretização desses modelos estocásticos Nós verificamos como as diferentes metodologias de amostragem impactam a solução final e a alocação do portfólio, destacando boas opções para modelos de administração de ativos e passivos. Finalmente, nós propomos um “framework” para a geração de árvores de cenário e otimização de modelos com incerteza multi-estágio. Baseados na tranformação de Knuth, nós geramos a árvore de cenários considerando a representação filho-esqueda, irmão-direita o que torna a simulação mais eficiente em termos de tempo e de número de cenários. Nós também formalizamos uma reformulação do modelo de administração de ativos e passivos baseada na abordagem extensiva implícita para o modelo de otimização. Essa técnica é projetada pela definição de um processo de filtragem com “bundles”; e codifciada com o auxílio de uma linguagem de modelagem algébrica. A eficiência dessa metodologia é testada em um modelo de administração de ativos e passivos com incerteza com restrições probabilísticas conjuntas. Nosso framework torna possível encontrar a solução ótima para árvores com um número razoável de cenários