A review of reinforcement learning based approaches for industrial demand response

Industrial demand response plays a key role in mitigating the operational challenges of smart grid brought by massive proliferation of distributed energy resources. However, industrial plants have complex and intertwined processes, which provides barriers for their participation in industrial demand response programs. This is in part due to the complexity and uncertainties of approximating systems models. More recently, reinforcement learning has emerged as a data-driven control technique for sequential decision-making under uncertainty. This emergence is strongly coupled with the abundance of data offered by advanced information technologies. The potential of applying reinforcement learning in industrial demand response is identified in this work by comparing pivotal aspects of reinforcement learning with the requirements of industrial demand response schemes

Coordinating industrial production and cogeneration systems to exploit electricity price fluctuations

Las fluctuaciones en el precio de la electricidad, procedentes de la aplicación de programas de respuesta de la demanda, son una oportunidad para que las industrias que cuenten con sistemas de cogeneración puedan reducir sus costes de producción mientras hacen que la red eléctrica sea más estable y segura en su conjunto. Dada la cantidad de factores involucrados y la dificultad que esto supone a la hora de tomar decisiones, en esta tesis se presenta una metodología basada en optimización dinámica que permite la gestión óptima de ambos sistemas y se aplica en simulación al caso de estudio de una industria azucarera. Como principales resultados, se ha obtenido que utilizando la metodología propuesta los costes variables de producción se pueden reducir hasta un 2.55% si se utiliza una tarifa por tramos típica, y en torno a un 5.41% si se utilizan los precios dados por el mercado eléctrico directamente.Departamento de Ingeniería de Sistemas y AutomáticaDoctorado en Ingeniería Industria

Optimal Scheduling for Chemical Processes and its Integration with Design and Control

Optimal scheduling is an active area of research as the economics of many chemical processes is affected to a great extent with the optimality of schedules of their operations. Effective use of resources and their capacities is paramount in order to achieve optimal operations. Manual and heuristics-based approaches used for scheduling have their limitations which inhibit the chemical process industries to achieve economically attractive operations. One such sector is the analytical services industries and success of companies in this sector highly relies on the effective scheduling of operations as large numbers of samples from customers are received, analyzed and reports are generated for each sample. Therefore, it is extremely important to efficiently use all the various resources (labor and machine) for such facilities to remain competitive. This study focuses on the development of an algorithm to schedule operations in an actual large scale analytical services plant using models based on multi-commodity flow (MCF) and integer linear programming (IP) techniques. The proposed scheduling algorithm aims to minimize the total turnaround time of the operations subject to capacity, resource and flow constraints. The basic working principles of the optimization-based algorithm are illustrated with a small representative case study, while its relevance and significance is demonstrated through another case study of a real large scale plant. In the latter case study, the algorithm’s results are compared against historical data and results obtained by simulating the current policy implemented in the real plant, i.e., first-come first-served. Along with scheduling, many chemical processes require the optimization of other aspects that play major part in the process economics, e.g. design and control. An important section of the chemical process industry produces various grades of products (multi-product) and the scheduling of the production of these grades along with optimal design and control play important roles in the economy of the operations. As part of this research study, a new methodology that can address three aspects of the economy of the multiproduct processes together; i.e. simultaneous scheduling, design and control, has been developed. A mixed integer non linear programming (MINLP) optimization framework has been formulated, which aims to simultaneously evaluate optimal design, steady state operating conditions for each grade as a part of design, optimal tuning parameters for the controllers, optimal sequence of production of various grades of product and optimal smooth transitions between the grades. This is achieved via minimization of overall cost of the operation. The proposed methodology takes into account the influence of disturbances in the system by the identification of the critical frequency from the disturbances, which is used to quantify the worst-case variability in the controlled variables via frequency response analysis. The uncertainty in the demands of products has also been addressed by creating critical demand scenarios with different probabilities of occurrence, while the nominal stability of the system has been ensured. Two case studies have been developed as applications of the methodology. The first case study focuses on the comparison of classical semi-sequential approach against the simultaneous methodology developed in this work, while the second case study demonstrates the capability of the methodology in application to a large-scale nonlinear system

Entwicklung eines druckgetriebenen dynamischen Kolonnenmodells zur Erhöhung der Flexibilität von kryogenen Luftzerlegungsanlagen

Durch die steigende Volatilität der Energiemärkte werden großindustrielle Verbraucher aufgefordert, ihr Lastprofil dem Angebot anzupassen. Aufgrund der inhärenten Produktspeicherung ist die kryogene Luftzerlegung hierfür besonders geeignet. Die einhergehende, hochdynamische Fahrweise stellt neue Herausforderungen an das Betriebskonzept dieser Anlagen. Mithilfe des entwickelten, druckgetriebenen dynamischen Kolonnenmodells wird ein lastflexibler Betrieb mit An- und Abfahrvorgängen untersucht

Modelos Avanzados de Optimización para la Gestión Eficiente de Procesos de Producción

En la actualidad, la industria se desenvuelve en mercados globales con una creciente competitividad, donde, independientemente de su tamaño y del sector de actividad involucrada, debe conciliar la satisfacción de sus clientes con la alta exposición a presiones, exigencias de calidad, márgenes de rentabilidad cada vez más estrechos y una elevada eficiencia económica. Estas tendencias han determinado que la gestión de soporte de las actividades de manufactura y distribución de bienes industriales se transforme en un área clave dentro de las organizaciones. Las compañías necesitan utilizar los recursos disponibles de una manera eficiente y mejorar continuamente sus procesos para tener una respuesta más rápida y efectiva ante las posibles variaciones del mercado. Las empresas no sólo deben administrar sus procesos internos, sino que también deben disponer de mejores soluciones logísticas para lograr importantes ventajas competitivas a través de (i) una reducción de los costos, (ii) una mayor capacidad de reacción ante los cambios permanentes de la demanda, (iii) una mejor utilización de los recursos, (iv) un incremento de la productividad, (v) un mayor grado de satisfacción del cliente y, no menos importante, (vi) una reducción en el impacto ambiental.En particular, en el contexto industrial moderno, las decisiones que hacen a la gestión y operación de una empresa deben ir acompañas de herramientas computacionales cada vez más eficientes, de manera de auxiliar a los procesos de toma de decisiones. Por esta razón, en las últimas décadas, los esfuerzos por perfeccionar las técnicas de modelado de procesos industriales se han focalizado en el desarrollo de metodologías eficientes para dar solución a los problemas de programación de operaciones (?scheduling?) de mediano y corto plazo. A lo largo de los capítulos de la tesis se propone el análisis y desarrollo de herramientas computacionales, basadas en técnicas de optimización de tipo riguroso y heurístico, para dar soporte al problema de programación de operaciones en diferentes tipos de procesos productivos, los cuáles se caracterizan por ser complejos y de gran escala. En la primera parte de la tesis, se presentan y analizan diferentes enfoques alternativos de optimización exacta para encontrar el mejor programa de producción para una industria que se dedica a la construcción de grandes barcos. Dicho proceso productivo agrega una complejidad adicional al considerar operaciones de ensamblado. Las metodologías propuestas están basadas en modelos de Programación Matemática Lineal Mixta-Entera ("Mixed-Integer Linear Programming", MILP) con dominio de tiempo continuo. El principal objetivo de la compañía es minimizar el tiempo total requerido para producir y ensamblar todas las partes que integran cada barco.A continuación, los modelos matemáticos utilizados para la resolución del problema de programación de operaciones en la industria naval, son tomados como base para el desarrollo de un algoritmo de descomposición que tiene como principal objetivo proporcionar soluciones ?rápidas? y de buena calidad a problemas complejos de programación de operaciones de escala industrial en sistemas de manufacturas de tipo flow shop flexibles. Se lleva a cabo un análisis comparativo entre ambos tipos de metodologías de solución propuestas: (i) basadas en métodos rigurosos de optimización, y (ii) basadas en técnicas de descomposición. Posteriormente, se integran las decisiones de programación de las operaciones de piso de planta de entornos industriales de tipo job shop flexibles, con decisiones de rediseño, a través de una estrategia de solución basada en formulaciones matemáticas MILP. De este modo, no sólo se determina el mejor programa de operaciones, sino que se evalúan reconfiguraciones factibles que permiten aumentar la eficiencia del uso de los recursos de sistemas de manufactura flexible.La potencialidad de las metodologías presentadas se evalúa a través de la resolución de diferentes instancias de casos de estudio reales de gran escala vinculados a la industria naval, que sirven de base, tanto para evaluar la eficiencia computacional de las formulaciones propuestas y la calidad de las soluciones halladas, como también para realizar un análisis comparativo de las contribuciones de este trabajo de tesis. Por último, se presenta una formulación matemática MILP basada en una representación discreta del tiempo, para modelar y optimizar las decisiones operativas en procesos que presentan un consumo intensivo de energía eléctrica y que operan en mercados diarios de precios de energía sensibles a los períodos de tiempo, es decir, que varían hora a hora. El modelo matemático propuesto tiene como principal objetivo determinar el programa de operaciones (?schedule?) óptimo de manera predictiva, para un horizonte de planificación determinado, estableciendo los modos de operación y los niveles de producción de plantas dedicadas a la separación de aire, de manera de satisfacer la demanda y al mismo tiempo, minimizar el costo energético total. Es importante mencionar que, el enfoque de optimización presentado está basado en una novedosa representación del proceso de transición de estados de operación, involucrados en este tipo de plantas, lo que permite obtener una herramienta capaz de considerar eficientemente las fluctuaciones de los precios del mercado y al mismo tiempo, optimizar las decisiones operativas correspondientes a los procesos de consumo intensivo de energía, requiriendo un mínimo esfuerzo computacional. Este modelo es aplicado a un caso de estudio real de escala industrial con el fin de mostrar su alta eficiencia y robustez. Asimismo, cabe destacar que, diversos modelos de simulación y metodologías híbridas, se han desarrollado como trabajo de investigación, en el marco de esta tesis doctoral, para hacer frente al problema de ?scheduling? de casos de estudios reales. En particular, se han propuesto diferentes enfoques de simulación de eventos discretos como herramientas para la toma de decisiones de procesos industriales, las cuales permiten determinar ?schedules? eficientes y evaluar posibles inversiones, nuevas políticas de operación, diferentes estrategias de reingeniería de procesos, entre otros. Sin embargo, por razones de espacio y organización, no se presentan en detalle en esta tesis. Dichas contribuciones se pueden encontrar en diferentes reportes científicos que se detallan más adelante.Las nuevas herramientas desarrolladas, junto con los resultados obtenidos, a lo largo de este trabajo de investigación, han sido presentadas en diversos congresos internacionales referentes en el área de ingeniería de procesos y sistemas, y divulgados a través de publicaciones en revistas científicas nacionales e internacionales de alto impacto y en capítulos de libros.Fil: Basán, Natalia Paola. Consejo Nacional de Investigaciones Científicas y Técnicas. Centro Científico Tecnológico Conicet - Santa Fe. Instituto de Desarrollo Tecnológico para la Industria Química. Universidad Nacional del Litoral. Instituto de Desarrollo Tecnológico para la Industria Química; Argentin

Optimal Scheduling of Continuous Plants with Energy Constraints

This work addresses the scheduling of continuous single stage multiproduct plants with parallel units and shared storage tanks. Processing tasks are energy intensive and we consider timedependent electricity pricing and availability together with multiple intermediate due dates, handled as hard constraints. A new discrete-time aggregate formulation is proposed to rapidly plan the production levels. It is combined with a continuous-time model for detailed scheduling as the essential part of a rolling horizon algorithm. Their computational performance is compared to traditional discrete and continuous-time full-space formulations with all models relying on the Resource-Task Network (RTN) process representation. The results show that new models and algorithm can generate global optimal schedules much more efficiently than their counterparts in problems involving unlimited power availability. Under restricted power, the aggregate mode