Heterogeneous mission planning for a single unmanned aerial vehicle (UAV) with attention-based deep reinforcement learning

Large-scale and complex mission environments require unmanned aerial vehicles (UAVs) to deal with various types of missions while considering their operational and dynamic constraints. This article proposes a deep learning-based heterogeneous mission planning algorithm for a single UAV. We first formulate a heterogeneous mission planning problem as a vehicle routing problem (VRP). Then, we solve this by using an attention-based deep reinforcement learning approach. Attention-based neural networks are utilized as they have powerful computational efficiency in processing the sequence data for the VRP. For the input to the attention-based neural networks, the unified feature representation on heterogeneous missions is introduced, which encodes different types of missions into the same-sized vectors. In addition, a masking strategy is introduced to be able to consider the resource constraint (e.g., flight time) of the UAV. Simulation results show that the proposed approach has significantly faster computation time than that of other baseline algorithms while maintaining a relatively good performance

Hybrid Genetic Algorithm for Multi-Period Vehicle Routing Problem with Mixed Pickup and Delivery with Time Window, Heterogeneous Fleet, Duration Time and Rest Area

Most logistics industries are improving their technology and innovation in competitive markets in order to serve the various needs of customers more efficiently. However, logistics management costs are one of the factors that entrepreneurs inevitably need to reduce, so that goods and services are distributed to a number of customers in different locations effectively and efficiently. In this research, we consider the multi-period vehicle routing problem with mixed pickup and delivery with time windows, heterogeneous fleet, duration time and rest area (MVRPMPDDR). In the special case that occurs in this research, it is the rest area for resting the vehicle after working long hours of the day during transportation over multiple periods, for which with confidence no research has studied previously. We present a mixed integer linear programming model to give an optimal solution, and a meta-heuristic approach using a hybrid genetic algorithm with variable neighborhood search algorithm (GAVNS) has been developed to solve large-sized problems. The objective is to maximize profits obtained from revenue after deducting fuel cost, the cost of using a vehicle, driver wage cost, penalty cost and overtime cost. We prepared two algorithms, including a genetic algorithm (GA) and variable neighborhood search algorithm (VNS), to compare the performance of our proposed algorithm. The VNS is specially applied instead of the mutation operator in GA, because it can reduce duplicate solutions of the algorithms that increase the difficulty and are time-consuming. The numerical results show the hybrid genetic algorithm with variable neighborhood search algorithm outperforms all other proposed algorithms. This demonstrates that the proposed meta-heuristic is efficient, with reasonable computational time, and is useful not only for increasing profits, but also for efficient management of the outbound transportation logistics system

Dimensionamento de lotes e sequenciamento da produção em dois estágios em uma indústria de cosméticos

Orientador: Prof. Dr. Cassius Tadeu ScarpinCoorientador: Prof. Dr. Gustavo Valentim LochTese (doutorado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Métodos Numéricos em Engenharia. Defesa : Curitiba, 29/07/2021Inclui referências: p. 89-92Resumo: Esta tese trata sobre o problema de otimização do planejamento e programação da produção em dois estágios. O desenvolvimento do modelo matemático de Programação Linear Inteira Mista (PLIM) deu-se em uma indústria de cosméticos, embora possa ser adaptada para linhas de produção similares. Na aplicação, o primeiro estágio é responsável pela manipulação dos produtos em tanques misturadores, enquanto o segundo realiza a embalagem primária em linhas paralelas de envase. Trata-se de um problema de dimensionamento e sequenciamento da produção, que ocorre de forma integrada, de modo a realizar as atividades necessárias ao cenário produtivo e promover a dependência entre os estágios produtivos. Os dois estágios dispõem de máquinas paralelas para produção, sendo que no primeiro têm capacidades distintas e no segundo idênticas, existindo um estoque intermediário entre os dois estágios produtivos. Este estoque, além da sua função básica de armazenar o produto semiacabado até sua ordem de envase, possui uma capacidade finita e deve funcionar como um buffer obrigatório de itens com especificações entre fases produtivas, por exemplo, tempo mínimo e máximo permitido de permanência entre fases de cada lote de acordo com sua reação química. Problemas similares podem ser encontrados na literatura, entretanto estes trabalhos possuem a característica de dedicação exclusiva de máquinas entre o primeiro e segundo estágio. Aborda-se, nesta pesquisa, números distintos de máquinas por estágio, o que aumenta o número de tomadas de decisões a serem realizadas. Além disso, aborda-se a característica ativa do estoque/buffer intermediário, sendo que as diferentes características de cada produto influenciam nas decisões a serem tomadas quanto dimensionamento dos lotes e sequenciamento da produção. A aplicação de modelagem matemática PLIM na indústria de cosméticos e suas peculiares características não foi encontrada, no melhor de nosso conhecimento, na literatura. Propõe-se um modelo matemático chamado MDSLEI-2E (Modelo Integrado de Dimensionamento e Sequenciamento de Lotes em dois Estágios e Estoque Intermediário) e uma generalização do MDSLEI-2E, que aborda o tempo de permanência em estoque. O primeiro caso aborda de forma geral os casos aplicados à fábrica em estudo, realiza o dimensionamento e sequenciamento dos lotes nos dois estágios, minimiza custos de setup, os custos de estoques, tanto intermediário quanto final, realiza a designação das máquinas e minimiza atrasos e horas extras trabalhadas. Já a generalização proposta realiza as mesmas atividades que o MDSLEI-2E e aborda as especificações dos produtos quanto ao tempo de permanência permitido para cada lote fora da embalagem primária. Esta aplicação é viável para a indústria de cosméticos e, também, a diversas outras indústrias químicas, como a farmacêutica e alimentícia. Quanto aos métodos de solução, além dos modelos matemáticos, resolvidos pelo solver Gurobi, propõe-se um método sequencial, que realiza a interação entre solver (modelo) e um algoritmo de Busca Local (BL) que utiliza operadores heurísticos para otimização. Propõe-se e comparase duas metodologias distintas para Busca Local no método sequencial proposto. A primeira requisita, de maneira aleatória, operadores em uma heurística Fix and Optimize (F&O), e a segunda utiliza uma heurística baseada na melhoria F&O combinada a princípios do VND (Variable Neighborhood Descent), chamada de FixVND. Os resultados indicam que, para instâncias a partir de 10 itens, torna-se viável a aplicação do método sequencial. A heurística proposta apresenta resultados melhores quando comparados às outras estratégias testadas no mesmo tempo computacional.Abstract: ABSTRACT This thesis deals with the problem of production planning and scheduling in two stages of optimization. The development of Mixed Integer Linear Programming (PLIM) is applied in the cosmetics industry; besides, it can be used in any similar production line. In the real case, the first stage is responsible for handling the products in mixing tanks, while the second performs primary packaging in parallel filling lines. It is a lot sizing and scheduling problem, which occurs in an integrated way, in order to carry out the activities necessary for the production scenario and promote the synchrony between the production stages. The two stages are composed of parallel machines for production, in the first one they have different capacities, and in the second identical, there is an intermediate stock between the two production stages. This stock, in addition to its basic function of storing the semi-finished product until its filling order, has a finite capacity and can have a function as a buffer of items with specifications between production phases, for example, minimum and maximum allowed time of permanence between phases of each lot according to its chemical reaction. Similar problems can be found in the literature. However, the related works found have the same number of machines in the first and second stages. This implicitly determines that each tank has a dedicated filling machine. In the case of this research study, there is a different number of machines per stage, which increases the number of decisions to be realized. In addition, the problem addressed in this work has the active characteristic of the intermediate stock/buffer and the different characteristics of each product influence the decisions to be taken regarding lot sizing and scheduling. The application of the PLIM mathematical model in the cosmetics industry and its peculiar characteristics has not been found, to the best of our knowledge, in the literature. A mathematical model and a generalization are proposed, the MDSLEI-2E (Integrated Lot Sizing and Scheduling Model in Two Stages and Intermediate Stock) that addresses the cases applied to the factory understudy, perform the lot sizing and scheduling in two stages, minimizes setup, inventory costs, both intermediate and final, performs the assignment of machines and minimizes delays and overtime worked. The generalization proposed, on the other hand, performs the same activities as MDSLEI- 2E and addresses product specifications regarding the permanence time allowed for each lot outside the primary packaging. This application is viable for the cosmetics industry and, also for several other chemical industries, such as pharmaceuticals and food. As for the solution methods, in addition to the mathematical models, solved by the Gurobi solver, a sequential method is proposed, which performs the interaction between the solver (model) and a Local Search (LS) algorithm that uses heuristic operators for optimization. It proposes and compares two distinct methodologies for Local Search in the proposed sequential method. The first randomly request a Fix and Optimize (F&O) heuristic, which varies its heuristic operators according to partition and fixed variables, and the second uses a heuristic based on the F&O improvement heuristic combined with VND (Variable Neighborhood Descent), called FixVND. The results indicate that, for instances with 10 items or more, it is feasible to apply the sequential method, since, using the Fix VND heuristic for LS, the results obtained for solving the problems were better when compared to the other strategies tested in the same computational time

Modelado y aplicaciones para mejorar la recolección de aceite de cocina usado en grandes generadores de entornos urbanos

El aceite de cocina usado (UCO) puede ser utilizado como insumo para producir biodiesel, lo cual es incentivado por muchos gobiernos debido a sus beneficios económicos y ambientales. En Colombia, más del 95% de los UCO se desechan indebidamente o se reutilizan ilegalmente, debido a la ausencia de procedimientos de gestión post-consumo para la recolección de UCO y la apatía de la comunidad. Esto causa problemas ambientales y de salud pública. Se propone un modelo de programación lineal entera mixta (MILP) para minimizar los costos operativos de la recolección de UCO para grandes generadores, así como la reducción de las emisiones de CO2 durante un horizonte de planificación determinado. Este modelo de flota homogénea se puede clasificar como un modelo de problema de enrutamiento de inventario (IRP) designado como: Time Constrained, Selective and Inventory Routing Problem (TCSIRP). Las soluciones exactas para instancias con 15, 20 y 25 nodos productores de UCO se compararon con la salida de la solución heurística Algoritmo Recocido simulado Modificado (MSAA) para realizar su validación. A continuación, se utilizó MSAA para resolver un caso de estudio con 209 nodos, ampliado a 265 y 320 nodos, evaluando: tres vehículos, cinco ubicaciones de centros de acopio, tres duraciones de jornada y tres densidades espaciales de nodos productores de UCO. Los resultados de 21 instancias indican que; los vehículos con menor capacidad, alta eficiencia de combustible, jornada laboral extendida y propuestas de incentivos para los productores de UCO dan como resultado costos reducidos, mayores beneficios ambientales y recolección.MaestríaMagister en Ingeniería Industria