Reinforcement Learning Algorithms and Complexity of Inventory Control, A Review

Driven by the ability to perform sequential decision-making in complex dynamic situations, Reinforcement Learning (RL) has quickly become a promising avenue to solve inventory control (IC) problems. The objective of this paper is to provide a comprehensive overview of the IC problems that have been effectively solved due to the application of RL. Our contributions include providing the first systematic review in this field of interest and application. We also identify potential extensions and come up with four propositions that formulate a theoretical framework that may help develop RL algorithms to solve complex IC problems. We recommend specific future research directions and novel approaches in solving IC problems

Deep Reinforcement Learning for Supply Chain Synchronization

Supply chain synchronization can prevent the “bullwhip effect” and significantly mitigate ripple effects caused by operational failures. This paper demonstrates how deep reinforcement learning agents based on the proximal policy optimization algorithm can synchronize inbound and outbound flows if end-toend visibility is provided. The paper concludes that the proposed solution has the potential to perform adaptive control in complex supply chains. Furthermore, the proposed approach is general, task unspecific, and adaptive in the sense that prior knowledge about the system is not required

Assessment of Adaptability of a Supply Chain Trading Agent’s Strategy: Evolutionary Game Theory Approach

With the increase in the complexity of supply chain management, the use of intelligent agents for automated trading has gained popularity (Collins, Arunachalam, B, et al. 2006). The performance of supply-chain agents depends on not just the market environment (supply and demand patterns) but also on what types of other agents they are competing with. For designers of such agents it is important to ascertain that their agents are robust and can adapt to changing market and competitive environments. However, to date there has not been any work done that assesses the adaptability of a trading agent’s strategy in the presence of various demand and supply distributions when competing with a changing composition of agents using different strategies. In this paper we use the concept of replicator dynamics to study the evolution of a population of strategies used by supply chain agents when the different agents are competing against each other. We also study the evolution of the population of agents’ strategies in the presence of six types of adverse market conditions. In particular we test three strategies that have been presented in the literature and our results indicate that over time supply chain agents gravitate towards using the SCMaster strategy in most scenarios

Applying machine learning to the dynamic selection of replenishment policies in fast-changing supply chain environments

Firms currently operate in highly competitive scenarios, where the environmental conditions evolve over time. Many factors intervene simultaneously and their hard-to-interpret interactions throughout the supply chain greatly complicate decision-making. The complexity clearly manifests itself in the field of inventory management, in which determining the optimal replenishment rule often becomes an intractable problem. This paper applies machine learning to help managers understand these complex scenarios and better manage the inventory flow. Building on a dynamic framework, we employ an inductive learning algorithm for setting the most appropriate replenishment policy over time by reacting to the environmental changes. This approach proves to be effective in a three-echelon supply chain where the scenario is defined by seven variables (cost structure, demand variability, three lead times, and two partners’ inventory policy). Considering four alternatives, the algorithm determines the best replenishment rule around 88% of the time. This leads to a noticeable reduction of operating costs against static alternatives. Interestingly, we observe that the nodes are much more sensitive to inventory decisions in the lower echelons than in the upper echelons of the supply chain

Developing service supply chains by using agent based simulation

The Master thesis present a novel approach to model a service supply chain with agent based simulation. Also, the case study of thesis is related to healthcare services and research problem includes facility location of healthcare centers in Vaasa region by considering the demand, resource units and service quality. Geographical information system is utilized for locating population, agent based simulation for patients and their illness status probability, and discrete event simulation for healthcare services modelling. Health centers are located on predefined sites based on managers’ preference, then each patient based on the distance to health centers, move to the nearest point for receiving the healthcare services. For evaluating cost and services condition, various key performance indicators have defined in the modelling such as Number of patient in queue, patients waiting time, resource utilization, and number of patients ratio yielded by different of inflow and outflow. Healthcare managers would be able to experiment different scenarios based on changing number of resource units or location of healthcare centers, and subsequently evaluate the results without necessity of implementation in real life.fi=Opinnäytetyö kokotekstinä PDF-muodossa.|en=Thesis fulltext in PDF format.|sv=Lärdomsprov tillgängligt som fulltext i PDF-format

Análise da Representação do Fator Humano presente em um Sistema de Manufatura através da Simulação Híbrida.

Os sistemas de manufatura são sistemas complexos, onde ocorrem diversas ações voltadas para a transformação de matérias-primas em produtos de valor agregado. Dentro deles, ocorrem processos de transformação envolvendo pessoas, máquinas e equipamentos, sistemas computacionais, processos e planejamento. No ambiente manufatureiro, os recursos humanos desempenham um papel relevante e, nesse sentido, diversas pesquisas abordando o elemento humano em seu ambiente de trabalho foram desenvolvidas e abordadas sob diferentes pontos de vista. Uma dessas pesquisa é o estudo de tempos e movimentos, que trata, dentre outros assuntos, da questão do ritmo de trabalho. É verdade que o comportamento humano é regido por princípios complexos. Esse fato corrobora a dificuldade em modelar o comportamento humano. Dentro da área de modelagem e simulação, representar o elemento humano através de seu comportamento é um dos principais desafios. Na Simulação a Eventos Discretos (SED), a modelagem mais detalhada do elemento humano é difícil de se realizar. Logo, o elemento humano em modelos de SED é considerado como recurso simples. Essa dificuldade em modelar o elemento humano pode ser superada com a Simulação Baseada em Agentes (SBA). A SBA é uma nova abordagem de modelagem e simulação que surgiu recentemente. Ela traz a oportunidade de modelar o comportamento humano de maneira mais detalhada. Além dessa oportunidade, a SBA ainda pode ser combinada com a SED, dando origem à simulação híbrida. A combinação dessas duas abordagens distintas de simulação proporciona ao pesquisador a oportunidade de simular características relevantes do sistema real. Portanto, essa pesquisa de dissertação almeja contribuir cientificamente na área de simulação e de sistemas de produção trazendo uma análise sobre a representação do fator humano em um sistema de manufatura através da simulação híbrida. Nessa pesquisa, a combinação dessas duas abordagens ocorrerá dentro do contexto metodológico da Modelagem e Simulação por meio da adaptação da fase conceitual que faz parte da sequência de passos sugeridos para projetos de simulação. Essa proposta de adaptação tem como objetivo auxiliar a construção de modelos híbridos de simulação. O sistema real de manufatura que foi modelado e simulado é uma linha de montagem composta por dez postos de trabalho e quatorze operadores. Esses quatorze operadores são representados no modelo híbrido como agentes. Tendo como base o Sistema Westinghouse para avaliação do ritmo, cada agente possui um ritmo de trabalho que se altera no decorrer da simulação em função da meta diária de trabalho. Por meio dos resultados do modelo híbrido, nota-se que os agentes agem dentro do modelo de maneira autônoma e tomam decisões com base nas metas de produção. Assim, pode-se concluir que é possível superar o desafio de retratar o fator humano no contexto fabril utilizando a simulação híbrida como ferramenta

Aplicação da simulação híbrida no sequenciamento da produção em sistemas Job shop flexíveis

Esta pesquisa estuda um dos mais complexos e importantes problemas na área de sequenciamento de produção: os sistemas job shop flexíveis, o qual pertence à classe de problemas matematicamente intratáveis, denominados NP-hard. O aludido sistema é de suma importância para a indústria que utiliza a estratégia de produção make to order e busca flexibilidade de mix e volume. Existe uma demanda atual pela robustez do método de sequenciamento. O mesmo deve ser eficaz perante a problemas inesperados do cotidiano, que afetam a eficiência da sequência inicial definida. Além disso, deve-se considerar tempos estocásticos e buscar atingir mais objetivos de produção simultaneamente. Sendo assim, esta pesquisa realizará o sequenciamento por meio da simulação, que deverá sequenciar as ordens de produção no início do processo e re-sequenciar quando necessário, a fim de se buscar um modelo mais robusto aos problemas cotidianos e procurando melhorar mais indicadores ao mesmo tempo, isso porque modelos tradicionais tendem a ser mais sensíveis a eventos inesperados. Para isso, o referido sistema precisará usar agentes dentro de modelos de Simulação a Eventos Discretos, formando um modelo de Simulação Híbrida. O objetivo é avaliar como o agente dentro do modelo pode ajudar na resposta a estes eventos, adicionando robustez ao mesmo, além de deixa-o mais acessível aos usuários. A pesquisa é de caráter quantitativo, utilizando o método de modelagem e simulação, seguindo um modelo empírico normativo. A contribuição científica é gerada no modelo final que é mais robusto a eventualidades e tem um foco mais abrangente. Além disso, esta maneira de modelar traz uma interface amigável para inserir modificações, o que melhora a integração com os usuários mais despreparados. A validação do modelo consiste na comparação de seus resultados com os resultados do gráfico de Gantt. Depois disso, foram feitas comparações dos resultados obtidos com e sem re-sequenciamento. Primeiro, com o agente utilizando uma lógica de sequenciamento e depois também a utilizando, porém com ajustes na sequência durante a produção dos lotes, buscando responder a eventos e neutralizar os pontos negativos da lógica inicial através do re-sequenciamento. Frisa-se que essa programação garante que o agente “Gerente” reduza o makespan e aumente a utilização das máquinas quando aumenta sua interferência no modelo

Política de Gestão de Estoques utilizando aprendizado por Reforço e Simulação Híbrida em uma farmácia hospitalar Itajubá.

A gestão de estoques é relacionada a um tipo de tomada de decisão que afeta diretamente o funcionamento das organizações, pois a sua atuação tem efeitos diretos nos resultados. Em se tratando de hospitais, a gestão de estoques de medicamentos é realizada pela farmácia hospitalar. Neste sistema, é imprescindível uma gestão baseada em resultados associada a um bom nível de serviço. Enquanto que, na maioria das empresas, um mau funcionamento do setor de estoques gera prejuízos financeiros ou ambientais, na farmácia isso pode resultar em danos irreversíveis aos pacientes ou até em seu óbito. O objetivo desta pesquisa é definir uma política de aquisição periódica de medicamentos em uma farmácia hospitalar, buscando a diminuição conjunta do número de medicamentos não atendidos e expirados e que seja limitado a um orçamento. Para tanto, optou-se pelo uso combinado das simulações a eventos discretos e baseada em agentes com a ferramenta de inteligência artificial aprendizado por reforço. O método proposto, e aplicado na farmácia estudada, segue quatro etapas são propostas para o método: desenvolvimento de níveis de abstração, tipos de simulação, ligações entre simulações e resultados e análises. Para validar o método, foram comparados quatro cenários simulados com o comportamento real de uma farmácia hospitalar no período entre maio de 2016 e abril de 2017. Na comparação dos resultados dos cenários simulados, com o método aqui proposto, em relação à realidade observada na farmácia, constatou-se que, para todos eles não ocorreu o problema de medicamentos com data de validade expirada, em dois cenários constatou-se diminuição de mais de 3.000 unidades no número de medicamentos não atendidos e, nos outros dois cenários, o aumento não seria maior que 800 unidades. Observou-se ainda, que, com o método proposto, a diminuição dos gastos em cada cenário teria um valor médio de R$291.826,40, que significaria uma economia média de R$24.318,87 mensais, com relação ao que se verificou na prática. Pode-se concluir, portanto, como resultado dessa pesquisa, que se adotando uma política de aquisição de medicamentos com base no método proposto, o farmacêutico e sua equipe terão subsídios para uma tomada de decisão racional, mais eficiente e rápida

Gestão de Riscos Logísticos em Cadeias de Suprimentos: Otimização via Metamodelo de Simulação.

Alguns tipos de riscos podem causar danos às cadeias de suprimentos, provocando rupturas nos fluxos de materiais e produtos acabados. Riscos logísticos se relacionam às falhas nos processos de transporte, armazenagem, produção e vendas. A gestão adequada desses riscos é fator crítico para a integração dos fluxos sob a responsabilidade da logística e operações, cujas atividades são frequentemente realizadas por provedores de serviços logísticos. Entretanto, observou-se a falta de procedimentos sistemáticos focados na gestão de riscos logísticos que melhor aproveitasse as vantagens da integração entre métodos de simulação e otimização. A pesquisa foi realizada em uma cadeia de suprimentos do segmento automotivo português, a partir de dados secundários disponíveis na literatura. Os problemas desse estudo foram: (a) quais os impactos dos riscos logísticos sobre o desempenho dessa cadeia? (b) sob a influência desses riscos, que ajustes no sistema logístico poderiam melhorar a resposta do arranjo aos impactos? Para solucionar tais questões, definiu-se como objetivo, mitigar os efeitos desses riscos a partir de um metamodelo de simulação para a otimização de parâmetros críticos. As atividades logísticas desempenhadas na cadeia de suprimentos foram escolhidas como objeto de estudo. Essa pesquisa foi classificada como aplicada, quantitativa e exploratória normativa, considerando, respectivamente, a sua natureza, a abordagem do problema e os objetivos. A simulação a eventos discretos, elaborada no ambiente Arena®, foi utilizada como método de pesquisa. A otimização Black Box, realizada através do software OptQuest®, foi empregada para projetar os parâmetros adequados para o sistema logístico. Um metamodelo de regressão baseado no método OLS foi desenvolvido a partir da projeção e implantação de experimentos, servindo para integrar as saídas do modelo de simulação às entradas do modelo de otimização. Inúmeras técnicas de verificação e validação foram empregadas para calibrar o modelo de otimização via simulação, tais como: implantação modular e análise de sensibilidade. Uma sistemática metodológica fundamentada na abordagem DMAIC foi elaborada para relacionar as etapas de gestão dos riscos logísticos e conduzir aos resultados dessa pesquisa, incluindo a identificação (Definir), avaliação (Mensuração), gestão (Melhoria e análise) e monitoramento (Controle) do risco logístico. Um evento de risco logístico foi inserido no modelo com o fim de reproduzir rupturas no fluxo físico de distribuição e permitir a avaliação dos seus impactos sobre o desempenho da cadeia. Os impactos foram medidos por meio do custo logístico total, do risco de ruptura e da taxa de nível de serviço. Estratégias de mitigação do risco logístico de transporte, como redundância e flexibilidade, foram testadas para minimizar simultaneamente custo e risco e maximizar a taxa de entrega. A solução sugerida pelo modelo multiobjetivo de otimização via simulação mostrou ser adequada e eficaz já que os ajustes no sistema logístico bloquearam as consequências da ruptura. A principal contribuição da pesquisa foi desenvolver procedimentos sistemáticos para melhorar a gestão de riscos logísticos no âmbito de cadeias de suprimentos a partir do uso combinado entre métodos de simulação e otimização