2 research outputs found
Setup Change Scheduling Under Due-date Constraints Using Deep Reinforcement Learning with Self-supervision
ํ์๋
ผ๋ฌธ(๋ฐ์ฌ) -- ์์ธ๋ํ๊ต๋ํ์ : ๊ณต๊ณผ๋ํ ์ฐ์
ยท์กฐ์ ๊ณตํ๋ถ, 2021.8. ๋ฐ์ข
ํ.๋ฉ๊ธฐ ์ ์ฝ ํ์์ ์
์
์ค์ผ์ค์ ์๋ฆฝํ๋ ๊ฒ์ ํ์ค์ ์ฌ๋ฌ ์ ์กฐ ์ฐ์
์์ ์ฝ๊ฒ ์ฐพ์ ๋ณผ ์ ์์ผ๋ฉฐ ํ๊ณ์ ๋ง์ ๊ด์ฌ์ ๋๊ณ ์๋ ์ค๋ํ ๋ฌธ์ ์ด๋ค. ๊ทธ๋ฌ๋ ๋ฉ๊ธฐ์ ์
์
์ ์ฝ์ด ๋์์ ์กด์ฌํจ์ ๋ฐ๋ผ ๋ฌธ์ ์ ๋ณต์ก๋๊ฐ ์ฆ๊ฐํ๊ฒ ๋๋ฉฐ, ์์๊ฐ๊ฐ ์๋ก์ด ์์ฐ ๊ณํ์ด ์ฃผ์ด์ง๊ณ ์ด๊ธฐ ์ค๋น ์ํ๊ฐ ๋ณํ๋๋ ํ๊ฒฝ์์ ๊ณ ํ์ง์ ์ค์ผ์ค ์๋ฆฝ์ ๋ ์ด๋ ค์์ง๋ค. ๋ณธ ๋
ผ๋ฌธ์์๋ ํ์ต๋ ์ฌ์ธต์ ๊ฒฝ๋ง์ด ์๊ธฐํ ๋ณํ๊ฐ ๋ฐ์ํ ์ค์ผ์ค๋ง ๋ฌธ์ ๋ ์ฌํ์ต ์์ด ํด๊ฒฐํ ์ ์๋๋ก, ์๊ธฐ์ง๋ ๊ธฐ๋ฐ ์ฌ์ธต๊ฐํํ์ต ๊ธฐ๋ฒ์ ์ ์ํ๋ค. ๊ตฌ์ฒด์ ์ผ๋ก, ์ํ์ ํ๋ ํํ์ ์์ฐ ๊ณํ๊ณผ ์ค๋น ์ํ์ ๋ฌด๊ดํ ์ฐจ์์ ๊ฐ๋๋ก ์ค๊ณํ๋ค. ๋์์ ์ฃผ์ด์ง ์ํ๋ก๋ถํฐ ํจ์จ์ ์ผ๋ก ์ ๊ฒฝ๋ง์ ํ์ตํ๊ธฐ ์ํด ํ๋ผ๋ฏธํฐ ๊ณต์ ๊ตฌ์กฐ๋ฅผ ๋์
ํ๋ค. ์ด์ ๋ํ์ฌ, ์ค์ผ์ค๋ง ๋ฌธ์ ์ ์ ํฉํ ์๊ธฐ์ง๋๋ฅผ ๊ณ ์ํ์ฌ ์ค๋น์ ์ก์ ์, ์์ฐ ๊ณํ์ ๋ถํฌ๊ฐ ์์ดํ ํ๊ฐ ํ๊ฒฝ์ผ๋ก๋ ์ผ๋ฐํ ๊ฐ๋ฅํ ์ฌ์ธต์ ๊ฒฝ๋ง์ ํ์ตํ๋ค. ์ ์ ๊ธฐ๋ฒ์ ์ ํจ์ฑ์ ๊ฒ์ฆํ๊ธฐ ์ํด ํ์ค์ ๋ณ๋ ฌ์ค๋น ๋ฐ ์ก์ต ๊ณต์ ์ ๋ชจ์ฌํ ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์์ ์ง์ฝ์ ์ธ ์คํ์ ์ํํ์๋ค. ์ ์ ๊ธฐ๋ฒ์ ๋ฉํํด๋ฆฌ์คํฑ ๊ธฐ๋ฒ๊ณผ ๋ค๋ฅธ ๊ฐํํ์ต ๊ธฐ๋ฐ ๊ธฐ๋ฒ, ๊ท์น ๊ธฐ๋ฐ ๊ธฐ๋ฒ๊ณผ ๋น๊ตํจ์ผ๋ก์จ ๋ฉ๊ธฐ ์ค์ ์ฑ๋ฅ๊ณผ ์ฐ์ฐ ์๊ฐ ๊ด์ ์์ ์ฐ์์ฑ์ ์
์ฆํ์๋ค.
๋๋ถ์ด ์ํ ํํ, ํ๋ผ๋ฏธํฐ ๊ณต์ , ์๊ธฐ์ง๋ ๊ฐ๊ฐ์ผ๋ก ์ธํ ํจ๊ณผ๋ฅผ ์กฐ์ฌํ ๊ฒฐ๊ณผ, ๊ฐ๋ณ์ ์ผ๋ก ์ฑ๋ฅ ๊ฐ์ ์ ๊ธฐ์ฌํจ์ ๋ฐํ๋๋ค.Setup change scheduling under due-date constraints has attracted much attention from academia and industry due to its practical applications. In a real-world manufacturing system, however, solving the scheduling problem becomes challenging since it is required to address urgent and frequent changes in demand and due-dates of products, and initial machine status. In this thesis, we propose a scheduling framework based on deep reinforcement learning (RL) with self-supervision in which trained neural networks (NNs) are able to solve unseen scheduling problems without re-training even when such changes occur. Specifically, we propose state and action representations whose dimensions are independent of production requirements and due-dates of jobs while accommodating family setups. At the same time, an NN architecture with parameter sharing was utilized to improve the training efficiency. Finally, we devise an additional self-supervised loss specific to the scheduling problem for training the NN scheduler robust to the variations in the numbers of machines and jobs, and distribution of production plans.
We carried out extensive experiments in large-scale datasets that simulate the real-world wafer preparation facility and semiconductor packaging line. Experiment results demonstrate that the proposed method outperforms the recent metaheuristics, rule-based, and other RL-based methods in terms of the schedule quality and computation time for obtaining a schedule. Besides, we investigated individual contributions of the state representation, parameter sharing, and self-supervision on the performance improvements.์ 1 ์ฅ ์๋ก 1
1.1 ์ฐ๊ตฌ ๋๊ธฐ ๋ฐ ๋ฐฐ๊ฒฝ 1
1.2 ์ฐ๊ตฌ ๋ชฉ์ ๋ฐ ๊ณตํ 4
1.3 ๋
ผ๋ฌธ๊ตฌ์ฑ 6
์ 2 ์ฅ ๋ฐฐ๊ฒฝ 7
2.1 ์์ ์์กด์ ์
์
์ด ์๋ ๋ฉ๊ธฐ ์ ์ฝ ํ์์์ ์ค์ผ์ค๋ง ๋ฌธ์ 7
2.1.1 ๋ฉ๊ธฐ ์ ์ฝ ํ์์์ ์ค์ผ์ค๋ง ๋ฌธ์ 7
2.1.2 ํจ๋ฐ๋ฆฌ ์
์
์ ๊ณ ๋ คํ ๋ณ๋ ฌ์ค๋น ์ค์ผ์ค๋ง 8
2.1.3 ์
์
์ ์ฝ์ด ์๋ ์ก์ต ์ค์ผ์ค๋ง 9
2.2 ๊ฐํํ์ต ๊ธฐ๋ฐ ์ค์ผ์ค๋ง 12
2.2.1 ์ด๋ก ์ ๋ฐฐ๊ฒฝ 12
2.2.2 ๊ฐํํ์ต์ ์ด์ฉํ ์ ์กฐ ๋ผ์ธ ์ค์ผ์ค๋ง 13
2.2.3 ์ค์ผ์ค๋ง ๋ฌธ์ ์์์ ์ฌ์ธต๊ฐํํ์ต 15
2.3 ์๊ธฐ์ง๋ ๊ธฐ๋ฐ ์ฌ์ธต๊ฐํํ์ต 19
์ 3 ์ฅ ๋ฌธ์ ์ ์ 22
3.1 ๋ณ๋ ฌ์ค๋น ์ค์ผ์ค๋ง ๋ฌธ์ 22
3.1.1 ์ง์ฐ์๊ฐ ์ต์ํ๋ฅผ ์ํ ๋ณ๋ ฌ์ค๋น ์ค์ผ์ค๋ง ๋ฌธ์ 22
3.1.2 ํผํฉ์ ์๊ณํ ๋ชจํ 24
3.1.3 ์์ ๊ณต์ 25
3.2 ์ก์ต ์ค์ผ์ค๋ง ๋ฌธ์ 26
3.2.1 ํฌ์
๋ ์ต๋ํ๋ฅผ ์ํ ์ ์ฐ์ก์ต ์ค์ผ์ค๋ง 26
3.2.2 ์์ ๊ณต์ 27
์ 4 ์ฅ ์๊ธฐ์ง๋ ๊ธฐ๋ฐ ์ฌ์ธต๊ฐํํ์ต์ ์ด์ฉํ ๋ณ๋ ฌ์ค๋น ์ค์ผ์ค๋ง 31
4.1 MDP ๋ชจํ 31
4.1.1 ํ๋ ์ ์ 31
4.1.2 ์ํ ํํ 32
4.1.3 ๋ณด์ ์ ์ 37
4.1.4 ์ํ ์ ์ด 38
4.1.5 ์์ 39
4.2 ์ ๊ฒฝ๋ง ํ์ต 41
4.2.1 ์ฌ์ธต์ ๊ฒฝ๋ง ๊ตฌ์กฐ 41
4.2.2 ์์ค ํจ์ 42
4.2.3 DQN ํ์ต ์ ์ฐจ 43
4.2.4 DQN ํ๊ฐ ์ ์ฐจ 44
4.3 ์ค์ผ์ค๋ง ๋ฌธ์ ์์์ ์๊ธฐ์ง๋ 46
4.3.1 ๋ด์ฌ์ ๋ณด์ ์ค๊ณ 46
4.3.2 ์
์
์ค์ผ์ค๋ง์ ์ํ ์ ํธ๋ ์ ์ ์ค๊ณ 47
4.4 ์๊ธฐ์ง๋ ๊ธฐ๋ฐ DQN ํ์ต 49
4.4.1 ์๊ธฐ์ง๋ ์์ค ํจ์ 49
4.4.2 ํ์ต ์ ์ฐจ 50
์ 5 ์ฅ ์๊ธฐ์ง๋ ๊ธฐ๋ฐ ์ฌ์ธต๊ฐํํ์ต์ ์ด์ฉํ ์ก์ต ์ค์ผ์ค๋ง 53
5.1 ์ค์ผ์ค๋ง ํ๋ ์์ํฌ 53
5.1.1 ๋ณ๋ชฉ ๊ณต์ ์ ์ 53
5.1.2 ๋์คํจ์น ๊ท์น 54
5.1.3 ์ด์ฐ ์ฌ๊ฑด ์๋ฎฌ๋ ์ดํฐ 55
5.1.4 ์ค์ผ์ค๋ฌ ํ์ต 56
5.2 ํฌ์
์ ์ฑ
๊ณผ ์๊ธฐ์ง๋ 58
5.3 MDP ๋ชจํ ์์ 59
5.3.1 ํ๋ ์ ์ 59
5.3.2 ์ํ ํํ 59
5.3.3 ๋ณด์ ์ ์ 61
์ 6 ์ฅ ์คํ ๋ฐ ๊ฒฐ๊ณผ 62
6.1 ๋ณ๋ ฌ์ค๋น ์ค์ผ์ค๋ง ๋ฌธ์ 62
6.1.1 ๋ฐ์ดํฐ์
62
6.1.2 ์คํ ์ธํ
64
6.1.3 ์ง์ฐ์๊ฐ ์ดํฉ ์ฑ๋ฅ ๋น๊ต 67
6.1.4 ์ํ ํํ ๋ฐฉ์์ ๋ฐ๋ฅธ ์ฑ๋ฅ ๋น๊ต 72
6.2 ์ก์ต ์ค์ผ์ค๋ง ๋ฌธ์ 74
6.2.1 ๋ฐ์ดํฐ์
74
6.2.2 ์คํ ์ธํ
75
6.2.3 ํฌ์
๋ ์ฑ๋ฅ ๋น๊ต 77
6.2.4 ํ๋ ์ ์ ๋ฐฉ์์ ๋ฐ๋ฅธ ์ฑ๋ฅ ๋น๊ต 80
6.3 ์๊ธฐ์ง๋๋ก ์ธํ ํจ๊ณผ 84
6.3.1 ๋ฐ์ดํฐ์
84
6.3.2 ์คํ ์ธํ
86
6.3.3 ํ๋ผ๋ฏธํฐ ๊ณต์ ์ฌ๋ถ์ ๋ฐ๋ฅธ ์๊ธฐ์ง๋์ ํจ๊ณผ 87
6.3.4 ํ์ต ์์ ๋ค๋ฅธ ๋ฐ์ดํฐ์
์์์ ์ฑ๋ฅ ํ๊ฐ 91
์ 7 ์ฅ ๊ฒฐ๋ก ๋ฐ ํฅํ ์ฐ๊ตฌ ๋ฐฉํฅ 96
7.1 ๊ฒฐ๋ก 96
7.2 ํฅํ ์ฐ๊ตฌ ๋ฐฉํฅ 98
์ฐธ๊ณ ๋ฌธํ 100
Abstract 118
๊ฐ์ฌ์ ๊ธ 120๋ฐ
Recommended from our members
A Digital Twin Framework for Production Planning Optimization: Applications for Make-To-Order Manufacturers
In this dissertation, we develop a Digital Twin framework for manufacturing systems and apply it to various production planning and scheduling problems faced by Make-To-Order (MTO) firms. While this framework can be used to digitally represent a particular manufacturing environment with high fidelity, our focus is in using it to generate realistic settings to test production planning and scheduling algorithms in practice. These algorithms have traditionally been tested by either translating a practical situation into the necessary modeling constructs, without discussion of the assumptions and inaccuracies underlying this translation, or by generating random instances of the modeling constructs, without assessing the limitations in accurately representing production environments. The consequence has been a serious gap between theory advancement and industry practice. The major goal of this dissertation is to develop a framework that allows for practical testing, evaluation, and implementation of new approaches for seamless industry adoption. We develop this framework as a modular software package and emphasize the practicality and configurability of the framework, such that minimal modelling effort is required to apply the framework to a multitude of optimization problems and manufacturing systems. Throughout this dissertation, we emphasize the importance of the underlying scheduling problems which provide the basis for additional operational decision making. We focus on the computational evaluation and comparisons of various modeling choices within the developed frameworks, with the objective of identifying models which are both effective and computationally efficient. In Part 1 of this dissertation, we consider a class of Production Planning and Execution problems faced by job shop manufacturing systems. In Part 2 of this dissertation, we consider a class of scheduling problems faced by manufacturers whose production system is dominated by a single operation