전략적 고객 행동을 고려한 심층 강화학습 기반 항공사 동적 가격 결정 연구

학위논문(석사) -- 서울대학교대학원 : 공과대학 산업공학과, 2023. 2. 문일경.This thesis considers an airline dynamic pricing problem in the presence of patient customers. Nowadays, customers behave strategically to pay lower than their willingness to pay because they know airlines are implementing dynamic pricing strategies. To capture the non-myopic characteristic, we propose a Markov decision process (MDP) including a history of offered prices as a state variable. In contrast to previous studies, distributions of customers' properties are assumed to be unknown in advance. Deep reinforcement learning (DRL) algorithms are utilized to solve it, and the results of numerical experiments are presented to show that their performance can be improved with the proposed formulation. Comparisons between algorithms are also made to determine which can construct appropriate pricing structures for the patient and non-stationary demand. The structures of pricing policies generated from the bootstrapped deep Q-network algorithm imply that airlines should offer high and low prices alternately from the beginning of the sales period rather than increasing prices as time goes on. We also ascertain that more frequent consecutive high-priced periods can increase airlines' revenue in environments with higher customer patience levels.본 연구에서는 전략적 소비자가 존재하는 시장에서 항공사 동적 가격 결정 문제를 다루었다. 최근 소비자들은 항공사에서 동적 가격 정책을 시행하는 것을 인지하고 있기 때문에, 그들의 지불 용의보다 낮은 가격을 지불하기 위해 전략적으로 행동한다. 이러한 소비자 특성을 고려하여, 본 연구에서는 과거에 제시된 가격 기록을 상태 변수로 포함하는 마르코프 의사결정 과정 모델을 제안하였다. 이 때 고객 특성에 대한 확률 분포들은 사전에 알려져 있지 않다고 가정하였다. 문제 해결을 위해 심층 강화학습 방법론이 활용되었으며, 알고리즘 별 비교를 통해 전략적이고 동적인 수요 하에서 가장 적절한 가격 구조를 도출하는 알고리즘을 제시하였다. 또한 해당 가격 구조를 분석하여 전략적 수요로부터 추가적인 수익을 발생시키기 위한 경영적 통찰력을 제공하고자 하였다.Chapter 1 Introduction 1 Chapter 2 Problem description 9 2.1 Dynamics of patient customers 9 2.2 Markov decision process 11 2.3 Airline dynamic pricing 11 Chapter 3 Solution methods 15 3.1 Deep Q-network 17 3.2 Bootstrapped DQN 18 3.3 Optimistic learning for decreasing cyclic policies 21 Chapter 4 Numerical experiments 23 4.1 Comparison between MDP formulations in the presence of patient customers 24 4.2 Comparison between pricing algorithms for non-stationary demand and insufficient inventory 27 4.3 Structure of pricing policies from the BDQN algorithm 33 4.4 Non-stationary test for the distributions of reservation prices 34 Chapter 5 Conclusions 38 Bibliography 41 국문초록 47석

추출식 소프트웨어 제품라인공학을 위한 자산 컴포넌트 탐색 및 재공학 방법

MasterSoftware product line engineering (SPLE) is a reuse paradigm that helps organizations increase productivity and improve software quality by developing software systems from reusable assets. The extractive approach to SPLE is an emerging approach that capitalizes on legacy systems when developing reusable assets. With the extractive approach, organizations can reduce time and costs required to initiate a product line, compared to the proactive approach. For the success of the extractive approach, it is important to reduce asset development time by analyzing legacy systems and extracting reusable assets from them. However, as developers who have developed these systems often combined many functions in one component, it is difficult to understand and separate reusable assets. To address these challenges, this thesis suggests an approach that contains processes and tactics for analyzing legacy systems and extracting reusable assets from it. This approach consists of two major processes: 1) To analize the legacy system structure, the first process includes steps that define “component type” which can be used to automatically identify legacy components of the defined component type. From the identified legacy components, the analyst can understand the role of each component in the legacy system. 2) To separate reusable assets from the legacy system, the second process includes steps that help analyst evaluate cohesiveness of candidate components based on the component type. To demonstrate the feasibility of the proposed approach, I defined one component type, a component identification method, and a seperation method, and developed a tool that supports the methods. Based on the result of the feasibility study, the legacy components had been engineered

Acceleration Techniques of Backpropagation Learning Algorithm : Classification and Comparison

기존의 방법으로 풀기 어려운 여러 가지 문제를 해결하기 위하여 최근의 인간의 두뇌구조를 모델링한 신경망이 새로운 계산방법으로 도입되고 있다. 하지만, 신경망이 현실적인 문제에 적용되기에는 그 학습속도가 너무 느리다는 단점이 있다. 따라서 신경망의 학습에 가장 널리 사용되고 있는 오류역전파와 같은 학습 알고리즘의 속도를 개선하기 위하여 알고리즘 자체의 체계적인 연구가 필요하며, 이와 같은 연구를 통한 보다 개선된 학습방법이 절실한 실정이다. 본 논문에서는 오류역전파 학습방법의 속도를 개선하고자 하는 이제까지의 연구를 정리하여, 이들을 경험적 방법, 수치해석적 방법 및 학습 전략적 방법의 등의 세가지 부류로 나누어 비교분석한다. 또 이와 같은 비교를 토대로 좀더 빠른 새로운 학습방법의 제시에 필요한 고려사항에 대하여 논의하고자 한다.

Integrating Hidden Markov Model and Neural Network Classifier for On - line Handwritten Character Recognition

최근에 음성인식 분야에서 널리 사용되고 있는 은닉 마르코프 모델(HMM)을 이용하여 필기문자를 인식하고자 하는 연구가 활발히 진행되고 있다. 하지만, HMM은 시간에 따라서 변하는 입력특성을 잘 처리하는 장점이 있는 반면에, 각 모델을 독립적으로 학습시키는 경우에 각 패턴 사이의 분별력이 다소 떨어지는 문제가 있다. 본 논문에서는 HMM을 통해서 얻어진 각 모델의 내부 출력값을 이용하여 신경망 분류기로 추가적인 분류작업을 수행하는 방법을 제시한다. 또, 온라인 필기 데이타로 숫자와 영문자 대소문자를 인식하는 실험을 통해서 제시된 방법의 유용성을 입증한다.

추출식 소프트웨어 제품라인 공학을 위한 자산 컴포넌트 탐색 및 재공학 방법

2