자율 주행 차량의 심층강화학습 기반 긴급 차선 변경 경로 최적화

학위논문(박사) -- 서울대학교대학원 : 공과대학 기계항공공학부, 2021.8. 최예림.The emergency lane change is a risk itself because it is made instantaneously in emergency such as a sudden stop of the vehicle in front in the driving lane. Therefore, the optimization of the lane change trajectory is an essential research area of autonomous vehicle. This research proposes a path optimization for emergency lane change of autonomous vehicles based on deep reinforcement learning. This algorithm is developed with a focus on fast and safe avoidance behavior and lane change in an emergency. As the first step of algorithm development, a simulation environment was established. IPG CARMAKER was selected for reliable vehicle dynamics simulation and construction of driving scenarios for reinforcement learning. This program is a highly reliable and can analyze the behavior of a vehicle similar to that of a real vehicle. In this research, a simulation was performed using the Hyundai I30-PDe full car model. And as a simulator for DRL and vehicle control, Matlab Simulink which can encompass all of control, measurement, and artificial intelligence was selected. By connecting two simulators, the emergency lane change trajectory is optimized based on DRL. The vehicle lane change trajectory is modeled as a 3rd order polynomial. The start and end point of the lane change is set and analyzed as a function of the lane change distance for the coefficient of the polynomial. In order to optimize the coefficients. A DRL architecture is constructed. 12 types of driving environment data are used for the observation space. And lane change distance which is a variable of polynomial is selected as the output of action space. Reward space is designed to maximize the learning ability. Dynamic & static reward and penalty are given at each time step of simulation, so that optimization proceeds in a direction in which the accumulated rewards could be maximized. Deep Deterministic Policy Gradient agent is used as an algorithm for optimization. An algorithm is developed for driving a vehicle in a dynamic simulation program. First, an algorithm is developed that can determine when, at what velocity, and in which direction to change the lane of a vehicle in an emergency situation. By estimating the maximum tire-road friction coefficient in real-time, the minimum distance for the driving vehicle to stop is calculated to determine the risk of longitudinal collision with the vehicle in front. Also, using Gipps’ safety distance formula, an algorithm is developed that detects the possibility of a collision with a vehicle coming from the lane to be changed, and determines whether to overtake the vehicle to pass forward or to go backward after as being overtaken. Based on this, the decision-making algorithm for the final lane change is developed by determine the collision risk and safety of the left and right lanes. With the developed algorithm that outputs the emergency lane change trajectory through the configured reinforcement learning structure and the general driving trajectory such as the lane keeping algorithm and the adaptive cruise control algorithm according to the situation, an integrated algorithm that drives the ego vehicle through the adaptive model predictive controller is developed. As the last step of the research, DRL was performed to optimize the developed emergency lane change path optimization algorithm. 60,000 trial-and-error learning is performed to develop the algorithm for each driving situation, and performance is evaluated through test driving.긴급 차선 변경은 주행 차선에서 선행차량 급정거와 같은 응급상황 발생시에 순간적으로 이루어지는 것이므로 그 자체에 위험성을 안고 있다. 지나치게 느리게 조향을 하는 경우, 주행 차량은 앞에 있는 장애물과의 충돌을 피할 수 없다. 이와 반대로 지나치게 빠르게 조향을 하는 경우, 차량과 지면 사이의 작용력은 타이어 마찰 한계를 넘게 된다. 이는 차량의 조종 안정성을 떨어트려 스핀이나 전복 등 다른 양상의 사고를 야기한다. 따라서 차선 변경 경로의 최적화는 자율 주행 차량의 응급 상황 대처에 필수적인 요소이다. 본 논문에서는 심층강화학습을 기반으로 자율 주행 차량의 긴급 차선 변경 경로를 최적화한다. 이 알고리즘은 선행차량의 급정거나 장애물 출현과 같은 응급상황 발생 시, 빠르고 안전한 회피 거동 및 차선 변경에 초점을 맞추어 개발되었다. 알고리즘 개발의 첫 번째 단계로서 시뮬레이션 환경이 구축되었다. 신뢰성 있는 차량 동역학 시뮬레이션과 강화학습을 위한 주행 시나리오 구축을 위하여 IPG CARMAKER가 선정되었다. 이 프로그램은 실제 산업 현장에서 사용되는 높은 신뢰성을 가진 프로그램으로 실제 차량과 유사한 차량의 거동을 분석할 수 있다. 본 연구에서는 현대자동차의 I30-PDe 모델을 사용하여 시뮬레이션을 수행하였다. 또한 강화학습과 차량제어를 위한 프로그램으로 제어, 계측, 인공지능을 모두 아우를 수 있는 Matlab Simulink를 선정하였다. 본 연구에서는 IPG CARMAKER와 Matlab Simulink를 연동하여 심층 강화 학습을 바탕으로 긴급 차선 변경 궤적을 최적화하였다. 차량의 차선 변경 궤적은 3차 다항식의 형상으로 모델링 되었다. 차선 변경 시작 지점과 종료 지점을 설정하여 다항식의 계수를 차선 변경 거리에 대한 함수로 해석하였다. 심층 강화 학습을 기반으로 계수들을 최적화하기 위하여, 강화 학습 아키텍처를 구성하였다. 관측 공간은 12가지의 주행 환경 데이터를 이용하였고, 강화 학습의 출력으로는 3차 함수의 변수인 차선 변경 거리를 선정하였다. 그리고 강화 학습의 학습 능력을 극대화할 수 있는 보상 공간을 설계하였다. 동적 보상, 정적 보상, 동적 벌칙, 정적 벌칙을 시뮬레이션의 매 단계마다 부여함으로써 보상 총 합이 최대화될 수 있는 방향으로 학습이 진행되었다. 최적화를 위한 알고리즘으로는 Deep Deterministic Policy Gradient agent가 사용되었다. 강화학습 아키텍처와 함께 동역학 시뮬레이션 프로그램에서의 차량 구동을 위한 알고리즘을 개발하였다. 먼저 응급상황시에 차량의 차선을 언제, 어떤 속도로, 어떤 방향으로 변경할 지 결정하는 의사결정 알고리즘을 개발하였다. 타이어와 도로 사이의 최대 마찰계수를 실시간으로 추정하여 주행 차량이 정지하기 위한 최소 거리를 산출함으로써 선행 차량과의 충돌 위험을 판단하였다. 또한 Gipps의 안전거리 공식을 사용하여 변경하고자 하는 차선에서 오는 차량과의 충돌 가능성을 감지하여 그 차량을 추월해서 앞으로 지나갈지, 추월을 당해서 뒤로 갈 것인지를 결정하는 알고리즘을 개발하였다. 이를 바탕으로 좌측 차선과 우측 차선의 충돌 위험성 및 안정성을 판단하여 최종적인 차선 변경을 위한 의사결정 알고리즘을 개발하였다. 구성된 강화 학습 구조를 통한 긴급 차선 변경 궤적과 차선 유지 장치, 적응형 순항 제어와 같은 일반 주행시의 궤적을 상황에 맞추어 출력하는 알고리즘을 개발하고 적응형 모델 예측 제어기를 통해 주행 차량을 구동하는 통합 알고리즘을 개발하였다. 본 연구의 마지막 단계로서, 개발된 긴급 차선 변경 경로 생성 알고리즘의 최적화를 위하여 심층 강화 학습이 수행되었다. 총 60,000회의 시행 착오 방식의 학습을 통해 각 주행 상황 별 최적의 차선 변경 제어 알고리즘을 개발하였고, 각 주행상황 별 최적의 차선 변경 궤적을 제시하였다.Chapter 1. Introduction 1 1.1. Research Background 1 1.2. Previous Research 5 1.3. Research Objective 9 1.4. Dissertation Overview 13 Chapter 2. Simulation Environment 19 2.1. Simulator 19 2.2. Scenario 26 Chapter 3. Methodology 28 3.1. Reinforcement learning 28 3.2. Deep reinforcement learning 30 3.3. Neural network 33 Chapter 4. DRL-enhanced Lane Change 36 4.1. Necessity of Evasive Steering Trajectory Optimization 36 4.2. Trajectory Planning 39 4.3. DRL Structure 42 4.3.1. Observation 43 4.3.2. Action 47 4.3.3. Reward 49 4.3.4. Neural Network Architecture 58 4.3.5. Deep Deterministic Policy Gradient (DDPG) Agent 60 Chapter 5. Autonomous Driving Algorithm Integration 64 5.1. Lane Change Decision Making 65 5.1.1. Longitudinal Collision Detection 66 5.1.2. Lateral Collision Detection 71 5.1.3. Lane Change Direction Decision 74 5.2. Path Planning 75 5.3. Vehicle Controller 76 5.4. Algorithm Integration 77 Chapter 6. Training & Results 79 Chapter 7. Conclusion 91 References 97 국문초록 104박

한국의 주택가격과 임차료의 변동 요인 및 가구의 후생에 미치는 영향에 대한 분석

학위논문(박사)--서울대학교 대학원 :사회과학대학 경제학부,2019. 8. 홍재화.본 연구는 2001년부터 2016년까지 한국의 주택가격과 임차료의 변화에 영향을 주는 요인들의 상대적 기여도를 수량적으로 밝히고, 주택담보인정비율(LTV) 규제 강화 및 향후 일어날 수 있는 보유세 인상과 취득세 폐지가 주택가격, 임차료 및 가구에 후생에 미치는 영향을 정량적으로 분석한다. 이를 위해 비동질적 가구(heterogeneous households)로 이루어진 균형거시경제 모형을 구성한다. 모형경제는 소득, 주거형태, 소유면적, 주거면적, 자산 및 부채 규모, 소비수준의 차이가 발생할 수 있는 가구들로 구성되며, 이들 가구의 개별 선택에 따라 주택가격과 임차료가 내생적으로 결정되는 모형경제의 시장균형을 설정한다. 이를 이용하여 실질금리하락, 실질소득상승, 주택공급의 증가, LTV 및 DTI의 대출규제 강화, 보유세 인하와 취득세 변화 등의 경제환경 및 정책적 요인의 외생적인 변화가 모형경제의 균제(steady state) 균형에서의 주택가격과 임차료 및 관련 변수들에 미치는 영향을 정량적으로 분석하고 이를 자료의 결과와 비교하여 동기간 동안 개별 요인의 상대적 기여도를 분석한다. 그리고 추가적으로 향후 발생할 수 있는 LTV 규제 강화와 충분한 크기의 보유세 인상 및 취득세 폐지를 상정하여 각각의 경우 주택가격, 임차료 및 가구의 후생 변화를 아울러 살펴본다. 2001년부터 2016년까지 현실에서 단위면적당 실질주택가격은 27.6% 상승하였고, 단위면적당 실질임차료는 2.1% 하락하였다. 실질금리하락, 실질소득상승, 주택공급의 증가, LTV 및 DTI의 대출규제 강화, 보유세 인하와 취득세 변화의 요인의 효과를 종합한 모형경제에서는 단위면적당 실질주택가격이 34.8% 상승하고, 단위면적당 실질임차료는 2.5% 하락하는 것으로 나타난다. 즉 모형경제는 현실경제의 주택가격과 임차료의 변화에 대해서 상당부분 일치하는 결과를 보인다. 2001년에서 2016년의 주택가격과 임차료의 변화는 대부분 실질금리하락, 실질소득상승, 주택공급의 증가로 설명이 되고, LTV 및 DTI의 대출규제 정책의 변화와 보유세, 취득세의 주택관련세제의 변화가 주택가격과 임차료의 변화에 미치는 영향은 상대적으로 미미한 것으로 나타났다. LTV 규제비율이 100%에서 70%로, 70%에서 40%로 강화될 때 장기적으로 주택가격은 비교적 작은 폭으로 감소하지만, LTV 규제비율이 40%에서 0%로 감소하게 될 때는 주택가격이 큰 폭으로 감소하는 것으로 나타났다. 이는 모형경제에서 자료와 마찬가지로 LTV 비율이 40% 이하인 가구의 비중이 90% 이상이기 때문에 LTV 규제한도가 충분히 커졌을 때에 LTV 규제한도 강화에 따른 주택가격 하락의 폭이 확대된다는 것을 의미한다. LTV 규제 강화에 따라 경제 전체적으로 가구의 후생이 증가하고, 특히 이러한 후생 증가는 고소득층에 집중되는 것으로 나타났다. LTV 규제가 충분히 강화되면 저소득층도 고소득에 비해 작은 폭이지만 후생 역시 증가하는 것으로 나타났다. 향후 보유세의 과세표준이 실거래가로 인상되는 경우를 상정한 실험에서는 장기적으로 주택가격이 9.3% 하락하고, 임차료는 4.1% 하락하는 것으로 나타났다. 가구는 평균적으로 매기 소비가 0.7% 감소하는 크기의 후생 변화를 보였다. 특히 고소득층의 경우 후생 감소 폭이 더욱 크게 나타났다. 취득세가 폐지되는 경우를 상정한 실험에서는 장기적으로 주택가격이 7.4% 상승하고, 임차료는 2.9% 상승하는 것으로 나타났다. 기존의 통념과는 달리 가구는 평균적으로 매기 소비가 0.1% 감소하는 정도의 후생 변화를 보였고, 고소득층일수록 후생 감소의 폭이 더욱 크게 나타났다. 취득세가 폐지되는 경우 주택가격이 상승하면서 기존의 주택보유가구 중 대출비중이 큰 가구는 LTV 규제한도로 인해 주택의 크기를 줄이거나 임차가구로 전환하게 되어 이들 계층의 후생 감소로 인해 경제 전체로는 비록 작은 크기이지만 후생 감소가 나타났다.This paper quantitatively evaluates the relative contribution of macroeconomic fundamentals and housing-related policies to the changes in real house prices, rents, and household welfare in Korea. We show that the observed changes in real house prices and rents in 2001-2016 are mainly attributed to a decrease in the real interest rate, an increase in real income, and an increase in aggregate house supply. However, housing-related policies turn out to have little impact on the price changes in contrast to the common belief that those policies greatly affected the housing market over the period. We also find that the welfare implications of fundamentals and housing-related policies vary by household income. This study also finds that if LTV regulation is tightened further to less than 40%, the effects on housing prices start to increase disproportionately because more than 90% of the households LTV ratio is less than 40%. In addition, tighter LTV regulations lead to higher household welfare on average, although larger portions of welfare gains fall to high income groups. If the tax base of property holding tax is expanded to the prevailing prices, the housing prices decrease by 9.3% and the rents decrease by 4.1% in the long run. The welfare decreases by 0.7% in terms of CEV on average and higher income groups get worse off more. If the acquisition tax is abolished, the housing prices increase by 7.4% and the rents increase by 2.9% in the long run. The welfare decreases by 0.1% in terms of CEV on average and higher income groups get worse off more due to interactions of the LTV regulation and the higher housing prices.제1장 한국의 주택가격과 임차료의 변동 요인 분석 ...... 1 제1절 서론 ....................................................................... 1 제2절 모형경제 ................................................................. 4 1. 가구의 선호 및 주거 ......................................................... 5 2. 가구의 소득 ..................................................................... 7 3. 가구의 자산 및 대출규제 ................................................... 7 4. 정부 및 거래비용 .............................................................. 8 5. 가구의 문제 및 균제균형 ................................................... 10 제3절 모수설정 ................................................................ 11 1. 경제환경 및 정책을 반영한 모수 ........................................ 11 2. 외부적 모수 ..................................................................... 20 3. 내부적 모수 ..................................................................... 23 4. 2016년 모형경제의 균제상태 분석 ...................................... 25 제4절 주택가격과 임차료의 변화에 영향을 주는 요인 분석 ... 30 1. 모형경제의 변화와 자료의 변화 비교 분석 .......................... 31 2. 개별요인의 효과 분석 ....................................................... 36 제5절 결론 ......................................................................... 49 제2장 주택담보인정비율(LTV)의 변화가 주택가격, 임차료 및 가구의 후생에 미치는 영향에 대한 분석 .............. 51 제1절 서론 ..................................................................... 51 제2절 주택담보인정비율 변화의 효과 ................................ 52 제3절 결론 ..................................................................... 55 제3장 보유세 인상과 취득세 폐지가 주택가격, 임차료 및 가구의 후생에 미치는 영향에 대한 분석 ................... 58 제1절 서론 ..................................................................... 58 제2절 보유세의 과세표준이 실거래가로 인상되는 경우 ........ 59 제3절 취득세가 폐지되는 경우 .......................................... 63 제4절 결론 ..................................................................... 67 참고문헌 ............................................................... 69 Abstract .............................................................. 71Docto

On the effect of rule 408 with mutual private information in pre-trial negotiation

Thesis (master`s)--서울대학교 대학원 :경제학부 경제학전공,2001.Maste