도심 교차로에서의 자율주행을 위한 주변 차량 경로 예측 및 거동 계획 알고리즘

학위논문(박사)--서울대학교 대학원 :공과대학 기계항공공학부,2020. 2. 이경수.차랑용 센싱 및 처리기술이 발달함에 따라 자동차 기술 연구가 수동 안전 기술에서 능동 안전 기술로 초점이 확장되고 있다. 최근, 주요 자동차 제작사들은 능동형 차간거리 제어, 차선 유지 보조, 그리고 긴급 자동 제동과 같은 능동 안전 기술이 이미 상업화하고 있다. 이러한 기술적 진보는 사상률 제로를 달성하기 위하여 기술 연구 분야를 능동 안전 기술을 넘어서 자율주행 시스템으로 확장시키고 있다. 특히, 도심 도로는 인도, 사각지대, 주차차량, 이륜차, 보행자 등과 같은 교통 위험 요소를 많이 갖고 있기 때문에 고속도로보다 사고 발생률과 사상률이 높으며, 이는 도심 도로에서의 자율주행은 핵심 이슈가 되고 있다. 많은 프로젝트들이 자율주행의 환경적, 인구학적, 사회적, 그리고 경제적 측면에서의 자율주행의 효과를 평가하기 위해 수행되었거나 수행 중에 있다. 예를 들어, 유럽의 AdaptIVE는 다양한 자율주행 기능을 개발하였으며, 구체적인 평가 방법론을 개발하였다. 또한, CityMobil2는 유럽 전역의 9개의 다른 환경에서 무인 지능형 차량을 성공적으로 통합하였다. 일본에서는 2014년 5월에 시작된 Automated Driving System Research Project는 자율주행 시스템과 차세대 도심 교통 수단의 개발 및 검증에 초점을 맞추었다. 기존 연구들에 대한 조사를 통해 자율주행 시스템은 교통 참여자들의 안전도를 향상시키고, 교통 혼잡을 감소시키며, 운전자 편의성을 증진시키는 것이 증명되었다. 다양한 방법론들이 인지, 거동 계획, 그리고 제어와 같은 도심 도로 자율주행차의 핵심 기술들을 개발하기 위하여 사용되었다. 하지만 많은 최신의 자율주행 연구들은 각 기술의 개발을 별개로 고려하여 진행해왔다. 결과적으로 통합적인 관점에서의 자율주행 기술 설계는 아직 충분히 고려되어 않았다. 따라서, 본 논문은 복잡한 도심 도로 환경에서 라이다, 카메라, GPS, 그리고 간단한 경로 맵에 기반한 완전 자율주행 알고리즘을 개발하는 것을 목표로 하였다. 제안된 자율주행 알고리즘은 비통제 교차로를 포함한 도심 도로 상황을 차량 거동 예측기와 모델 예측 제어 기법에 기반하여 설계되었다. 본 논문은 동적, 정적 환경 표현 및 종횡방향 거동 계획을 중점적으로 다루었다. 본 논문은 도심 도로 자율주행을 위한 거동 계획 알고리즘의 개요를 제시하였으며, 실제 교통 상황에서의 실험 결과는 제안된 알고리즘의 효과성과 운전자 거동과의 유사성을 보여주었다. 실차 실험 결과는 비통제 교차로를 포함한 도심 시나리오에서의 강건한 성능을 보여주었다.The foci of automotive researches have been expanding from passive safety systems to active safety systems with advances in sensing and processing technologies. Recently, the majority of automotive makers have already commercialized active safety systems, such as adaptive cruise control (ACC), lane keeping assistance (LKA), and autonomous emergency braking (AEB). Such advances have extended the research field beyond active safety systems to automated driving systems to achieve zero fatalities. Especially, automated driving on urban roads has become a key issue because urban roads possess numerous risk factors for traffic accidents, such as sidewalks, blind spots, on-street parking, motorcycles, and pedestrians, which cause higher accident rates and fatalities than motorways. Several projects have been conducted, and many others are still underway to evaluate the effects of automated driving in environmental, demographic, social, and economic aspects. For example, the European project AdaptIVe, develops various automated driving functions and defines specific evaluation methodologies. In addition, CityMobil2 successfully integrates driverless intelligent vehicles in nine other environments throughout Europe. In Japan, the Automated Driving System Research Project began on May 2014, which focuses on the development and verification of automated driving systems and next-generation urban transportation. From a careful review of a considerable amount of literature, automated driving systems have been proven to increase the safety of traffic users, reduce traffic congestion, and improve driver convenience. Various methodologies have been employed to develop the core technology of automated vehicles on urban roads, such as perception, motion planning, and control. However, the current state-of-the-art automated driving algorithms focus on the development of each technology separately. Consequently, designing automated driving systems from an integrated perspective is not yet sufficiently considered. Therefore, this dissertation focused on developing a fully autonomous driving algorithm in urban complex scenarios using LiDAR, vision, GPS, and a simple path map. The proposed autonomous driving algorithm covered the urban road scenarios with uncontrolled intersections based on vehicle motion prediction and model predictive control approach. Mainly, four research issues are considered: dynamic/static environment representation, and longitudinal/lateral motion planning. In the remainder of this thesis, we will provide an overview of the proposed motion planning algorithm for urban autonomous driving and the experimental results in real traffic, which showed the effectiveness and human-like behaviors of the proposed algorithm. The proposed algorithm has been tested and evaluated using both simulation and vehicle tests. The test results show the robust performance of urban scenarios, including uncontrolled intersections.Chapter 1 Introduction 1 1.1. Background and Motivation 1 1.2. Previous Researches 4 1.3. Thesis Objectives 9 1.4. Thesis Outline 10 Chapter 2 Overview of Motion Planning for Automated Driving System 11 Chapter 3 Dynamic Environment Representation with Motion Prediction 15 3.1. Moving Object Classification 17 3.2. Vehicle State based Direct Motion Prediction 20 3.2.1. Data Collection Vehicle 22 3.2.2. Target Roads 23 3.2.3. Dataset Selection 24 3.2.4. Network Architecture 25 3.2.5. Input and Output Features 33 3.2.6. Encoder and Decoder 33 3.2.7. Sequence Length 34 3.3. Road Structure based Interactive Motion Prediction 36 3.3.1. Maneuver Definition 38 3.3.2. Network Architecture 39 3.3.3. Path Following Model based State Predictor 47 3.3.4. Estimation of predictor uncertainty 50 3.3.5. Motion Parameter Estimation 53 3.3.6. Interactive Maneuver Prediction 56 3.4. Intersection Approaching Vehicle Motion Prediction 59 3.4.1. Driver Behavior Model at Intersections 59 3.4.2. Intention Inference based State Prediction 63 Chapter 4 Static Environment Representation 67 4.1. Static Obstacle Map Construction 69 4.2. Free Space Boundary Decision 74 4.3. Drivable Corridor Decision 76 Chapter 5 Longitudinal Motion Planning 81 5.1. In-Lane Target Following 82 5.2. Proactive Motion Planning for Narrow Road Driving 85 5.2.1. Motivation for Collision Preventive Velocity Planning 85 5.2.2. Desired Acceleration Decision 86 5.3. Uncontrolled Intersection 90 5.3.1. Driving Phase and Mode Definition 91 5.3.2. State Machine for Driving Mode Decision 92 5.3.3. Motion Planner for Approach Mode 95 5.3.4. Motion Planner for Risk Management Phase 98 Chapter 6 Lateral Motion Planning 105 6.1. Vehicle Model 107 6.2. Cost Function and Constraints 109 Chapter 7 Performance Evaluation 115 7.1. Motion Prediction 115 7.1.1. Prediction Accuracy Analysis of Vehicle State based Direct Motion Predictor 115 7.1.2. Prediction Accuracy and Effect Analysis of Road Structure based Interactive Motion Predictor 122 7.2. Prediction based Distance Control at Urban Roads 132 7.2.1. Driving Data Analysis of Direct Motion Predictor Application at Urban Roads 133 7.2.2. Case Study of Vehicle Test at Urban Roads 138 7.2.3. Analysis of Vehicle Test Results on Urban Roads 147 7.3. Complex Urban Roads 153 7.3.1. Case Study of Vehicle Test at Complex Urban Roads 154 7.3.2. Closed-loop Simulation based Safety Analysis 162 7.4. Uncontrolled Intersections 164 7.4.1. Simulation based Algorithm Comparison of Motion Planner 164 7.4.2. Monte-Carlo Simulation based Safety Analysis 166 7.4.3. Vehicle Tests Results in Real Traffic Conditions 172 7.4.4. Similarity Analysis between Human and Automated Vehicle 194 7.5. Multi-Lane Turn Intersections 197 7.5.1. Case Study of a Multi-Lane Left Turn Scenario 197 7.5.2. Analysis of Motion Planning Application Results 203 Chapter 8 Conclusion & Future Works 207 8.1. Conclusion 207 8.2. Future Works 209 Bibliography 210 Abstract in Korean 219Docto

자율 주행 시스템의 차량 안전을 위한 적응형 관심 영역 기반 효율적 환경 인지

학위논문(박사)--서울대학교 대학원 :공과대학 기계항공공학부,2020. 2. 이경수.전 세계적으로 자동차 사고로 120 만 명이 사망하기 때문에 교통 사고에 대한 기본적인 예방 조치에 대한 논의가 진행되고 있다. 통계 자료에 따르면 교통 사고의 94 %가 인적 오류에 기인한다. 도로 안전 확보의 관점에서 자율 주행 기술은 이러한 심각한 문제를 해결하는 방법으로써 관심이 높아졌으며, 연구 개발을 통해 단계적 상용화가 이루어지고 있다. 주요 자동차 제조업체는 이미 차선 유지 보조장치 (LKAS: Lane Keeping Assistant System), 적응형 순항 제어 시스템(ACC: Adaptive Cruise Control), 주차 보조 시스템 (PAS: Parking Assistance System), 자동 긴급 제동장치 (AEB: Automated Emergency Braking) 등의 첨단 운전자 보조 시스템 (ADAS)을 개발하고 상용화하였다. 또한 Audi의 Audi AI Traffic Jam Pilot, Tesla의 Autopilot, Mercedes-Benz의 Distronic Plus, 현대자동차의 Highway Driving Assist 및 BMW의 Driving Assistant Plus 와 같은 부분 자율 주행 시스템이 출시되고 있다. 이러한 부분 자율 주행 시스템은 여전히 운전자의 주의가 수반되어야 함에도 불구하고, 안전성을 크게 향상시키는 데 효과적이기 때문에 지속적으로 그 수요가 증가하고 있다. 최근 몇 년간 많은 수의 자율주행 사고가 발생하였으며, 그 빈도수가 빠르게 증가하여 사회적으로 주목받고 있다. 차량 사고는 인명 사고와 직접적으로 연관되기 때문에 자율 주행 차량의 사고들은 자율 주행 기술 신뢰성의 저하를 야기하여 사회적인 불안감을 키운다. 최근 자율 주행 관련 사고들로 인해, 자율주행 차량의 안전성의 보장이 더욱 강조되고 있다. 따라서 본 연구에서는 자율 주행 차량의 거동 제어를 고려하여 자율 주행 시스템 관점에서 차량의 안전성을 우선적으로 확보하는 접근 방식을 제안한다. 또한 자율주행 기술 개발은 단순하게 운전을 대체하는 기술이 아니라, 첨단기술의 집약 체로써 산업적으로 매우 큰 파급력을 가진다고 전망된다. 현재 자율주행 시스템은 기존 자동차 산업의 고전적인 틀에서 확장되어, 다양한 분야의 관점에서 주도적으로 개발이 진행되고 있다. 자율 주행은 다양한 기술의 복합적인 결합으로 구성되기 때문에, 현재 각기 다른 다양한 환경에서 개발이 진행 중이며, 아직 표준화되어 있지 않은 실정이다. 대부분 각 모듈 단위의 지엽적인 성능향상을 추구하는 경향이 있으며, 구성 모듈 간 관계가 고려된 전체 시스템 단위의 접근방식은 미흡한 실정이다. 세부 모듈 단위의 지엽적인 연구 개발은 통합 시, 모듈 간 상호작용으로 인한 영향으로 시스템 관점에서 적절한 성능을 확보하기 어려울 수 있다. 각 모듈의 성능만을 고려한 일방적인 방향의 연구는 한계가 명확하며, 연관된 모듈들의 특성을 고려하여 반영할 필요가 있다. 따라서 자율주행 전체 시스템의 관점에서, 차량 안전을 우선적으로 확보하고 전체 성능을 극대화하는 효과적인 접근 방식을 본 연구에서 제안하고자 한다. 본 연구는 자율 주행 시스템의 안정적이고 높은 성능을 확보하기 위해 전체 시스템 작동 측면에서 구성된 모듈 간의 상호 작용을 고려하여 효율적인 환경 인식 알고리즘을 개발하는데 중점을 둔다. 실질적인 관점에서 효과적인 정보 처리를 수행하고 차량 안전을 확보하기 위해 적응형 관심 영역 (ROI) 기반 계산 부하 관리 전략을 제안한다. 차량의 거동 특성, 도로 설계 표준, 추월 및 차선 변경과 같은 주변 차량의 주행 특성이 적응형 ROI 설계 및 주행 상황에 따른 영역 확장에 반영된다. 또한, 자율 주행 차량의 실질적인 안전을 보장하기 위해 ROI 설계에서 자율 주행 제어를 위한 거동 계획 결과가 고려된다. 보다 넓은 주변 영역에 대한 환경 정보를 확보하기 위해 라이다 데이터는 설계된 ROI별로 분류되며, 영역별 중요도에 따라 연산 과정이 분리되어 수행된다. 목표 시스템을 구성하는 모듈 별 연산 시간이 측정된 데이터 기반으로 통계적으로 분석된다. 운전자의 반응 시간, 산업 표준, 대상 하드웨어 사양 및 센서 성능을 기반으로 결정된 시스템 성능 조건을 고려하여, 안전성을 확보하기 위한 자율 주행 시스템의 적절한 샘플링 주기가 정의된다. 데이터 기반 다중 선형 회귀 분석은 인식 모듈을 구성하는 함수 별 실행 시간을 예측하기 위해 적용되며, 안정적인 실시간 성능을 보장하기 위해 적응형 ROI를 기반으로 자율 주행 안전에 필요한 데이터를 선택적으로 분류하여 연산 부하가 감축된다. 연산 부하 평가 관리에서 환경 인지 모듈과 전체 시스템의 연산 부하가 대상 환경에서의 적절성을 평가하고, 연산 부하 관리에 문제가 있을 때 자율 주행 차량의 거동을 제한하여 시스템 안정성을 유지함으로써 차량 안전성을 확보한다. 제안된 자율주행 인지 전략 및 알고리즘의 성능은 데이터 기반 시뮬레이션 및 실차 실험을 통해 검증되었다. 실험 결과를 통해 제안된 환경 인식 알고리즘은 자율 주행 시스템을 구성하는 모듈 간의 상호 작용을 고려하여 도심 도로 환경에서 자율 주행 차량의 안전성과 시스템의 안정적인 성능을 보장할 수 있음을 확인하였다.Since annually 1.2 million people die from car crashes worldwide, discussions about fundamental preventive measures for traffic accidents are taking place. According to the statistical survey, 94 percent of all traffic accidents are caused by human error. From the perspective of securing road safety, automated driving technology became interesting as a way to solve this serious problem, and its commercialization was considered through a step-by-step application through research and development. Major carmakers already have developed and commercialized advanced driver assistance systems (ADAS), such as lane keeping assistance system (LKAS), adaptive cruise control (ACC), parking assistance system (PAS), automated emergency braking (AEB), and so on. Furthermore, partially automated driving systems are being installed in vehicles and released by carmakers. Audi AI Traffic Jam Pilot (Audi), Autopilot (Tesla), Distronic Plus (Mercedes-Benz), Highway Driving Assist (Hyundai Motor Company), and Driving Assistant Plus (BMW) are typical released examples of the partially automated driving system. These released partially automated driving systems are still must be accompanied by driver attention. Nevertheless, it is proving to be effective in significantly improving safety. In recent years, several automated driving accidents have occurred, and the frequency is rapidly increasing and attracting social attention. Since vehicle accidents are directly related to human casualty, accidents of automated vehicles cause social insecurity by causing a decrease in the reliability of automated driving technology. Due to recent automated driving-related accidents, the safety of the automated vehicle has been emphasized more. Therefore, in this study, we propose an approach to secure vehicle safety in terms of the entire system in consideration of the behavior control of the automated driving vehicle. In addition, the development of automated driving is not merely a replacement technology for driving, but it is expected to have an industrial assembly as integration of high technology. Currently, automated driving systems have been extended from the conventional framework of the existing automotive industry, and are being developed in various fields. Since automated driving is composed of a complex combination of various technologies, development is currently underway in various conditions and has not been standardized yet. Most developments tend to pursue local performance improvement in each module unit, and the overall system unit approaches considering the relationship between component modules is insufficient. Local research and development at the submodule level can be challenging to achieve adequate performance from a system-level due to the effects of module interaction in terms of system integration perspective. The one-way approach that considers only the performance of each module has its limitations. To overcome this problem, it is necessary to consider the characteristics of the modules involved. This dissertation focuses on developing an efficient environment perception algorithm by considering the interaction between configured modules in terms of entire system operation to secure the stable and high performance of an automated driving system. In order to perform effective information processing and secure vehicle safety from a practical perspective, we propose an adaptive ROI based computational load management strategy. The motion characteristics of the subject vehicle, road design standards, and driving tasks of the surrounding vehicles, such as overtaking, and lane change, are reflected in the design of adaptive ROI, and the expansion of the area according to the driving task is considered. Additionally, motion planning results for automated driving are considered in the ROI design in order to guarantee the practical safety of the automated vehicle. In order to secure reasonable and appropriate environment information for the wider areas, lidar sensor data is classified by the designed ROI, and separated processing is conducted according to area importance. Based on the driving data, the calculation time of each module constituting the target system is statistically analyzed. In consideration of the system performance constraint determined by using human reaction time and industry standards, target hardware specification and the performance of sensor, the appropriate sampling time for automated driving system is defined to enhance safety. The data-based multiple linear regression is applied to predict the computation time by each function constituting perception module, and the computational load reduction is applied sequentially by selecting the data essential for automated driving safety based on adaptive ROI to secure the stable real-time execution performance of the system. In computational load assessment, it evaluates whether the computational load of the environmental perception module and entire system are appropriate and restricts the vehicle behavior when there is a problem in the computational load management to ensure vehicle safety by maintaining system stability. The performance of the proposed strategy and algorithms is evaluated through driving data-based simulation and actual vehicle tests. Test results show that the proposed environment recognition algorithm, which considers the interactions between the modules that make up the automated driving system, guarantees the safety of automated vehicle and reliable performance of system in an urban environment scenario.Chapter 1 Introduction 1 1.1. Background and Motivation 1 1.2. Previous Researches 6 1.3. Thesis Objectives 11 1.4. Thesis Outline 13 Chapter 2 Overall Architecture 14 2.1. Automated Driving Architecture 14 2.2. Test Vehicle Configuration 19 Chapter 3 Design of Adaptive ROI and Processing 21 3.1. ROI Definition 25 3.1.1. ROI Design for Normal Driving Condition 30 3.1.2. ROI Design for Lane Change 50 3.1.3. ROI Design for Intersection 56 3.2. Data Processing based on Adaptive ROI 62 3.2.1. Point Cloud Categorization by Adaptive ROI 63 3.2.2. Separated Voxelization 66 3.2.3. Separated Clustering 70 Chapter 4 Environment Perception Algorithm for Automated Driving 75 4.1. Time Delay Compensation of Environment Sensor 77 4.1.1. Algorithm Structure of Time Delay Estimation and Compensation 78 4.1.2. Time Delay Compensation Algorithm 79 4.1.3. Analysis of Processing Delay 84 4.1.4. Test Data based Open-loop Simulation 91 4.2. Environment Representation 96 4.2.1. Static Obstacle Map Construction 98 4.2.2. Lane and Road Boundary Detection 100 4.3. Multiple Object State Estimation and Tracking based on Geometric Model-Free Approach 107 4.3.1. Prediction of Geometric Model-Free Approach 109 4.3.2. Track Management 111 4.3.3. Measurement Update 112 4.3.4. Performance Evaluation via vehicle test 114 Chapter 5 Computational Load Management 117 5.1. Processing Time Analysis of Driving Data 121 5.2. Processing Time Estimation based on Multiple Linear Regression 128 5.2.1. Clustering Processing Time Estimation 129 5.2.2. Multi Object Tracking (MOT) Processing Time Estimation 138 5.2.3. Validation through Data-based Simulation 146 5.3. Computational Load Management 149 5.3.1. Sequential Processing to Computation Load Reduction 151 5.3.2. Restriction of Driving Control 154 5.3.3. Validation through Data-based Simulation 159 Chapter 6 Vehicle Tests based Performance Evaluation 163 6.1. Test-data based Simulation 164 6.2. Vehicle Tests: Urban Automated Driving 171 6.2.1. Test Configuration 171 6.2.2. Motion Planning and Vehicle Control 172 6.2.3. Vehicle Tests Results 174 Chapter 7 Conclusions and Future Works 184 Bibliography 188 Abstract in Korean 200Docto

Entwicklung und Evaluierung eines kooperativen Interaktionskonzepts an Entscheidungspunkten für die teilautomatisierte, manöverbasierte Fahrzeugführung

Moderne Fahrerassistenzsysteme ermöglichen einen hohen Standard hinsichtlich Fahrkomfort und Sicherheit. Eine Lösung für die Problematik zunehmender Komplexität durch Kombination mehrerer Einzelsysteme und einen wichtigen Schritt in Richtung Vollautomatisierung bieten teilautomatisierte, kooperative Ansätze wie das manöverbasierte Fahrzeugführungskonzept Conduct-by-Wire. Gegenstand dieser Arbeit ist die Untersuchung der Fragestellung, ob eine kooperative Interaktion zwischen Fahrer und Automation zur Entscheidungsfindung hinsichtlich der Ausführbarkeit von Fahrmanövern im Kontext der teilautomatisierten, manöverbasierten Fahrzeugführung darstellbar ist. In dieser Arbeit wird ein Interaktionskonzept entwickelt, das die Anforderungen des Fahrers und der Automation gleichermaßen berücksichtigt. Zudem erfolgt eine Untersuchung der technischen Realisierbarkeit sowie der Gebrauchstauglichkeit im Rahmen einer Probandenstudie