강화학습을 이용한 확률기반 추적-회피 게임

학위논문 (석사)-- 서울대학교 대학원 : 기계항공공학부, 2011.2. 김현진.Maste

다중 로봇 시스템의 이동 계획 및 행동 조정을 위한 접근법에 관한 연구

학위논문 (박사)-- 서울대학교 대학원 : 기계항공공학부, 2014. 8. 김현진.본 박사학위 논문에서는 다중 로봇 시스템의 행동 조정을 위한 협업 아키텍처, 임무할당, 경로계획, 행동학습 기법을 제안하고 무인 전투 시스템에 적용하였다. 다중 로봇으로 구성된 무인 전투 시스템이 시시각각 변화하는 전시상황에서 유연하게 대처하여 통합적인 목표를 달성하기 위해서는 미리 지정된 임무의 특성 및 실제의 상황별로 적절한 의사결정을 해야 한다. 이를 위해 먼저 지휘통제 차량, 지상 전투 로봇, 감시정찰 공중 로봇 간 협업 아키텍처를 설계하였다. 다음으로 분산형 임무계획 기법인 합의 기반 번들 알고리즘을 사용하여 지상 로봇들을 적절한 임무지점(표적)으로 할당하도록 하였다. 여기서 지상 로봇 및 표적들은 종류에 따라 서로 다른 임무수행 능력을 지니고 있기 때문에 이들 간의 이질성을 반영하는 점수행렬을 사용하여 임무계획 시 반영하도록 하였다. 또한, 강화학습과 입자 군집 최적화 기법을 이용한 에피소드 매개변수 최적화 기법을 제안하였고, 이 기법을 점수행렬을 최적화하는 데 사용하여 지상 로봇팀의 생존 가능성을 높일 수 있는 최적의 교전 전략을 수립하였다. 임무지점 간 다중 로봇의 경로계획 문제를 해결하기 위해 가상의 속임수 기동 기법을 이용한 실시간 분산형 경로계획 기법을 제안하였다. 가상의 속임수 기동 기법은 곤충이 먹잇감을 쫓아갈 때 속임수 기동을 하는 것으로부터 영감을 얻어 제안된 기법으로 일반적인 비선형 구속조건을 고려한 궤적 최적화 문제를 경로 제어 매개변수만을 최적화하는 문제로 변환시켜 문제의 차원을 줄이는 역할을 한다. 여기서 경로 제어 매개변수를 최적화하기 위해 입자 군집 최적화 기법을 이용하였다. 제안된 경로계획 알고리즘은 도심환경에서의 종말 시간 및 진입 각 구속조건을 고려한 랑데부 문제를 푸는데 적용되었으며 시뮬레이션과 실험을 통해 검증하였다. 앞서 제안된 다중 로봇 임무계획 및 경로계획 알고리즘을 이용하면 복잡한 전장상황에서의 로봇의 행동양식을 쉽게 구현할 수 있다. 마지막으로 각 로봇이 상황에 맞게 적절한 행동양식을 선택할 수 있도록 하는 행동 조정 문제를 풀기 위해 분산형 다중 에이전트 강화학습 기법을 제안하였고 문제의 복잡성을 해결하기 위해 함수 근사화와 확산 적응 기법을 사용하였다. 결과적으로 본 논문에서 제안한 부분별 요소 기술을 이용하여 불확실성이 존재하는 전장상황에서 다중 로봇 그룹의 목표를 달성할 수 있었다.This thesis suggests a cooperative control architecture and algorithms for mission planning, path planning, and learning for behavior coordination in heterogeneous multi-robot systems. We apply our proposed algorithms to unmanned combat systems. To achieve integrated group objectives of unmanned combat systems consisting of heterogeneous multiple robots in ever-changing battlefield situations, each robot has to make a decision properly by considering characteristics of the predefined mission and real situations. To this end, we first design a cooperative control architecture of a command and control vehicle, unmanned ground vehicles, and unmanned aerial vehicles. We assign the mission points (the threats' location) to the ground robots by employing a decentralized task assignment called consensus-based bundle algorithm (CBBA). Here, we use a scoring matrix reflecting heterogeneity when the robots plan the mission because the different types of ground robots and threats have different capabilities for performing the mission according to their types. In addition, we suggest an episodic parameter optimization method using reinforcement learning (RL) and particle swarm optimization (PSO). This method is applied to optimize the scoring matrix, and we finally establish the optimal engagement strategy to maximize the team survivability of the ground robots. To solve a path planning problem between the robot and the target, we propose a decentralized trajectory optimization method using virtual motion camouflage (VMC) and PSO. VMC is inspired from biology, in which an insect actively camouflages its motion while tracking a prey. By using VMC a typical nonlinear constrained trajectory optimization problem can be transformed to an optimization problem of path control parameters (PCPs), so it reduces the dimension of the original problem. We employ PSO to optimize PCPs. The proposed algorithm called decentralized VMCPSO is applied to solve rendezvous problems considering terminal time and angle constraints in an unban-like environment, and it is validated with simulations and an experiment. By utilizing the algorithms proposed above, we can easily implement behaviors of the robots in complex combat situations. Lastly, we propose a distributed multi-agent reinforcement learning algorithm in a semi-Markov Decision Process framework to solve a behavior coordination problem for making each robot select the most proper behavior in given situations. In order to address complexity issues, linear function approximation and diffusion adaptation have been employed. As a result, we can achieve the group objectives of the heterogeneous multi-robot systems in combat situations involving many uncertainties by using the proposed approaches.Abstract vi Table of Contents viii List of Tables xi List of Figures xii Chapter 1 Introduction 1 1.1 Literature Survey 3 1.2 Research Objectives and Contributions 6 1.3 Thesis Organization 8 2 Cooperative Mission of Multi-Robot Systems 9 2.1 Probabilistic Engagement Scenario 10 2.2 Multi-Robot Systems Architecture 11 2.3 Threat Map 19 2.4 Visibility Map 20 3 Multi-Robot Mission Planning 24 3.1 Mission Assignment 25 3.2 Optimization for Mission Assignment 28 3.3 Optimization Results 33 3.4 Analysis and Discussion 35 4 Multi-Robot Path Planning 37 4.1 Virtual Motion Camouflage 38 4.2 Extension to Multi-Robot Path Planning 46 4.3 Simulation Results 50 4.4 Experimental Results 63 4.5 Analysis and Discussion 66 5 Behavior Coordination 67 5.1 Design of Behaviors 68 5.2 Learning Framework 69 5.3 Distributed Multi-Agent Reinforcement Learning 76 5.4 Distributed MARL Applied to Multi-Robot Systems 81 5.5 Empirical Results 85 5.6 Analysis and Discussion 90 6 Conclusions 96 Abstract (in Korean) 106Docto