Model predictive path integral control: Theoretical foundations and applications to autonomous driving

This thesis presents a new approach for stochastic model predictive (optimal) control: model predictive path integral control, which is based on massive parallel sampling of control trajectories. We first show the theoretical foundations of model predictive path integral control, which are based on a combination of path integral control theory and an information theoretic interpretation of stochastic optimal control. We then apply the method to high speed autonomous driving on a 1/5 scale vehicle and analyze the performance and robustness of the method. Extensive experimental results are used to identify and solve key problems relating to robustness of the approach, which leads to a robust stochastic model predictive control algorithm capable of consistently pushing the limits of performance on the 1/5 scale vehicle.Ph.D

Game-theoretic Objective Space Planning

Autonomous Racing awards agents that react to opponents' behaviors with agile maneuvers towards progressing along the track while penalizing both over-aggressive and over-conservative agents. Understanding the intent of other agents is crucial to deploying autonomous systems in adversarial multi-agent environments. Current approaches either oversimplify the discretization of the action space of agents or fail to recognize the long-term effect of actions and become myopic. Our work focuses on addressing these two challenges. First, we propose a novel dimension reduction method that encapsulates diverse agent behaviors while conserving the continuity of agent actions. Second, we formulate the two-agent racing game as a regret minimization problem and provide a solution for tractable counterfactual regret minimization with a regret prediction model. Finally, we validate our findings experimentally on scaled autonomous vehicles. We demonstrate that using the proposed game-theoretic planner using agent characterization with the objective space significantly improves the win rate against different opponents, and the improvement is transferable to unseen opponents in an unseen environment.Comment: Submitted to 2023 IEEE International Conference on Robotics and Automation (ICRA 2023

Winning the 3rd Japan Automotive AI Challenge -- Autonomous Racing with the Autoware.Auto Open Source Software Stack

The 3rd Japan Automotive AI Challenge was an international online autonomous racing challenge where 164 teams competed in December 2021. This paper outlines the winning strategy to this competition, and the advantages and challenges of using the Autoware.Auto open source autonomous driving platform for multi-agent racing. Our winning approach includes a lane-switching opponent overtaking strategy, a global raceline optimization, and the integration of various tools from Autoware.Auto including a Model-Predictive Controller. We describe the use of perception, planning and control modules for high-speed racing applications and provide experience-based insights on working with Autoware.Auto. While our approach is a rule-based strategy that is suitable for non-interactive opponents, it provides a good reference and benchmark for learning-enabled approaches.Comment: Accepted at Autoware Workshop at IV 202

Motion Planning and Control for Multi Vehicle Autonomous Racing at High Speeds

This paper presents a multi-layer motion planning and control architecture for autonomous racing, capable of avoiding static obstacles, performing active overtakes, and reaching velocities above 75 $m/s$. The used offline global trajectory generation and the online model predictive controller are highly based on optimization and dynamic models of the vehicle, where the tires and camber effects are represented in an extended version of the basic Pacejka Magic Formula. The proposed single-track model is identified and validated using multi-body motorsport libraries which allow simulating the vehicle dynamics properly, especially useful when real experimental data are missing. The fundamental regularization terms and constraints of the controller are tuned to reduce the rate of change of the inputs while assuring an acceptable velocity and path tracking. The motion planning strategy consists of a Fren\'et-Frame-based planner which considers a forecast of the opponent produced by a Kalman filter. The planner chooses the collision-free path and velocity profile to be tracked on a 3 seconds horizon to realize different goals such as following and overtaking. The proposed solution has been applied on a Dallara AV-21 racecar and tested at oval race tracks achieving lateral accelerations up to 25 $m/s^{2}$.Comment: Accepted to the 25th IEEE International Conference on Intelligent Transportation Systems (IEEE ITSC 2022

Идентификация нейросетевой модели робота для решения задачи оптимального управления

Для расчета оптимального управления требуется достоверная математическая модель объекта управления. В дальнейшем при реализации расчетных управлений на реальном объекте эта же модель может быть использована в навигации робота для прогнозирования его положения и корректировки показаний сенсоров, поэтому важно, чтобы модель достаточно адекватно отражала динамику объекта. Вывод модели часто требует значительного времени и иногда даже невозможен с использованием традиционных методов. Ввиду все большего разнообразия и чрезвычайно сложной природы объектов управления, включая разнообразие современных робототехнических систем, все большую актуальность приобретает задача идентификации, которая позволяет построить математическую модель объекта управления, имея входные и выходные данные о системе. Идентификация нелинейной системы представляет особый интерес, так как большинство реальных систем имеют нелинейную динамику. И если раньше идентификация модели системы заключалась в подборе оптимальных параметров для выбранной структуры, то появление современных методов машинного обучения открывает более широкие перспективы и позволяет автоматизировать сам процесс идентификации. В настоящей работе в качестве объекта управления рассматривается колесный робот с дифференциальным приводом в симуляционной среде Gazebo, которая на сегодняшний день является наиболее популярным программным пакетом при разработке и моделировании робототехнических систем. Математическая модель робота заранее неизвестна. Основная проблема заключается в том, что существующие математические модели не соответствуют реальной динамике робота в симуляторе. В работе рассматривается решение задачи идентификации математической модели объекта управления с помощью машинного обучения на основе нейронной сети. Представлен новый смешанный подход, основанный на использовании известных простых моделей объектов и идентификации неучтенных динамических свойств объекта с помощью нейронной сети на основе обучающей выборки. Для формирования обучающих данных был написан программный пакет, автоматизирующий процесс сбора с помощью двух ROS-узлов. Для обучения нейросети использовался фреймворк PyTorch и был создан программный пакет с открытым исходным кодом. Далее идентифицированная модель объекта используется для расчета оптимального управления. Результаты вычислительного эксперимента демонстрируют адекватность и работоспособность полученной модели. Представленный подход на основе комбинации известной математической модели и дополнительной идентифицированной нейросетевой модели позволяет использовать преимущества накопленного физико-математического аппарата и повысить его эффективность и точность за счет использования современных средств машинного обучения

Идентификация нейросетевой модели робота для решения задачи оптимального управления

To calculate the optimal control, a satisfactory mathematical model of the control object is required. Further, when implementing the calculated controls on a real object, the same model can be used in robot navigation to predict its position and correct sensor data, therefore, it is important that the model adequately reflects the dynamics of the object. Model derivation is often time-consuming and sometimes even impossible using traditional methods. In view of the increasing diversity and extremely complex nature of control objects, including the variety of modern robotic systems, the identification problem is becoming increasingly important, which allows you to build a mathematical model of the control object, having input and output data about the system. The identification of a nonlinear system is of particular interest, since most real systems have nonlinear dynamics. And if earlier the identification of the system model consisted in the selection of the optimal parameters for the selected structure, then the emergence of modern machine learning methods opens up broader prospects and allows you to automate the identification process itself. In this paper, a wheeled robot with a differential drive in the Gazebo simulation environment, which is currently the most popular software package for the development and simulation of robotic systems, is considered as a control object. The mathematical model of the robot is unknown in advance. The main problem is that the existing mathematical models do not correspond to the real dynamics of the robot in the simulator. The paper considers the solution to the problem of identifying a mathematical model of a control object using machine learning technique of the neural networks. A new mixed approach is proposed. It is based on the use of well-known simple models of the object and identification of unaccounted dynamic properties of the object using a neural network based on a training sample. To generate training data, a software package was written that automates the collection process using two ROS nodes. To train the neural network, the PyTorch framework was used and an open source software package was created. Further, the identified object model is used to calculate the optimal control. The results of the computational experiment demonstrate the adequacy and performance of the resulting model. The presented approach based on a combination of a well-known mathematical model and an additional identified neural network model allows using the advantages of the accumulated physical apparatus and increasing its efficiency and accuracy through the use of modern machine learning tools.Для расчета оптимального управления требуется достоверная математическая модель объекта управления. В дальнейшем при реализации расчетных управлений на реальном объекте эта же модель может быть использована в навигации робота для прогнозирования его положения и корректировки показаний сенсоров, поэтому важно, чтобы модель достаточно адекватно отражала динамику объекта. Вывод модели часто требует значительного времени и иногда даже невозможен с использованием традиционных методов. Ввиду все большего разнообразия и чрезвычайно сложной природы объектов управления, включая разнообразие современных робототехнических систем, все большую актуальность приобретает задача идентификации, которая позволяет построить математическую модель объекта управления, имея входные и выходные данные о системе. Идентификация нелинейной системы представляет особый интерес, так как большинство реальных систем имеют нелинейную динамику. И если раньше идентификация модели системы заключалась в подборе оптимальных параметров для выбранной структуры, то появление современных методов машинного обучения открывает более широкие перспективы и позволяет автоматизировать сам процесс идентификации. В настоящей работе в качестве объекта управления рассматривается колесный робот с дифференциальным приводом в симуляционной среде Gazebo, которая на сегодняшний день является наиболее популярным программным пакетом при разработке и моделировании робототехнических систем. Математическая модель робота заранее неизвестна. Основная проблема заключается в том, что существующие математические модели не соответствуют реальной динамике робота в симуляторе. В работе рассматривается решение задачи идентификации математической модели объекта управления с помощью машинного обучения на основе нейронной сети. Представлен новый смешанный подход, основанный на использовании известных простых моделей объектов и идентификации неучтенных динамических свойств объекта с помощью нейронной сети на основе обучающей выборки. Для формирования обучающих данных был написан программный пакет, автоматизирующий процесс сбора с помощью двух ROS-узлов. Для обучения нейросети использовался фреймворк PyTorch и был создан программный пакет с открытым исходным кодом. Далее идентифицированная модель объекта используется для расчета оптимального управления. Результаты вычислительного эксперимента демонстрируют адекватность и работоспособность полученной модели. Представленный подход на основе комбинации известной математической модели и дополнительной идентифицированной нейросетевой модели позволяет использовать преимущества накопленного физико-математического аппарата и повысить его эффективность и точность за счет использования современных средств машинного обучения

Data-driven System Identification and Optimal Control Framework for Grand-Prix Style Autonomous Racing

For the past 30 years, autonomous driving has witnessed a tremendous improvements thanks to the surge of computing power. Not only did we witness the autonomous vehicle navigate itself safely in the urban area, stories about more diverse autonomous driving applications, such as off-road rally-style navigation, are also commonly mentioned. Just until recently, the exponential increase in GPU and high-performance computing technology has motivated the research on autonomous driving under extreme situations such as autonomous racing or drifting.[25] The motivation for this thesis is to offer a brief overview about the main challenge of autonomous driving control and planning in racing scenario along with the potential solutions. The first contribution is using koopmam operator and deep neural network to perform data-driven system identification. We then design optimal model-based control which is based on the learned dynamics alone. Based on our new system identification algorithm, we can approximate an accurate, explainable, and linearized system representation in a high-dimensional latent space, without any prior knowledge of the system. In this case, the learned vehicle dynamic automatically involves the information that is normally difficult to obtain, including cornering stiffness, tire slip, transmission parameters, etc. Our result shows that our koopman data-driven optimal control approach is able to deliver better tracking accuracy at high speed compared to the state-of-art vehicle controllers. The second contribution is an iterative learning and sampling algorithm that can perform minimum-time optimization of the global racing trajectory(aka racing line) within the limit of tire friction. This trajectory optimization algorithm is not only proven to be computationally efficient, but also safe enough for the onboard RC vehicle’s test. The research achievements we made for the last two years not only enables the F1TENTH racing team of Clemson University Mechanical Engineering Department to finish top 5 in both virtual autonomous racing hosted by IFAC and IROS congress, but also offer us the opportunity to join ICRA 2021 Autonomous racing workshop to present our work and being awarded the joint best paper. More importantly, these contributions proved to be functional and effective in the on-board testing of the real F1TENTH robot’s autonomous navigation in the Flour Danial basement. Finally, this thesis will also include discussions of the potential research directions that can help improve the our current method so that it can better contribute to the autonomous driving industry