Data Driven Prediction Architecture for Autonomous Driving and its Application on Apollo Platform

Autonomous Driving vehicles (ADV) are on road with large scales. For safe and efficient operations, ADVs must be able to predict the future states and iterative with road entities in complex, real-world driving scenarios. How to migrate a well-trained prediction model from one geo-fenced area to another is essential in scaling the ADV operation and is difficult most of the time since the terrains, traffic rules, entities distributions, driving/walking patterns would be largely different in different geo-fenced operation areas. In this paper, we introduce a highly automated learning-based prediction model pipeline, which has been deployed on Baidu Apollo self-driving platform, to support different prediction learning sub-modules' data annotation, feature extraction, model training/tuning and deployment. This pipeline is completely automatic without any human intervention and shows an up to 400\% efficiency increase in parameter tuning, when deployed at scale in different scenarios across nations.Comment: Accepted by the 31st IEEE Intelligent Vehicles Symposium (2020

Réalisation d’un outil de simulation visant l’amélioration de la perception de la scène dans un autobus/véhicule autonome.

Les véhicules intelligents constituent une technologie qui a évolué de façon notable au cours des dernières années. Concevoir un véhicule pleinement autonome signifie que ce véhicule n’aura pas besoin de l’aide de l’humain pour le conduire. Ceci n’est pas une tâche facile pour une machine qui n’a pas la capacité de raisonner en temps réel comme un humain. Pour atteindre ce but, il y a certains problèmes qu’il faut résoudre tout en minimisant le niveau de risque de collision afin d’apporter une réduction significative des accidents routiers. Mon travail propose une architecture qui vise la détection d'obstacles dans l’environnement immédiat de l’égo-véhicule. À partir d’images et de données LiDAR fournies par des capteurs tels qu’un LiDAR et une caméra vidéo, je procède à la détection et à l'estimation de la distance de ces objets en fusionnant l’ensemble des données. Dans une première étape, je travaille sur l'acquisition et le prétraitement de données en utilisant des banques de données telles que KITTI Datasets et Google WAYMO dont je parlerai plus tard dans le document. Par ailleurs, le simulateur CARLA sera utilisé pour la validation de notre architecture. Dans une deuxième étape, je travaille sur l’intelligence artificielle embarquée pour le développement et la simulation des fonctions de perception et de prise de décision à bord d’un autobus autonome, dans le cadre d’un projet de recherche conjoint avec la firme québécoise Novabus-Volvo. Ceci impliquera certaines techniques de l’apprentissage machine telles que des réseaux de neurones à convolution et des algorithmes de clustering, notamment pour améliorer la précision de l’estimation de la distance des objets dans le voisinage de l’égo-véhicule. Dans cette étape, je propose l'utilisation d'une architecture de réseaux de neurones profonds qui fait une segmentation par instance dans le but d'assigner les pixels de l'image correspondant à chaque objet détecté. Par la suite, l'algorithme de clustering hiérarchique sera appliqué aux données LiDAR aux pixels des objets détectés correspondants. Je montre par mes travaux que cette approche permet au système de détection d’obstacles de mieux estimer leur distance relative par rapport à l’égo-véhicule. Finalement, j’effectue la réalisation logicielle des outils mathématiques nécessaires afin de faire la simulation du système de détection d’obstacles basé sur les deux étapes précédentes. Cette réalisation logicielle a été intégrée au simulateur CARLA et les simulations ont été effectuées à ii l’aide des banques de données KITTI et Google-WAYMO. Il faut noter que les outils développés dans le cadre de ce projet peuvent également être intégrés à d'autres simulateurs.Abstract : The autonomous vehicle is a technology that has evolved significantly in recent years. Making a vehicle truly autonomous means that this vehicle will not need human assistance to make decisions in any situation, which is not an easy task for a machine since they have no reasoning abilities. To do this, there are problems that need to be addressed to get to the point of full autonomy with the lowest possible level of risk and therefore a significant reduction in road accidents. My work proposes an architecture to perform object detection from images and distance estimation of these objects by merging data provided by sensors such as LiDAR and the camera. In a first step, I work on the acquisition and the preprocessing of data using databases such as KITTI Datasets and Google WAYMO which we will discuss later in the document. The CARLA simulator will be another source of data that will be used for the validation of our architecture. In a second step, I work in on-board artificial intelligence for the development and simulation of perception and decision-making functions in an autonomous bus. Here will see some machine learning techniques such as convolutional neural networks and clustering algorithms to improve the accuracy of distance estimation. With these techniques we first assign to each detected object its corresponding pixels in the image by using a deep neural network architecture which makes an instance segmentation. Afterwards, the hierarchical clustering algorithm will be applied to the LiDAR 3D points corresponding to the pixels of the detected objects. This will allow the system to better estimate the distance. Finally, we implement the tool that will simulate the two previous steps. This implementation was made based on CARLA simulator and the KITTI and Google WAYMO databases. This tool gives the possibility of being integrated with other simulators in the future if needed

Intelligent and High-Performance Behavior Design of Autonomous Systems via Learning, Optimization and Control

Nowadays, great societal demands have rapidly boosted the development of autonomous systems that densely interact with humans in many application domains, from manufacturing to transportation and from workplaces to daily lives. The shift from isolated working environments to human-dominated space requires autonomous systems to be empowered to handle not only environmental uncertainties such as external vibrations but also interaction uncertainties arising from human behavior which is in nature probabilistic, causal but not strictly rational, internally hierarchical and socially compliant.This dissertation is concerned with the design of intelligent and high-performance behavior of such autonomous systems, leveraging the strength from control, optimization, learning, and cognitive science. The work consists of two parts. In Part I, the problem of high-level hybrid human-machine behavior design is addressed. The goal is to achieve safe, efficient and human-like interaction with people. A framework based on the theory of mind, utility theories and imitation learning is proposed to efficiently represent and learn the complicated behavior of humans. Built upon that, machine behaviors at three different levels - the perceptual level, the reasoning level, and the action level - are designed via imitation learning, optimization, and online adaptation, allowing the system to interpret, reason and behave as human, particularly when a variety of uncertainties exist. Applications to autonomous driving are considered throughout Part I. Part II is concerned with the design of high-performance low-level individual machine behavior in the presence of model uncertainties and external disturbances. Advanced control laws based on adaptation, iterative learning and the internal structures of uncertainties/disturbances are developed to assure that the high-level interactive behaviors can be reliably executed. Applications on robot manipulators and high-precision motion systems are discussed in this part