Planification optimale discrète et continue : un joueur de billard autonome optimisé

Le sujet de Thèse de ce doctorat consiste en l'élaboration de méthodes pour la planification dans les domaines avec aspects continus, discrets et stochastiques. Cette classe de problème, bien qu'assez générale, ne comporte pas pour l'instant de solution efficace et est souvent traitée de façon discrète plutôt que continue afin d'y appliquer les approches existantes. L'aspect stochastique apporte une difficulté supplémentaire à la recherche d'un plan optimal, et rend le problème d'autant plus intéressant. L'ensemble des approches et méthodes proposées dans cette Thèse sont avant tout appliquées au jeu du billard, tout en gardant dans l'esprit qu'une généralisation permettrait son application à d'autres problèmes similaires. En un premier lieu, une classification de ce type de problème par rapport aux recherches existantes sera effectuée, suivie d'une courte revue des approches actuelles possiblement applicables pour la recherche d'une solution acceptable. Un modèle général développé dans le contexte du jeu du billard sera présenté, ainsi que quelques indices sur la façon de le résoudre à l'aide de la programmation dynamique. Deuxièmement, un modèle pour une approche à deux-couches sera proposé, utilisant un contrôleur robuste profitant de la finesse qui peut être exploitée des techniques d'optimisation non-linéaire. Finalement, le modèle à deux-couches sera raffiné et quelques heuristiques de planifications seront proposée, afin de guider le contrôleur de façon à déterminer un plan efficace. On terminera à l'aide d'une synThèse des résultats et une discussion sur les perspectives futures

Differentiable world programs

L'intelligence artificielle (IA) moderne a ouvert de nouvelles perspectives prometteuses pour la création de robots intelligents. En particulier, les architectures d'apprentissage basées sur le gradient (réseaux neuronaux profonds) ont considérablement amélioré la compréhension des scènes 3D en termes de perception, de raisonnement et d'action. Cependant, ces progrès ont affaibli l'attrait de nombreuses techniques ``classiques'' développées au cours des dernières décennies. Nous postulons qu'un mélange de méthodes ``classiques'' et ``apprises'' est la voie la plus prometteuse pour développer des modèles du monde flexibles, interprétables et exploitables : une nécessité pour les agents intelligents incorporés. La question centrale de cette thèse est : ``Quelle est la manière idéale de combiner les techniques classiques avec des architectures d'apprentissage basées sur le gradient pour une compréhension riche du monde 3D ?''. Cette vision ouvre la voie à une multitude d'applications qui ont un impact fondamental sur la façon dont les agents physiques perçoivent et interagissent avec leur environnement. Cette thèse, appelée ``programmes différentiables pour modèler l'environnement'', unifie les efforts de plusieurs domaines étroitement liés mais actuellement disjoints, notamment la robotique, la vision par ordinateur, l'infographie et l'IA. Ma première contribution---gradSLAM--- est un système de localisation et de cartographie simultanées (SLAM) dense et entièrement différentiable. En permettant le calcul du gradient à travers des composants autrement non différentiables tels que l'optimisation non linéaire par moindres carrés, le raycasting, l'odométrie visuelle et la cartographie dense, gradSLAM ouvre de nouvelles voies pour intégrer la reconstruction 3D classique et l'apprentissage profond. Ma deuxième contribution - taskography - propose une sparsification conditionnée par la tâche de grandes scènes 3D encodées sous forme de graphes de scènes 3D. Cela permet aux planificateurs classiques d'égaler (et de surpasser) les planificateurs de pointe basés sur l'apprentissage en concentrant le calcul sur les attributs de la scène pertinents pour la tâche. Ma troisième et dernière contribution---gradSim--- est un simulateur entièrement différentiable qui combine des moteurs physiques et graphiques différentiables pour permettre l'estimation des paramètres physiques et le contrôle visuomoteur, uniquement à partir de vidéos ou d'une image fixe.Modern artificial intelligence (AI) has created exciting new opportunities for building intelligent robots. In particular, gradient-based learning architectures (deep neural networks) have tremendously improved 3D scene understanding in terms of perception, reasoning, and action. However, these advancements have undermined many ``classical'' techniques developed over the last few decades. We postulate that a blend of ``classical'' and ``learned'' methods is the most promising path to developing flexible, interpretable, and actionable models of the world: a necessity for intelligent embodied agents. ``What is the ideal way to combine classical techniques with gradient-based learning architectures for a rich understanding of the 3D world?'' is the central question in this dissertation. This understanding enables a multitude of applications that fundamentally impact how embodied agents perceive and interact with their environment. This dissertation, dubbed ``differentiable world programs'', unifies efforts from multiple closely-related but currently-disjoint fields including robotics, computer vision, computer graphics, and AI. Our first contribution---gradSLAM---is a fully differentiable dense simultaneous localization and mapping (SLAM) system. By enabling gradient computation through otherwise non-differentiable components such as nonlinear least squares optimization, ray casting, visual odometry, and dense mapping, gradSLAM opens up new avenues for integrating classical 3D reconstruction and deep learning. Our second contribution---taskography---proposes a task-conditioned sparsification of large 3D scenes encoded as 3D scene graphs. This enables classical planners to match (and surpass) state-of-the-art learning-based planners by focusing computation on task-relevant scene attributes. Our third and final contribution---gradSim---is a fully differentiable simulator that composes differentiable physics and graphics engines to enable physical parameter estimation and visuomotor control, solely from videos or a still image

Interaction and Intelligent Behavior

We introduce basic behaviors as primitives for control and learning in situated, embodied agents interacting in complex domains. We propose methods for selecting, formally specifying, algorithmically implementing, empirically evaluating, and combining behaviors from a basic set. We also introduce a general methodology for automatically constructing higher--level behaviors by learning to select from this set. Based on a formulation of reinforcement learning using conditions, behaviors, and shaped reinforcement, out approach makes behavior selection learnable in noisy, uncertain environments with stochastic dynamics. All described ideas are validated with groups of up to 20 mobile robots performing safe--wandering, following, aggregation, dispersion, homing, flocking, foraging, and learning to forage

Self-Directed Learning Development in PBL

Lifelong learning is an emphasized graduate outcome for engineering professionals at the international level by the Washington Accord and at the United States national level by ABET. When a new engineer enters the profession, she will be expected to acquire new technical knowledge in order to solve a problem or create a design. Unlike her experience in college, there will not be a professor to guide this learning. The planning, execution, monitoring, and control of this learning will now fall to the new engineer. The level of the ability to succeed in this self-directed learning modality will be a function of the extent to which the lifelong learning outcome has been met. This paper studies the importance of this graduate outcome and the development of self-directed learning as the way in which the outcome is achieved. Quantitative measures are taken using the Self-Directed Learning Readiness Scale. Quantitative results show a statistically significant difference between the developments of self-regulated abilities by students in a two-year PBL curriculum as compared to students who did not undergo the PBL treatment