Differentiable world programs

L'intelligence artificielle (IA) moderne a ouvert de nouvelles perspectives prometteuses pour la création de robots intelligents. En particulier, les architectures d'apprentissage basées sur le gradient (réseaux neuronaux profonds) ont considérablement amélioré la compréhension des scènes 3D en termes de perception, de raisonnement et d'action. Cependant, ces progrès ont affaibli l'attrait de nombreuses techniques ``classiques'' développées au cours des dernières décennies. Nous postulons qu'un mélange de méthodes ``classiques'' et ``apprises'' est la voie la plus prometteuse pour développer des modèles du monde flexibles, interprétables et exploitables : une nécessité pour les agents intelligents incorporés. La question centrale de cette thèse est : ``Quelle est la manière idéale de combiner les techniques classiques avec des architectures d'apprentissage basées sur le gradient pour une compréhension riche du monde 3D ?''. Cette vision ouvre la voie à une multitude d'applications qui ont un impact fondamental sur la façon dont les agents physiques perçoivent et interagissent avec leur environnement. Cette thèse, appelée ``programmes différentiables pour modèler l'environnement'', unifie les efforts de plusieurs domaines étroitement liés mais actuellement disjoints, notamment la robotique, la vision par ordinateur, l'infographie et l'IA. Ma première contribution---gradSLAM--- est un système de localisation et de cartographie simultanées (SLAM) dense et entièrement différentiable. En permettant le calcul du gradient à travers des composants autrement non différentiables tels que l'optimisation non linéaire par moindres carrés, le raycasting, l'odométrie visuelle et la cartographie dense, gradSLAM ouvre de nouvelles voies pour intégrer la reconstruction 3D classique et l'apprentissage profond. Ma deuxième contribution - taskography - propose une sparsification conditionnée par la tâche de grandes scènes 3D encodées sous forme de graphes de scènes 3D. Cela permet aux planificateurs classiques d'égaler (et de surpasser) les planificateurs de pointe basés sur l'apprentissage en concentrant le calcul sur les attributs de la scène pertinents pour la tâche. Ma troisième et dernière contribution---gradSim--- est un simulateur entièrement différentiable qui combine des moteurs physiques et graphiques différentiables pour permettre l'estimation des paramètres physiques et le contrôle visuomoteur, uniquement à partir de vidéos ou d'une image fixe.Modern artificial intelligence (AI) has created exciting new opportunities for building intelligent robots. In particular, gradient-based learning architectures (deep neural networks) have tremendously improved 3D scene understanding in terms of perception, reasoning, and action. However, these advancements have undermined many ``classical'' techniques developed over the last few decades. We postulate that a blend of ``classical'' and ``learned'' methods is the most promising path to developing flexible, interpretable, and actionable models of the world: a necessity for intelligent embodied agents. ``What is the ideal way to combine classical techniques with gradient-based learning architectures for a rich understanding of the 3D world?'' is the central question in this dissertation. This understanding enables a multitude of applications that fundamentally impact how embodied agents perceive and interact with their environment. This dissertation, dubbed ``differentiable world programs'', unifies efforts from multiple closely-related but currently-disjoint fields including robotics, computer vision, computer graphics, and AI. Our first contribution---gradSLAM---is a fully differentiable dense simultaneous localization and mapping (SLAM) system. By enabling gradient computation through otherwise non-differentiable components such as nonlinear least squares optimization, ray casting, visual odometry, and dense mapping, gradSLAM opens up new avenues for integrating classical 3D reconstruction and deep learning. Our second contribution---taskography---proposes a task-conditioned sparsification of large 3D scenes encoded as 3D scene graphs. This enables classical planners to match (and surpass) state-of-the-art learning-based planners by focusing computation on task-relevant scene attributes. Our third and final contribution---gradSim---is a fully differentiable simulator that composes differentiable physics and graphics engines to enable physical parameter estimation and visuomotor control, solely from videos or a still image

The Internet of Everything

In the era before IoT, the world wide web, internet, web 2.0 and social media made people’s lives comfortable by providing web services and enabling access personal data irrespective of their location. Further, to save time and improve efficiency, there is a need for machine to machine communication, automation, smart computing and ubiquitous access to personal devices. This need gave birth to the phenomenon of Internet of Things (IoT) and further to the concept of Internet of Everything (IoE)

Stratégies d'apprentissage et mémoire à long terme d'associations mot-objet chez le jeune enfant et le chien

Nous faisons tous l'expérience de nous souvenirs d'informations ou d'épisodes de vie vécus il y a fort longtemps. Mais qu'en est-il pour nos jeunes enfants et pour les espèces animales éloignées de nous ? Les enfants et les animaux forment-ils également des souvenirs qui peuvent demeurer intacts durant de longues périodes ? Et si tel est le cas, la formation de leurs souvenirs dépend-elle des mêmes règles que celles actuellement établies chez l'Homme adulte ? Cette thèse s'est intéressée à ces questions dans un contexte d'apprentissage associatif bimodal complexe: le concept mot-objet; chez le jeune enfant et le chien domestique. Pour ces deux modèles d'étude, nous avons exploré certains paramètres susceptibles de faciliter l'encodage et le stockage en mémoire de ce type d'information. Nous avons notamment cherché à savoir si le nombre de présentations de nouvelles associations mot-objets lors de l'apprentissage avait un effet sur la rétention du nom de ces objets après un délai, et avons tenté de déterminer le nombre minimal de présentations nécessaire pour induire une trace mnésique. Enfin, nous avons exploré l'efficacité de deux stratégies d'apprentissage sur la mémorisation de nouveaux noms d'objets et démontrons que l'efficacité des stratégies utilisées chez l'Homme évolue au cours du développement de l'enfant et ne semblent pas s'appliquer aux chiens. En bref, nos résultats apportent des éclaircissements quant à certains principes qui sous-tendent la formation de mémoires sensorielles chez un organisme en développement ainsi que chez une espèce animale non primate, et nous permettent d'émettre des hypothèses quant aux mécanismes cérébraux sous-jacents.All of us occasionally remember information or personal events that occurred a long time ago. But what about young children and distantly related animal species? Do young children and animals also form memories that can last in time? And if so, does memory formation rely on the same principles than those established in human adults? This thesis intended to examine these questions in the context of an associative learning concept involving complex bimodal stimuli: the word-object concept; both in young children and domestic dogs. For these two models, we explored some parameters susceptible to facilitate the encoding and storage of this type of information in memory. In particular, we attempted to determine if the number of presentations of novel word-object associations during learning influenced the retention of the name of these objects after a delay. We also aimed to establish the minimal number of presentations of the pairs required to induce a memory trace. Finally, we examined the efficacy of two learning strategies on the ability to remember the names of novel objects and demonstrated that the efficacy of the strategies implemented in humans evolves during development and seems not to apply to dogs. In brief, our results enlightened some principles underlying the formation of sensory memories in an early-developing brain system as well as in a non-primate species, and allow us to make assumptions about the underlying brain mechanisms