Reconnaissance et stabilité d'une mémoire épisodique influencée par les émotions artificielles pour un robot autonome

Les robots de service devront répondre aux besoins d'humains au quotidien. Nos milieux de vie diffèrent par leur configuration, les conditions environnementales, les objets qui s'y trouvent, les personnes présentes et les événements pouvant y survenir. Un grand défi de la robotique autonome est de permettre aux robots de s'adapter à n'importe quelle situation tout en étant efficace et sécuritaire dans l'exécution de tâches. À cette fin, une mémoire épisodique a le rôle d'emmagasiner et de classer les expériences d'un agent intelligent en lien avec les éléments du contexte spatio-temporel d'apprentissage. Ainsi, une mémoire épisodique s'avère un élément essentiel pour permettre au robot de mémoriser ses expériences dans le but de les réutiliser lors de situations similaires. Toutefois, pour qu'une mémoire épisodique puisse être utilisée par un robot autonome, elle doit pouvoir exploiter l'information provenant de capteurs asynchrones et bruités. De plus, elle doit pouvoir être influencée différemment selon l'importance des expériences vécues. Le but de ce projet de recherche est de concevoir et d'intégrer à un robot mobile une mémoire épisodique construite à partir d'un apprentissage non supervisé et qui favorise la mémorisation des expériences les plus pertinentes afin d'améliorer l'efficacité du robot dans l'exécution de sa tâche. À la base, l'approche repose sur des réseaux de neurones utilisant la Théorie de résonance adaptative (ART, pour Adaptive Resonance Theory). Deux réseaux ART sont placés en cascade afin de catégoriser, respectivement, les contextes spatiaux, appelés événements, et les séquences d'événements, appelées épisodes. Le modèle résultant, EM-ART (Episodic Memory-ART), utilise un module d'émotions artificielles afin d'influencer la dynamique d'apprentissage et d'utilisation des réseaux ART en favorisant la mémorisation et le rappel des expériences associées à de fortes intensités émotionnelles. Le rappel d'épisodes permet de prédire et d'anticiper les événements futurs, contribuant à améliorer l'adaptabilité du robot pour effectuer sa tâche. EM-ART est validé sur le robot IRL-1/TR dans un scénario de livraison d'objets. Les expérimentations réalisées en milieu réel permettent d'isoler les caractéristiques du modèle telles que la prédiction d'événements, la création d'épisodes et l'influence des émotions. Des simulations construites à partir de données réelles permettent aussi d'observer l'évolution de la structure du modèle sur une plus grande période de temps et dans des séquences différentes. Les résultats démontrent que le modèle EM-ART permet une récupération d'épisodes plus hâtive lorsque ceux-ci sont associés à une intensité émotionnelle élevée, permettant à IRL-1/TR d'utiliser la destination de sa dernière livraison pour accomplir la livraison en cours. Selon la séquence des expériences soumis au modèle, un plus grand nombre d'épisodes est créé si les premières expériences ne sont pas associées à des émotions élevées, puisqu'ils sont négligées en mémoire au détriment de la création de nouveaux épisodes plus distinctifs. Il en résulte une capacité faisant évoluer l'intelligence du robot à celle d'une entité capable d'apprendre de ses expériences évaluées selon sa propre perspective

A Few Days of A Robot's Life in the Human's World: Toward Incremental Individual Recognition

PhD thesisThis thesis presents an integrated framework and implementation for Mertz, an expressive robotic creature for exploring the task of face recognition through natural interaction in an incremental and unsupervised fashion. The goal of this thesis is to advance toward a framework which would allow robots to incrementally ``get to know'' a set of familiar individuals in a natural and extendable way. This thesis is motivated by the increasingly popular goal of integrating robots in the home. In order to be effective in human-centric tasks, the robots must be able to not only recognize each family member, but also to learn about the roles of various people in the household.In this thesis, we focus on two particular limitations of the current technology. Firstly, most of face recognition research concentrate on the supervised classification problem. Currently, one of the biggest problems in face recognition is how to generalize the system to be able to recognize new test data that vary from the training data. Thus, until this problem is solved completely, the existing supervised approaches may require multiple manual introduction and labelling sessions to include training data with enough variations. Secondly, there is typically a large gap between research prototypes and commercial products, largely due to lack of robustness and scalability to different environmental settings.In this thesis, we propose an unsupervised approach which wouldallow for a more adaptive system which can incrementally update thetraining set with more recent data or new individuals over time.Moreover, it gives the robots a more natural {\em socialrecognition} mechanism to learn not only to recognize each person'sappearance, but also to remember some relevant contextualinformation that the robot observed during previous interactionsessions. Therefore, this thesis focuses on integrating anunsupervised and incremental face recognition system within aphysical robot which interfaces directly with humans through naturalsocial interaction. The robot autonomously detects, tracks, andsegments face images during these interactions and automaticallygenerates a training set for its face recognition system. Moreover,in order to motivate robust solutions and address scalabilityissues, we chose to put the robot, Mertz, in unstructured publicenvironments to interact with naive passersby, instead of with onlythe researchers within the laboratory environment.While an unsupervised and incremental face recognition system is acrucial element toward our target goal, it is only a part of thestory. A face recognition system typically receives eitherpre-recorded face images or a streaming video from a static camera.As illustrated an ACLU review of a commercial face recognitioninstallation, a security application which interfaces with thelatter is already very challenging. In this case, our target goalis a robot that can recognize people in a home setting. Theinterface between robots and humans is even more dynamic. Both therobots and the humans move around.We present the robot implementation and its unsupervised incremental face recognition framework. We describe analgorithm for clustering local features extracted from a large set of automatically generated face data. We demonstrate the robot's capabilities and limitations in a series of experiments at a public lobby. In a final experiment, the robot interacted with a few hundred individuals in an eight day period and generated a training set of over a hundred thousand face images. We evaluate the clustering algorithm performance across a range of parameters on this automatically generated training data and also the Honda-UCSD video face database. Lastly, we present some recognition results using the self-labelled clusters