Asservissement d'un système robotique sous-actué à un capteur neuromorphique

Le contrôle de systèmes physiques par boucle de rétroaction est intégré dans la technologie d'aujourd'hui. Ceux-ci dépendent de capteurs pour quantifier leurs interactions avec l'environnement et d'ordinateurs pour intégrer et calculer la réponse à envoyer aux actuateurs. Ce projet de recherche a pour but de prouver qu'il est possible de contrôler un système sous-actué lorsque ces composants ont été remplacés par un seul capteur neuromorphique. Pour ce faire, deux problèmes classiques de contrôle sont attaqués; le chariot-tige et le pendule de Furuta. Une approche incrémentale est empruntée pour développer une méthode de contrôle à l'aide de "reservoir computer", une méthode d'apprentissage machine à laquelle le capteur neuromorphique appartient. Le problème du chariot-tige est tout d'abord attaqué en simulation en utilisant une variante numérique d'un réservoir computer, les Echo State Network (ESN). Dans ce cadre, une méthode de recherche de réservoir est choisie et différentes configurations d'ESN ont été testées. La structure qui s'est montrée la plus efficace en simulation est un ESN simple avec une rétroaction de la dernière commande générée, arrivant à basculer le pendule et à le maintenir droit sur son axe (à l'intérieur d'une marge de +- 15 degrés) pendant en moyenne 81.2 % du temps total d'un essai. En comparaison, le contrôleur de référence maintient le pendule droit sur son axe en moyenne 85.2 % du temps d'un essai. Suite à ce succès, le contrôleur ESN est implémenté sur le montage expérimental du pendule de Furuta. Pour des essais d'une durée de 25 secondes, le contrôleur arrive à maintenir le pendule entre 15 et -15 degrés pour une durée de 31.5 % du temps total, par rapport à 62.7 % pour le contrôleur de référence utilisé sur des essais d'une même durée. Ces performances ont été atteintes avec un contrôleur ESN utilisant une rétroaction et ayant plusieurs régressions, qui correspondent à différents régimes du pendule. Finalement, ce qui a été appris est ensuite transposé au processeur et au capteur neuromorphique, pour faire des tests de contrôle avec des réservoirs physiques. En conservant la même structure de régression, le capteur neuromorphique arrive à maintenir le pendule sur sont axe pendant 18.4 % du temps d'un essai

Optimisation de réseaux de neurones à décharges avec contraintes matérielles pour processeur neuromorphique

Les modèles informatiques basés sur l'apprentissage machine ont démarré la seconde révolution de l'intelligence artificielle. Capables d'atteindre des performances que l'on crut inimaginables au préalable, ces modèles semblent devenir partie courante dans plusieurs domaines. La face cachée de ceux-ci est que l'énergie consommée pour l'apprentissage, et l'utilisation de ces techniques, est colossale. La dernière décennie a été marquée par l'arrivée de plusieurs processeurs neuromorphiques pouvant simuler des réseaux de neurones avec une faible consommation d'énergie. Ces processeurs offrent une alternative aux conventionnelles cartes graphiques qui demeurent à ce jour essentielles au domaine. Ces processeurs sont capables de réduire la consommation d'énergie en utilisant un modèle de neurone événementiel, plus communément appelé neurone à décharge. Ce type de neurone est fondamentalement différent du modèle classique, et possède un aspect temporel important. Les méthodes, algorithmes et outils développés pour le modèle de neurone classique ne sont pas adaptés aux neurones à décharges. Cette thèse de doctorat décrit plusieurs approches fondamentales, dédiées à la création de processeurs neuromorphiques analogiques, qui permettent de pallier l'écart existant entre les systèmes à base de neurones conventionnels et à décharges. Dans un premier temps, nous présentons une nouvelle règle de plasticité synaptique permettant l'apprentissage non supervisé des réseaux de neurones récurrents utilisant ce nouveau type de neurone. Puis, nous proposons deux nouvelles méthodes pour la conception des topologies de ce même type de réseau. Finalement, nous améliorons les techniques d'apprentissage supervisé en augmentant la capacité de mémoire de réseaux récurrents. Les éléments de cette thèse marient l'inspiration biologique du cerveau, l'ingénierie neuromorphique et l'informatique fondamentale pour permettre d'optimiser les réseaux de neurones pouvant fonctionner sur des processeurs neuromorphiques analogiques

Intégration de réseaux de neurones à décharge sur une plateforme robotique

S’inspirant de la biologie animale et humaine, les réseaux de neurones à décharge (RND) représentent une technologie prometteuse en intelligence artificielle. Les réseaux de neurones artificiels traditionnels mimiquent sommairement les réseaux de neurones biologiques. C’est parce qu’ils imitent mieux les neurones biologiques que les RND pourraient devenir de plus en plus intéressants, surtout que l’avènement de processeurs neuromorphes ou de cartes graphiques qui permettent le traitement en parallèle facilitent la mise en oeuvre de RND. Toutefois, l’absence d’outils facilitant l’implémentation de RND sur des robots rend difficile leur exploitation, ce qui limite la validation de leurs capacités pour améliorer l’intelligence des robots. Par exemple, les RND ne sont pas encore bien adaptés pour s’exécuter sur le système d’exploitation ROS, de loin l’environnement de développement robotique le plus exploité par la communauté scientifique. Ce mémoire propose un nouvel outil, ROS-SNN, qui intègre un RND sur la plateforme ROS1. Il décrit l’outil et présente ses conditions et contraintes de fonctionnement. ROS-SNN propose un format de déclaration standard de RND, ainsi qu’une série d’utilitaires qui permettent de bien convertir et visualiser les données sous forme de graphiques. Des tests dans différentes configurations ont permis d’identifier le temps d’exécution de cycle de RND sur un nano processeur, le Raspberry Pi 3B, permettant d’identifier les conditions pour assurer un traitement satisfaisant les contraintes de traitement temps réel pour une application donnée. La librairie ROS-SNN a aussi été validée sur une nouvelle plateforme robotique, nommée Spike, démontrant la faisabilité de déployer des RND sur un robot

Rehaussement de la parole à l'aide d'un réseau de neurones à décharges

Le rehaussement de la parole est essentiel pour garantir la fiabilité des outils de communication ou la robustesse des systèmes de reconnaissance vocale. Bien que les réseaux neuronaux conventionnels, connus sous le nom de réseaux neuronaux artificiels (Artificial Neural Network - ANN), aient démontré des performances remarquables dans ce domaine, leur utilisation requiert une puissance de calcul considérable et engendre des coûts énergétiques élevés. Ces coûts sont dus à plusieurs facteurs tels que la taille du réseau, le volume de l'ensemble des données utilisé, et le nombre d'itérations nécessaires pour l'entraînement. Ce projet de recherche propose une approche de rehaussement de la parole à l'aide d'un réseau de neurones à décharges (Spiking Neural Network - SNN) basé sur une architecture U-Net. Les SNN sont adaptés au traitement de données avec une dimension temporelle, telle que la parole, et sont connus pour leur mise en œuvre économe en énergie sur des processeurs neuromorphiques. Par conséquent, les SNN constituent des candidats intéressants pour des applications en temps réel sur des dispositifs aux ressources limitées. L'objectif principal de ce travail est de développer un modèle basé sur un SNN présentant des performances comparables à celles d'un modèle basé sur un ANN pour le rehaussement de la parole. L'entraînement du SNN proposé s'effectue en utilisant une optimisation basée sur des gradients de substitution. L'évaluation des performances du modèle se fait à l'aide de tests objectifs perceptuels, en prenant en compte différents rapports signal sur bruit et conditions de bruit réelles. Les résultats obtenus démontrent que le modèle proposé surpasse la solution de référence du défi de suppression de bruit profond neuromorphique d'Intel. De plus, il se distingue également par rapport à plusieurs approches non neuromorphiques de l'état de l'art. En outre, il atteint des performances acceptables par rapport à un modèle ANN présentant une architecture similaire. En conclusion, ce travail met en évidence la promesse des SNN en tant qu'alternative performante aux ANN pour le rehaussement de la parole

Etude, réalisation et caractérisation de memristors organiques électro-greffés en tant que nanosynapses de circuits neuro-inspirés

This PhD project takes place in the context of the study of neuromorphic circuits using memristor devices as synapses. The main objective is to evaluate a new class of organic memories developed at LICSEN (CEA Saclay/IRAMIS) and particularly their compatibility with the learning rules and the implementation strategy proposed by the Nanoarchi group at IEF (Univ. Paris-Sud, Orsay). These new memristors are based on the electro-grafting of organic redox complexes thin films to form robust and scalable metal/molecules/metal junctions. In addition to memristor fabrication, this work includes detailed electrical characterization studies (speed, retention property, scalability, robustness, etc.) aiming at, on the one hand, establishing the commutation mechanism in these new memristors and, on the other hand, evaluating their potential as synapses. This work also proposes a preparatory study of a neural-network type mixed-circuit demonstrator combining nano-memristors and conventional electronic (programmability of devices by spikes, fabrication of assemblies of memristors, variability). Moreover the demonstration of the compatibility of such memristors with the STDP (Spike Timing Dependent Plasticity) property and of the learning of a “conditioned reflex” opens the way to future unsupervised learning studies.Cette thèse s'inscrit dans le contexte de l'étude des circuits neuromorphiques utilisant des dispositifs memristifs comme synapses. Son objectif principal est d'évaluer les mérites d'une nouvelle classe de mémoires organiques développées au LICSEN (CEA Saclay/IRAMIS) et, plus particulièrement, leur adéquation avec les propositions d'implémentation et les règles d'apprentissage proposées par l'équipe NanoArchi de l'IEF (Univ. Paris-Sud, Orsay). Les memristors étudiés sont basés sur l'electro-greffage en films minces de complexes organiques redox pour la formation de jonctions métal/molécules/métal robustes et scalables. Outre la fabrication de memristors, le travail inclut d'importants efforts de caractérisation électrique (vitesse, non-volatilité, scalabilité, robustesse, etc.) visant d'une part à étudier les mécanismes de commutation dans ces nouveaux matériaux memristifs organiques, et d'autres part, à évaluer leur potentiel en tant que synapses. Cette thèse présente également une étude préparatoire à la réalisation d'un démonstrateur de circuit mixte de type réseaux de neurones combinant nano-memristors et électronique conventionnelle (programmabilité des dispositifs en mode impulsionnel, réalisation d'assemblées de dispositifs, variabilité). De plus, la démonstration de la compatibilité de ces memristors avec la propriété STDP (Spike Timing Dependent Plasticity) ainsi que de l’apprentissage d’un « réflexe conditionné » ouvrent la voie aux apprentissages non-supervisés

Méthode de calcul et implémentation d’un processeur neuromorphique appliqué à des capteurs évènementiels

Studying how our nervous system and sensory mechanisms work lead to the creation of event-driven sensors. These sensors follow the same principles as our eyes or ears for example. This Ph.D. focuses on the search for bio-inspired low power methods enabling processing data from this new kind of sensor. Contrary to legacy sensors, our retina and cochlea only react to the perceived activity in the sensory environment. The artificial “retina” and “cochlea” implementations we call dynamic sensors provide streams of events comparable to neural spikes. The quantity of data transmitted is closely linked to the presented activity, which decreases the redundancy in the output data. Moreover, not being forced to follow a frame-rate, the created events provide increased timing resolution. This bio-inspired support to convey data lead to the development of algorithms enabling visual tracking or speaker recognition or localization at the auditory level, and neuromorphic computing environment implementation. The work we present rely on these new ideas to create new processing solutions. More precisely, the applications and hardware developed rely on temporal coding of the data in the spike stream provided by the sensors.L’étude du fonctionnement de notre système nerveux et des mécanismes sensoriels a mené à la création de capteurs événementiels. Ces capteurs ont un fonctionnement qui retranscrit les atouts de nos yeux et oreilles par exemple. Cette thèse se base sur la recherche de méthodes bio-inspirés et peu coûteuses en énergie permettant de traiter les données envoyées par ces nouveaux types de capteurs. Contrairement aux capteurs conventionnels, nos rétines et cochlées ne réagissent qu’à l’activité perçue dans l’environnement sensoriel. Les implémentations de type « rétine » ou « cochlée » artificielle, que nous appellerons capteurs dynamiques, fournissent des trains d’évènements comparables à des impulsions neuronales. La quantité d’information transmise est alors étroitement liée à l’activité présentée, ce qui a aussi pour effet de diminuer la redondance des informations de sortie. De plus, n’étant plus contraint à suivre une cadence d’échantillonnage, les événements créés fournissent une résolution temporelle supérieure. Ce mode bio-inspiré de retrait d’information de l’environnement a entraîné la création d’algorithmes permettant de suivre le déplacement d’entité au niveau visuel ou encore reconnaître la personne parlant ou sa localisation au niveau sonore, ainsi que des implémentations d’environnements de calcul neuromorphiques. Les travaux que nous présentons s’appuient sur ces nouvelles idées pour créer de nouvelles solutions de traitement. Plus précisément, les applications et le matériel développés s’appuient sur un codage temporel de l’information dans la suite d'événements fournis par le capteur

Complex signal embedding and photonic reservoir Computing in time series prediction

Les réseaux de neurones artificiels constituent des systèmes alternatifs pour effectuer des calculs complexes, ainsi que pour contribuer à l'étude des systèmes neuronaux biologiques. Ils sont capables de résoudre des problèmes complexes, tel que la prédiction de signaux chaotiques, avec des performances à l'état de l'art. Cependant, la compréhension du fonctionnement des réseaux de neurones dans la résolution de problèmes comme la prédiction reste vague ; l'analogie avec une boîte-noire est souvent employée. En combinant la théorie des systèmes dynamiques non linéaires avec celle de l'apprentissage automatique (Machine Learning), nous avons développé un nouveau concept décrivant à la fois le fonctionnement des réseaux neuronaux ainsi que les mécanismes à l'œuvre dans leurs capacités de prédiction. Grâce à ce concept, nous avons pu imaginer un processeur neuronal hybride composé d'un réseaux de neurones et d'une mémoire externe. Nous avons également identifié les mécanismes basés sur la synchronisation spatio-temporelle avec lesquels des réseaux neuronaux aléatoires récurrents peuvent effectivement fonctionner, au-delà de leurs états de point fixe habituellement utilisés. Cette synchronisation a entre autre pour effet de réduire l'impact de la dynamique régulière spontanée sur la performance du système. Enfin, nous avons construit physiquement un réseau récurrent à retard dans un montage électro-optique basé sur le système dynamique d'Ikeda. Celui-ci a dans un premier temps été étudié dans le contexte de la dynamique non-linéaire afin d'en explorer certaines propriétés, puis nous l'avons utilisé pour implémenter un processeur neuromorphique dédié à la prédiction de signaux chaotiques.Artificial neural networks are systems prominently used in computation and investigations of biological neural systems. They provide state-of-the-art performance in challenging problems like the prediction of chaotic signals. Yet, the understanding of how neural networks actually solve problems like prediction remains vague; the black-box analogy is often employed. Merging nonlinear dynamical systems theory with machine learning, we develop a new concept which describes neural networks and prediction within the same framework. Taking profit of the obtained insight, we a-priori design a hybrid computer, which extends a neural network by an external memory. Furthermore, we identify mechanisms based on spatio-temporal synchronization with which random recurrent neural networks operated beyond their fixed point could reduce the negative impact of regular spontaneous dynamics on their computational performance. Finally, we build a recurrent delay network in an electro-optical setup inspired by the Ikeda system, which at first is investigated in a nonlinear dynamics framework. We then implement a neuromorphic processor dedicated to a prediction task

Reservoir computing photonique et méthodes non-linéaires de représentation de signaux complexes : Application à la prédiction de séries temporelles

Artificial neural networks are systems prominently used in computation and investigations of biological neural systems. They provide state-of-the-art performance in challenging problems like the prediction of chaotic signals. Yet, the understanding of how neural networks actually solve problems like prediction remains vague; the black-box analogy is often employed. Merging nonlinear dynamical systems theory with machine learning, we develop a new concept which describes neural networks and prediction within the same framework. Taking profit of the obtained insight, we a-priori design a hybrid computer, which extends a neural network by an external memory. Furthermore, we identify mechanisms based on spatio-temporal synchronization with which random recurrent neural networks operated beyond their fixed point could reduce the negative impact of regular spontaneous dynamics on their computational performance. Finally, we build a recurrent delay network in an electro-optical setup inspired by the Ikeda system, which at first is investigated in a nonlinear dynamics framework. We then implement a neuromorphic processor dedicated to a prediction task.Les réseaux de neurones artificiels constituent des systèmes alternatifs pour effectuer des calculs complexes, ainsi que pour contribuer à l'étude des systèmes neuronaux biologiques. Ils sont capables de résoudre des problèmes complexes, tel que la prédiction de signaux chaotiques, avec des performances à l'état de l'art. Cependant, la compréhension du fonctionnement des réseaux de neurones dans la résolution de problèmes comme la prédiction reste vague ; l'analogie avec une boîte-noire est souvent employée. En combinant la théorie des systèmes dynamiques non linéaires avec celle de l'apprentissage automatique (Machine Learning), nous avons développé un nouveau concept décrivant à la fois le fonctionnement des réseaux neuronaux ainsi que les mécanismes à l'œuvre dans leurs capacités de prédiction. Grâce à ce concept, nous avons pu imaginer un processeur neuronal hybride composé d'un réseaux de neurones et d'une mémoire externe. Nous avons également identifié les mécanismes basés sur la synchronisation spatio-temporelle avec lesquels des réseaux neuronaux aléatoires récurrents peuvent effectivement fonctionner, au-delà de leurs états de point fixe habituellement utilisés. Cette synchronisation a entre autre pour effet de réduire l'impact de la dynamique régulière spontanée sur la performance du système. Enfin, nous avons construit physiquement un réseau récurrent à retard dans un montage électro-optique basé sur le système dynamique d'Ikeda. Celui-ci a dans un premier temps été étudié dans le contexte de la dynamique non-linéaire afin d'en explorer certaines propriétés, puis nous l'avons utilisé pour implémenter un processeur neuromorphique dédié à la prédiction de signaux chaotiques