Apprentissage dans des systèmes neuromorphiques : précision temporelle et efficacité calculatoire

De la reconnaissance d’image à la conduite autonome, l’apprentissage machine est omniprésent dans notre vie quotidienne. Cette technologie de rupture évolue rapidement mais consomme énormément d’énergie. Les modèles d’apprentissage actuels utilisent généralement des GPU puissants qui ne permettent pas de traiter des données localement, alors que ceci améliore la vitesse et la latence indispensables aux applications en temps réel. De ce fait, le domaine de l’ingénierie neuromorphique tente de résoudre ce problème et de baisser le budget énergétique grâce à l’introduction des systèmes et des techniques d’apprentissage bio-inspirés comme notamment les capteurs de vision événementiels. Ces derniers comportent des pixels indépendants qui génèrent de manière asynchrone des millions d’événements par seconde avec une grande précision temporelle, en fonction de la dynamique d’une scène visuelle. Le but de cette thèse est de tirer profit de la précision temporelle des architectures neuromorphiques afin de développer des algorithmes d’apprentissage efficaces. Nous abordons la problématique selon deux approches différentes : celle des réseaux de neurones impulsionnels et celle des modèles probabilistes. D’abord, nous présentons un système d’apprentissage à délai pour les réseaux de neurones impulsionnels qui repose sur une connectivité éparse et hautement redondante. Ensuite, nous proposons des techniques d’apprentissage bio-inspirées sur du matériel dédié à basse latence et consommation énergétique. Le système implémente la plasticité synaptique à l’aide d’un réseau de memristors, pour l’apprentissage à partir de capteurs de vision événementiels dans le contexte de la conduite autonome. Enfin, nous introduisons deux techniques de partitionnement basées sur des modèles de mélange de gaussiennes qui établissent un nouvel état de l’art en termes d’efficacité de calcul.From image recognition to automated driving, machine learning nowadays is all around us and impacts various aspects of our daily lives. This disruptive technology is rapidly evolving at a huge cost in terms of energy consumption. Machine learning models are usually trained on powerful GPUs, limiting the potential for edge computing. Processing data locally instead of relying on cloud computing brings about improvements in speed and latency, which are essential for real-time applications. The field of neuromorphic engineering tries to solve the energy bottleneck problem through bio-inspired hardware and computation techniques. In particular, neuromorphic vision sensors feature independent pixels that asynchronously generate millions of events per second with high temporal precision, depending on the dynamics of a visual scene. The goal of this thesis is to take advantage of precise timing on neuromorphic architectures in order to develop computationally-efficient learning algorithms. We approach the issue through two different perspectives: spiking neural networks and probabilistic models. We introduce a delay-learning rule for spiking neural networks that relies on highly redundant sparse connectivity. We also develop bio-inspired learning techniques on a dedicated hardware with ultra-low power requirements and latency. The system implements synaptic plasticity using a memristive crossbar array to learn from the output of event-based vision sensors in the context of autonomous driving. When working with very large streams of events, we introduce two clustering techniques based on Gaussian mixture models that set a new state of the art in terms of computational efficiency

Apprentissage dans des systèmes neuromorphiques : précision temporelle et efficacité calculatoire

From image recognition to automated driving, machine learning nowadays is all around us and impacts various aspects of our daily lives. This disruptive technology is rapidly evolving at a huge cost in terms of energy consumption. Machine learning models are usually trained on powerful GPUs, limiting the potential for edge computing. Processing data locally instead of relying on cloud computing brings about improvements in speed and latency, which are essential for real-time applications. The field of neuromorphic engineering tries to solve the energy bottleneck problem through bio-inspired hardware and computation techniques. In particular, neuromorphic vision sensors feature independent pixels that asynchronously generate millions of events per second with high temporal precision, depending on the dynamics of a visual scene. The goal of this thesis is to take advantage of precise timing on neuromorphic architectures in order to develop computationally-efficient learning algorithms. We approach the issue through two different perspectives: spiking neural networks and probabilistic models. We introduce a delay-learning rule for spiking neural networks that relies on highly redundant sparse connectivity. We also develop bio-inspired learning techniques on a dedicated hardware with ultra-low power requirements and latency. The system implements synaptic plasticity using a memristive crossbar array to learn from the output of event-based vision sensors in the context of autonomous driving. When working with very large streams of events, we introduce two clustering techniques based on Gaussian mixture models that set a new state of the art in terms of computational efficiency.De la reconnaissance d’image à la conduite autonome, l’apprentissage machine est omniprésent dans notre vie quotidienne. Cette technologie de rupture évolue rapidement mais consomme énormément d’énergie. Les modèles d’apprentissage actuels utilisent généralement des GPU puissants qui ne permettent pas de traiter des données localement, alors que ceci améliore la vitesse et la latence indispensables aux applications en temps réel. De ce fait, le domaine de l’ingénierie neuromorphique tente de résoudre ce problème et de baisser le budget énergétique grâce à l’introduction des systèmes et des techniques d’apprentissage bio-inspirés comme notamment les capteurs de vision événementiels. Ces derniers comportent des pixels indépendants qui génèrent de manière asynchrone des millions d’événements par seconde avec une grande précision temporelle, en fonction de la dynamique d’une scène visuelle. Le but de cette thèse est de tirer profit de la précision temporelle des architectures neuromorphiques afin de développer des algorithmes d’apprentissage efficaces. Nous abordons la problématique selon deux approches différentes : celle des réseaux de neurones impulsionnels et celle des modèles probabilistes. D’abord, nous présentons un système d’apprentissage à délai pour les réseaux de neurones impulsionnels qui repose sur une connectivité éparse et hautement redondante. Ensuite, nous proposons des techniques d’apprentissage bio-inspirées sur du matériel dédié à basse latence et consommation énergétique. Le système implémente la plasticité synaptique à l’aide d’un réseau de memristors, pour l’apprentissage à partir de capteurs de vision événementiels dans le contexte de la conduite autonome. Enfin, nous introduisons deux techniques de partitionnement basées sur des modèles de mélange de gaussiennes qui établissent un nouvel état de l’art en termes d’efficacité de calcul

Apprentissage dans des systèmes neuromorphiques : précision temporelle et efficacité calculatoire

From image recognition to automated driving, machine learning nowadays is all around us and impacts various aspects of our daily lives. This disruptive technology is rapidly evolving at a huge cost in terms of energy consumption. Machine learning models are usually trained on powerful GPUs, limiting the potential for edge computing. Processing data locally instead of relying on cloud computing brings about improvements in speed and latency, which are essential for real-time applications. The field of neuromorphic engineering tries to solve the energy bottleneck problem through bio-inspired hardware and computation techniques. In particular, neuromorphic vision sensors feature independent pixels that asynchronously generate millions of events per second with high temporal precision, depending on the dynamics of a visual scene. The goal of this thesis is to take advantage of precise timing on neuromorphic architectures in order to develop computationally-efficient learning algorithms. We approach the issue through two different perspectives: spiking neural networks and probabilistic models. We introduce a delay-learning rule for spiking neural networks that relies on highly redundant sparse connectivity. We also develop bio-inspired learning techniques on a dedicated hardware with ultra-low power requirements and latency. The system implements synaptic plasticity using a memristive crossbar array to learn from the output of event-based vision sensors in the context of autonomous driving. When working with very large streams of events, we introduce two clustering techniques based on Gaussian mixture models that set a new state of the art in terms of computational efficiency.De la reconnaissance d’image à la conduite autonome, l’apprentissage machine est omniprésent dans notre vie quotidienne. Cette technologie de rupture évolue rapidement mais consomme énormément d’énergie. Les modèles d’apprentissage actuels utilisent généralement des GPU puissants qui ne permettent pas de traiter des données localement, alors que ceci améliore la vitesse et la latence indispensables aux applications en temps réel. De ce fait, le domaine de l’ingénierie neuromorphique tente de résoudre ce problème et de baisser le budget énergétique grâce à l’introduction des systèmes et des techniques d’apprentissage bio-inspirés comme notamment les capteurs de vision événementiels. Ces derniers comportent des pixels indépendants qui génèrent de manière asynchrone des millions d’événements par seconde avec une grande précision temporelle, en fonction de la dynamique d’une scène visuelle. Le but de cette thèse est de tirer profit de la précision temporelle des architectures neuromorphiques afin de développer des algorithmes d’apprentissage efficaces. Nous abordons la problématique selon deux approches différentes : celle des réseaux de neurones impulsionnels et celle des modèles probabilistes. D’abord, nous présentons un système d’apprentissage à délai pour les réseaux de neurones impulsionnels qui repose sur une connectivité éparse et hautement redondante. Ensuite, nous proposons des techniques d’apprentissage bio-inspirées sur du matériel dédié à basse latence et consommation énergétique. Le système implémente la plasticité synaptique à l’aide d’un réseau de memristors, pour l’apprentissage à partir de capteurs de vision événementiels dans le contexte de la conduite autonome. Enfin, nous introduisons deux techniques de partitionnement basées sur des modèles de mélange de gaussiennes qui établissent un nouvel état de l’art en termes d’efficacité de calcul

Efficient spatio-temporal feature clustering for large event-based datasets

International audienceEvent-based cameras encode changes in a visual scene with high temporal precision and low power consumption, generating millions of events per second in the process. Current event-based processing algorithms do not scale well in terms of runtime and computational resources when applied to a large amount of data. This problem is further exacerbated by the development of high spatial resolution vision sensors. We introduce a fast and computationally efficient clustering algorithm that is particularly designed for dealing with large event-based datasets. The approach is based on the expectation-maximization (EM) algorithm and relies on a stochastic approximation of the E-step over a truncated space to reduce the computational burden and speed up the learning process.We evaluate the quality, complexity, and stability of the clustering algorithmon a variety of large event-based datasets, and then validate our approach with a classification task. The proposed algorithm is significantly faster than standard k-means and reduces computational demands by two to three orders of magnitude while being more stable, interpretable, and close to the state of the art in terms of classification accuracy

Event-Based Computation for Touch Localization Based on Precise Spike Timing

Precise spike timing and temporal coding are used extensively within the nervous system of insects and in the sensory periphery of higher order animals. However, conventional Artificial Neural Networks (ANNs) and machine learning algorithms cannot take advantage of this coding strategy, due to their rate-based representation of signals. Even in the case of artificial Spiking Neural Networks (SNNs), identifying applications where temporal coding outperforms the rate coding strategies of ANNs is still an open challenge. Neuromorphic sensory-processing systems provide an ideal context for exploring the potential advantages of temporal coding, as they are able to efficiently extract the information required to cluster or classify spatio-temporal activity patterns from relative spike timing. Here we propose a neuromorphic model inspired by the sand scorpion to explore the benefits of temporal coding, and validate it in an event-based sensory-processing task. The task consists in localizing a target using only the relative spike timing of eight spatially-separated vibration sensors. We propose two different approaches in which the SNNs learns to cluster spatio-temporal patterns in an unsupervised manner and we demonstrate how the task can be solved both analytically and through numerical simulation of multiple SNN models. We argue that the models presented are optimal for spatio-temporal pattern classification using precise spike timing in a task that could be used as a standard benchmark for evaluating event-based sensory processing models based on temporal coding.ISSN:1662-453XISSN:1662-454

Behavioural responses to a photovoltaic subretinal prosthesis implanted in non-human primates

International audienceRetinal dystrophies and age-related macular degeneration related to photoreceptor degeneration can cause blindness. In blind patients, although the electrical activation of the residual retinal circuit can provide useful artificial visual perception, the resolutions of current retinal prostheses have been limited either by large electrodes or small numbers of pixels. Here we report the evaluation, in three awake non-human primates, of a previously reported near-infrared-light-sensitive photovoltaic subretinal prosthesis. We show that multipixel stimulation of the prosthesis within radiation safety limits enabled eye tracking in the animals, that they responded to stimulations directed at the implant with repeated saccades and that the implant-induced responses were present two years after device implantation. Our findings pave the way for the clinical evaluation of the prosthesis in patients affected by dry atrophic age-related macular degeneration