Enhanced representation learning with temporal coding in sparsely spiking neural networks

Current representation learning methods in Spiking Neural Networks (SNNs) rely on rate-based encoding, resulting in high spike counts, increased energy consumption, and slower information transmission. In contrast, our proposed method, Weight-Temporally Coded Representation Learning (W-TCRL), utilizes temporally coded inputs, leading to lower spike counts and improved efficiency. To address the challenge of extracting representations from a temporal code with low reconstruction error, we introduce a novel Spike-Timing-Dependent Plasticity (STDP) rule. This rule enables stable learning of relative latencies within the synaptic weight distribution and is locally implemented in space and time, making it compatible with neuromorphic processors. We evaluate the performance of W-TCRL on the MNIST and natural image datasets for image reconstruction tasks. Our results demonstrate relative improvements of 53% for MNIST and 75% for natural images in terms of reconstruction error compared to the SNN state of the art. Additionally, our method achieves significantly higher sparsity, up to 900 times greater, when compared to related work. These findings emphasize the efficacy of W-TCRL in leveraging temporal coding for enhanced representation learning in Spiking Neural Networks

NP-SOM: network programmable self-organizing maps

International audienceSelf-organizing maps (SOM) are a well-known and biologically plausible model of input-driven self-organization that has shown to be effective in a wide range of applications. We want to use SOMs to control the processing cores of a massively parallel digital reconfigurable hardware, taking into account the communication constraints of its underlying network-on-chip (NoC) thanks to bio-inspired principles of structural plasticity. Although the SOM accounts for synaptic plasticity, it doesn't address structural plasticity. Therefore we have developed a model, namely the NP-SOM (network programmable self-organizing map), able to define SOMs with different underlying topologies as the result of a specific configuration of the associated NoC. To gain insights on a future introduction of advanced structural plasticity rules that will induce dynamic topological modifications, we investigate and quantify the effects of different hardware-compatible topologies on the SOM performance. To perform our tests we consider a lossy image compression as an illustrative application

A proteomic analysis unravels novel CORVET and HOPS proteins involved in Toxoplasma gondii secretory organelles biogenesis

Apicomplexans use the endolysosomal system for the biogenesis of their secretory organelles, namely, micronemes, rhoptries, and dense granules. In Toxoplasma gondii, our previous in silico search identified the HOPS tethering but not the CORVET complex and demonstrated a role of Vps11 (a common component for both complexes) in its secretory organelle biogenesis. Herein, we performed Vps11‐GFP‐Trap pull‐down assays and identified by proteomic analysis, not only the CORVET‐specific subunit Vps8 but also a BEACH domain‐containing protein (BDCP) conserved in eukaryotes. We show that knocking‐down Vps8 affects targeting of dense granule proteins, transport of rhoptry proteins, and the localization of the cathepsin L protease vacuolar compartment marker. Only a subset of micronemal proteins are affected by the absence of Vps8, shedding light on at least two trafficking pathways involved in microneme maturation. Knocking‐down BDCP revealed a restricted and particular role of this protein in rhoptry and vacuolar compartment biogenesis. Moreover, depletion of BDCP or Vps8 abolishes parasite virulence in vivo. This study identified BDCP as a novel CORVET/HOPS‐associated protein, playing specific roles and acting in concert during secretory organelle biogenesis, an essential process for host cell infection. Our results open the hypothesis for a role of BDCP in the vesicular trafficking towards lysosome‐related organelles in mammals and yeast

Humoral responses to the measles, mumps and rubella vaccine are impaired in Leigh Syndrome French Canadian patients

Leigh Syndrome French Canadian (LSFC) is a rare autosomal recessive metabolic disorder characterized by severe lactic acidosis crises and early mortality. LSFC patients carry mutations in the Leucine Rich Pentatricopeptide Repeat Containing (LRPPRC) gene, which lead to defects in the respiratory chain complexes and mitochondrial dysfunction. Mitochondrial respiration modulates cellular metabolic activity, which impacts many cell types including the differentiation and function of immune cells. Hence, we postulated that, in addition to neurological and metabolic disorders, LSFC patients may show impaired immune activity. To gain insight into the quality of the immune response in LSFC patients, we examined the response to the measles, mumps and rubella (MMR) vaccine by measuring antibody titers to MMR in the plasma. In a cohort of eight LSFC patients, the response to the MMR vaccine was variable, with some individuals showing antibodies to all three viruses, while others had antibodies to two or fewer viruses. These results suggest that the mutations in the LRPPRC gene present in LSFC patients may affect the immune response to vaccines. Monitoring vaccine response in this fragile population should be considered to ensure full protection against pathogens

Phosphorylcholine and KR12-Containing Corneal Implants in HSV-1-Infected Rabbit Corneas

Severe HSV-1 infection can cause blindness due to tissue damage from severe inflammation. Due to the high risk of graft failure in HSV-1-infected individuals, cornea transplantation to restore vision is often contraindicated. We tested the capacity for cell-free biosynthetic implants made from recombinant human collagen type III and 2-methacryloyloxyethyl phosphorylcholine (RHCIII-MPC) to suppress inflammation and promote tissue regeneration in the damaged corneas. To block viral reactivation, we incorporated silica dioxide nanoparticles releasing KR12, the small bioactive core fragment of LL37, an innate cationic host defense peptide produced by corneal cells. KR12 is more reactive and smaller than LL37, so more KR12 molecules can be incorporated into nanoparticles for delivery. Unlike LL37, which was cytotoxic, KR12 was cell-friendly and showed little cytotoxicity at doses that blocked HSV-1 activity in vitro, instead enabling rapid wound closure in cultures of human epithelial cells. Composite implants released KR12 for up to 3 weeks in vitro. The implant was also tested in vivo on HSV-1-infected rabbit corneas where it was grafted by anterior lamellar keratoplasty. Adding KR12 to RHCIII-MPC did not reduce HSV-1 viral loads or the inflammation resulting in neovascularization. Nevertheless, the composite implants reduced viral spread sufficiently to allow stable corneal epithelium, stroma, and nerve regeneration over a 6-month observation period

Bisphosphoglycerate mutase deficiency protects against cerebral malaria and severe malaria-induced anemia

The replication cycle and pathogenesis of the Plasmodium malarial parasite involves rapid expansion in red blood cells (RBCs), and variants of certain RBC-specific proteins protect against malaria in humans. In RBCs, bisphosphoglycerate mutase (BPGM) acts as a key allosteric regulator of hemoglobin/oxyhemoglobin. We demonstrate here that a loss-of-function mutation in the murine Bpgm (BpgmL166P) gene confers protection against both Plasmodium-induced cerebral malaria and blood-stage malaria. The malaria protection seen in BpgmL166P mutant mice is associated with reduced blood parasitemia levels, milder clinical symptoms, and increased survival. The protective effect of BpgmL166P involves a dual mechanism that enhances the host’s stress erythroid response to Plasmodium-driven RBC loss and simultaneously alters the intracellular milieu of the RBCs, including increased oxyhemoglobin and reduced energy metabolism, reducing Plasmodium maturation, and replication. Overall, our study highlights the importance of BPGM as a regulator of hemoglobin/oxyhemoglobin in malaria pathogenesis and suggests a new potential malaria therapeutic target

Plasticity and temporal coding in spiking neural networks applied to representation learning

Le calcul neuromorphique est un domaine de l'informatique en plein essor. Il cherche à définir des modèles de calculs s'inspirant des propriétés du cerveau. Le calcul neuromorphique redéfinit la nature des trois composants clés de l'apprentissage : 1) données, 2) substrat de calcul et 3) algorithmes, en se fondant sur le fonctionnement du cerveau. Premièrement, les données sont représentées avec des événements tout ou rien distribués dans l'espace et le temps : les impulsions neuronales. Deuxièmement, le substrat de calcul efface la séparation entre calcul et mémoire introduite par les architectures de Von Neumann en les co-localisant, comme dans le cerveau. En outre, le calcul est massivement parallèle et asynchrone permettant aux unités computationnelles d'être activées à la volée, de façon indépendante. Troisièmement, les algorithmes d'apprentissage sont adaptés au substrat en exploitant les informations disponibles localement, au niveau du neurone. Ce vaste remaniement dans la manière d'appréhender la représentation et le transfert de l'information, le calcul et l'apprentissage, permettent aux processeurs neuromorphiques de promettre notamment un gain d'énergie d'un facteur considérable de 100 à 1000 par rapport aux CPU. Dans cette thèse, nous explorons le versant algorithmique du calcul neuromorphique en proposant des règles d'apprentissage événementielles répondant aux contraintes de localité et capables d'extraire des représentations de flux de données impulsionnels, épars et asynchrones. En outre, alors que la plupart des travaux connexes se basent sur des codes par taux de décharge où l'information est exclusivement représentée dans le nombre d'impulsions, nos règles d'apprentissage exploitent des codes temporels beaucoup plus efficients, où l'information est contenue dans les temps d'impulsions. Nous proposons d'abord une analyse approfondie d'une méthode de codage temporel par population de neurones, en proposant une méthode de décodage, et en analysant l'information délivrée et la structure du code. Puis nous introduisons une nouvelle règle événementielle et locale capable d'extraire des représentations de codes temporels en stockant des centroïdes de manière distribuée dans les poids synaptiques d'une population de neurones. Nous accentuons ensuite la nature temporelle de l'apprentissage en proposant d'apprendre des représentations non pas dans les poids synaptiques, mais dans les délais de transmission opérant intrinsèquement dans la dimension temporelle. Cela a engendré deux nouvelles règles événementielles et locales. Une règle adapte les délais de sorte à stocker des représentations, l'autre règle adapte les poids de sorte à filtrer les caractéristiques en fonction de leurs variabilité temporelle. Ces deux règles opèrent de manière complémentaire. Dans un dernier modèle, ces règles adaptant poids et délais sont augmentées par un nouveau neuromodulateur spatio-temporel. Ce neuromodulateur permet au modèle de reproduire le comportement des cartes auto-organisatrices dans un substrat impulsionnel, aboutissant ainsi à la génération de cartes ordonnées lors de l'apprentissage de représentations. Enfin nous proposons une nouvelle méthode générique d'étiquetage et de vote conçue pour des réseaux de neurones impulsionnels traitant des codes temporels. Cette méthode nous permet d'évaluer notre dernier modèle sur des tâches de catégorisation.Neuromorphic computing is a rapidly growing field of computer science. It seeks to define models of computation inspired by the properties of the brain. Neuromorphic computing redefines the nature of the three key components of learning: 1) data, 2) computing substrate, and 3) algorithms, based on how the brain works. First, the data are represented with all-or-nothing events distributed in space and time: spikes. Second, the computational substrate erases the separation between computation and memory introduced by Von Neumann architectures by co-locating them, as in the brain. Furthermore, the computation is massively parallel and asynchronous allowing the computational units to be activated on the fly, independently. Third, the learning algorithms are adapted to the computing substrate by exploiting the information available locally, at the neuron level. This vast overhaul in the way information transfer, information representation, computation and learning are approached, allows neuromorphic processors to promise in particular an energy saving of a considerable factor of 100 to 1000 compared to CPUs. In this thesis, we explore the algorithmic side of neuromorphic computing by proposing event-driven learning rules that satisfy locality constraints and are capable of extracting representations of event-based, sparse and asynchronous data streams. Moreover, while most related studies are based on rate codes where information is exclusively represented in the number of spikes, our learning rules exploit much more efficient temporal codes, where information is contained in the spike times. We first propose an in-depth analysis of a temporal coding method using a population of neurons. We propose a decoding method and we analyze the delivered information and the code structure. Then we introduce a new event-driven and local rule capable of extracting representations from temporal codes by storing centroids in a distributed way within the synaptic weights of a neural population. We then propose to learn representations not in synaptic weights, but rather in transmission delays operating intrinsically in the temporal dimension. This led to two new event-driven and local rules. One rule adapts delays so as to store representations, the other rule adapts weights so as to filter features according to their temporal variability. The two rules operate complementarily. In a last model, these rules adapting weights and delays are augmented by a new spatio-temporal neuromodulator. This neuromodulator makes it possible for the model to reproduce the behavior of self-organizing maps with spiking neurons, thus leading to the generation of ordered maps during the learning of representations. Finally, we propose a new generic labeling and voting method designed for spiking neural networks dealing with temporal codes. This method is used so as to evaluate our last model in the context of categorization tasks

Plasticité et codage temporel dans les réseaux impulsionnels appliqués à l'apprentissage de représentations

Neuromorphic computing is a rapidly growing field of computer science. It seeks to define models of computation inspired by the properties of the brain. Neuromorphic computing redefines the nature of the three key components of learning: 1) data, 2) computing substrate, and 3) algorithms, based on how the brain works. First, the data are represented with all-or-nothing events distributed in space and time: spikes. Second, the computational substrate erases the separation between computation and memory introduced by Von Neumann architectures by co-locating them, as in the brain. Furthermore, the computation is massively parallel and asynchronous allowing the computational units to be activated on the fly, independently. Third, the learning algorithms are adapted to the computing substrate by exploiting the information available locally, at the neuron level. This vast overhaul in the way information transfer, information representation, computation and learning are approached, allows neuromorphic processors to promise in particular an energy saving of a considerable factor of 100 to 1000 compared to CPUs. In this thesis, we explore the algorithmic side of neuromorphic computing by proposing event-driven learning rules that satisfy locality constraints and are capable of extracting representations of event-based, sparse and asynchronous data streams. Moreover, while most related studies are based on rate codes where information is exclusively represented in the number of spikes, our learning rules exploit much more efficient temporal codes, where information is contained in the spike times. We first propose an in-depth analysis of a temporal coding method using a population of neurons. We propose a decoding method and we analyze the delivered information and the code structure. Then we introduce a new event-driven and local rule capable of extracting representations from temporal codes by storing centroids in a distributed way within the synaptic weights of a neural population. We then propose to learn representations not in synaptic weights, but rather in transmission delays operating intrinsically in the temporal dimension. This led to two new event-driven and local rules. One rule adapts delays so as to store representations, the other rule adapts weights so as to filter features according to their temporal variability. The two rules operate complementarily. In a last model, these rules adapting weights and delays are augmented by a new spatio-temporal neuromodulator. This neuromodulator makes it possible for the model to reproduce the behavior of self-organizing maps with spiking neurons, thus leading to the generation of ordered maps during the learning of representations. Finally, we propose a new generic labeling and voting method designed for spiking neural networks dealing with temporal codes. This method is used so as to evaluate our last model in the context of categorization tasks.Le calcul neuromorphique est un domaine de l'informatique en plein essor. Il cherche à définir des modèles de calculs s'inspirant des propriétés du cerveau. Le calcul neuromorphique redéfinit la nature des trois composants clés de l'apprentissage : 1) données, 2) substrat de calcul et 3) algorithmes, en se fondant sur le fonctionnement du cerveau. Premièrement, les données sont représentées avec des événements tout ou rien distribués dans l'espace et le temps : les impulsions neuronales. Deuxièmement, le substrat de calcul efface la séparation entre calcul et mémoire introduite par les architectures de Von Neumann en les co-localisant, comme dans le cerveau. En outre, le calcul est massivement parallèle et asynchrone permettant aux unités computationnelles d'être activées à la volée, de façon indépendante. Troisièmement, les algorithmes d'apprentissage sont adaptés au substrat en exploitant les informations disponibles localement, au niveau du neurone. Ce vaste remaniement dans la manière d'appréhender la représentation et le transfert de l'information, le calcul et l'apprentissage, permettent aux processeurs neuromorphiques de promettre notamment un gain d'énergie d'un facteur considérable de 100 à 1000 par rapport aux CPU. Dans cette thèse, nous explorons le versant algorithmique du calcul neuromorphique en proposant des règles d'apprentissage événementielles répondant aux contraintes de localité et capables d'extraire des représentations de flux de données impulsionnels, épars et asynchrones. En outre, alors que la plupart des travaux connexes se basent sur des codes par taux de décharge où l'information est exclusivement représentée dans le nombre d'impulsions, nos règles d'apprentissage exploitent des codes temporels beaucoup plus efficients, où l'information est contenue dans les temps d'impulsions. Nous proposons d'abord une analyse approfondie d'une méthode de codage temporel par population de neurones, en proposant une méthode de décodage, et en analysant l'information délivrée et la structure du code. Puis nous introduisons une nouvelle règle événementielle et locale capable d'extraire des représentations de codes temporels en stockant des centroïdes de manière distribuée dans les poids synaptiques d'une population de neurones. Nous accentuons ensuite la nature temporelle de l'apprentissage en proposant d'apprendre des représentations non pas dans les poids synaptiques, mais dans les délais de transmission opérant intrinsèquement dans la dimension temporelle. Cela a engendré deux nouvelles règles événementielles et locales. Une règle adapte les délais de sorte à stocker des représentations, l'autre règle adapte les poids de sorte à filtrer les caractéristiques en fonction de leurs variabilité temporelle. Ces deux règles opèrent de manière complémentaire. Dans un dernier modèle, ces règles adaptant poids et délais sont augmentées par un nouveau neuromodulateur spatio-temporel. Ce neuromodulateur permet au modèle de reproduire le comportement des cartes auto-organisatrices dans un substrat impulsionnel, aboutissant ainsi à la génération de cartes ordonnées lors de l'apprentissage de représentations. Enfin nous proposons une nouvelle méthode générique d'étiquetage et de vote conçue pour des réseaux de neurones impulsionnels traitant des codes temporels. Cette méthode nous permet d'évaluer notre dernier modèle sur des tâches de catégorisation

Plasticité et codage temporel dans les réseaux impulsionnels appliqués à l'apprentissage de représentations

Neuromorphic computing is a rapidly growing field of computer science. It seeks to define models of computation inspired by the properties of the brain. Neuromorphic computing redefines the nature of the three key components of learning: 1) data, 2) computing substrate, and 3) algorithms, based on how the brain works. First, the data are represented with all-or-nothing events distributed in space and time: spikes. Second, the computational substrate erases the separation between computation and memory introduced by Von Neumann architectures by co-locating them, as in the brain. Furthermore, the computation is massively parallel and asynchronous allowing the computational units to be activated on the fly, independently. Third, the learning algorithms are adapted to the computing substrate by exploiting the information available locally, at the neuron level. This vast overhaul in the way information transfer, information representation, computation and learning are approached, allows neuromorphic processors to promise in particular an energy saving of a considerable factor of 100 to 1000 compared to CPUs. In this thesis, we explore the algorithmic side of neuromorphic computing by proposing event-driven learning rules that satisfy locality constraints and are capable of extracting representations of event-based, sparse and asynchronous data streams. Moreover, while most related studies are based on rate codes where information is exclusively represented in the number of spikes, our learning rules exploit much more efficient temporal codes, where information is contained in the spike times. We first propose an in-depth analysis of a temporal coding method using a population of neurons. We propose a decoding method and we analyze the delivered information and the code structure. Then we introduce a new event-driven and local rule capable of extracting representations from temporal codes by storing centroids in a distributed way within the synaptic weights of a neural population. We then propose to learn representations not in synaptic weights, but rather in transmission delays operating intrinsically in the temporal dimension. This led to two new event-driven and local rules. One rule adapts delays so as to store representations, the other rule adapts weights so as to filter features according to their temporal variability. The two rules operate complementarily. In a last model, these rules adapting weights and delays are augmented by a new spatio-temporal neuromodulator. This neuromodulator makes it possible for the model to reproduce the behavior of self-organizing maps with spiking neurons, thus leading to the generation of ordered maps during the learning of representations. Finally, we propose a new generic labeling and voting method designed for spiking neural networks dealing with temporal codes. This method is used so as to evaluate our last model in the context of categorization tasks.Le calcul neuromorphique est un domaine de l'informatique en plein essor. Il cherche à définir des modèles de calculs s'inspirant des propriétés du cerveau. Le calcul neuromorphique redéfinit la nature des trois composants clés de l'apprentissage : 1) données, 2) substrat de calcul et 3) algorithmes, en se fondant sur le fonctionnement du cerveau. Premièrement, les données sont représentées avec des événements tout ou rien distribués dans l'espace et le temps : les impulsions neuronales. Deuxièmement, le substrat de calcul efface la séparation entre calcul et mémoire introduite par les architectures de Von Neumann en les co-localisant, comme dans le cerveau. En outre, le calcul est massivement parallèle et asynchrone permettant aux unités computationnelles d'être activées à la volée, de façon indépendante. Troisièmement, les algorithmes d'apprentissage sont adaptés au substrat en exploitant les informations disponibles localement, au niveau du neurone. Ce vaste remaniement dans la manière d'appréhender la représentation et le transfert de l'information, le calcul et l'apprentissage, permettent aux processeurs neuromorphiques de promettre notamment un gain d'énergie d'un facteur considérable de 100 à 1000 par rapport aux CPU. Dans cette thèse, nous explorons le versant algorithmique du calcul neuromorphique en proposant des règles d'apprentissage événementielles répondant aux contraintes de localité et capables d'extraire des représentations de flux de données impulsionnels, épars et asynchrones. En outre, alors que la plupart des travaux connexes se basent sur des codes par taux de décharge où l'information est exclusivement représentée dans le nombre d'impulsions, nos règles d'apprentissage exploitent des codes temporels beaucoup plus efficients, où l'information est contenue dans les temps d'impulsions. Nous proposons d'abord une analyse approfondie d'une méthode de codage temporel par population de neurones, en proposant une méthode de décodage, et en analysant l'information délivrée et la structure du code. Puis nous introduisons une nouvelle règle événementielle et locale capable d'extraire des représentations de codes temporels en stockant des centroïdes de manière distribuée dans les poids synaptiques d'une population de neurones. Nous accentuons ensuite la nature temporelle de l'apprentissage en proposant d'apprendre des représentations non pas dans les poids synaptiques, mais dans les délais de transmission opérant intrinsèquement dans la dimension temporelle. Cela a engendré deux nouvelles règles événementielles et locales. Une règle adapte les délais de sorte à stocker des représentations, l'autre règle adapte les poids de sorte à filtrer les caractéristiques en fonction de leurs variabilité temporelle. Ces deux règles opèrent de manière complémentaire. Dans un dernier modèle, ces règles adaptant poids et délais sont augmentées par un nouveau neuromodulateur spatio-temporel. Ce neuromodulateur permet au modèle de reproduire le comportement des cartes auto-organisatrices dans un substrat impulsionnel, aboutissant ainsi à la génération de cartes ordonnées lors de l'apprentissage de représentations. Enfin nous proposons une nouvelle méthode générique d'étiquetage et de vote conçue pour des réseaux de neurones impulsionnels traitant des codes temporels. Cette méthode nous permet d'évaluer notre dernier modèle sur des tâches de catégorisation

Autonomous Sequence Generation for a Neural Dynamic Robot: Scene Perception, Serial Order, and Object-Oriented Movement

Neurally inspired robotics already has a long history that includes reactive systems emulating reflexes, neural oscillators to generate movement patterns, and neural networks as trainable filters for high-dimensional sensory information. Neural inspiration has been less successful at the level of cognition. Decision-making, planning, building and using memories, for instance, are more often addressed in terms of computational algorithms than through neural process models. To move neural process models beyond reactive behavior toward cognition, the capacity to autonomously generate sequences of processing steps is critical. We review a potential solution to this problem that is based on strongly recurrent neural networks described as neural dynamic systems. Their stable states perform elementary motor or cognitive functions while coupled to sensory inputs. The state of the neural dynamics transitions to a new motor or cognitive function when a previously stable neural state becomes unstable. Only when a neural robotic system is capable of acting autonomously does it become a useful to a human user. We demonstrate how a neural dynamic architecture that supports autonomous sequence generation can engage in such interaction. A human user presents colored objects to the robot in a particular order, thus defining a serial order of color concepts. The user then exposes the system to a visual scene that contains the colored objects in a new spatial arrangement. The robot autonomously builds a scene representation by sequentially bringing objects into the attentional foreground. Scene memory updates if the scene changes. The robot performs visual search and then reaches for the objects in the instructed serial order. In doing so, the robot generalizes across time and space, is capable of waiting when an element is missing, and updates its action plans online when the scene changes. The entire flow of behavior emerges from a time-continuous neural dynamics without any controlling or supervisory algorithm