Backpropagation for Continuous Theta Neuron Networks

The Theta neuron model is a spiking neuron model which, unlike traditional Leaky-Integrate-and-Fire neurons, can model spike latencies, threshold adaptation, bistability of resting and tonic firing states, and more. Previous work on learning rules for networks of theta neurons includes the derivation of a spike-timing based backpropagation algorithm for multilayer feedforward networks. However, this learning rule is only applicable to a fixed number of spikes per neuron, and is unable to take into account the effects of synaptic dynamics. In this thesis a novel backpropagation learning rule for theta neuron networks is derived which incorporates synaptic dynamics, is applicable to changing numbers of spikes per neuron, and does not explicitly depend on spike-timing. The learning rule is successfully applied to XOR, cosine and sinc function mappings, and comparisons between other learning rules for spiking neural networks are made. The algorithm achieves 97.8 percent training performance and 96.7 percent test performance on the Fischer-Iris dataset, which is comparable to other spiking neural network learning rules. The algorithm also achieves 99.0 percent training performance and 99.14 percent test performance on the Wisconsin Breast Cancer dataset, which is better than the compared spiking neural network learning rules

Spike-Timing Error Backpropagation in Theta Neuron Networks

International audienceThe main contribution of this paper is the derivation of a steepest gradient descent learning rule for a multi-layer network of theta neurons; a one-dimensional non-linear neuron model. Central to our model is the assumption that the intrinsic neuron dynamics are sufficient to achieve consistent time coding, with no need to involve the precise shape of post-synaptic currents; this assumption departs from other related models such as SpikeProp and Tempotron learning. Our results clearly show that it is possible to perform complex computations by applying supervised learning techniques to the spike times and time response properties of non-linear integrate and fire neurons. Networks trained with our multi-layer training rule are shown to have similar generalization abilities for spike latency pattern classification as Tempotron learning. The rule is also able to train networks to perform complex regression tasks that neither SpikeProp or Tempotron learning appear to be capable of

Analyse de modèles de population de neurones (cas des neurones à réponse postsynaptique par saut de potentiel)

Ce travail de thèse concerne la modélisation mathématique et l étude du comportement d une population de neurones. Dans tout ce travail on s arrêtera principalement sur une population de neurones auto-excitateurs où chaque cellule du réseau est supposée suivre la loi de l intègre et tire. Néanmoins nous aborderons au détour d un chapitre la modélisation d une population de neurones inhibiteurs, et dans une dernière partie, nous discuterons la modélisation d une population de neurones obéissant au modèle Ermentrout-Kopell aussi appelé le théta-neurone. L angle de vue adopté dans cette thèse est donné par l approche densité de population. Cette approche, dont nous rappellerons en détail les hypothèses et la construction, a été introduite il ya maintenant plus d une dizaine d années afin de faciliter la simulation d une grande population de neurones. Dit plus précisément, une telle approche donne une équation aux dérivées partielles sur la densité de population de neurones dans l espace d état formé des potentiels admissibles du neurone. Nous ferons de plus l hypothèse que la réponse d un neurone à l arrivée d une impulsion est une dépolarisation instantanée, autrement dit un saut de potentiel. Comme nous le verrons,cette équation aux dérivées partielles est non linéaire (à cause du couplage de la population) et non locale (à cause du saut de potentiel). Si cette idée est compliquée et abstraite, elle anéanmoins prouvé tout au long de ces dix dernières années son importance dans la simulation numérique des grands réseaux.Il s agit avant tout dans ce travail de thèse de donner un cadre mathématique adéquat aux équations aux dérivées partielles qui surgissent d une telle approche. Ainsi nous discuterons,selon les différents choix de modélisation, du caractère bien posé du modèle par densité de populationet de sa possible explosion en temps fini. Nous discuterons comment la prise en compte d hypothèses réalistes supplémentaires dans la modélisation, comme le retard entre l émission d un potentiel d action et sa réception ou encore la période réfractaire peut stopper l explosionen temps fini et garantir l existence d une solution globale. Un autre aspect abordé dans ce travail concerne les explications et la prédiction de la synchronisation des neurones. Deux définitions de la synchronisation seront explicitées selon encoreune fois les choix de modélisation. Nous verrons qu en interprétant l explosion en temps fini dela solution comme l arrivée d une masse de Dirac dans le taux de décharge de la populationon peut relier l explosion à la synchronisation. Toutefois, avec des hypothèses de modélisation plus réalistes, comme les retards et la période réfractaire, ce phénomène est exclu. Nous verrons néanmoins qu avec ces paramètres physiques supplémentaires des solutions périodiques apparaissent offrant différents rythmes de décharge de la population. Encore une fois, l apparition de ces oscillations sera perçue comme la synchronisation de la population.This thesis concerns the mathematical modelling and the study of the behavior of a population of neurons. In this work we will mainly consider a population of excitatory neurons whe reall the cells of the network follow the integrate-and-fire model. Nonetheless, we will tackle in a chapter the modelling of an inhibitory population of neurons, and we will discuss in the lastchapter the modelling of a population of neurons that follows the Ermentrout-Koppell model.The point of view of this thesis is given by the population density approach that has beenintroduced more than a decade ago in order to facilitate the simulation of a large assembly ofneurons. More precisely, this approach gives a partial differential equation that describes thedensity of neurons in the state space that is the set of all admissible potential of a neuron. We will assume that when receiving an action potential, the potential of the neuron makes a small jump. As we will see this partial differential equation is non linear (due to the coupling betweenneurons) and non-local (due to the potential jump). If this idea is complicated and abstract, itallows to simulate easily a large neural network.First of all, the thesis gives a mathematical framework for the equations that arise from thisthe population density approach. Then we will discuss the existence and the possible blow upin finite time of the solution. We will discuss how the consideration of more realistic modellingassumptions, as the refractory period and the delay between the emission and the reception ofan action potential can stop the blow up of the solution and give a well posed model.We will also try to caracterise the occurence of synchronization of the neural network. Twodifferent ways of seeing the synchronization will be describe. One relates the blow up in finitetime of the solution to the occurence of a Dirac mass in the firing rate of the population.Nonetheless, taking into account the delays, this kind of blow up will not be observed anymore.Nonetheless, as we will see, with this additional features the model will generate some periodicalsolutions that can also be related to the synchronization of the population.BORDEAUX1-Bib.electronique (335229901) / SudocSudocFranceF