Emergence of preferred firing sequences in large spiking neural networks during simulated neuronal development.

International audienceTwo main processes concurrently refine the nervous system over the course of development: cell death and selective synaptic pruning. We simulated large spiking neural networks (100 x 100 neurons "at birth") characterized by an early developmental phase with cell death due to excessive firing rate, followed by the onset of spike timing dependent synaptic plasticity (STDP), driven by spatiotemporal patterns of stimulation. The cell death affected the inhibitory units more than the excitatory units during the early developmental phase. The network activity showed the appearance of recurrent spatiotemporal firing patterns along the STDP phase, thus suggesting the emergence of cell assemblies from the initially randomly connected networks. Some of these patterns were detected throughout the simulation despite the activity-driven network modifications while others disappeared

A Computational Model of Loss of Dopaminergic Cells in Parkinson's Disease Due to Glutamate-Induced Excitotoxicity

Parkinson's disease (PD) is a neurodegenerative disease associated with progressive and inexorable loss of dopaminergic cells in Substantia Nigra pars compacta (SNc). Although many mechanisms have been suggested, a decisive root cause of this cell loss is unknown. A couple of the proposed mechanisms, however, show potential for the development of a novel line of PD therapeutics. One of these mechanisms is the peculiar metabolic vulnerability of SNc cells compared to other dopaminergic clusters; the other is the SubThalamic Nucleus (STN)-induced excitotoxicity in SNc. To investigate the latter hypothesis computationally, we developed a spiking neuron network-model of SNc-STN-GPe system. In the model, prolonged stimulation of SNc cells by an overactive STN leads to an increase in ‘stress' variable; when the stress in a SNc neuron exceeds a stress threshold, the neuron dies. The model shows that the interaction between SNc and STN involves a positive-feedback due to which, an initial loss of SNc cells that crosses a threshold causes a runaway-effect, leading to an inexorable loss of SNc cells, strongly resembling the process of neurodegeneration. The model further suggests a link between the two aforementioned mechanisms of SNc cell loss. Our simulation results show that the excitotoxic cause of SNc cell loss might initiate by weak-excitotoxicity mediated by energy deficit, followed by strong-excitotoxicity, mediated by a disinhibited STN. A variety of conventional therapies were simulated to test their efficacy in slowing down SNc cell loss. Among them, glutamate inhibition, dopamine restoration, subthalamotomy and deep brain stimulation showed superior neuroprotective-effects in the proposed model

Nouvelle approche analytique pour l'apprentissage du quantron

RÉSUMÉ : Le quantron est un neurone artificiel inspiré d’un modèle stochastique de la diffusion synaptique. Ce type de neurone biologiquement réaliste a le potentiel d’améliorer les capacités de classification des réseaux de neurones utilisés en reconnaissance de formes. Cependant, le quantron présente des difficultés pour l’implémentation d’un algorithme d’apprentissage efficace. Ceci est dû à la présence de discontinuités dans la fonction de réponse qui caractérise l’émission ou l’absence d’émission de neurotransmetteurs en réaction à la stimulation des synapses d’entrée. Ces discontinuités nuisent à l’apprentissage par modification itérative des paramètres du neurone. Ainsi, nous adoptons une approche analytique pour contourner ces difficultés et développer de nouveaux algorithmes d’apprentissage pour entraîner un quantron ou un réseau de quantrons. D’abord, nous nous intéressons au maximum de la fonction représentant le potentiel électrique du quantron, appelée fonction d’activation. Par comparaison à un seuil d’excitabilité, ce maximum détermine l’état d’activité du quantron, qui est alors utilisé comme classificateur. En utilisant des potentiels post-synaptiques ayant un profil rectangulaire, nous obtenons une approximation du maximum en substituant des fonctions quadratiques aux signaux provenant des synapses d’entrée. Avec cette approximation analytique, nous démontrons expérimentalement la possibilité d’entraîner le quantron en minimisant une surface d’erreur par descente du gradient. De plus, pour certains problèmes, nous observons une amélioration des résultats d’un algorithme de recherche directe. Ensuite, en utilisant une configuration particulière du quantron, nous trouvons une forme analytique simple pour la fonction d’activation dans le cas où les potentiels post-synaptiques possèdent un profil rectangulaire ou en rampe. Cette expression permet de lier les paramètres du quantron aux caractéristiques géométriques de sa frontière de décision. En se basant sur ces résultats, nous développons deux algorithmes d’apprentissage distincts, l’un procédant par l’analyse des configurations de la frontière de décision, et l’autre par l’inversion directe d’un système d’équations. Ces algorithmes permettent une résolution efficace de problèmes de classification pour lesquels le quantron admet une représentation sans erreur. Enfin, nous portons attention au problème de l’apprentissage d’un réseau de quantrons. Dans le cas de potentiels post-synaptique avec un potentiel triangulaire, nous proposons une approximation analytique du temps où s’active le quantron, qui est déterminé par le premier instant où la fonction d’activation atteint le seuil d’excitabilité. L’expression mathématique résultante, utilisée comme valeur de réponse du neurone, permet d’adapter l’algorithme de rétropropagation de l’erreur au réseau. Nous montrons qu’il devient alors possible d’entraîner des neurones qui autrement resteraient inactifs lors de l’apprentissage. De plus, nous illustrons la capacité des réseaux de quantrons à résoudre certains problèmes de classification en nécessitant moins de paramètres que des réseaux de neurones impulsionnels ou des réseaux de perceptrons. Les trois aspects du quantron étudiés dans cette thèse mènent à des algorithmes qui se distinguent des approches antérieures utilisées pour l’apprentissage des réseaux de neurones impulsionnels. En effet, notre approche analytique permet d’éviter les discontinuités qui perturbent le processus d’apprentissage grâce au lissage résultant de l’approximation analytique du maximum de la fonction d’activation et du temps d’activation. De plus, l’analyse géométrique de la frontière de décision est rendue possible par l’expression analytique de la fonction d’activation. Le résultat le plus probant est la tentative fructueuse de résolution du problème associé à l’entraînement des neurones inactifs, appelé problème des neurones silencieux. Par notre approche analytique de l’apprentissage du quantron, nous proposons donc des algorithmes originaux et innovateurs qui contribuent à une meilleure compréhension de l’apprentissage dans les réseaux de neurones biologiquement réalistes.---------- ABSTRACT : The quantron is an artificial neuron inspired by a stochastic model of synaptic diffusion. This type of biologically realistic neuron can improve the classification capacity of neural networks used in pattern recognition. However, the implementation of an efficient learning algorithm for the quantron proves to be challenging. This is due to the presence of discontinuities in the output function which characterizes the emission of neurotransmitters, or lack thereof, as a reaction to the stimulus applied to synaptic inputs. These discontinuities disrupt the iterative training of the neuron’s parameters. Thus, in this work, we follow an analytical approach to avoid these difficulties and develop new learning algorithms adapted to the quantron and to networks of quantrons. First, we study the maximum of the function representing the electrical potential of the quantron, called the activation function. By comparing this function to an excitability threshold, this maximum determines the activity state of the neuron, which can be used as a classifier. Using post-synaptic potentials with a rectangular profile, we obtain an analytical approximation of the maximum by substituting quadratic functions for the signals stemming from the synaptic inputs. With this analytical approximation, we provide an experimental demonstration of the quantron being trained by minimizing an error surface via gradient search. Also, for certain problems, we observe an improvement of the results obtained by using a direct search algorithm. Second, using a specific configuration of the quantron, we find a simple analytical form for the activation function when the post-synaptic potentials have a rectangular or ramp profile. This expression links the parameters of the quantron to the geometrical characteristics of its decision boundary. Building upon these results, we obtain two distinct learning algorithms, one proceeding by analyzing the configurations of the decision boundary, and the other by solving directly a system of equations. These algorithms are able to solve efficiently classification problems for which the quantron admits an errorless representation. Third, we focus on the problem of training a network of quantrons. For post-synaptic potentials having a triangular profile, we propose an analytical approximation of the time when the quantron’s activation function reaches the excitability threshold. The resulting mathematical expression, used as the neuron’s output, enables the adaptation of the error backpropagation algorithm to the network. We show that it is then possible to modify the parameters of neurons which would otherwise remain inactive during training. Furthermore, we show that networks of quantrons can solve particular classification problems using fewer parameters than networks of spiking neurons or networks of perceptrons. The three aspects of the quantron studied in this thesis yield algorithms which differ from previous attempts to train spiking neural networks. Indeed, we avoid the discontinuities that disturb the training process due to the smoothing effect of the analytical approximation of the activation function’s maximum and of the activation time. Also, the geometrical analysis of the decision boundary is made possible by the analytical expression of the activation function. The most important result is the successful attempt to solve the problem of training inactive neurons, called the silent neuron problem. By following an analytical approach in the study of the quantron, we propose original and innovative algorithms which contribute to a better understanding of the learning process in networks of biologically realistic neurons

Termografía Infrarroja aplicada a la detección de incendios en la interfaz urbano-forestal y su optimización mediante redes neuronales artificiales

[EN] The Albufera of Valencia and its Devesa, form a single unit with both an ecological and social high value; reason that led them to be declared Natural Park in 1986 by the Generalitat Valenciana; being the first park declared in this autonomous community. The Devesa is the spit that separates the Mediterranean Sea from the Albufera lake, and is considered a natural area with high scientific, cultural, scenic and educational values. And although during the 60s underwent a process of urbanization, today is in the throes of regeneration to an era of ecological climax. This regeneration has been possible because of the economics efforts made by various administrations for their conservation and protection. However, these efforts do not prevent Devesa from suffering systematically wildfires that undermine their ability to regenerate and that not only produce significant ecological and economic damage, but when fires reach great dimensions, threaten the life of the people who live there and also the firefighting services This Thesis focuses on the study and optimization of the detection system of wildfires using infrared installed in the Devesa. For doing this, the wildfires produced during ten years and the alarms generated during five years of operation of the system are analyzed, relating these alarms with the weather conditions; in order to reduce false positives; on the other hand a fire risk classification system based on neural networks is developed, using as descriptions parameters those used in the IFW, that is the official system used for the official organization in charge of fire weather index in Spain: AEMET. After the development of the neural network to classify the risk of fire, and analyzed the infrared camera system, both are combined to establish a classification system of the alarms, in order to reduce false positives, and establish a criterion of risk to the user of the fire detection system.[ES] La Albufera de Valencia y su Devesa, forman un conjunto único con un elevado valor tanto ecológico como social; motivo que les llevó a ser declarados Parque Natural en 1986 por parte de la Generalitat Valenciana; siendo el primer parque declarado en esta comunidad. La Devesa es el cordón litoral que separa el Mar Mediterráneo del lago de la Albufera, y es considerada un área natural con altos valores científicos, culturales, paisajísticos y educativos. Y, pese a que durante la década de los 60 sufrió un proceso de urbanización, en la actualidad se encuentra en plena fase de regeneración hacia una época de clímax ecológico. Esta regeneración ha sido posible gracias a los esfuerzos, tanto administrativos como económicos, que han realizado diferentes administraciones para su conservación y protección. Sin embargo, estos esfuerzos no impiden que sistemáticamente el monte de la Devesa sufra incendios forestales que merman su capacidad de regeneración y que, no solo producen un daño ecológico y económico importante, sino que aquellos que alcanzan grandes dimensiones ponen en riesgo la vida de las personas que allí residen, y de los equipos de extinción que tratan de sofocarlos. La presente Tesis se centra en el estudio y optimización del sistema de detección de incendios forestales mediante infrarrojos instalado en la Devesa. Para ello se analizan los incendios ocurridos durante más de diez años, y las alarmas generadas durante cinco años de funcionamiento del sistema, relacionando estas alarmas con las condiciones meteorológicas, a fin de disminuir los falsos positivos; a su vez se desarrolla un sistema de clasificación de riesgo de incendio a partir de redes neuronales, basado en los parámetros meteorológicos descriptores usados en el IFW, índice oficial establecido por la AEMET para clasificar el riesgo de incendio. Una vez desarrollada la red neuronal para clasificar el riesgo de incendio, y analizado el sistema de cámaras infrarrojas, se combinan ambos a fin de establecer un sistema de clasificación de las alarmas capaz de disminuir los falsos positivos, y de establecer un criterio de riesgo al usuario del sistema de detección de incendios.[CA] L'Albufera de València i la seva Devesa, formen un conjunt únic amb un elevat valor tant ecològic com social; motiu que els va portar a ser declarats Parc Natural al 1986 per part de la Generalitat Valenciana; sent el primer parc declarat en aquesta Comunidad. La Devesa és el cordó litoral que separa el mar Mediterrani del llac de l'Albufera, i és considerada una àrea natural amb alts valors científics, culturals, paisatgístics i educatius. I tot i que durant la dècada dels 60 va patir un procés d'urbanització, en l'actualitat es troba en plena fase de regeneració cap a una època de clímax ecològic. Aquesta regeneració ha estat possible gràcies als esforços tant administratius, com econòmics, que han realitzat diferents administracions per a la seva conservació i protecció. No obstant això, aquests esforços no impedeixen que sistemàticament la muntanya de la Devesa pateixi incendis forestals que minven la seva capacitat de regeneració i que, no només produeixen un dany ecològic i econòmic important, sinó que aquells que arriben a tindre grans dimensions, posen en risc la vida de les persones que hi viuen, i dels equips d'extinció que tracten de sufocar-los. Aquesta tesi se centra en l'estudi i optimització del sistema de detecció d'incendis forestals mitjançant infrarojos instal · lat a la Devesa. Per a això s'analitzen els incendis ocorreguts durant més de deu anys i les alarmes generades durant cinc anys de funcionament del sistema, relacionant aquestes alarmes amb les condicions meteorològiques; per tal de disminuir els falsos positius; al seu torn es desenvolupa un sistema de classificació de risc d'incendi a partir de xarxes neuronals, basat en els paràmetres meteorològics descriptors usats en el IFW, índex oficial establert per l'AEMET per classificar el risc d'incendi. Un cop desenvolupada la xarxa neuronal per classificar el risc d'incendi, i analitzat el sistema de càmeres infraroges, es combinen tots dos a fi d'establir un sistema de classificació de les alarmes capaç de disminuir els falsos positius, i d'establir un criteri de risc a l¿usuari del sistema de detecció d'incendis. Canales Mengod, P. (2015). Termografía Infrarroja aplicada a la detección de incendios en la interfaz urbano-forestal y su optimización mediante redes neuronales artificiales [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/49830TESI