Supervised Learning in Spiking Neural Networks for Precise Temporal Encoding

Precise spike timing as a means to encode information in neural networks is biologically supported, and is advantageous over frequency-based codes by processing input features on a much shorter time-scale. For these reasons, much recent attention has been focused on the development of supervised learning rules for spiking neural networks that utilise a temporal coding scheme. However, despite significant progress in this area, there still lack rules that have a theoretical basis, and yet can be considered biologically relevant. Here we examine the general conditions under which synaptic plasticity most effectively takes place to support the supervised learning of a precise temporal code. As part of our analysis we examine two spike-based learning methods: one of which relies on an instantaneous error signal to modify synaptic weights in a network (INST rule), and the other one on a filtered error signal for smoother synaptic weight modifications (FILT rule). We test the accuracy of the solutions provided by each rule with respect to their temporal encoding precision, and then measure the maximum number of input patterns they can learn to memorise using the precise timings of individual spikes as an indication of their storage capacity. Our results demonstrate the high performance of FILT in most cases, underpinned by the rule's error-filtering mechanism, which is predicted to provide smooth convergence towards a desired solution during learning. We also find FILT to be most efficient at performing input pattern memorisations, and most noticeably when patterns are identified using spikes with sub-millisecond temporal precision. In comparison with existing work, we determine the performance of FILT to be consistent with that of the highly efficient E-learning Chronotron, but with the distinct advantage that FILT is also implementable as an online method for increased biological realism.Comment: 26 pages, 10 figures, this version is published in PLoS ONE and incorporates reviewer comment

Detecting and Estimating Signals over Noisy and Unreliable Synapses: Information-Theoretic Analysis

The temporal precision with which neurons respond to synaptic inputs has a direct bearing on the nature of the neural code. A characterization of the neuronal noise sources associated with different sub-cellular components (synapse, dendrite, soma, axon, and so on) is needed to understand the relationship between noise and information transfer. Here we study the effect of the unreliable, probabilistic nature of synaptic transmission on information transfer in the absence of interaction among presynaptic inputs. We derive theoretical lower bounds on the capacity of a simple model of a cortical synapse under two different paradigms. In signal estimation, the signal is assumed to be encoded in the mean firing rate of the presynaptic neuron, and the objective is to estimate the continuous input signal from the postsynaptic voltage. In signal detection, the input is binary, and the presence or absence of a presynaptic action potential is to be detected from the postsynaptic voltage. The efficacy of information transfer in synaptic transmission is characterized by deriving optimal strategies under these two paradigms. On the basis of parameter values derived from neocortex, we find that single cortical synapses cannot transmit information reliably, but redundancy obtained using a small number of multiple synapses leads to a significant improvement in the information capacity of synaptic transmission

SuperSpike: Supervised learning in multi-layer spiking neural networks

A vast majority of computation in the brain is performed by spiking neural networks. Despite the ubiquity of such spiking, we currently lack an understanding of how biological spiking neural circuits learn and compute in-vivo, as well as how we can instantiate such capabilities in artificial spiking circuits in-silico. Here we revisit the problem of supervised learning in temporally coding multi-layer spiking neural networks. First, by using a surrogate gradient approach, we derive SuperSpike, a nonlinear voltage-based three factor learning rule capable of training multi-layer networks of deterministic integrate-and-fire neurons to perform nonlinear computations on spatiotemporal spike patterns. Second, inspired by recent results on feedback alignment, we compare the performance of our learning rule under different credit assignment strategies for propagating output errors to hidden units. Specifically, we test uniform, symmetric and random feedback, finding that simpler tasks can be solved with any type of feedback, while more complex tasks require symmetric feedback. In summary, our results open the door to obtaining a better scientific understanding of learning and computation in spiking neural networks by advancing our ability to train them to solve nonlinear problems involving transformations between different spatiotemporal spike-time patterns

An adaptive neuro fuzzy inference system to model the uniaxial compressive strength of cemented hydraulic backfill

Purpose. The purpose of this paper is to develop the models for predicting the uniaxial compressive strength (UCS) of cemented hydraulic backfill (CHB), a widely used technique for filling underground voids created by mining operations as it provides the high strength required for safe and economical working environment and allows the use of waste rock from mining operations as well as tailings from mineral processing plants as ingredients. Methods. In this study, different modelling techniques such as conventional linear, nonlinear multiple regression and one of the evolving soft computing methods, adaptive neuro fuzzy inference system (ANFIS), were used for the prediction of UCS, the main criterion used to design backfill recipe. Findings. Statistical performance indices used to evaluate the efficiency of the developed models indicated that the ANFIS model can effectively be implemented for designing CHB with desired UCS. As proved by the performance indicators ANFIS model gives more compatible results with the expert opinion and current literature than conventional modelling techniques. Originality. In order to construct the models a very large database, containing more than 1600 UCS test results, was used. In addition to widely used conventional regression based modelling techniques, one of the evolving soft computing methods, ANFIS was employed. Numerical examples showing the implementation of constructed models were provided. Practical implementation. As proved by the statistical performance indicators, the developed models can be used for a reliable prediction of the UCS of CHB. However, more accurate results can be achieved by expanding the database and by constructing improved models using the algorithm presented in this paper.Мета. Побудова моделей для прогнозування межі міцності при одноосьовому стисканні цементної гідравлічної закладки для заповнення вироблених просторів шахт. Методика. Для досягнення поставленої мети були використані різні методи моделювання: лінійна та нелінійна множинна регресія, а також порівняно недавно став популярним метод програмування – адаптивне нейронечітке логічне виведення (ANFIS). За їх допомогою було спрогнозовано зміну міцності на одноосьове стискання, що є ключовим показником для визначення складу закладної суміші. Для побудови моделей використана значна база даних, яка включає результати більш ніж 1600 випробувань на одноосьове стискання. Лабораторними дослідженнями також визначалися властивості закладних матеріалів і суміші. Результати. Модель ANFIS дала найкращу продуктивність з урахуванням статистичних показників ефективності, таких як середня абсолютна процентна похибка і змінний обліковий запис. Статистичні показники продуктивності, які використовуються для оцінки ефективності розроблених моделей, свідчать, що моделювання за допомогою ANFIS дозволяє отримати результати, які більше відповідають експертній оцінці та даним з сучасної літератури, ніж інформація, отримана за допомогою традиційного моделювання. Встановлено, що на відміну від регресивного моделювання, ANFIS не вимагає заздалегідь визначених математичних рівнянь для взаємозв’язку між вхідними та вихідними змінними і використовує наданий набір даних для ефективного визначення структури моделі. Наукова новизна. Вперше для прогнозування міцності при одноосьовому стисканні були використані не лише традиційні способи моделювання, засновані на регресії, а й інноваційний метод програмування – адаптивне нейронечітке логічне виведення ANFIS. У статті наведені чисельні приклади впровадження нових побудованих моделей. Практична значимість. Статистичні індикатори продуктивності показали, що розроблені моделі можуть бути використані для надійного прогнозування міцності при одноосьовому стисканні й оптимальної рецептури закладної суміші. Однак, щоб отримати більш точні результати, необхідно мати більш широку базу даних і створити більш досконалі моделі на основі алгоритму, запропонованому в даній статті.Цель. Построение моделей для прогнозирования предела прочности при одноосном сжатии цементной гидравлической закладки для заполнения выработанных пространств шахт. Методика. Для достижения поставленной цели были использованы различные методы моделирования: линейная и нелинейная множественная регрессия, а также сравнительно недавно ставший популярным метод программирования – адаптивный нейронечеткий логический вывод (ANFIS). С их помощью было спрогнозировано изменение прочности на одноосное сжатие, что является ключевым показателем для определения состава закладочной смеси. Для построения моделей использована обширная база данных, которая включает результаты более чем 1600 испытаний на одноосное сжатие. Лабораторными исследованиями также определялись свойства закладочных материалов и смеси. Результаты. Модель ANFIS дала наилучшую производительность с учетом статистических показателей эффективности, таких как средняя абсолютная процентная погрешность и переменная учетная запись. Статистические показатели производительности, используемые для оценки эффективности разработанных моделей, свидетельствуют, что моделирование с помощью ANFIS позволяет получить результаты, которые более соответствуют экспертной оценке и данным из современной литературы, чем информация, полученная при помощи традиционного моделирования. Установлено, что в отличие от регрессионного моделирования, ANFIS не требует заранее определенных математических уравнений для взаимосвязи между входными и выходными переменными и использует предоставленный набор данных для эффективного определения структуры модели. Научная новизна. Впервые для прогнозирования прочности при одноосном сжатии были использованы не только традиционные способы моделирования, основанные на регрессии, но и инновационный метод программирования – адаптивный нейронечеткий логический вывод ANFIS. В статье приведены численные примеры внедрения новых построенных моделей. Практическая значимость. Статистические индикаторы производительности показали, что разработанные модели могут быть использованы для надежного прогнозирования прочности при одноосном сжатии и оптимальной рецептуры закладочной смеси. Однако, чтобы получить более точные результаты, необходимо иметь более широкую базу данных и создать более совершенные модели на основе алгоритма, предложенного в данной статье.The authors thank the staff and the managers of Jinfeng underground gold mine for their helps and cooperation during field and laboratory studies. The company is also acknowledged for the permission to use and publish the data

Multi-layered Spiking Neural Network with Target Timestamp Threshold Adaptation and STDP

Spiking neural networks (SNNs) are good candidates to produce ultra-energy-efficient hardware. However, the performance of these models is currently behind traditional methods. Introducing multi-layered SNNs is a promising way to reduce this gap. We propose in this paper a new threshold adaptation system which uses a timestamp objective at which neurons should fire. We show that our method leads to state-of-the-art classification rates on the MNIST dataset (98.60%) and the Faces/Motorbikes dataset (99.46%) with an unsupervised SNN followed by a linear SVM. We also investigate the sparsity level of the network by testing different inhibition policies and STDP rules