A Novel Ergodic Discrete Difference Equation Cochlear Model

In this paper, a novel hardware-efficient electronic circuit cochlear model, the dynamics of which are described by an ergodic cellular automaton, is presented. Based on theoretical and numerical analyses, a parameter setting method so that the presented model properly works as a cochlear model is proposed. It is shown that the presented cochlear model designed by the proposed parameter setting method can reproduce typical nonlinear sound processing functions of mammalian cochleae such as nonlinear compression, two-tone suppression and two-tone distortion products. Furthermore, the presented model is implemented by a field programmable gate array (FPGA) and its operations are validated by experiments. It is shown that the presented model is much more hardware-efficient (i.e., consumes many fewer circuits elements) compared to some other electronic circuit cochlear models

Novel design methods of central nervous system of C. elegans and olfactory bulb model of mammal based on sequential logic and numerical integration

This study proposes a novel design method of a neuromorphic electronic circuit: design of a neuromorphic circuit based on appropriately selected hybrid dynamics of synchronous sequential logic, asynchronous sequential logic, and numerical integration. Based on the proposed design method, a novel central nervous system model of C. elegans, and an olfactory bulb model are presented. It is then shown that the presented models can realize typical responses of a conventional central nervous system model of C. elegans, and the observation of chaos in the olfactory bulb. Furthermore, the presented models are implemented by a field programmable gate array and the presented model of C.elegans is used to control a prototype robot of C. elegans body. Then, experiments validate that the presented central nervous system model enables the body robot to reproduce typical chemotaxis behaviors of the conventional C. elegans model. In addition, comparisons show that the presented model consumes fewer circuit elements and lower power compared to various central nervous system models of C. elegans based on synchronous sequential logic, asynchronous sequential logic, and numerical integration

HARDWARE IMPLEMENTSTION AND THEORETICAL ANALYSIS OF TUMOR IMMUNE MODEL BY MEANS OF HARDWARE-EFFICIENT ERGODIC CELLULAR AUTOMATON

Two types of ergodic cellular automaton models of tumor immune are presented in this paper. These two cellular automaton models can reproduce the bifurcation structure of mathematical tumor immune model properly. It was found that the proposed models can be implemented more hardware-efficient than the mathematical model. Additionally, it was also revealed that theoretical analysis can derive the values of bifurcation diagram produced in the steady state of the tumor immune model

ERGODIC CELLULAR AUTOMATON NEURON MODEL FOR A VIRTUAL CLINICAL TRIAL OF NEURAL PROSTHESIS

A novel cellular automaton neuron model and its cellular differentiation method are presented. It is shown that the differentiation method enables the neuron model to reproduce typical nonlinear responses of a given neuron model. Then a virtual clinical trial of neural prosthesis is executed, i.e., a target neuron model in a network composed of biologically plausible differential equation neuron models is replaced with the presented neuron model that is differentiated to reproduce the target neuron model. The presented neuron model is implemented in a field programmable gate array and the virtual clinical trial is validated by experiments. The results show the presented neuron model is much more hardware-efficient compared to a simplified differential equation neuron model

Neural avalanches at the edge-of-chaos?

Does the brain operate at criticality, to optimize neural computation? Literature uses different fingerprints of criticality in neural networks, leaving the relationship between them mostly unclear. Here, we compare two specific signatures of criticality, and ask whether they refer to observables at the same critical point, or to two differing phase transitions. Using a recurrent spiking neural network, we demonstrate that avalanche criticality does not necessarily lie at edge-of-chaos

Spiking Neural Networks models targeted for implementation on Reconfigurable Hardware

La tesis presentada se centra en la denominada tercera generación de redes neuronales artificiales, las Redes Neuronales Spiking (SNN) también llamadas ‘de espigas’ o ‘de eventos’. Este campo de investigación se convirtió en un tema popular e importante en la última década debido al progreso de la neurociencia computacional. Las Redes Neuronales Spiking, que tienen no sólo la plasticidad espacial sino también temporal, ofrecen una alternativa prometedora a las redes neuronales artificiales clásicas (ANN) y están más cerca de la operación real de las neuronas biológicas ya que la información se codifica y transmite usando múltiples espigas o eventos en forma de trenes de pulsos. Este campo ha ido creciendo en los últimos años y ampliado el área de ingenierı́a neuromórfica cuya principal área de trabajo es el uso de VLSI analógicos, digitales, mixtos analógico/digital y software que implementa modelos de sistemas neuronales spiking. Esta tesis analiza las Redes Neuronales Spiking desde la perspectiva de Aprendizaje Automático, donde la plausibilidad biológica no es el objetivo principal, pero la capacidad de crear algoritmos de inteligencia artificial basados en SNN es uno de los objetivos principales, junto con su viabilidad de implementación de hardware. Con el fin de cumplir con los objetivos, varios modelos neuronales y topologı́as de red son revisados y comparados. La codificación de picos o la representación de datos con los picos también se discute en este trabajo. El desarrollo de topologı́as SNN y algoritmos capaces de proporcionar capacidades de inteligencia artificial basadas en espigas de entrada al sistema es uno de los principales temas de esta tesis. Sin embargo, se hace también hincapié en su implementación hardware ya que existen modelos complejos para SNN que en muchos casos no son viables para sistemas en tiempo real y requieren de sistemas de alta capacidad computacional para ser ejecutados. El tema principal de la investigación en este trabajo es la evaluación de algoritmos existentes y el desarrollo de nuevos algoritmos, estructuras de datos y métodos de codificación para la implementación hardware de las redes neuronales de spiking, especialmente dirigidas a FPGA (Field-Programmable Gate Arrays). Los dispositivos FPGA son elegidos debido a sus excelentes capacidades de cálculo paralelo masivo, bajo consumo de energı́a, baja latencia y versatilidad. En los últimos años, las FPGA se convirtieron en una popular plataforma para tareas clásicas de aprendizaje de máquinas, tales como reconocimiento de imágenes, control automático, predicción de series temporales, robótica, etc. Ası́, la tesis investiga todas las cuestiones relacionadas con el despliegue de un sistema completo de hardware basado en espigas, desde la codificación de información externa como entradas hasta la salida final de un sistema de inteligencia artificial basado en SNN, incluida la optimización en la transmisión de datos, y todo ello implementado en arquitecturas hardware que optimizan el rendimiento y permiten la implementación de redes spiking de un elevado número de neuronas. Se propone una nueva arquitectura simplificada de neuronas de tipo LIF (Leaky Integrate-and-Fire). La neurona se evalúa para redes de tipo Perceptron y Restricted Boltzmann Machine (RBM) para probar su rendimiento. Además, las capacidades de aprendizaje de las redes propuestas se desarrollan mediante la definición de un procedimiento optimizado para el aprendizaje de STDP (Spike Time Dependent Plasticity). Las propuestas de optimización en software son completadas por nuevas arquitecturas de hardware, especialmente diseñadas para la implementación de FPGA. En lo que se refiere a las arquitecturas de hardware, esta tesis define la llamada ”neurona autómata”, basada en un formato de representación de espigas novedoso también y definido en esta tesis, llamado ‘Variable Timeslot Length Address-Event Representation’ (VTSAER). Este formato tiene una mayor versatilidad que anteriores propuestas de AER, eliminando la necesidad de marcas de tiempo y permitiendo un verdadero sincronismo de cualquier número arbitrario de eventos. La estructura del VTSAER permite procesar la información en las neuronas de espigas como un autómata finito alimentado por eventos. Este nuevo enfoque ayuda a separar el estado del sistema de la tasa de entrada de datos y reducir el número de canales de entrada/salida. Otra novedad propuesta en esta tesis es una arquitectura vectorizada de capas de las redes neuronales. Esta arquitectura permite calcular el estado de cualquier número arbitrario de capas reutilizando los mismos bloques neuronales de hardware varias veces. Este concepto de procesamiento vectorial de datos se puede aplicar no sólo en las redes neuronales de espigas, sino también en redes neuronales clásicas no-spiking de tipo ANN y otros algoritmos de aprendizaje automático. Con la arquitectura vectorizada y la neurona autómata, el factor limitante para el tamaño de la red es sólo la cantidad de memoria en el FPGA, lo que es una mejora significativa a las implementaciones anteriores. En cuanto a los algoritmos de aprendizaje para SNN, esta tesis describe una nueva aplicación del algoritmo de aprendizaje de Spike Timing Dependent Plasticity. STDP sigue siendo el algoritmo de aprendizaje más popular para las redes neuronales spiking,derivado de las observaciones de los fenómenos biológicos. Implementaciones de hardware digital de la STDP rara vez se encuentran dado que el algoritmo está utilizando causalidad de sincronización hacia atrás que requiere un empleo significativo de recursos de hardware. La nueva implementación propuesta en esta tesis está resolviendo el problema de causalidad con una sobrecarga de hardware muy pequeña. La versión mejorada de STDP se puede utilizar en redes de número arbitrario de neuronas. El proceso de actualización de pesos es independiente para cada neurona y no afecta al flujo global de entrada de espigas. La implementación FPGA de algoritmos de codificación visual también se cubre en esta tesis. Se describe la codificación de campos receptivos visuales tipo Gabor y se presentan dos implementaciones de hardware. El método de codificación de campo receptivo es muy similar a la operación de convolución utilizada en redes neuronales no-spiking. Los campos especı́ficos de orientación de Gabor son importantes en el procesamiento de imágenes, ya que son fenómenos bien estudiados observados en la corteza visual de mamı́feros y se desempeñan bien en el procesamiento de imágenes y en las tareas de codificación de espigas. Las dos propuestas de implementación en FPGA son arquitectura paralela y vectorizada. La comparación se realiza utilizando tamaños de campo receptivo tı́picamente usados en tareas prácticas que muestran las posibilidades de aplicación para cada una de las propuestas de implementación. Además, la implementación del hardware digital de algoritmos requiere la adaptación de la aritmética, ya que la aritmética de punto fijo se utiliza para evitar la complejidad adicional dada por los cálculos de coma flotante. Por lo tanto, se realiza un extenso estudio de la aritmética de punto fijo en el hardware de codificación y procesamiento de spikes para probar que el punto fijo es capaz de proporcionar la exactitud y precisión requeridas a un menor costo computacional y de recursos. Todos los algoritmos y arquitecturas propuestos se prueban resolviendo problemas clásicos con bases de datos abiertos (open source) para poder hacer una comparación con otros autores: los conjuntos de datos SEMEION e Iris se utilizan en este caso. Con respecto a los resultados de hardware, las arquitecturas digitales propuestas permiten una alta frecuencia de operación de reloj, cercana al máximo permitido por el dispositivo FPGA (alcanza hasta 387MHz). Los algoritmos y arquitecturas propuestos también permiten SNN de tamaño arbitrario, limitándose sólo a la capacidad del dispositivo. Todas las cuestiones antes mencionadas forman una compleja solución novedosa para la implementación de redes neuronales de espigas en hardware FPGA con velocidad de procesamiento varios cientos de veces más rápido que las simulaciones de software y una precisión comparable. Los bloques de hardware propuestos son versátiles, capaces de implementar una amplia gama de modificaciones de los algoritmos descritos y adaptar múltiples topologı́as SNN con diferentes números de entradas, número de capas, número de neuronas por capa, número de salidas, longitud de bits y, en general, aquellos parámetros que permiten implementar múltiples formas de SNN. En total, utilizando los bloques de hardware desarrollados en esta tesis, es posible construir un sistema neuromórfico masivo autosuficiente con un ciclo de procesamiento completo hecho dentro de un chip. De este modo, los sistemas neuromórficos podrı́an ser implementados a un costo menor en términos de desarrollo y tiempo de diseño, junto con placas de hardware más simples.This thesis describes a novel architecture of the Spiking Neural Networks implemented in hardware using Field-Programmable Gate Arrays. By starting from the state of the art theoretical and practical works, a new approach to the problem is proposed. The presented work is dealing with both software and hardware topics such as: • Spiking neural models with focus on their performance and feasibility in hardware. A novel simplified neuron model is created and tested. • Learning of SNNs in software and hardware. The well-known learning algorithms are implemented and tested with the simplified neuron model. • Data representation and conversion in spiking neural systems. A new version of Address-Event Representation protocol is proposed, effectively allowing the finite automata approach to the SNN implementation. A novel hardware architecture to encode images is presented. • Hardware platforms’ resources and their usability for SNN implementation. The latest commercial FPGA devices are evaluated as the prospective platform for large-scale SNN implementation. • Spiking perceptron and spiking Restricted Boltzmann machine implementation. Two popular network models are implemented and tested, utilizing the proposed neuronal model. • Neural network learning in hardware. The previously studied algorithms are im- plemented in the hardware. The aforementioned material was partially published in two journal and five conference papers. The system has been fully developed and tested using public domain datasets

System on chip design of the nerve centres of the human neuroregulatory system

Introducción: El sistema neurorregulador humano es un sistema nervioso complejo compuesto por un grupo heterogéneo de centros nerviosos distribuidos a lo largo de la médula espinal. Estos centros actúan de forma autónoma, se comunican mediante interconexiones nerviosas y gobiernan y regulan el comportamiento de órganos en los seres humanos. Por más de 20 años se viene estudiando el sistema neurorregulador del tracto urinario inferior, responsable de los órganos y sistemas que intervienen en el proceso de micción. El objetivo de la investigación ha sido comprender el papel individual de cada centro para crear un modelo general del sistema neurorregulador capaz de operar a nivel de centro nervioso. Métodos: El modelo creado se ha formalizado mediante la teoría de sistemas multiagente de forma que cada agente modele el comportamiento de un centro nervioso. Su granularidad ha abierto la posibilidad de actuar a nivel de centro, lo cual ha sido especialmente interesante en el tratamiento de disfunciones. Resultados y discusión: En este trabajo se enriqueció este modelo teórico con un modelo arquitectural que lo hiciera adecuado para su implementación en hardware. A partir del nuevo modelo, se propuso el diseño system on chip de un procesador específico capaz de desempeñar las funciones de un centro nervioso. En conclusión, la investigación supuso un enfoque original con el objetivo final de crear un chip parametrizable, capaz de desarrollar cualquier función neurorreguladora, que pudiera ser implantable en el cuerpo y con capacidad para trabajar de forma coordinada con el sistema neurorregulador biológico.Introduction: The human neuroregulatory system is a complex nervous system composed of a heterogeneous group of nerve centres distributed along the spinal cord. These centres act autonomously, communicate through neural interconnections, and govern and regulate the behavior of organs in humans. For more than twenty years, the neuroregulatory system of the lower urinary tract has been studied, which controls the organs and systems involved in the urination process. Based on the study of the behavior and composition of the lower urinary tract, we have succeeded in isolating the centres involved in its functioning. The goal has been to understand the individual role played by each centre to create a general model of the neuroregulatory system capable of operating at the level of the nerve centre. Methods: The model has been created and formalized based on Multi-Agent Systems theory: each agent thus models the behaviour of a nerve centre. Its granularity opens up the possibility of acting at the level of the centre, of particular interest to treat dysfunctions. Results and discussion: The present study enriches this theoretical model with an architectural model that makes it suitable to implement in hardware. Based on this new model, we propose a System on Chip (SoC) design of a specific processor capable of performing a nerve centre’s functions. Although this processor can be entirely configured and programmed to adjust to the functioning of the different centres, the present work aimed at facilitating the understanding and validation of the proposal. We thus focused on the cortical-diencephalic centre, responsible for voluntary micturition. As conclusions, the research adopted an original approach with the aim of creating a configurable chip, capable of developing any neuroregulatory function, implantable in the body and being able to function in a coordinated way with the biological neuroregulatory system