Acceleration of Spiking Neural Networks on Multicore Architectures

The human cortex is the seat of learning and cognition. Biological scale implementations of cortical models have the potential to provide significantly more power problem solving capabilities than traditional computing algorithms. The large scale implementation and design of these models has attracted significant attention recently. High performance implementations of the models are needed to enable such large scale designs. This thesis examines the acceleration of the spiking neural network class of cortical models on several modern multicore processors. These include the Izhikevich, Wilson, Morris-Lecar, and Hodgkin-Huxley models. The architectures examined are the STI Cell, Sun UltraSPARC T2+, and Intel Xeon E5345. Results indicate that these modern multicore processors can provide significant speed-ups and thus are useful in developing large scale cortical models. The models are then implemented on a 50 TeraFLOPS 336 node PlayStation 3 cluster. Results indicate that the models scale well on this cluster and can emulate 108 neurons and 1010 synapses. These numbers are comparable to the large scale cortical model implementation studies performed by IBM using the Blue Gene/L supercomputer. This study indicates that a cluster of PlayStation 3s can provide an economical, yet powerful, platform for simulating large scale biological models

ACCELERATION OF SPIKING NEURAL NETWORKS ON SINGLE-GPU AND MULTI-GPU SYSTEMS

There has been a strong interest in modeling a mammalian brain in order to study the architectural and functional principles of the brain and offer tools to neuroscientists and medical researchers for related studies. Artificial Neural Networks (ANNs) are compute models that try to simulate the structure and/or the functional behavior of neurons and process information using the connectionist approach to computation. Hence, the ANNs are the viable options for such studies. Of many classes of ANNs, Spiking Neuron Network models (SNNs) have been employed to simulate mammalian brain, capturing its functionality and inference capabilities. In this class of neuron models, some of the biologically accurate models are the Hodgkin Huxley (HH) model, Morris Lecar (ML) model, Wilson model, and the Izhikevich model. The HH model is the oldest, most biologically accurate and the most compute intensive of the listed models. The Izhikevich model, a more recent development, is sufficiently accurate and involves the least computations. Accurate modeling of the neurons calls for compute intensive models and hence single core processors are not suitable for large scale SNN simulations due to their serial computation and low memory bandwidth. Graphical Processing Units have been used for general purpose computing as they offer raw computing power, with a majority of logic solely dedicated for computing purpose. The work presented in this thesis implements two-level character recognition networks using the four previously mentioned SNN models in Nvidia\u27s Tesla C870 card and investigates performance improvements over the equivalent software implementation on a 2.66 GHz Intel Core 2 Quad. The work probes some of the important parameters such as the kernel time, memory transfer time and flops offered by the GPU device for the implementations. In this work, we report speed-ups as high as 576x on a single GPU device for the most compute-intensive, highly biologically realistic Hodgkin Huxley model. These results demonstrate the potential of GPUs for large-scale, accurate modeling of the mammalian brain. The research in this thesis also presents several optimization techniques and strategies, and discusses the major bottlenecks that must be avoided in order to achieve maximum performance benefits for applications involving complex computations. The research also investigates an initial multi-GPU implementation to study the problem partitioning for simulating biological-scale neuron networks on a cluster of GPU devices

SABACO: Extensiones a los Algoritmos de Optimización basados en Colonias de Hormigas para la Toma de Decisiones Influenciada por Emociones y el Aprendizaje de Secuencias Contextuales en Ambientes Inteligentes

En el trabajo que presentamos en esta tesis hacemos inicialmente una revisión de cómo ha ido evolucionando la interacción hombre máquina en el contexto de la computación, desde los primeros y escasos computadores hasta el momento actual, en el que los avances tecnológicos han permitido que, en muchos de los escenarios en los que se desarrolla nuestra vida diaria, estemos rodeados de diversos dispositivos electrónicos con los que interactuamos para hacer uso de alguno de los servicios que ofrecen. Veremos cómo esta difusión tecnológica ha introducido los sistemas de información en ámbitos más allá del contexto del trabajo, como la educación o el hogar, haciendo necesario que se tenga en cuenta en el diseño de los sistemas no sólo la funcionalidad o facilidad de uso sino también otros factores como la experiencia de uso o las emociones que siente una persona al interactuar con el sistema. Además, ha dado lugar a la aparición de los conocidos como ambientes inteligentes, en los que son los sistemas presentes en el entorno los que deben adaptarse al usuario y al contexto en el que se encuentra, adaptación que, dados los nuevos contextos en los tiene lugar la interacción con el usuario, plantea algunos retos. En particular, en el presente trabajo identificamos dos factores clave que los ambientes inteligentes deben tener en cuenta para tomar las decisiones y llevar a cabo las acciones adecuadas para conseguir una mejor adaptación al usuario y al contexto. Estos factores son la influencia de las emociones en la interacción y la utilización de la información contextual histórica. Por ello hacemos una revisión tanto de las propuestas de sistemas de decisión influenciados por emociones existentes en el área de la computación afectiva, como de las propuestas de sistemas sensibles al contexto, mostrando propuestas basadas en sistemas multiagente, redes neuronales, modelos ocultos de Markov, e introduciendo las técnicas metaheurísticas. Recientemente parece haber un sentimiento en la comunidad investigadora sobre la necesidad de aproximaciones híbridas para resolver problemas reales, no existe por desgracia una base sistemática que describa de forma rigurosa como proceder para combinar las distintas aproximaciones existentes.Mocholí Agües, JA. (2011). SABACO: Extensiones a los Algoritmos de Optimización basados en Colonias de Hormigas para la Toma de Decisiones Influenciada por Emociones y el Aprendizaje de Secuencias Contextuales en Ambientes Inteligentes [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/11225Palanci