Parallel computing for brain simulation

[Abstract] Background: The human brain is the most complex system in the known universe, it is therefore one of the greatest mysteries. It provides human beings with extraordinary abilities. However, until now it has not been understood yet how and why most of these abilities are produced. Aims: For decades, researchers have been trying to make computers reproduce these abilities, focusing on both understanding the nervous system and, on processing data in a more efficient way than before. Their aim is to make computers process information similarly to the brain. Important technological developments and vast multidisciplinary projects have allowed creating the first simulation with a number of neurons similar to that of a human brain. Conclusion: This paper presents an up-to-date review about the main research projects that are trying to simulate and/or emulate the human brain. They employ different types of computational models using parallel computing: digital models, analog models and hybrid models. This review includes the current applications of these works, as well as future trends. It is focused on various works that look for advanced progress in Neuroscience and still others which seek new discoveries in Computer Science (neuromorphic hardware, machine learning techniques). Their most outstanding characteristics are summarized and the latest advances and future plans are presented. In addition, this review points out the importance of considering not only neurons: Computational models of the brain should also include glial cells, given the proven importance of astrocytes in information processing.Galicia. Consellería de Cultura, Educación e Ordenación Universitaria; GRC2014/049Galicia. Consellería de Cultura, Educación e Ordenación Universitaria; R2014/039Instituto de Salud Carlos III; PI13/0028

Modelos de procesamiento de la información en el cerebro aplicados a Sistemas Conexionistas: Redes NeuroGliales Artificiales y Deep Learning

Programa Oficial de Doutoramento en Tecnoloxías da Información e as Comunicacións. 5032V01[Resumen] En el campo de la Inteligencia Artificial, los sistemas conexionistas se han inspirado en las neuronas ya que, según la visión clásica de la Neurociencia, eran las únicas células con capacidad para procesar la información. Descubrimientos recientes de Neurociencia han demostrado que las células gliales tienen un papel clave en el procesamiento de la información en el cerebro. Basándose en estos descubrimientos se han desarrollado las Redes NeuroGliales Artificiales (RNGA) que cuentan con dos tipos de elementos de procesado, neuronas y astrocitos. En esta tesis se ha continuado con esta línea de investigación multidisciplinar que combina la Neurociencia y la Inteligencia Artificial. Para ello, se ha desarrollado un nuevo comportamiento de los astrocitos que actúan sobre la salida de las neuronas en las RNGA. Se ha realizado una comparación con las Redes de Neuronas Artificiales (RNA) en cinco problemas de clasificación y se ha demostrado que el nuevo comportamiento de los astrocitos mejora de manera significativa los resultados. Tras demostrar la capacidad de los astrocitos para procesar la información, en esta tesis se ha desarrollado además una nueva metodología que permite por primera vez la creación de redes Deep Learning conteniendo miles de neuronas y astrocitos, denominadas Deep Neuron-Astrocyte Networks (DANAN). Tras probarlas en un problema de regresión, las DANAN obtienen mejores resultados que las RNA. Esto permitirá evaluar comportamientos más complejos de los astrocitos en las redes de Deep Learning, pudiendo incluso crearse redes de astrocitos en un futuro próximo.[Resumo] No campo da Intelixencia Artificial, os sistemas conexionistas inspiráronse nas neuronas xa que, segundo a visión clásica da Neuronciencia, eran as únicas células con capacidade para procesar a información. Descubrimentos recentes de Neurociencia demostraron que as células gliais teñen un papel crave no procesamento da información no cerebro. Baseándose nestes descubrimentos desenvolvéronse as Redes NeuroGliales Artificiais (RNGA) que contan con dous tipos de elementos de procesado, neuronas e astrocitos. Nesta tese continuouse con esta liña de investigación multidisciplinar que combina a Neurociencia e a Intelixencia Artificial. Para iso, desenvolveuse un novo comportamento dos astrocitos que actúan sobre a saída das neuronas nas RNGA. Realizouse unha comparación coas Redes de Neuronas Artificiais (RNA) en cinco problemas de clasificación e demostrouse que o novo comportamento dos astrocitos mellora de xeito significativo os resultados. Tras demostrar a capacidade dos astrocitos para procesar a información, nesta tese desenvolveuse ademais unha nova metodoloxía que permite por primeira vez a creación de redes Deep Learning contendo miles de neuronas e astrocitos, denominadas Deep Neuron-Astrocyte Networks (DANAN). Tras probalas nun problema de regresión, as DANAN obteñen mellores resultados cas RNA. Isto permitirá avaliar comportamentos máis complexos dos astrocitos nas redes de Deep Learning, podendo ata crearse redes de astrocitos nun futuro próximo.[Abstract] In the field of Artificial Intelligence, connectionist systems have been inspired by neurons and, according to the classical view of neuroscience, they were the only cells capable of processing information. The latest advances in Neuroscience have shown that glial cells have a key role in the processing of information in the brain. Based on these discoveries, Artificial NeuroGlial Networks (RNGA) have been developed, which have two types of processing elements, neurons and astrocytes. In this thesis, this line of multidisciplinary research that combines Neuroscience and Artificial Intelligence has been continued. For this goal, a new behavior of the astrocytes that act on the output of the neurons in the RNGA has been developed. A comparison has been made with the Artificial Neuron Networks (ANN) in five classification problems and it has been demonstrated that the new behavior of the astrocytes significantly improves the results. After prove the capacity of astrocytes for information processing, in this thesis has been developed a new methodology that allows for the first time the creation of Deep Learning networks containing thousands of neurons and astrocytes, called Deep Neuron-Astrocyte Networks (DANAN). After testing them in a regression problem, the DANAN obtain better results than ANN. This allows testing more complexes astrocyte behaviors in Deep Learning networks, and even creates astrocyte networks in the near future

A new hybrid evolutionary mechanism based on unsupervised learning for Connectionist Systems

Recent studies have confirmed that the modulation of synaptic efficacy affects emergent behaviour of brain cells assemblies. We report the first results of adding up the behaviour of particular brain circuits to Artificial Neural Networks. A new hybrid learning method has emerged. In order to find the best solution to a given problem, this method combines the use of Genetic Algorithms with particular changes to connection weights based on this behaviour. We show this combination in feed-forward multilayer architectures initially created to solve classification problems and we illustrate the benefits obtained with this new method. © 2007 Elsevier B.V. All rights reserved.Peer Reviewe

Procesamiento de información mediante Redes NeuroGliales Artificiales en clasificación y predicción

[Resumen]Recientes investigaciones evidencian que los astrocitos del sistema glial juegan un papel esencial en el procesamiento de la información en el cerebro, existiendo comunicación bidireccional entre neuronas y astrocitos (Sinapsis Tripartita). Dado que los Sistemas Conexionistas (SS.CC.) solo consideran neuronas artificiales interconectadas, en esta tesis doctoral multidisciplinar se han investigado por primera vez las consecuencias de añadirles astrocitos artificiales. Para ello, se ha realizado un análisis exhaustivo de la eficacia de nuevas Redes NeuroGliales Artificiales (RR.NG.AA.) versus Redes de Neuronas Artificiales multicapa clásicas (RR.NN.AA.). Los resultados indican que los astrocitos: mejoran el rendimiento de RR.NN.AA., tanto cuando potencian como cuando deprimen las conexiones sinápticas; esta mejoría no puede atribuirse al incremento de elementos de procesado de la red, sino a las propiedades de los astrocitos; la eficacia de RR.NG.AA. con potenciación vs. RR.NN.AA., aumenta al incrementarse la complejidad de la red; el grado de mejora inducido por los astrocitos depende del problema tratado y de las propiedades intrínsecas de los astrocitos. Se puede concluir que los astrocitos artificiales permiten proponer a las RR.NG.AA. como un posible nuevo paradigma en SS.CC. Además, han permitido estudiar fenómenos cerebrales aún no demostrados, colaborando con la Neurociencia en la comprensión del sistema nervioso[Resumo]Recentes investigacións evidencian que os astrocitos do sistema glial xogan un papel esencial no procesamento da información no cerebro, existindo comunicación bidireccional entre neuronas e astrocitos (Sinapse Tripartita). Dado que os Sistemas Conexionistas (SS.CC.) só consideran neuronas artificiais interconectadas, nesta tese doutoral multidisciplinar investigáronse por primeira vez as consecuencias de engadirlles astrocitos artificiais. Para iso, realizouse unha análise exhaustiva da eficacia de novas Redes NeuroGliais Artificiais (RR.NG.AA.) versus Redes de Neuronas Artificiais multicapa clásicas (RR.NN.AA.). Os resultados indican que os astrocitos: melloran o rendemento de RR.NN.AA., tanto cando potencian coma cando deprimen as conexións sinápticas; esta melloría non pode atribuírse ao incremento de elementos de procesado da rede, senón ás propiedades dos astrocitos; a eficacia de RR.NG.AA. con potenciación vs. RR.NN.AA. aumenta ao incrementarse a complexidade da rede; o grao de mellora inducido polos astrocitos depende do problema tratado e das propiedades intrínsecas dos astrocitos. Pódese concluír que os astrocitos artificiais permiten propoñer ás RR.NG.AA. como un posible novo paradigma en SS.CC. Ademais, permitiron estudar fenómenos cerebrais aínda non demostrados, colaborando coa Neurociencia na comprensión do sistema nervioso.[Abstract]Recent research shows that glial system astrocytes play an essential role in the information processing in the brain, as indicates the existence of bidirectional communication between astrocytes and neurons (Tripartite Synapse). Since Connectionist Systems (CS) only have into account interconnected artificial neurons, in this multidisciplinary thesis the consequences of adding artificial astrocytes to them have been investigated for the first time. For this, an exhaustive analysis of the performance of these new Artificial NeuroGlial Networks (ANGN) vs. classic multilayer ANN has been carried out. The results indicate that artificial astrocytes: improve the performance of the ANN both when they enhance and when they depress the synaptic connections; this improvement cannot be accounted for an increased number of processing elements on the network, but rather for the properties of astrocytes; the efficacy of ANGN‐potentiation vs. ANN increases as the complexity of the network; relative network performance improvement by artificial astrocytes depends on the problem tested and the intrinsic properties of astrocytes. It can be concluded that artificial astrocytes allow ANGN to be proposed as a possible new paradigm in CS. Furthermore, they have allowed to study brain behaviours not yet proved, collaborating with Neuroscience in the understanding of the nervous syste