Brain-inspired self-organization with cellular neuromorphic computing for multimodal unsupervised learning

Cortical plasticity is one of the main features that enable our ability to learn and adapt in our environment. Indeed, the cerebral cortex self-organizes itself through structural and synaptic plasticity mechanisms that are very likely at the basis of an extremely interesting characteristic of the human brain development: the multimodal association. In spite of the diversity of the sensory modalities, like sight, sound and touch, the brain arrives at the same concepts (convergence). Moreover, biological observations show that one modality can activate the internal representation of another modality when both are correlated (divergence). In this work, we propose the Reentrant Self-Organizing Map (ReSOM), a brain-inspired neural system based on the reentry theory using Self-Organizing Maps and Hebbian-like learning. We propose and compare different computational methods for unsupervised learning and inference, then quantify the gain of the ReSOM in a multimodal classification task. The divergence mechanism is used to label one modality based on the other, while the convergence mechanism is used to improve the overall accuracy of the system. We perform our experiments on a constructed written/spoken digits database and a DVS/EMG hand gestures database. The proposed model is implemented on a cellular neuromorphic architecture that enables distributed computing with local connectivity. We show the gain of the so-called hardware plasticity induced by the ReSOM, where the system's topology is not fixed by the user but learned along the system's experience through self-organization.Comment: Preprin

Visual pattern recognition using neural networks

Neural networks have been widely studied in a number of fields, such as neural architectures, neurobiology, statistics of neural network and pattern classification. In the field of pattern classification, neural network models are applied on numerous applications, for instance, character recognition, speech recognition, and object recognition. Among these, character recognition is commonly used to illustrate the feature and classification characteristics of neural networks. In this dissertation, the theoretical foundations of artificial neural networks are first reviewed and existing neural models are studied. The Adaptive Resonance Theory (ART) model is improved to achieve more reasonable classification results. Experiments in applying the improved model to image enhancement and printed character recognition are discussed and analyzed. We also study the theoretical foundation of Neocognitron in terms of feature extraction, convergence in training, and shift invariance. We investigate the use of multilayered perceptrons with recurrent connections as the general purpose modules for image operations in parallel architectures. The networks are trained to carry out classification rules in image transformation. The training patterns can be derived from user-defmed transformations or from loading the pair of a sample image and its target image when the prior knowledge of transformations is unknown. Applications of our model include image smoothing, enhancement, edge detection, noise removal, morphological operations, image filtering, etc. With a number of stages stacked up together we are able to apply a series of operations on the image. That is, by providing various sets of training patterns the system can adapt itself to the concatenated transformation. We also discuss and experiment in applying existing neural models, such as multilayered perceptron, to realize morphological operations and other commonly used imaging operations. Some new neural architectures and training algorithms for the implementation of morphological operations are designed and analyzed. The algorithms are proven correct and efficient. The proposed morphological neural architectures are applied to construct the feature extraction module of a personal handwritten character recognition system. The system was trained and tested with scanned image of handwritten characters. The feasibility and efficiency are discussed along with the experimental results

A Survey on Reservoir Computing and its Interdisciplinary Applications Beyond Traditional Machine Learning

Reservoir computing (RC), first applied to temporal signal processing, is a recurrent neural network in which neurons are randomly connected. Once initialized, the connection strengths remain unchanged. Such a simple structure turns RC into a non-linear dynamical system that maps low-dimensional inputs into a high-dimensional space. The model's rich dynamics, linear separability, and memory capacity then enable a simple linear readout to generate adequate responses for various applications. RC spans areas far beyond machine learning, since it has been shown that the complex dynamics can be realized in various physical hardware implementations and biological devices. This yields greater flexibility and shorter computation time. Moreover, the neuronal responses triggered by the model's dynamics shed light on understanding brain mechanisms that also exploit similar dynamical processes. While the literature on RC is vast and fragmented, here we conduct a unified review of RC's recent developments from machine learning to physics, biology, and neuroscience. We first review the early RC models, and then survey the state-of-the-art models and their applications. We further introduce studies on modeling the brain's mechanisms by RC. Finally, we offer new perspectives on RC development, including reservoir design, coding frameworks unification, physical RC implementations, and interaction between RC, cognitive neuroscience and evolution.Comment: 51 pages, 19 figures, IEEE Acces

Pattern Recognition

A wealth of advanced pattern recognition algorithms are emerging from the interdiscipline between technologies of effective visual features and the human-brain cognition process. Effective visual features are made possible through the rapid developments in appropriate sensor equipments, novel filter designs, and viable information processing architectures. While the understanding of human-brain cognition process broadens the way in which the computer can perform pattern recognition tasks. The present book is intended to collect representative researches around the globe focusing on low-level vision, filter design, features and image descriptors, data mining and analysis, and biologically inspired algorithms. The 27 chapters coved in this book disclose recent advances and new ideas in promoting the techniques, technology and applications of pattern recognition

Perceptron theory can predict the accuracy of neural networks

Multilayer neural networks set the current state of the art for many technical classification problems. But, these networks are still, essentially, black boxes in terms of analyzing them and predicting their performance. Here, we develop a statistical theory for the one-layer perceptron and show that it can predict performances of a surprisingly large variety of neural networks with different architectures. A general theory of classification with perceptrons is developed by generalizing an existing theory for analyzing reservoir computing models and connectionist models for symbolic reasoning known as vector symbolic architectures. Our statistical theory offers three formulas leveraging the signal statistics with increasing detail. The formulas are analytically intractable, but can be evaluated numerically. The description level that captures maximum details requires stochastic sampling methods. Depending on the network model, the simpler formulas already yield high prediction accuracy. The quality of the theory predictions is assessed in three experimental settings, a memorization task for echo state networks (ESNs) from reservoir computing literature, a collection of classification datasets for shallow randomly connected networks, and the ImageNet dataset for deep convolutional neural networks. We find that the second description level of the perceptron theory can predict the performance of types of ESNs, which could not be described previously. Furthermore, the theory can predict deep multilayer neural networks by being applied to their output layer. While other methods for prediction of neural networks performance commonly require to train an estimator model, the proposed theory requires only the first two moments of the distribution of the postsynaptic sums in the output neurons. Moreover, the perceptron theory compares favorably to other methods that do not rely on training an estimator model

Розробка системи розпізнавання графічних captcha-систем за допомогою конкуруючих клітинних автоматів

Peculiarities of the use of competing cellular automata for problems of recognition of complex captcha systems have been explored. For this purpose, the concept of competing cellular automata has been introduced and a mathematical model of their functioning and interaction has been developed. The mathematical model of competing cellular automata based on the set theory has been described to specify moving cellular automata, which shift to the neighboring states of characters and implement their transition rules in such a way. Based on this mathematical model, a recognition system for captcha images implemented in the code by means of JavaFX 2.0 technology has been developed, which allowed reaching the crossplatformness and correct functioning on different operating systems.The libraries of cellular automata have been developed for the English language. Each symbol of the alphabet is represented in the form of a state system, which is aligned with a cellular automaton with states describing the given symbol.We used Java programming language for development and OpenCV library for the ability to handle images which allowed us to achieve high-quality recognition results. The architecture of the developed system of recognition of complex captcha images in the form of diagrams of classes of the main blocks with detailed descriptions of each class has been considered. Computer experiments have been carried out with different sets of distorted characters used in actual captcha systems and recognition quality indices of the developed software obtained.It has been shown that the probability of obtaining the correct result of captcha image recognition exceeds 80 % with a degree of deformation of characters up to 20 %. With a degree of deformation of characters over 30 %, there is a high probability of false character recognition.The advantages of the method of text character recognition based on competing cellular automata include simplicity of rules of engagement, ability to parallelize the process of recognition easily, capability of recognition of distorted and partially overlapping characters that are the basis of modern captcha systemsРассмотрены особенности применения конкурирующих клеточных автоматов к задачам по распознаванию сложных captcha-систем. Для этого введено понятие конкурирующих клеточных автоматов и разработаны алгоритмы их функционирования и взаимодействия.Описана математическая модель конкурирующих клеточных автоматов, основанная на теории множеств для описания движущихся клеточных автоматов, передвигающихся по соседним состояниям символов, и таким способом реализуют свои правила переходов.На основании математической модели разработана система распознавания captha-изображений, реализованная в программном коде средствами технологии JavaFX 2.0, что позволило достичь кроссплатформенности и правильного функционирования на разных операционных системах.Библиотеки клеточных автоматов разрабатывались для английского языка. Каждый символ алфавита представлен в виде системы состояний, которой поставлен в соответствие клеточный автомат с состояниями, описывающими данный символ.При разработке был использован язык Java и возможности обработки изображений библиотекой OpenCV, позволившие достичь качественного результата распознания.Представлена архитектура разработанной системы распознавания сложных captcha-зображень в виде диаграмм классов главных блоков с детальным описанием каждого класса.Проведены компьютерные эксперименты с различными наборами искаженных символов, используемых в реальных captcha-системах, и получены показатели качества распознавания созданным программным обеспечением.Показано, что вероятность правильного результата распознавания captcha-зображень превышает 80 % при деформации символов до 20 %. При степени деформации символов, превышающем 30 %, существует большая вероятность ошибочного распознавания.К преимуществам метода распознавания символов текста на основе конкурирующих клеточных автоматов следует отнести простоту правил взаимодействия, возможность распараллеливания процесса распознавания искаженных и частично наложенных символов, составляющих основу современных captcha-системРозглянуто особливості застосування конкуруючих клітинних автоматів до задач з розпізнавання складних captcha-систем. Для цього введено поняття конкуруючих клітинних автоматів та розроблено алгоритми їх функціонування та взаємодії. Описано математичну модель конкуруючих клітинних автоматів на основі теорії множин для опису рухомих клітинних автоматів, що пересуваються по сусідніх станах символів і в такий спосіб реалізують свої правила переходу.На основі математичної моделі розроблено систему розпізнавання captha-зображень, яка реалізована в програмному коді засобами технології JavaFX 2.0, що дозволила досягти кросплатформеності та правильного функціонування на різних операційних системах.Бібліотеки клітинних автоматів розроблялися для англійської мови. Кожен символ алфавіту представляється у вигляді системи станів, котрій поставлено у відповідність клітинний автомат зі станами, що описують даний символ.Для розробки було використано мову програмування Java та можливості обробки зображень бібліотекою OpenCV, яка дозволила досягти якісного результату розпізнавання. Розглянуто архітектуру розробленої системи розпізнавання складних captcha-зображень у вигляді діаграм класів головних блоків з детальним описом кожного класу. Проведено комп'ютерні експерименти з різними наборами спотворених символів, що використовуються у реальних captcha-системах та отримано показники якості розпізнавання розробленим програмним забезпеченням.Показано, що ймовірність отримання правильного результату розпізнавання captcha-зображень перевищує 80 % при ступені деформації символів до 20 %. При ступені деформації символів понад 30 % існує велика ймовірність помилкового розпізнавання символів.До перевагам методу розпізнавання символів тексту на основі конкуруючих клітинних автоматів слід віднести простоту правил взаємодії, можливість легкого розпаралелювання процесу розпізнавання, можливість розпізнавання спотворених та частково накладених символів, які складають основу сучасних captcha-систе

Розробка системи розпізнавання графічних captcha-систем за допомогою конкуруючих клітинних автоматів

Peculiarities of the use of competing cellular automata for problems of recognition of complex captcha systems have been explored. For this purpose, the concept of competing cellular automata has been introduced and a mathematical model of their functioning and interaction has been developed. The mathematical model of competing cellular automata based on the set theory has been described to specify moving cellular automata, which shift to the neighboring states of characters and implement their transition rules in such a way. Based on this mathematical model, a recognition system for captcha images implemented in the code by means of JavaFX 2.0 technology has been developed, which allowed reaching the crossplatformness and correct functioning on different operating systems.The libraries of cellular automata have been developed for the English language. Each symbol of the alphabet is represented in the form of a state system, which is aligned with a cellular automaton with states describing the given symbol.We used Java programming language for development and OpenCV library for the ability to handle images which allowed us to achieve high-quality recognition results. The architecture of the developed system of recognition of complex captcha images in the form of diagrams of classes of the main blocks with detailed descriptions of each class has been considered. Computer experiments have been carried out with different sets of distorted characters used in actual captcha systems and recognition quality indices of the developed software obtained.It has been shown that the probability of obtaining the correct result of captcha image recognition exceeds 80 % with a degree of deformation of characters up to 20 %. With a degree of deformation of characters over 30 %, there is a high probability of false character recognition.The advantages of the method of text character recognition based on competing cellular automata include simplicity of rules of engagement, ability to parallelize the process of recognition easily, capability of recognition of distorted and partially overlapping characters that are the basis of modern captcha systemsРассмотрены особенности применения конкурирующих клеточных автоматов к задачам по распознаванию сложных captcha-систем. Для этого введено понятие конкурирующих клеточных автоматов и разработаны алгоритмы их функционирования и взаимодействия.Описана математическая модель конкурирующих клеточных автоматов, основанная на теории множеств для описания движущихся клеточных автоматов, передвигающихся по соседним состояниям символов, и таким способом реализуют свои правила переходов.На основании математической модели разработана система распознавания captha-изображений, реализованная в программном коде средствами технологии JavaFX 2.0, что позволило достичь кроссплатформенности и правильного функционирования на разных операционных системах.Библиотеки клеточных автоматов разрабатывались для английского языка. Каждый символ алфавита представлен в виде системы состояний, которой поставлен в соответствие клеточный автомат с состояниями, описывающими данный символ.При разработке был использован язык Java и возможности обработки изображений библиотекой OpenCV, позволившие достичь качественного результата распознания.Представлена архитектура разработанной системы распознавания сложных captcha-зображень в виде диаграмм классов главных блоков с детальным описанием каждого класса.Проведены компьютерные эксперименты с различными наборами искаженных символов, используемых в реальных captcha-системах, и получены показатели качества распознавания созданным программным обеспечением.Показано, что вероятность правильного результата распознавания captcha-зображень превышает 80 % при деформации символов до 20 %. При степени деформации символов, превышающем 30 %, существует большая вероятность ошибочного распознавания.К преимуществам метода распознавания символов текста на основе конкурирующих клеточных автоматов следует отнести простоту правил взаимодействия, возможность распараллеливания процесса распознавания искаженных и частично наложенных символов, составляющих основу современных captcha-системРозглянуто особливості застосування конкуруючих клітинних автоматів до задач з розпізнавання складних captcha-систем. Для цього введено поняття конкуруючих клітинних автоматів та розроблено алгоритми їх функціонування та взаємодії. Описано математичну модель конкуруючих клітинних автоматів на основі теорії множин для опису рухомих клітинних автоматів, що пересуваються по сусідніх станах символів і в такий спосіб реалізують свої правила переходу.На основі математичної моделі розроблено систему розпізнавання captha-зображень, яка реалізована в програмному коді засобами технології JavaFX 2.0, що дозволила досягти кросплатформеності та правильного функціонування на різних операційних системах.Бібліотеки клітинних автоматів розроблялися для англійської мови. Кожен символ алфавіту представляється у вигляді системи станів, котрій поставлено у відповідність клітинний автомат зі станами, що описують даний символ.Для розробки було використано мову програмування Java та можливості обробки зображень бібліотекою OpenCV, яка дозволила досягти якісного результату розпізнавання. Розглянуто архітектуру розробленої системи розпізнавання складних captcha-зображень у вигляді діаграм класів головних блоків з детальним описом кожного класу. Проведено комп'ютерні експерименти з різними наборами спотворених символів, що використовуються у реальних captcha-системах та отримано показники якості розпізнавання розробленим програмним забезпеченням.Показано, що ймовірність отримання правильного результату розпізнавання captcha-зображень перевищує 80 % при ступені деформації символів до 20 %. При ступені деформації символів понад 30 % існує велика ймовірність помилкового розпізнавання символів.До перевагам методу розпізнавання символів тексту на основі конкуруючих клітинних автоматів слід віднести простоту правил взаємодії, можливість легкого розпаралелювання процесу розпізнавання, можливість розпізнавання спотворених та частково накладених символів, які складають основу сучасних captcha-систе