81 research outputs found

    Solving constraint-satisfaction problems with distributed neocortical-like neuronal networks

    Get PDF
    Finding actions that satisfy the constraints imposed by both external inputs and internal representations is central to decision making. We demonstrate that some important classes of constraint satisfaction problems (CSPs) can be solved by networks composed of homogeneous cooperative-competitive modules that have connectivity similar to motifs observed in the superficial layers of neocortex. The winner-take-all modules are sparsely coupled by programming neurons that embed the constraints onto the otherwise homogeneous modular computational substrate. We show rules that embed any instance of the CSPs planar four-color graph coloring, maximum independent set, and Sudoku on this substrate, and provide mathematical proofs that guarantee these graph coloring problems will convergence to a solution. The network is composed of non-saturating linear threshold neurons. Their lack of right saturation allows the overall network to explore the problem space driven through the unstable dynamics generated by recurrent excitation. The direction of exploration is steered by the constraint neurons. While many problems can be solved using only linear inhibitory constraints, network performance on hard problems benefits significantly when these negative constraints are implemented by non-linear multiplicative inhibition. Overall, our results demonstrate the importance of instability rather than stability in network computation, and also offer insight into the computational role of dual inhibitory mechanisms in neural circuits.Comment: Accepted manuscript, in press, Neural Computation (2018

    Scale-freeness and small-world phenomenon in information-flow graphs of geometrical neural networks

    Get PDF
    In this dissertation we set out to study a simplified model of activation flow in artificial neural networks with geometrical embedding. The model provides a mathematical description of abstract neural activation transfer in terms, which bear resemblances to multi-value Boltzmann-like evolution. The activation-preserving constraint mimics a critical regime of the dynamics and, along with accounting for geometrical location of the neurons, makes the system more feasible for modelling of real-world networks. We focus on scale invariance or scale-freeness and small-world phenomena in the said networks. Our results clearly confirm presence of both features at the functional level of the activity-flow graph. We show that the degree distribution preserves a power-law shape with the exponent value approximately equal to -2. In addition, we present our results concerning characteristic path length in the said graphs, which grows roughly logarithmically with the size of the network, while the clustering coefficient turns out to be relatively high. Taken together, the clustering and path length ratios are surprisingly high, and thus confirm large both local and global efficiency of the network. Finally, we compare the properties of activation-flow model to those reported in neurobiological analyses of brain networks recorded with functional magnetic resonance imagining (fMRI). There is a strong agreement between the shape and exponent value of degree distribution also the clustering and characteristic path lengths are comparable in both the model and medical data.Celem niniejszej rozprawy jest analiza uproszczonego modelu przepływu aktywności w sztucznych sieciach neuronowych zanurzonych w przestrzeni geometrycznej. Przedstawiony model dostarcza matematycznego opisu transferu aktywności w terminach zbliżonych do wielowartościowych maszyn Boltzmanna. Wymóg zachowania stałej sumarycznej aktywności odzwierciedla krytyczność dynamiki i wraz z uwzględnieniem wpływu lokalizacji geometrycznej neuronów sprawia, że system jest bardziej adekwatny do modelowania rzeczywistych sieci. Badania koncentrują się na bezskalowości oraz fenomenie małego świata w wyżej wymienionych sieciach. Uzyskane rezultaty potwierdzają obecność obu własności w omawianych grafach. Pokażemy, że rozkład stopni wejściowych wierzchołków zachowuje się jak funkcja potęgowa z wykładnikiem równym -2. Ponadto prezentujemy wyniki dotyczące charakterystycznej długości ścieżki, który rośnie logarytmicznie wraz z wielkością systemu, podczas gdy współczynnik klasteryzacji okazuje się dość duży. W konsekwencji stosunek klasteryzacji do długości ścieżek jest zaskakująco wysoki, co jest dystynktywną własnością sieci małego świata. Wreszcie, dokonujemy porównania cech omawianego modelu przepływu aktywności z neuro-biologicznymi rezultatami, przedstawionymi w badaniach grafów mózgowych z danych uzyskanych z funkcjonalnego obrazowania z wykorzystaniem rezonansu magnetycznego (fMRI). Wskazujemy silną odpowiedniość pomiędzy kształtem i wartością wykładnika rozkładu stopni, zaś klasteryzacja i charakterystyczna długość ścieżki są porównywalne w modelu i danych medycznych

    Pertanika Journal of Science & Technology

    Get PDF

    Analysis and synthesis techniques of nonlinear dynamical systems with applications to diagnostic of controlled thermonuclear fusion reactors

    Get PDF
    Nonlinear dynamical systems are of wide interest to engineers, physicists and mathematicians, and this is due to the fact that most of physical systems in nature are inherently non-linear. The nonlinearity of these systems has consequences on their time-evolution, which in some cases can be completely unpredictable, apparently random, although fundamentally deterministic. Chaotic systems are striking examples of this. In most cases, there are no hard and fast rules to analyse these systems. Often, their solutions cannot be obtained in closed form, and it is necessary to resort to numerical integration techniques, which, in case of high sensitivity to initial conditions, lead to ill-conditioning problems and high computational costs. The dynamical system theory, the branch of mathematics used to describe the behaviour of these systems, focuses not on finding exact solutions to the equations describing the dynamical system, but rather on knowing if the system stabilises to a steady state in the long term, and what are the possible attractors, e.g. a quasi-periodic or chaotic attractors. Regarding the synthesis, from both a practical and a theoretical standpoint, it is very desirable to develop methods of synthesizing these systems. Although extensive theory has been developed for linear systems, no complete formulation for nonlinear systems synthesis is present today. The main topic of this thesis is the solution of engineering problems related to the analysis and synthesis of nonlinear and chaotic systems. In particular, a new algorithm which optimizes Lyapunov exponents estimation in piecewise linear systems has been applied to PWL and polynomial chaotic systems. In the field of complex systems synthesis, a systematic method to project systems of order 2n characterized by two positive Lyapunov exponents, has been proposed. This procedure couples nth-order chaotic systems with a suitable nonlinear coupling function. Furthermore, a method for the fault detection has been developed. In the field of time series analysis, a new denoising method, based on the wavelet transform of the noisy signal, has been described. The method implements a variable thresholding, whose optimal value is determined by analysing the cross-correlation between the denoised signal and the residuals and by applying different criteria depending on the particular decomposition level. Finally, a study of dynamical behaviour of Type I ELMs has been performed for a future modelization of the phenomenon. In this context, a statistical analysis of time intervals between successive Type I ELMs has been proposed.---------------------------------- Il tema principale di questa tesi è la soluzione di problemi ingegneristici legati all’analisi e alla sintesi di sistemi dinamici non lineari. I sistemi dinamici non lineari sono di largo interesse per ingegneri, fisici e matematici, e questo è dovuto al fatto che la maggior parte dei sistemi fisici in natura è intrinsecamente non lineare. La non linearità di questi sistemi ha conseguenze sulla loro evoluzione temporale, che in certi casi può rivelarsi del tutto imprevedibile, apparentemente casuale, seppure fondamentalmente deterministica. I sistemi caotici sono un esempio lampante di questo comportamento. Nella maggior parte dei casi non esistono delle regole standard per l’analisi di questi sistemi. Spesso, le soluzioni non possono essere ottenute in forma chiusa, ed è necessario ricorrere a tecniche di integrazione numerica, che, in caso di elevata sensibilità alle condizioni iniziali, portano a problemi di mal condizionamento e di elevato costo computazionale. La teoria dei sistemi dinamici, la branca della matematica usata per descrivere il comportamento di questi sistemi, non si concentra sulla ricerca di soluzioni esatte per le equazioni che descrivono il sistema dinamico, ma piuttosto sull’analisi del comportamento a lungo termine del sistema, per sapere se questo si stabilizzi in uno stato stabile e per sapere quali siano i possibili attrattori, ad esempio, attrattori quasi-periodici o caotici. Per quanto riguarda la sintesi, sia da un punto di vista pratico che teorico, è molto importante lo sviluppo di metodi in grado di sintetizzare questi sistemi. Sebbene per i sistemi lineari sia stata sviluppata una teoria ampia e esaustiva, al momento non esiste alcuna formulazione completa per la sintesi di sistemi non lineari. In questa tesi saranno affrontati problemi di caratterizzazione, analisi e sintesi, legati allo studio di sistemi non lineari e caotici. La caratterizzazione dinamica di un sistema non lineare permette di individuarne il comportamento qualitativo a lungo termine. Gli esponenti di Lyapunov sono degli strumenti che permettono di determinare il comportamento asintotico di un sistema dinamico. Essi danno informazioni circa il tasso di divergenza di traiettorie vicine, caratteristica chiave delle dinamiche caotiche. Le tecniche esistenti per il calcolo degli esponenti di Lyapunov sono computazionalmente costose, e questo fatto ha in qualche modo precluso l’uso estensivo di questi strumenti in problemi di grandi dimensioni. Inoltre, durante il calcolo degli esponenti sorgono dei problemi di tipo numerico, per ciò il calcolo deve essere affrontato con cautela. L’implementazione di algoritmi veloci e accurati per il calcolo degli esponenti di Lyapunov è un problema di interesse attuale. In molti casi pratici il vettore di stato del sistema non è disponibile, e una serie temporale rappresenta l’unica informazione a disposizione. L’analisi di serie storiche è un metodo di analisi dei dati provenienti da serie temporali che ha lo scopo di estrarre delle statistiche significative e altre caratteristiche dei dati, e di ottenere una comprensione della struttura e dei fattori fondamentali che hanno prodotto i dati osservati. Per esempio, un problema dei reattori a fusione termonucleare controllata è l’analisi di serie storiche della radiazione Dα, caratteristica del fenomeno chiamato Edge Localized Modes (ELMs). La comprensione e il 16 controllo degli ELMs sono problemi cruciali per il funzionamento di ITER, in cui il type-I ELMy H-mode è stato scelto come scenario di funzionamento standard. Determinare se la dinamica degli ELM sia caotica o casuale è cruciale per la corretta descrizione dell’ELM cycle. La caratterizzazione dinamica effettuata sulle serie temporali ricorrendo al cosiddetto spazio di embedding, può essere utilizzata per distinguere serie random da serie caotiche. Uno dei problemi più frequenti che si incontra nell’analisi di serie storiche sperimentali è la presenza di rumore, che in alcuni casi può raggiungere anche il 10% o il 20% del segnale. È quindi essenziale , prima di ogni analisi, sviluppare una tecnica appropriata e robusta per il denosing. Quando il modello del sistema è noto, l’analisi di serie storiche può essere applicata al rilevamento di guasti. Questo problema può essere formalizzato come un problema di identificazione dei parametri. In questi casi, la teorie dell’algebra differenziale fornisce utili informazioni circa la natura dei rapporti fra l’osservabile scalare, le variabili di stato e gli altri parametri del sistema. La sintesi di sistemi caotici è un problema fondamentale e interessante. Questi sistemi non implicano soltanto un metodo di realizzazione di modelli matematici esistenti ma anche di importanti sistemi fisici reali. La maggior parte dei metodi presentati in letteratura dimostra numericamente la presenza di dinamiche caotiche, per mezzo del calcolo degli esponenti di Lyapunov. In particolare, le dinamiche ipercaotiche sono identificate dalla presenza di due esponenti di Lyapunov positivi

    Analog Photonics Computing for Information Processing, Inference and Optimisation

    Full text link
    This review presents an overview of the current state-of-the-art in photonics computing, which leverages photons, photons coupled with matter, and optics-related technologies for effective and efficient computational purposes. It covers the history and development of photonics computing and modern analogue computing platforms and architectures, focusing on optimization tasks and neural network implementations. The authors examine special-purpose optimizers, mathematical descriptions of photonics optimizers, and their various interconnections. Disparate applications are discussed, including direct encoding, logistics, finance, phase retrieval, machine learning, neural networks, probabilistic graphical models, and image processing, among many others. The main directions of technological advancement and associated challenges in photonics computing are explored, along with an assessment of its efficiency. Finally, the paper discusses prospects and the field of optical quantum computing, providing insights into the potential applications of this technology.Comment: Invited submission by Journal of Advanced Quantum Technologies; accepted version 5/06/202

    Traveling Salesman Problem

    Get PDF
    This book is a collection of current research in the application of evolutionary algorithms and other optimal algorithms to solving the TSP problem. It brings together researchers with applications in Artificial Immune Systems, Genetic Algorithms, Neural Networks and Differential Evolution Algorithm. Hybrid systems, like Fuzzy Maps, Chaotic Maps and Parallelized TSP are also presented. Most importantly, this book presents both theoretical as well as practical applications of TSP, which will be a vital tool for researchers and graduate entry students in the field of applied Mathematics, Computing Science and Engineering
    corecore