The relaxation method for learning in artificial neural networks

A new mathematical approach for deriving learning algorithms for various neural network models including the Hopfield model, Bidirectional Associative Memory, Dynamic Heteroassociative Neural Memory, and Radial Basis Function Networks is presented. The mathematical approach is based on the relaxation method for solving systems of linear inequalities. The newly developed learning algorithms are fast and they guarantee convergence to a solution in a finite number of steps. The new algorithms are highly insensitive to choice of parameters and the initial set of weights. They also exhibit high scalability on binary random patterns. Rigorous mathematical foundations for the new algorithms and their simulation studies are included

A comparative study on associative memories with emphasis on morphological associative memories

Orientador: Peter SussnerDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matematica, Estatistica e Computação CientificaResumo: Memórias associativas neurais são modelos do fenômeno biológico que permite o armazenamento de padrões e a recordação destes apos a apresentação de uma versão ruidosa ou incompleta de um padrão armazenado. Existem vários modelos de memórias associativas neurais na literatura, entretanto, existem poucos trabalhos comparando as varias propostas. Nesta dissertação comparamos sistematicamente o desempenho dos modelos mais influentes de memórias associativas neurais encontrados na literatura. Esta comparação está baseada nos seguintes critérios: capacidade de armazenamento, distribuição da informação nos pesos sinápticos, raio da bacia de atração, memórias espúrias e esforço computacional. Especial ênfase dado para as memórias associativas morfológicas cuja fundamentação matemática encontra-se na morfologia matemática e na álgebra de imagensAbstract: Associative neural memories are models of biological phenomena that allow for the storage of pattern associations and the retrieval of the desired output pattern upon presentation of a possibly noisy or incomplete version of an input pattern. There are several models of neural associative memories in the literature, however, there are few works relating them. In this thesis, we present a systematic comparison of the performances of some of the most widely known models of neural associative memories. This comparison is based on the following criteria: storage capacity, distribution of the information over the synaptic weights, basin of attraction, number of spurious memories, and computational effort. The thesis places a special emphasis on morphological associative memories whose mathematical foundations lie in mathematical morphology and image algebraMestradoMatematica AplicadaMestre em Matemática Aplicad

Une structure associative bidirectionnelle d'auto-encodage permettant l'apprentissage et la catégorisation perceptuels

Les humains sont continuellement exposés à des stimulations pour lesquelles leur système perceptivo-cognitif doit créer des représentations mnésiques. Tout en créant un code interne de composantes, ce système doit être en mesure de reconnaître, d'identifier, et de discriminer ces objets lors de prochaines occurrences. Ce processus s'effectue par la création et la mise à jour d'une mémoire épisodique d'exemplaires à dimensionnalité réduite. De plus, le système cognitif doit regrouper les objets similaires en catégories, tout en adaptant le contenu de la mémoire suite à l'ajout d'informations produit par la rencontre de nouveaux objets. Ces processus de niveau « objet » et « catégorie » s'effectuent de façon séparée, par le biais de deux mémoires.\ud Jusqu'à maintenant, aucun modèle formel satisfaisant n'était en mesure de rendre compte de cette variété de comportements humains sans sacrifier la simplicité et l'élégance du système initial pour simuler l'un d'eux. Le modèle FEBAM (pour Feature-Extracting Bidirectional Associative Memory) a été créé dans le but de répondre à cette incapacité de beaucoup de modèles existants à effectuer des tâches cognitives et perceptuelles à l'aide d'un codage interne créé de façon autonome, comme le font les humains. Basé sur une architecture neuronale associative bidirectionnelle, FEBAM peut reproduire les comportements d'autres réseaux de neurones artificiels dont les processus dynamiques sont basés sur l'extraction de composantes, la création de bassins d'attracteurs, ou encore le partitionnement de données (« clustering »), et ce, en utilisant une seule architecture, règle de transmission et procédure d'apprentissage. Dans la présente thèse, il sera montré qu'avec un nombre minimal de principes définitoires, le modèle pourra effectuer des tâches telles que la création autonome d'un code interne de composantes, le développement autonome d'une mémoire d'exemplaires parfaits, ainsi que l'identification et la catégorisation autonomes. Il sera aussi montré, grâce à la proposition d'un mécanisme itératif de croissance de l'architecture, que les catégories créées par le réseau peuvent être réorganisées suite à la présentation de nouvelles informations perceptuelles au système. On montrera également que FEBAM préserve les capacités d'une mémoire autoassociative récurrente (dont il est inspiré), tout en améliorant certains des comportements de cette dernière. Le modèle FEBAM sera également étendu au cas supervisé. Dans ce cas, le modèle FEBAM-RA (RA pour Response Association), grâce à un module supplémentaire, associera les représentations internes des stimuli à leur identité ou à leur appartenance catégorielle prédéfinies. Cette extension se fera sans avoir à ajouter des principes définitoires: ainsi, on utilisera ici la même règle d'apprentissage, la même règle de transmission, et une généralisation de l'architecture de FEBAM. Grâce à cet ajout, le modèle sera en mesure de reproduire de façon qualitative l'effet de la pré-exposition perceptuelle sur la rapidité de l'apprentissage identificatif supervisé, ainsi que l'effet de difficulté de la tâche lorsque l'on compare l'identification et la catégorisation supervisées (dans une situation de tâches simultanées). La contribution principale de cette thèse repose donc dans la parcimonie des principes utilisés. En effet, grâce à un nombre minimal de postulats définitoires, on modélisera donc des processus de traitement d'objets et de catégories, et ce, de façon autonome ou supervisée. Ce projet de recherche constituant la première étape de développement de l'approche FEBAM, quelques améliorations à l'approche de base seront proposées. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Modélisation cognitive, Réseaux de neurones artificiels, Extraction de composantes, Catégorisation, Identification

Associative neural networks: properties, learning, and applications.

by Chi-sing Leung.Thesis (Ph.D.)--Chinese University of Hong Kong, 1994.Includes bibliographical references (leaves 236-244).Chapter 1 --- Introduction --- p.1Chapter 1.1 --- Background of Associative Neural Networks --- p.1Chapter 1.2 --- A Distributed Encoding Model: Bidirectional Associative Memory --- p.3Chapter 1.3 --- A Direct Encoding Model: Kohonen Map --- p.6Chapter 1.4 --- Scope and Organization --- p.9Chapter 1.5 --- Summary of Publications --- p.13Chapter I --- Bidirectional Associative Memory: Statistical Proper- ties and Learning --- p.17Chapter 2 --- Introduction to Bidirectional Associative Memory --- p.18Chapter 2.1 --- Bidirectional Associative Memory and its Encoding Method --- p.18Chapter 2.2 --- Recall Process of BAM --- p.20Chapter 2.3 --- Stability of BAM --- p.22Chapter 2.4 --- Memory Capacity of BAM --- p.24Chapter 2.5 --- Error Correction Capability of BAM --- p.28Chapter 2.6 --- Chapter Summary --- p.29Chapter 3 --- Memory Capacity and Statistical Dynamics of First Order BAM --- p.31Chapter 3.1 --- Introduction --- p.31Chapter 3.2 --- Existence of Energy Barrier --- p.34Chapter 3.3 --- Memory Capacity from Energy Barrier --- p.44Chapter 3.4 --- Confidence Dynamics --- p.49Chapter 3.5 --- Numerical Results from the Dynamics --- p.63Chapter 3.6 --- Chapter Summary --- p.68Chapter 4 --- Stability and Statistical Dynamics of Second order BAM --- p.70Chapter 4.1 --- Introduction --- p.70Chapter 4.2 --- Second order BAM and its Stability --- p.71Chapter 4.3 --- Confidence Dynamics of Second Order BAM --- p.75Chapter 4.4 --- Numerical Results --- p.82Chapter 4.5 --- Extension to higher order BAM --- p.90Chapter 4.6 --- Verification of the conditions of Newman's Lemma --- p.94Chapter 4.7 --- Chapter Summary --- p.95Chapter 5 --- Enhancement of BAM --- p.97Chapter 5.1 --- Background --- p.97Chapter 5.2 --- Review on Modifications of BAM --- p.101Chapter 5.2.1 --- Change of the encoding method --- p.101Chapter 5.2.2 --- Change of the topology --- p.105Chapter 5.3 --- Householder Encoding Algorithm --- p.107Chapter 5.3.1 --- Construction from Householder Transforms --- p.107Chapter 5.3.2 --- Construction from iterative method --- p.109Chapter 5.3.3 --- Remarks on HCA --- p.111Chapter 5.4 --- Enhanced Householder Encoding Algorithm --- p.112Chapter 5.4.1 --- Construction of EHCA --- p.112Chapter 5.4.2 --- Remarks on EHCA --- p.114Chapter 5.5 --- Bidirectional Learning --- p.115Chapter 5.5.1 --- Construction of BL --- p.115Chapter 5.5.2 --- The Convergence of BL and the memory capacity of BL --- p.116Chapter 5.5.3 --- Remarks on BL --- p.120Chapter 5.6 --- Adaptive Ho-Kashyap Bidirectional Learning --- p.121Chapter 5.6.1 --- Construction of AHKBL --- p.121Chapter 5.6.2 --- Convergent Conditions for AHKBL --- p.124Chapter 5.6.3 --- Remarks on AHKBL --- p.125Chapter 5.7 --- Computer Simulations --- p.126Chapter 5.7.1 --- Memory Capacity --- p.126Chapter 5.7.2 --- Error Correction Capability --- p.130Chapter 5.7.3 --- Learning Speed --- p.157Chapter 5.8 --- Chapter Summary --- p.158Chapter 6 --- BAM under Forgetting Learning --- p.160Chapter 6.1 --- Introduction --- p.160Chapter 6.2 --- Properties of Forgetting Learning --- p.162Chapter 6.3 --- Computer Simulations --- p.168Chapter 6.4 --- Chapter Summary --- p.168Chapter II --- Kohonen Map: Applications in Data compression and Communications --- p.170Chapter 7 --- Introduction to Vector Quantization and Kohonen Map --- p.171Chapter 7.1 --- Background on Vector quantization --- p.171Chapter 7.2 --- Introduction to LBG algorithm --- p.173Chapter 7.3 --- Introduction to Kohonen Map --- p.174Chapter 7.4 --- Chapter Summary --- p.179Chapter 8 --- Applications of Kohonen Map in Data Compression and Communi- cations --- p.181Chapter 8.1 --- Use Kohonen Map to design Trellis Coded Vector Quantizer --- p.182Chapter 8.1.1 --- Trellis Coded Vector Quantizer --- p.182Chapter 8.1.2 --- Trellis Coded Kohonen Map --- p.188Chapter 8.1.3 --- Computer Simulations --- p.191Chapter 8.2 --- Kohonen MapiCombined Vector Quantization and Modulation --- p.195Chapter 8.2.1 --- Impulsive Noise in the received data --- p.195Chapter 8.2.2 --- Combined Kohonen Map and Modulation --- p.198Chapter 8.2.3 --- Computer Simulations --- p.200Chapter 8.3 --- Error Control Scheme for the Transmission of Vector Quantized Data --- p.213Chapter 8.3.1 --- Motivation and Background --- p.214Chapter 8.3.2 --- Trellis Coded Modulation --- p.216Chapter 8.3.3 --- "Combined Vector Quantization, Error Control, and Modulation" --- p.220Chapter 8.3.4 --- Computer Simulations --- p.223Chapter 8.4 --- Chapter Summary --- p.226Chapter 9 --- Conclusion --- p.232Bibliography --- p.23