Exponential fuzzy associative memories with application in classification

Orientador: Marcos Eduardo Ribeiro do Valle MesquitaTese (doutorado) - Universidade Estadual de Campinas, Instituto de Matemática Estatística e Computação CientíficaResumo: Memórias associativas são modelos matemáticos cujo principal objetivo é armazenar e recuperar informação por associação. Tais modelos são projetados para armazenar um conjunto finito de pares, chamado conjunto das memórias fundamentais, e devem apresentar certa tolerância a ruído, isto é, serem capazes de recuperar uma certa informação armazenada mesmo a partir de uma versão incompleta ou corrompida de um item memorizado. As memórias associativas recorrentes por correlação (RCAMs, do inglês Recurrent Correlation Associative Memories), introduzidas por Chiueh e Goodman, apresentam grande capacidade de armazenamento e excelente tolerância a ruído. Todavia, as RCAMs são projetadas para armazenar e recuperar padrões bipolares. As memórias associativas recorrentes exponenciais fuzzy generalizadas (GRE-FAMs, do inglês Generalized Recurrent Exponential Fuzzy Associative Memories) podem ser vistas como uma versão generalizada das RCAMs capazes de armazenar e recuperar conjuntos fuzzy. Nesta tese, introduzimos as memórias associativas bidirecionais exponenciais fuzzy generalizadas (GEB-FAMs, do inglês Generalized Exponential Bidirectional Fuzzy Associative Memories), uma extensão das GRE-FAMs para o caso heteroassociativo. Uma vez que as GEB-FAMs são baseadas em uma medida de similaridade, realizamos um estudo de diversas medidas de similaridade da literatura, dentre elas as medidas de similaridade baseadas em cardinalidade e a medida de similaridade estrutural (SSIM). Além disso, mostramos que as GEB-FAMs exibem ótima capacidade de armazenamento e apresentamos uma caracterização da saída de um passo das GEB-FAMs quando um dos seus parâmetros tende a infinito. No entanto, em experimentos computacionais, bons resultados foram obtidos por um único passo da GEB-FAM com valores do parâmetro no intervalo [1,10]. Como a dinâmica das GEB-FAMs ainda não está totalmente compreendida, este fato motivou um estudo mais aprofundado das GEB-FAMs de passo único, modelos denominados memórias associativas fuzzy com núcleo (fuzzy-KAM, do inglês fuzzy Kernel Associative Memories). Interpretamos este modelo utilizando um núcleo fuzzy e propomos ajustar seu parâmetro utilizando o conceito de entropia. Apresentamos também duas abordagens para classificação de padrões usando as fuzzy-KAMs. Finalmente, descrevemos os experimentos computacionais realizados para avaliar o desempenho de tais abordagens em problemas de classificação e reconhecimento de faces. Na maioria dos experimentos realizados, em ambos os tipos de problemas, os classificadores definidos com base nas abordagens propostas obtiveram desempenho satisfatório e competitivo com os obtidos por outros modelos da literatura, o que mostra a versatilidade de tais abordagensAbstract: Associative memories are mathematical models whose main objective is to store and recall information by association. Such models are designed for the storage a finite set of pairs, called fundamental memory set, and they must present certain noise tolerance, that is, they should be able to retrieve a stored information even from an incomplete or corrupted version of a memorized item. The recurrent correlation associative memories (RCAMs), introduced by Chiueh and Goodman, present large storage capacity and excellent noise tolerance. However, RCAMs are designed to store and retrieve bipolar patterns. The generalized recurrent exponential fuzzy associative memories (GRE-FAMs) can be seen as a generalized version of RCAMs capable of storing and retrieving fuzzy sets. In this thesis, we introduce the generalized exponential bidirectional fuzzy associative memories (GEB-FAMs), an extension of GRE-FAMs to the heteroassociative case. Since GEB-FAMs are based on a similarity measure, we conducted a study of several measures from the literature, including the cardinality based similarity measure and the structural similarity index (SSIM). Furthermore, we show that GEB-FAMs exhibit optimal storage capacity and we present a characterization of the output of a single-step GEB-FAM when one of its parameters tends to infinity. However, in computational experiments, good results were obtained by a single-step GEB-FAM with parameter values in the interval [1,10]. As the dynamics of the GEB-FAMs is still not fully understood, this fact led to a more detailed study of the single-step GEB-FAMs, refered to as fuzzy kernel associative memories (fuzzy-KAMs). We interpret this model by using a fuzzy kernel and we propose to adjust its parameter by using the concept of entropy. Also, we present two approaches to pattern classification using the fuzzy-KAMs. Finally, we describe computational experiments used to evaluate the performance of such approaches in classification and face recognition problems. In most of the experiments performed, in both types of problems, the classifiers defined based on the proposed approaches obtained satisfactory and competitive performance with those obtained by other models from the literature, which shows the versatility of such approachesDoutoradoMatematica AplicadaDoutora em Matemática Aplicada2015/00745-1CAPESFAPES

Subespace projection autoassociative memories based on robust estimators

Orientador: Marcos Eduardo Ribeiro do Valle MesquitaDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matemática Estatística e Computação CientíficaResumo: Uma memória autoassociativa (AM) é um sistema de entrada e saída capaz de armazenar um conjunto de dados. Uma AM também deve ser capaz de recordar um dado armazenado quando apresentado uma versão parcial ou corrompida desse dado. Uma AM que projeta um padrão de entrada em um subespaço linear é chamada memória autoassociativa de projeção em subespaço (SPAM). A fase de recordação de uma SPAM é equivalente a um problema de regressão multilinear. Nesta dissertação, além da SPAM usando o método dos quadrados mínimos, apresentamos modelos baseados nos estimadores robustos: M-estimativa, S-estimativa, MM-estimativa e ????-regressão de vetor de suporte. Ao contrário do que ocorre em alguns modelos de AMs, as SPAMs baseadas nos estimadores de regressão multilinear representam uma rede neural nos quais os pesos sinápticos são ajustados durante a fase de recordação. Experimentos computacionais consideram o reconhecimento de faces utilizando imagens em escala de cinzaAbstract: An associative memory (AM) is an input-output system able to store a finite set of data. An AM should be able to retrieve data after presentation of a partial or corrupted data. An AM that projects an input pattern onto a linear subspace is referred to as a subspace projection autoassociative memory (SPAM). The recall phase of a SPAM is equivalent to a multi-linear regression problem. This dissertation, suggests least squares regression robust estimators, M-estimate, S-estimate, MM-estimate and ?-support vector regression . In contrast to many other AMs models, a SPAM based on a robust estimator represents a neural network in which the synaptic weights are iteratively adjusted during the recall phase. Computational experiments consider the recognition of faces using grayscale imagesMestradoMatematica AplicadaMestra em Matemática Aplicad

Heterogeneous neural networks: theory and applications

Aquest treball presenta una classe de funcions que serveixen de models neuronals generalitzats per ser usats en xarxes neuronals artificials. Es defineixen com una mesura de similitud que actúa com una definició flexible de neurona vista com un reconeixedor de patrons. La similitud proporciona una marc conceptual i serveix de cobertura unificadora de molts models neuronals de la literatura i d'exploració de noves instàncies de models de neurona. La visió basada en similitud porta amb naturalitat a integrar informació heterogènia, com ara quantitats contínues i discretes (nominals i ordinals), i difuses ó imprecises. Els valors perduts es tracten de manera explícita. Una neurona d'aquesta classe s'anomena neurona heterogènia i qualsevol arquitectura neuronal que en faci ús serà una Xarxa Neuronal Heterogènia.En aquest treball ens concentrem en xarxes neuronals endavant, com focus inicial d'estudi. Els algorismes d'aprenentatge són basats en algorisms evolutius, especialment extesos per treballar amb informació heterogènia. En aquesta tesi es descriu com una certa classe de neurones heterogènies porten a xarxes neuronals que mostren un rendiment molt satisfactori, comparable o superior al de xarxes neuronals tradicionals (com el perceptró multicapa ó la xarxa de base radial), molt especialment en presència d'informació heterogènia, usual en les bases de dades actuals.This work presents a class of functions serving as generalized neuron models to be used in artificial neural networks. They are cast into the common framework of computing a similarity function, a flexible definition of a neuron as a pattern recognizer. The similarity endows the model with a clear conceptual view and serves as a unification cover for many of the existing neural models, including those classically used for the MultiLayer Perceptron (MLP) and most of those used in Radial Basis Function Networks (RBF). These families of models are conceptually unified and their relation is clarified. The possibilities of deriving new instances are explored and several neuron models --representative of their families-- are proposed. The similarity view naturally leads to further extensions of the models to handle heterogeneous information, that is to say, information coming from sources radically different in character, including continuous and discrete (ordinal) numerical quantities, nominal (categorical) quantities, and fuzzy quantities. Missing data are also explicitly considered. A neuron of this class is called an heterogeneous neuron and any neural structure making use of them is an Heterogeneous Neural Network (HNN), regardless of the specific architecture or learning algorithm. Among them, in this work we concentrate on feed-forward networks, as the initial focus of study. The learning procedures may include a great variety of techniques, basically divided in derivative-based methods (such as the conjugate gradient)and evolutionary ones (such as variants of genetic algorithms).In this Thesis we also explore a number of directions towards the construction of better neuron models --within an integrant envelope-- more adapted to the problems they are meant to solve.It is described how a certain generic class of heterogeneous models leads to a satisfactory performance, comparable, and often better, to that of classical neural models, especially in the presence of heterogeneous information, imprecise or incomplete data, in a wide range of domains, most of them corresponding to real-world problems.Postprint (published version