Subespace projection autoassociative memories based on robust estimators

Orientador: Marcos Eduardo Ribeiro do Valle MesquitaDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matemática Estatística e Computação CientíficaResumo: Uma memória autoassociativa (AM) é um sistema de entrada e saída capaz de armazenar um conjunto de dados. Uma AM também deve ser capaz de recordar um dado armazenado quando apresentado uma versão parcial ou corrompida desse dado. Uma AM que projeta um padrão de entrada em um subespaço linear é chamada memória autoassociativa de projeção em subespaço (SPAM). A fase de recordação de uma SPAM é equivalente a um problema de regressão multilinear. Nesta dissertação, além da SPAM usando o método dos quadrados mínimos, apresentamos modelos baseados nos estimadores robustos: M-estimativa, S-estimativa, MM-estimativa e ????-regressão de vetor de suporte. Ao contrário do que ocorre em alguns modelos de AMs, as SPAMs baseadas nos estimadores de regressão multilinear representam uma rede neural nos quais os pesos sinápticos são ajustados durante a fase de recordação. Experimentos computacionais consideram o reconhecimento de faces utilizando imagens em escala de cinzaAbstract: An associative memory (AM) is an input-output system able to store a finite set of data. An AM should be able to retrieve data after presentation of a partial or corrupted data. An AM that projects an input pattern onto a linear subspace is referred to as a subspace projection autoassociative memory (SPAM). The recall phase of a SPAM is equivalent to a multi-linear regression problem. This dissertation, suggests least squares regression robust estimators, M-estimate, S-estimate, MM-estimate and ?-support vector regression . In contrast to many other AMs models, a SPAM based on a robust estimator represents a neural network in which the synaptic weights are iteratively adjusted during the recall phase. Computational experiments consider the recognition of faces using grayscale imagesMestradoMatematica AplicadaMestra em Matemática Aplicad

Exponential fuzzy associative memories with application in classification

Orientador: Marcos Eduardo Ribeiro do Valle MesquitaTese (doutorado) - Universidade Estadual de Campinas, Instituto de Matemática Estatística e Computação CientíficaResumo: Memórias associativas são modelos matemáticos cujo principal objetivo é armazenar e recuperar informação por associação. Tais modelos são projetados para armazenar um conjunto finito de pares, chamado conjunto das memórias fundamentais, e devem apresentar certa tolerância a ruído, isto é, serem capazes de recuperar uma certa informação armazenada mesmo a partir de uma versão incompleta ou corrompida de um item memorizado. As memórias associativas recorrentes por correlação (RCAMs, do inglês Recurrent Correlation Associative Memories), introduzidas por Chiueh e Goodman, apresentam grande capacidade de armazenamento e excelente tolerância a ruído. Todavia, as RCAMs são projetadas para armazenar e recuperar padrões bipolares. As memórias associativas recorrentes exponenciais fuzzy generalizadas (GRE-FAMs, do inglês Generalized Recurrent Exponential Fuzzy Associative Memories) podem ser vistas como uma versão generalizada das RCAMs capazes de armazenar e recuperar conjuntos fuzzy. Nesta tese, introduzimos as memórias associativas bidirecionais exponenciais fuzzy generalizadas (GEB-FAMs, do inglês Generalized Exponential Bidirectional Fuzzy Associative Memories), uma extensão das GRE-FAMs para o caso heteroassociativo. Uma vez que as GEB-FAMs são baseadas em uma medida de similaridade, realizamos um estudo de diversas medidas de similaridade da literatura, dentre elas as medidas de similaridade baseadas em cardinalidade e a medida de similaridade estrutural (SSIM). Além disso, mostramos que as GEB-FAMs exibem ótima capacidade de armazenamento e apresentamos uma caracterização da saída de um passo das GEB-FAMs quando um dos seus parâmetros tende a infinito. No entanto, em experimentos computacionais, bons resultados foram obtidos por um único passo da GEB-FAM com valores do parâmetro no intervalo [1,10]. Como a dinâmica das GEB-FAMs ainda não está totalmente compreendida, este fato motivou um estudo mais aprofundado das GEB-FAMs de passo único, modelos denominados memórias associativas fuzzy com núcleo (fuzzy-KAM, do inglês fuzzy Kernel Associative Memories). Interpretamos este modelo utilizando um núcleo fuzzy e propomos ajustar seu parâmetro utilizando o conceito de entropia. Apresentamos também duas abordagens para classificação de padrões usando as fuzzy-KAMs. Finalmente, descrevemos os experimentos computacionais realizados para avaliar o desempenho de tais abordagens em problemas de classificação e reconhecimento de faces. Na maioria dos experimentos realizados, em ambos os tipos de problemas, os classificadores definidos com base nas abordagens propostas obtiveram desempenho satisfatório e competitivo com os obtidos por outros modelos da literatura, o que mostra a versatilidade de tais abordagensAbstract: Associative memories are mathematical models whose main objective is to store and recall information by association. Such models are designed for the storage a finite set of pairs, called fundamental memory set, and they must present certain noise tolerance, that is, they should be able to retrieve a stored information even from an incomplete or corrupted version of a memorized item. The recurrent correlation associative memories (RCAMs), introduced by Chiueh and Goodman, present large storage capacity and excellent noise tolerance. However, RCAMs are designed to store and retrieve bipolar patterns. The generalized recurrent exponential fuzzy associative memories (GRE-FAMs) can be seen as a generalized version of RCAMs capable of storing and retrieving fuzzy sets. In this thesis, we introduce the generalized exponential bidirectional fuzzy associative memories (GEB-FAMs), an extension of GRE-FAMs to the heteroassociative case. Since GEB-FAMs are based on a similarity measure, we conducted a study of several measures from the literature, including the cardinality based similarity measure and the structural similarity index (SSIM). Furthermore, we show that GEB-FAMs exhibit optimal storage capacity and we present a characterization of the output of a single-step GEB-FAM when one of its parameters tends to infinity. However, in computational experiments, good results were obtained by a single-step GEB-FAM with parameter values in the interval [1,10]. As the dynamics of the GEB-FAMs is still not fully understood, this fact led to a more detailed study of the single-step GEB-FAMs, refered to as fuzzy kernel associative memories (fuzzy-KAMs). We interpret this model by using a fuzzy kernel and we propose to adjust its parameter by using the concept of entropy. Also, we present two approaches to pattern classification using the fuzzy-KAMs. Finally, we describe computational experiments used to evaluate the performance of such approaches in classification and face recognition problems. In most of the experiments performed, in both types of problems, the classifiers defined based on the proposed approaches obtained satisfactory and competitive performance with those obtained by other models from the literature, which shows the versatility of such approachesDoutoradoMatematica AplicadaDoutora em Matemática Aplicada2015/00745-1CAPESFAPES

Complete lattice projection autoassociative memories

Orientador: Marcos Eduardo Ribeiro do Valle MesquitaTese (doutorado) - Universidade Estadual de Campinas, Instituto de Matemática Estatística e Computação CientíficaResumo: A capacidade do cérebro humano de armazenar e recordar informações por associação tem inspirado o desenvolvimento de modelos matemáticos referidos na literatura como memórias associativas. Em primeiro lugar, esta tese apresenta um conjunto de memórias autoassociativas (AMs) que pertecem à ampla classe das memórias morfológicas autoassociativas (AMMs). Especificamente, as memórias morfológicas autoassociativas de projeção max-plus e min-plus (max-plus e min-plus PAMMs), bem como suas composições, são introduzidas nesta tese. Tais modelos podem ser vistos como versões não distribuídas das AMMs propostas por Ritter e Sussner. Em suma, a max-plus PAMM produz a maior combinação max-plus das memórias fundamentais que é menor ou igual ao padrão de entrada. Dualmente, a min-plus PAMM projeta o padrão de entrada no conjunto de todas combinações min-plus. Em segundo, no contexto da teoria dos conjuntos fuzzy, esta tese propõe novas memórias autoassociativas fuzzy, referidas como classe das max-C e min-D FPAMMs. Uma FPAMM representa uma rede neural morfológica fuzzy com uma camada oculta de neurônios que é concebida para o armazenamento e recordação de conjuntos fuzzy ou vetores num hipercubo. Experimentos computacionais relacionados à classificação de padrões e reconhecimento de faces indicam possíveis aplicações dos novos modelos acima mencionadosAbstract: The human brain¿s ability to store and recall information by association has inspired the development various mathematical models referred to in the literature as associative memories. Firstly, this thesis presents a set of autoassociative memories (AMs) that belong to the broad class of autoassociative morphological memories (AMMs). Specifically, the max-plus and min-plus projection autoassociative morphological memories (max-plus and min-plus PAMMs), as well as their compositions, are introduced in this thesis. These models are non-distributed versions of the AMM models developed by Ritter and Sussner. Briefly, the max-plus PAMM yields the largest max-plus combination of the stored vectors which is less than or equal to the input pattern. Dually, the min-plus PAMM projects the input pattern into the set of all min-plus combinations. In second, in the context of fuzzy set theory, this thesis proposes new fuzzy autoassociative memories mentioned as class of the max-C and min-D FPAMMs. A FPAMM represents a fuzzy morphological neural network with a hidden layer of neurons that is designed for the storage and retrieval of fuzzy sets or vectors on a hypercube. Computational experiments concerning pattern classification and face recognition indicate possible applications of the aforementioned new AM modelsDoutoradoMatematica AplicadaDoutor em Matemática AplicadaCAPE

A comparative study on associative memories with emphasis on morphological associative memories

Orientador: Peter SussnerDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matematica, Estatistica e Computação CientificaResumo: Memórias associativas neurais são modelos do fenômeno biológico que permite o armazenamento de padrões e a recordação destes apos a apresentação de uma versão ruidosa ou incompleta de um padrão armazenado. Existem vários modelos de memórias associativas neurais na literatura, entretanto, existem poucos trabalhos comparando as varias propostas. Nesta dissertação comparamos sistematicamente o desempenho dos modelos mais influentes de memórias associativas neurais encontrados na literatura. Esta comparação está baseada nos seguintes critérios: capacidade de armazenamento, distribuição da informação nos pesos sinápticos, raio da bacia de atração, memórias espúrias e esforço computacional. Especial ênfase dado para as memórias associativas morfológicas cuja fundamentação matemática encontra-se na morfologia matemática e na álgebra de imagensAbstract: Associative neural memories are models of biological phenomena that allow for the storage of pattern associations and the retrieval of the desired output pattern upon presentation of a possibly noisy or incomplete version of an input pattern. There are several models of neural associative memories in the literature, however, there are few works relating them. In this thesis, we present a systematic comparison of the performances of some of the most widely known models of neural associative memories. This comparison is based on the following criteria: storage capacity, distribution of the information over the synaptic weights, basin of attraction, number of spurious memories, and computational effort. The thesis places a special emphasis on morphological associative memories whose mathematical foundations lie in mathematical morphology and image algebraMestradoMatematica AplicadaMestre em Matemática Aplicad

Fundamentals and applications of fuzzy morphological associative memories

Orientador: Peter SussnerTese (doutorado) - Universidade Estadual de Campinas, Instituto de Matematica, Estatistica e Computação CientificaResumo: Uma Memória Associativa (AM, Associative Memory) é um modelo projetado para armazenar pares de entrada e saída. Sobretudo, uma AM deve ser capaz de recordar uma sida desejada ao mesmo após a apresentação de uma versão incompleta ou destorcida de um padrão de entrada. Essa tese de doutorado discute as Memórias Associativas Morfológicas Nebulosas (FMAMs, Fuzzi Morphological Associative Memories), uma classe de memórias associativas elaboradas para armazenar padrões nebulosas cujos neurÔnios realizam operações elementares da morfologia matemática, i.e., dilatação, erosão, anti-dilatação e anti-erosão. É verificado que os principais modelos de Memória Associativa Nebulosa (FAM, Fuzzy Associative Memory) pertencem à classe das FMAMs. Essa tese introduz as Memórias Associativas Nebulosas Implicativas (IFAMs, Implicative Fuzzy Associative Memories) e suas versões duas com respeito à negação e adjunção. Uma IFAM é uma FMAM onde os pares de entrada e saída são armazenados usando o armazenamento nebuloso implicativo. No armazenamento nebuloso implicativo, os pesos sinápticos. Resultados sobre a fase de armazenamento faz IFAMs e das IFAMs duas são apresentados. Em particular, são demonstrados teoremas sobre a convergência, capacidade de armazenamento, tolerância à ruído e pontos fixos das IFAMs e das IFAMs duais para o caso autoassoplos e resultados teóricos. Finalmente, são apresentadas duas aplicações das FMAMs em problemas de previsão de séries temporais. O primeiro problema trata da previsão da mão-de-obra requerida em industrias metalúrgicas enquanto que a segunda aplicação refere-se a previsão da vazão média mensal da usina hidrelétrica de FurnasAbstract: Associative memories (AMs) are models that allow for the storage of pattern associations and the retrieval of the desired output pattern upon presentation of a possibly noisy or incomplete version of an input pattern. This thesis discusses fuzzy morphological associative memories (FMAMs), a general class of AMs designed to store fuzzy patterns and described by fuzzy neural networks. Each neuron of a FMAM model performs an elementary operation of mathematical morphology such as dilation, erosion, anti-dilation, and anti-erosion. We show that the most widely known models of fuzzy associative memories (FAMs) belong to the FMAM class. This thesis introduces the implicative fuzzy associative memories (IFAMs) and their dual versions with respect to negation and adjunction. An IFAM is a FMAM model where the patterns are stored by means of implicative fuzzy learning. Specifically, in implicative fuzzy learning, the synaptic weights are given by the minimum of the implication of pre- and postsynaptic activations. We present results concerning the recall and storing phase of IFAM and the dual IFAM models. In particular, we present theorems concerning the convergence, the storage capacity, the noise tolerance, and the fixed points of the IFAM and dual IFAM models in the auto-associative case. We compare the IFAMs with several others FAM models by means of theoretical results and examples. Finally, we present two applications of FMAM models in problems of time-series prediction. The first problem concerns the engineering manpower requirement in steel manufacturing industry while the second refers to the stream flow prediction of a large hydroelectric plant, namely FurnasDoutoradoDoutor em Matemática Aplicad

A kernel autoassociator approach to pattern classification

10.1109/TSMCB.2005.843980IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics353593-606ITSC