Some experiments around a neural network for multimodal associations

This paper presents a study of the model of triple BAM by E.Reynaud which is an improved variation of the original BAM model by Kosko. This class of model aims at integrating different sensory inputs in order to memorize a unified and distributed representation. An experimental evaluation of the model is presented that underlines its limitations in terms of noise robustness and learning capacities. A new model is presented in order to overcome those initial limitations by introducing a new online learning algorithm adapted from the PRLAB initial algorithm that improve both noise robustness and learning capacities. Finally, model properties and limitations are considered and discussed within the context of multi-modal integration and brain modeling

Un réseau de neurones pour des associations multimodales

Colloque avec actes et comité de lecture. nationale.National audienceLes recherches en neuromimétisme (réseaux de neurones) s'inspirent des neurosciences pour proposer des modèles cérébraux de comportements cognitifs typiquement humains, visant à s'approcher de certains phénomènes corticaux, pour développer de nouveaux paradigmes de calculs. L'intérêt du présent travail est de s'approcher du phénomène de l'intégration multisensorielle. Nous avons mené une étude sur un modèle de BAM [7] adapté proposé par E. Reynaud [9] pour modéliser l'intégration multisensorielle. Nous améliorons les performances et la robustesse du modèle de la BAM en modifiant les algorithmes d'apprentissage et de rappel. Nous avons proposé un nouvel algorithme d'apprentissage en ligne pour la BAM, ainsi qu'une nouvelle approche pour la modélisation d'une mémoire multiassociative, en se basant sur la synchronisation de la convergence et de la propagation des flux d'informations. Cet article résume ces travaux et présente l'expérimentation et l'évaluation des performances de la BAM en terme d'association multimodale