Vers un modèle de neurosciences cognitives computationnelles de la créativité

International audienceRecent progress in AI has expanded the boundaries of the cognitive functions that can be simulated, but creativity remains a challenge. Neuroscience sheds light on its mechanisms and its tight relationship with episodic memory and cognitive control, while machine learning provides preliminary models of these mechanisms. We present these lines of research and explain how they can be exploited in the domain of computational creativity in order to further expand the capabilities of AI

Etendre l'apprentissage machine avec la mémoire épisodique flexible

International audienceA major cognitive function is often overlooked in artificial intelligence research: episodic memory. In this paper, we relate episodic memory to the more general need for explicit memory in intelligent processing. We describe its main mechanisms and its involvement in a variety of functions, ranging from concept learning to planning. We set the basis for a computational cognitive neuroscience approach that could result in improved machine learning models. More precisely, we argue that episodic memory mechanisms are crucial for contextual decision making, generalization through consolidation and prospective memory

Ontology as neuronal-space manifold: Towards symbolic and numerical artificial embedding

International audienceSome human cognitive tasks may involve tightly interleaved logical and numerical computations. On the one hand, ontologies allow us to describe symbolic structured knowledge and perform logical inference, providing a rather natural representation of human reasoning as modeled in cognitive psychology. On the other hand, spiking neural networks are a biologically plausible implementation of processing in brain circuits, yet they process numeric vectors rather than symbolic data. Unifying these symbolic and sub-symbolic approaches is still a wide and open question, and the Semantic Pointer Architecture (SPA) based on the Vector Symbolic Architecture (VSA) provides a way to manipulate symbols embedded as numeric vectors that carry semantic information. In this paper, as a step towards filling the symbolic/numerical gap, we propose to map an ontology onto a SPA-based architecture with a preliminary partial implementation into spiking neural networks. More specifically, we focus on ontology standards used in the semantic web such as Resource Description Framework [Schema] (RDF[S]) and the Web Ontology Language (OWL). We provide a detailed implementation example in the case of specific RDFS entailments based on predicate chaining. To that end, we used the neural simulator Nengo with two associative memories in interaction, the first one storing assertions and the second one storing entailment rules. Reporting interesting formal results, our embedding enjoys intrinsic properties allowing semantic reasoning through distributed numerical computing. This original preliminary work thus combines symbolic and numerical approaches for cognitive modeling, which might be useful to model some complex human tasks such as ill-defined problem-solving, involving neuronal knowledge manipulation

Modèle neuronal unifié du traitement conscient et inconscient

International audienc

Diving into the vertical dimension of elasmobranch movement ecology

Knowledge of the three-dimensional movement patterns of elasmobranchs is vital to understand their ecological roles and exposure to anthropogenic pressures. To date, comparative studies among species at global scales have mostly focused on horizontal movements. Our study addresses the knowledge gap of vertical movements by compiling the first global synthesis of vertical habitat use by elasmobranchs from data obtained by deployment of 989 biotelemetry tags on 38 elasmobranch species. Elasmobranchs displayed high intra- and interspecific variability in vertical movement patterns. Substantial vertical overlap was observed for many epipelagic elasmobranchs, indicating an increased likelihood to display spatial overlap, biologically interact, and share similar risk to anthropogenic threats that vary on a vertical gradient. We highlight the critical next steps toward incorporating vertical movement into global management and monitoring strategies for elasmobranchs, emphasizing the need to address geographic and taxonomic biases in deployments and to concurrently consider both horizontal and vertical movements

Diving into the vertical dimension of elasmobranch movement ecology

Knowledge of the three-dimensional movement patterns of elasmobranchs is vital to understand their ecological roles and exposure to anthropogenic pressures. To date, comparative studies among species at global scales have mostly focused on horizontal movements. Our study addresses the knowledge gap of vertical movements by compiling the first global synthesis of vertical habitat use by elasmobranchs from data obtained by deployment of 989 biotelemetry tags on 38 elasmobranch species. Elasmobranchs displayed high intra- and interspecific variability in vertical movement patterns. Substantial vertical overlap was observed for many epipelagic elasmobranchs, indicating an increased likelihood to display spatial overlap, biologically interact, and share similar risk to anthropogenic threats that vary on a vertical gradient. We highlight the critical next steps toward incorporating vertical movement into global management and monitoring strategies for elasmobranchs, emphasizing the need to address geographic and taxonomic biases in deployments and to concurrently consider both horizontal and vertical movements

Computational Modeling of the Interactions Between Episodic Memory and Cognitive Control

La mémoire épisodique est souvent illustrée par la madeleine de Proust comme la capacité à revivre une situation du passé suite à la perception d'un stimulus. Ce scénario simpliste ne doit pas mener à penser que la mémoire opère en isolation des autres fonctions cognitives. Au contraire, la mémoire traite des informations hautement transformées et est elle-même modulée par les fonctions exécutives pour informer la prise de décision. Ces interactions complexes donnent lieu à des fonctions cognitives supérieures comme la capacité à imaginer de futures séquences d'événements potentielles en combinant des souvenirs pertinents dans le contexte. Comment le cerveau implémente ce système de construction reste un mystère. L'objectif de cette thèse est donc d'employer des méthodes de modélisation cognitive afin de mieux comprendre les interactions entre mémoire épisodique reposant principalement sur l'hippocampe et contrôle cognitif impliquant majoritairement le cortex préfrontal. Elle propose d'abord des éléments de réponse quant au rôle de la mémoire épisodique dans la sélection de l'action. Il est montré que le Contrôle Episodique Neuronal, une méthode puissante et rapide d’apprentissage par renforcement, est en fait mathématiquement proche du traditionnel réseau de Hopfield, un modèle de mémoire associative ayant grandement influencé la compréhension de l'hippocampe. Le Contrôle Episodique Neuronal peut en effet s'inscrire dans le cadre du réseau de Hopfield universel, il est donc montré qu’il peut être utilisé pour stocker et rappeler de l'information et que d'autres types de réseaux de Hopfield peuvent être utilisés pour l'apprentissage par renforcement. La question de comment les fonctions exécutives contrôlent la mémoire épisodique est aussi posée. Un réseau inspiré de l'hippocampe est créé avec le moins d'hypothèses possible et modulé avec de l'information contextuelle. L'évaluation des performances selon le niveau auquel le contexte est envoyé propose des principes de conception de mémoire épisodique contrôlée. Enfin, un nouveau modèle bio-inspiré de l'apprentissage en un coup de séquences dans l'hippocampe est proposé. Le modèle fonctionne bien avec plusieurs jeux de données tout en reproduisant des observations biologiques. Il attribue un nouveau rôle aux connexions récurrentes de la région CA3 et à l'expansion asymétrique des champs de lieu qui est de distinguer les séquences se chevauchant en faisant émerger des cellules de séparation rétrospective. Les implications pour les théories de l'hippocampe sont discutées et de nouvelles prédictions expérimentales sont dérivées.Episodic memory is often illustrated with the madeleine de Proust excerpt as the ability to re-experience a situation from the past following the perception of a stimulus. This simplistic scenario should not lead into thinking that memory works in isolation from other cognitive functions. On the contrary, memory operations treat highly processed information and are themselves modulated by executive functions in order to inform decision making. This complex interplay can give rise to higher-level functions such as the ability to imagine potential future sequences of events by combining contextually relevant memories. How the brain implements this construction system is still largely a mystery. The objective of this thesis is to employ cognitive computational modeling methods to better understand the interactions between episodic memory, which is supported by the hippocampus, and cognitive control, which mainly involves the prefrontal cortex. It provides elements as to how episodic memory can help an agent to act. It is shown that Neural Episodic Control, a fast and powerful method for reinforcement learning, is in fact mathematically close to the traditional Hopfield Network, a model of associative memory that has greatly influenced the understanding of the hippocampus. Neural Episodic Control indeed fits within the Universal Hopfield Network framework, and it is demonstrated that it can be used to store and recall information, and that other kinds of Hopfield networks can be used for reinforcement learning. The question of how executive functions can control episodic memory operations is also tackled. A hippocampus-inspired network is constructed with as little assumption as possible and modulated with contextual information. The evaluation of performance according to the level at which contextual information is sent provides design principles for controlled episodic memory. Finally, a new biologically inspired model of one-shot sequence learning in the hippocampus is proposed. The model performs very well on multiple datasets while reproducing biological observations. It ascribes a new role to the recurrent collaterals of area CA3 and the asymmetric expansion of place fields, that is to disambiguate overlapping sequences by making retrospective splitter cells emerge. Implications for theories of the hippocampus are discussed and novel experimental predictions are derived

Modélisation Computationnelle des Interactions Entre Mémoire Épisodique et Contrôle Cognitif

Episodic memory is often illustrated with the madeleine de Proust excerpt as the ability to re-experience a situation from the past following the perception of a stimulus. This simplistic scenario should not lead into thinking that memory works in isolation from other cognitive functions. On the contrary, memory operations treat highly processed information and are themselves modulated by executive functions in order to inform decision making. This complex interplay can give rise to higher-level functions such as the ability to imagine potential future sequences of events by combining contextually relevant memories. How the brain implements this construction system is still largely a mystery. The objective of this thesis is to employ cognitive computational modeling methods to better understand the interactions between episodic memory, which is supported by the hippocampus, and cognitive control, which mainly involves the prefrontal cortex. It provides elements as to how episodic memory can help an agent to act. It is shown that Neural Episodic Control, a fast and powerful method for reinforcement learning, is in fact mathematically close to the traditional Hopfield Network, a model of associative memory that has greatly influenced the understanding of the hippocampus. Neural Episodic Control indeed fits within the Universal Hopfield Network framework, and it is demonstrated that it can be used to store and recall information, and that other kinds of Hopfield networks can be used for reinforcement learning. The question of how executive functions can control episodic memory operations is also tackled. A hippocampus-inspired network is constructed with as little assumption as possible and modulated with contextual information. The evaluation of performance according to the level at which contextual information is sent provides design principles for controlled episodic memory. Finally, a new biologically inspired model of one-shot sequence learning in the hippocampus is proposed. The model performs very well on multiple datasets while reproducing biological observations. It ascribes a new role to the recurrent collaterals of area CA3 and the asymmetric expansion of place fields, that is to disambiguate overlapping sequences by making retrospective splitter cells emerge. Implications for theories of the hippocampus are discussed and novel experimental predictions are derived.La mémoire épisodique est souvent illustrée par la madeleine de Proust comme la capacité à revivre une situation du passé suite à la perception d'un stimulus. Ce scénario simpliste ne doit pas mener à penser que la mémoire opère en isolation des autres fonctions cognitives. Au contraire, la mémoire traite des informations hautement transformées et est elle-même modulée par les fonctions exécutives pour informer la prise de décision. Ces interactions complexes donnent lieu à des fonctions cognitives supérieures comme la capacité à imaginer de futures séquences d'événements potentielles en combinant des souvenirs pertinents dans le contexte. Comment le cerveau implémente ce système de construction reste un mystère. L'objectif de cette thèse est donc d'employer des méthodes de modélisation cognitive afin de mieux comprendre les interactions entre mémoire épisodique reposant principalement sur l'hippocampe et contrôle cognitif impliquant majoritairement le cortex préfrontal. Elle propose d'abord des éléments de réponse quant au rôle de la mémoire épisodique dans la sélection de l'action. Il est montré que le Contrôle Episodique Neuronal, une méthode puissante et rapide d’apprentissage par renforcement, est en fait mathématiquement proche du traditionnel réseau de Hopfield, un modèle de mémoire associative ayant grandement influencé la compréhension de l'hippocampe. Le Contrôle Episodique Neuronal peut en effet s'inscrire dans le cadre du réseau de Hopfield universel, il est donc montré qu’il peut être utilisé pour stocker et rappeler de l'information et que d'autres types de réseaux de Hopfield peuvent être utilisés pour l'apprentissage par renforcement. La question de comment les fonctions exécutives contrôlent la mémoire épisodique est aussi posée. Un réseau inspiré de l'hippocampe est créé avec le moins d'hypothèses possible et modulé avec de l'information contextuelle. L'évaluation des performances selon le niveau auquel le contexte est envoyé propose des principes de conception de mémoire épisodique contrôlée. Enfin, un nouveau modèle bio-inspiré de l'apprentissage en un coup de séquences dans l'hippocampe est proposé. Le modèle fonctionne bien avec plusieurs jeux de données tout en reproduisant des observations biologiques. Il attribue un nouveau rôle aux connexions récurrentes de la région CA3 et à l'expansion asymétrique des champs de lieu qui est de distinguer les séquences se chevauchant en faisant émerger des cellules de séparation rétrospective. Les implications pour les théories de l'hippocampe sont discutées et de nouvelles prédictions expérimentales sont dérivées

Modélisation Computationnelle des Interactions Entre Mémoire Épisodique et Contrôle Cognitif

Episodic memory is often illustrated with the madeleine de Proust excerpt as the ability to re-experience a situation from the past following the perception of a stimulus. This simplistic scenario should not lead into thinking that memory works in isolation from other cognitive functions. On the contrary, memory operations treat highly processed information and are themselves modulated by executive functions in order to inform decision making. This complex interplay can give rise to higher-level functions such as the ability to imagine potential future sequences of events by combining contextually relevant memories. How the brain implements this construction system is still largely a mystery. The objective of this thesis is to employ cognitive computational modeling methods to better understand the interactions between episodic memory, which is supported by the hippocampus, and cognitive control, which mainly involves the prefrontal cortex. It provides elements as to how episodic memory can help an agent to act. It is shown that Neural Episodic Control, a fast and powerful method for reinforcement learning, is in fact mathematically close to the traditional Hopfield Network, a model of associative memory that has greatly influenced the understanding of the hippocampus. Neural Episodic Control indeed fits within the Universal Hopfield Network framework, and it is demonstrated that it can be used to store and recall information, and that other kinds of Hopfield networks can be used for reinforcement learning. The question of how executive functions can control episodic memory operations is also tackled. A hippocampus-inspired network is constructed with as little assumption as possible and modulated with contextual information. The evaluation of performance according to the level at which contextual information is sent provides design principles for controlled episodic memory. Finally, a new biologically inspired model of one-shot sequence learning in the hippocampus is proposed. The model performs very well on multiple datasets while reproducing biological observations. It ascribes a new role to the recurrent collaterals of area CA3 and the asymmetric expansion of place fields, that is to disambiguate overlapping sequences by making retrospective splitter cells emerge. Implications for theories of the hippocampus are discussed and novel experimental predictions are derived.La mémoire épisodique est souvent illustrée par la madeleine de Proust comme la capacité à revivre une situation du passé suite à la perception d'un stimulus. Ce scénario simpliste ne doit pas mener à penser que la mémoire opère en isolation des autres fonctions cognitives. Au contraire, la mémoire traite des informations hautement transformées et est elle-même modulée par les fonctions exécutives pour informer la prise de décision. Ces interactions complexes donnent lieu à des fonctions cognitives supérieures comme la capacité à imaginer de futures séquences d'événements potentielles en combinant des souvenirs pertinents dans le contexte. Comment le cerveau implémente ce système de construction reste un mystère. L'objectif de cette thèse est donc d'employer des méthodes de modélisation cognitive afin de mieux comprendre les interactions entre mémoire épisodique reposant principalement sur l'hippocampe et contrôle cognitif impliquant majoritairement le cortex préfrontal. Elle propose d'abord des éléments de réponse quant au rôle de la mémoire épisodique dans la sélection de l'action. Il est montré que le Contrôle Episodique Neuronal, une méthode puissante et rapide d’apprentissage par renforcement, est en fait mathématiquement proche du traditionnel réseau de Hopfield, un modèle de mémoire associative ayant grandement influencé la compréhension de l'hippocampe. Le Contrôle Episodique Neuronal peut en effet s'inscrire dans le cadre du réseau de Hopfield universel, il est donc montré qu’il peut être utilisé pour stocker et rappeler de l'information et que d'autres types de réseaux de Hopfield peuvent être utilisés pour l'apprentissage par renforcement. La question de comment les fonctions exécutives contrôlent la mémoire épisodique est aussi posée. Un réseau inspiré de l'hippocampe est créé avec le moins d'hypothèses possible et modulé avec de l'information contextuelle. L'évaluation des performances selon le niveau auquel le contexte est envoyé propose des principes de conception de mémoire épisodique contrôlée. Enfin, un nouveau modèle bio-inspiré de l'apprentissage en un coup de séquences dans l'hippocampe est proposé. Le modèle fonctionne bien avec plusieurs jeux de données tout en reproduisant des observations biologiques. Il attribue un nouveau rôle aux connexions récurrentes de la région CA3 et à l'expansion asymétrique des champs de lieu qui est de distinguer les séquences se chevauchant en faisant émerger des cellules de séparation rétrospective. Les implications pour les théories de l'hippocampe sont discutées et de nouvelles prédictions expérimentales sont dérivées

Relating Hopfield Networks to Episodic Control

Neural Episodic Control is a powerful reinforcement learning framework that employs a differentiable dictionary to store non-parametric memories. It was inspired by episodic memory on the functional level, but lacks a direct theoretical connection to the associative memory models generally used to implement such a memory. We first show that the dictionary is an instance of the recently proposed Universal Hopfield Network framework. We then introduce a continuous approximation of the dictionary readout operation in order to derive two energy functions that are Lyapunov functions of the dynamics. Finally, we empirically show that the dictionary outperforms the Max separation function, which had previously been argued to be optimal, and that performance can further be improved by replacing the Euclidean distance kernel by a Manhattan distance kernel. These results are enabled by the generalization capabilities of the dictionary, so a novel criterion is introduced to disentangle memorization from generalization when evaluating associative memory models