Deciphering the contributions of episodic and working memories in increasingly complex decision tasks

International audienceAugmenting the representation of the current state of the external world with internal states corresponding to working and episodic memories has been proposed as a bioinspired solution to apply models of reinforcement learning to non-Markovian tasks. But, transposing these results to behavioral and experimental neuroscience, it is not completely clear how each of these memories can contribute to learning the augmented representations and when they must act in association for more complex tasks. Choosing an elementary implementation of these memories and experimental tasks of decision making in rodents, we explore these pivotal situations and make concrete the underlying mechanisms and criteria. We also specify cases where additional mechanisms must be envisaged

From concrete to abstract rules : A computational sketch

International audienceA multi-dimensional stimulus can elicit a range of responses depending on which dimension or combination of dimensions is considered. Such selection can be implicit, providing a fast and automatic selection, or explicit, providing a slower but contextualized selection. Both forms are important but do not derive from the same processes. Implicit selection results generally from a slow and progressive learning that leads to a simple response (concrete / first-order) while explicit selection derives from a deliberative process that allows to have more complex and structured response (abstract / second-order). The prefrontal cortex (PFC) is believed to provide the ability to contextualize concrete rules that leads to the acquisition of abstract rules even though the exact mechanisms are still largely unknown. The question we address in this paper is precisely about the acquisition, the representation and the selection of such abstract rules. Using two models from the literature (PBWM and HER), we explain that they both provide a partial but differentiated answer such that their unification offers a complete picture

Neurosmart, une histoire de cerveau et de passionné·e·s de science

We propose a participatory science outreach approach allowing us to co-construct with our audiences resources aimed at understanding and demystifying the most disruptive results obtained regarding human brain by the conjunction of computer science, applied mathematics and neuroscience (computational neuroscience). The context is that of science and technology with a heavy societal impact, for which there is a strong need to allow everyone to build models of representation of these results and to forge an enlightened citizen's vision on these subjects.We rely here on our experience in sharing scientific culture on these subjects and our ability to create large diffusion content and resources, easy to appropriate and to operate.We propose to discover the models of the cerebral functions at the origin of our sensorimotor and vital cognitive behaviors (instinctive and motivated behavior, selection of embodied action, emotional decision-making or not, sites of self-awareness, etc. ) through :- a course of evolving content each time giving minimal key ideas on these subjects, also showing the simple use of mathematical concepts,- a Web-application (3D visualization of the brain in synergy with multi-media content and explanatory texts) with the possibility of interacting with the content. e.g., quizzes.The implementation is a free and open code, easily reusable by anyone with basic computing skills.This is also in itself a tool for learning the code, in addition to the acquisition of skills in integrative neuroscience, and it is a lever for co-creation.On propose la mise en place d’une démarche de médiation scientifique participative pour permettre de co-construire avec nos publics des ressources visant à comprendre et démystifier les résultats les plus disruptifs concernant le cerveau humain obtenus par la conjonction de l’informatique, mathématiques appliquées et des neurosciences (neurosciences computationnelles).Le contexte est celui de sciences et technologies à lourd impact sociétal avec un besoin fort de permettre à chacune et chacun de se construire des modèles de représentation de ces résultats et de se forger une vision citoyenne éclairée sur ces sujets. On s’appuie ici sur notre expérience en matière de partage de culture scientifique sur ces sujets et notre capacité à créer des contenus et des ressources, à forte diffusion, faciles à s’approprier et à faire fonctionner.On propose de découvrir les modèles des fonctions cérébrales à l’origine de nos comportements sensori-moteurs et cognitifs vitaux (comportement instinctif et motivé, sélection de l’action incarnée, prise de décision émotionnelle ou non, siège de la conscience de soi, …) à travers :- un parcours de contenus évolutifs donnant à chaque fois des idées clés minimales sur ces sujets, en montrant aussi l’utilisation simple de notions mathématiques, - une Web-application (visualisation 3D du cerveau en synergie avec des contenus multi-médias et des textes explicatifs) avec la possibilité d’interagir avec les contenus, par exemple un quiz.L’implémentation est un code libre et ouvert, facilement réutilisable par toute personne initiée à l’informatique.Cela constitue aussi en soi un outil d’apprentissage du code, en plus de l’acquisition de compétences en neuroscience intégrative, et c’est un levier de co-création

Modélisation du contrôle cognitif pour le comportement guidé par les règles

Cognitive Control is the general capacity of an organism to use top-down control signals to inhibit the dominant behavior in favor of a contextually relevant response, in accordance with internally described goals (which could result from environmental or motivational factors). Various experimental studies and computational models have tried to understand the neural mechanisms and structures that enable flexible and adaptive behavior by exerting cognitive control. Nevertheless, a unifying theory that explains these mechanisms remains elusive. The degree of adaptability that cognitive control provides varies from humans to nonhuman animals. We elaborate this gradation of cognitive control in a conceptual framework, and then use biologically plausible computational models to identify key computational processing requirements at each stage. In the first model, we use a basic actor-critic model, to show how the default behavior of exploration in mice, needs to be overridden in order for a rodent (agent) to learn a simple tactile rule in a radial maze. Based on the decision making literature on rodents, we then show through a series of incrementally complex tasks, the necessity of working and episodic memory systems. This is done by extending the previous model with an elementary abstraction of these memory systems in order to make concrete the underlying mechanisms and criteria of cognitive control in rodents. As a third step, we highlight the need to form explicit mental representations of “context” from implicitly acquired rules, to enable contextually guided behavior, using a simple recurrent neural network trained on a sensorimotor task. Finally, to understand how the PFC supports contextual learning and the full capacity of cognitive control in humans, we develop a hierarchical computational model that explains the role of selective and sustained attention in learning abstract rules, and selects the appropriate concrete rules by manipulating representations, or task sets, and monitoring these representations and prediction errors.Le contrôle cognitif est la capacité générale d’un organisme à inhiber le comportement dominant en faveur d’une réponse pertinente selon des objectifs internes et en lien avec des facteurs environnementaux et/ou motivationnels. Diverses études expérimentales ainsi que des modèles computationnels ont tenté de mettre en évidence les mécanismes et les structures neuronales sous-jacents qui autorisent un comportement à la fois flexible et adaptatif. Néanmoins, une théorie unifiée qui tiendrait compte de l’ensemble de ces mécanismes reste insaisissable, notamment en ce qui concerne le degré d’adaptabilité qui varie entre les humains et les animaux non humains. Dans ce travail, nous souhaitons caractériser cette gradation du contrôle cognitif afin de poser un cadre conceptuel nous permettant de concevoir des modèles informatiques biologiquement plausibles à même de mettre en évidence les étapes clés du contrôle cognitif. Dans une première approche, et sur la base d’études chez la souris, nous utilisons un modèle acteur-critique standard afin de montrer comment le comportement naturel d’exploration de la souris doit être inhibé afin de permettre au modèle d’apprendre une règle simple dans un labyrinthe radial. Au travers d’une série de tâche de complexité croissante, nous montrons alors la nécessité de posséder des systèmes de mémoire de travail et épisodique, en adéquation avec la littérature sur la prise de décision chez les rongeurs. Cela est notamment réalisé en étendant le modèle précédent avec une modélisation fonctionnelle de ces deux systèmes de mémoire, nous permettant ainsi de caractériser les contributions respectives de ces deux systèmes, en accord avec les études chez les rongeurs. Dans un troisième temps, nous mettons en évidence la nécessité de former des représentations explicites du contexte à partir de règles acquises implicitement, et ceci, afin de pouvoir acquérir un comportement spécifique vis à vis d’un contexte particulier. Enfin, pour comprendre comment le cortex préfrontal soutient cet apprentissage contextuel et autorise une pleine capacité du contrôle cognitif chez l’Homme, nous proposons un modèle hiérarchique global qui explique notamment le rôle de l’attention sélective dans l’apprentissage de règles abstraites. Notre hypothèse étant que cette capacité d’attention permet la sélection des règles concrètes les plus appropriées ainsi que la manipulation des représentations sous-jacentes. Tout cela étant réalisé en assurant le monitoring des ces représentations ainsi que les erreurs de prédiction

Modélisation du contrôle cognitif pour le comportement guidé par les règles

Le contrôle cognitif est la capacité générale d’un organisme à inhiber le comportement dominant en faveur d’une réponse pertinente selon des objectifs internes et en lien avec des facteurs environnementaux et/ou motivationnels. Diverses études expérimentales ainsi que des modèles computationnels ont tenté de mettre en évidence les mécanismes et les structures neuronales sous-jacents qui autorisent un comportement à la fois flexible et adaptatif. Néanmoins, une théorie unifiée qui tiendrait compte de l’ensemble de ces mécanismes reste insaisissable, notamment en ce qui concerne le degré d’adaptabilité qui varie entre les humains et les animaux non humains. Dans ce travail, nous souhaitons caractériser cette gradation du contrôle cognitif afin de poser un cadre conceptuel nous permettant de concevoir des modèles informatiques biologiquement plausibles à même de mettre en évidence les étapes clés du contrôle cognitif. Dans une première approche, et sur la base d’études chez la souris, nous utilisons un modèle acteur-critique standard afin de montrer comment le comportement naturel d’exploration de la souris doit être inhibé afin de permettre au modèle d’apprendre une règle simple dans un labyrinthe radial. Au travers d’une série de tâche de complexité croissante, nous montrons alors la nécessité de posséder des systèmes de mémoire de travail et épisodique, en adéquation avec la littérature sur la prise de décision chez les rongeurs. Cela est notamment réalisé en étendant le modèle précédent avec une modélisation fonctionnelle de ces deux systèmes de mémoire, nous permettant ainsi de caractériser les contributions respectives de ces deux systèmes, en accord avec les études chez les rongeurs. Dans un troisième temps, nous mettons en évidence la nécessité de former des représentations explicites du contexte à partir de règles acquises implicitement, et ceci, afin de pouvoir acquérir un comportement spécifique vis à vis d’un contexte particulier. Enfin, pour comprendre comment le cortex préfrontal soutient cet apprentissage contextuel et autorise une pleine capacité du contrôle cognitif chez l’Homme, nous proposons un modèle hiérarchique global qui explique notamment le rôle de l’attention sélective dans l’apprentissage de règles abstraites. Notre hypothèse étant que cette capacité d’attention permet la sélection des règles concrètes les plus appropriées ainsi que la manipulation des représentations sous-jacentes. Tout cela étant réalisé en assurant le monitoring des ces représentations ainsi que les erreurs de prédiction.Cognitive Control is the general capacity of an organism to use top-down control signals to inhibit the dominant behavior in favor of a contextually relevant response, in accordance with internally described goals (which could result from environmental or motivational factors). Various experimental studies and computational models have tried to understand the neural mechanisms and structures that enable flexible and adaptive behavior by exerting cognitive control. Nevertheless, a unifying theory that explains these mechanisms remains elusive. The degree of adaptability that cognitive control provides varies from humans to nonhuman animals. We elaborate this gradation of cognitive control in a conceptual framework, and then use biologically plausible computational models to identify key computational processing requirements at each stage. In the first model, we use a basic actor-critic model, to show how the default behavior of exploration in mice, needs to be overridden in order for a rodent (agent) to learn a simple tactile rule in a radial maze. Based on the decision making literature on rodents, we then show through a series of incrementally complex tasks, the necessity of working and episodic memory systems. This is done by extending the previous model with an elementary abstraction of these memory systems in order to make concrete the underlying mechanisms and criteria of cognitive control in rodents. As a third step, we highlight the need to form explicit mental representations of “context” from implicitly acquired rules, to enable contextually guided behavior, using a simple recurrent neural network trained on a sensorimotor task. Finally, to understand how the PFC supports contextual learning and the full capacity of cognitive control in humans, we develop a hierarchical computational model that explains the role of selective and sustained attention in learning abstract rules, and selects the appropriate concrete rules by manipulating representations, or task sets, and monitoring these representations and prediction errors

Modélisation du contrôle cognitif pour le comportement guidé par les règles

Cognitive Control is the general capacity of an organism to use top-down control signals to inhibit the dominant behavior in favor of a contextually relevant response, in accordance with internally described goals (which could result from environmental or motivational factors). Various experimental studies and computational models have tried to understand the neural mechanisms and structures that enable flexible and adaptive behavior by exerting cognitive control. Nevertheless, a unifying theory that explains these mechanisms remains elusive. The degree of adaptability that cognitive control provides varies from humans to nonhuman animals. We elaborate this gradation of cognitive control in a conceptual framework, and then use biologically plausible computational models to identify key computational processing requirements at each stage. In the first model, we use a basic actor-critic model, to show how the default behavior of exploration in mice, needs to be overridden in order for a rodent (agent) to learn a simple tactile rule in a radial maze. Based on the decision making literature on rodents, we then show through a series of incrementally complex tasks, the necessity of working and episodic memory systems. This is done by extending the previous model with an elementary abstraction of these memory systems in order to make concrete the underlying mechanisms and criteria of cognitive control in rodents. As a third step, we highlight the need to form explicit mental representations of “context” from implicitly acquired rules, to enable contextually guided behavior, using a simple recurrent neural network trained on a sensorimotor task. Finally, to understand how the PFC supports contextual learning and the full capacity of cognitive control in humans, we develop a hierarchical computational model that explains the role of selective and sustained attention in learning abstract rules, and selects the appropriate concrete rules by manipulating representations, or task sets, and monitoring these representations and prediction errors.Le contrôle cognitif est la capacité générale d’un organisme à inhiber le comportement dominant en faveur d’une réponse pertinente selon des objectifs internes et en lien avec des facteurs environnementaux et/ou motivationnels. Diverses études expérimentales ainsi que des modèles computationnels ont tenté de mettre en évidence les mécanismes et les structures neuronales sous-jacents qui autorisent un comportement à la fois flexible et adaptatif. Néanmoins, une théorie unifiée qui tiendrait compte de l’ensemble de ces mécanismes reste insaisissable, notamment en ce qui concerne le degré d’adaptabilité qui varie entre les humains et les animaux non humains. Dans ce travail, nous souhaitons caractériser cette gradation du contrôle cognitif afin de poser un cadre conceptuel nous permettant de concevoir des modèles informatiques biologiquement plausibles à même de mettre en évidence les étapes clés du contrôle cognitif. Dans une première approche, et sur la base d’études chez la souris, nous utilisons un modèle acteur-critique standard afin de montrer comment le comportement naturel d’exploration de la souris doit être inhibé afin de permettre au modèle d’apprendre une règle simple dans un labyrinthe radial. Au travers d’une série de tâche de complexité croissante, nous montrons alors la nécessité de posséder des systèmes de mémoire de travail et épisodique, en adéquation avec la littérature sur la prise de décision chez les rongeurs. Cela est notamment réalisé en étendant le modèle précédent avec une modélisation fonctionnelle de ces deux systèmes de mémoire, nous permettant ainsi de caractériser les contributions respectives de ces deux systèmes, en accord avec les études chez les rongeurs. Dans un troisième temps, nous mettons en évidence la nécessité de former des représentations explicites du contexte à partir de règles acquises implicitement, et ceci, afin de pouvoir acquérir un comportement spécifique vis à vis d’un contexte particulier. Enfin, pour comprendre comment le cortex préfrontal soutient cet apprentissage contextuel et autorise une pleine capacité du contrôle cognitif chez l’Homme, nous proposons un modèle hiérarchique global qui explique notamment le rôle de l’attention sélective dans l’apprentissage de règles abstraites. Notre hypothèse étant que cette capacité d’attention permet la sélection des règles concrètes les plus appropriées ainsi que la manipulation des représentations sous-jacentes. Tout cela étant réalisé en assurant le monitoring des ces représentations ainsi que les erreurs de prédiction

Near-infrared spectroscopy (NIRS) - electroencephalography (EEG) based brain-state dependent electrotherapy (BSDE): A computational approach based on excitation-inhibition balance hypothesis

Stroke is the leading cause of severe chronic disability and the second cause of death worldwide with 15 million new cases and 50 million stroke survivors. The post stroke chronic disability may be ameliorated with early neuro rehabilitation where non-invasive brain stimulation (NIBS) techniques can be used as an adjuvant treatment to hasten the effects. However, the heterogeneity in the lesioned brain will require individualized NIBS intervention where innovative neuroimaging technologies of portable electroencephalography (EEG) and functional-near-infrared spectroscopy (fNIRS) can be leveraged for Brain State Dependent Electrotherapy (BSDE). In this hypothesis and theory article, we propose a computational approach based on excitation-inhibition (E-I) balance hypothesis to objectively quantify the post stroke individual brain state using online fNIRS-EEG joint imaging. One of the key events that occurs following Stroke is the imbalance in local excitation-inhibition (that is the ratio of Glutamate/GABA) which may be targeted with NIBS using a computational pipeline that includes individual forward models to predict current flow patterns through the lesioned brain or brain target region. The current flow will polarize the neurons which can be captured with excitation-inhibition based brain models. Furthermore, E-I balance hypothesis can be used to find the consequences of cellular polarization on neuronal information processing which can then be implicated in changes in function. We first review evidence that shows how this local imbalance between excitation-inhibition leading to functional dysfunction can be restored in targeted sites with NIBS (Motor Cortex, Somatosensory Cortex) resulting in large scale plastic reorganization over the cortex, and probably facilitating recovery of functions. Secondly, we show evidence how BSDE based on inhibition–excitation balance hypothesis may target a specific brain site or network as an adjuvant treatment. Hence, computational neural mass model based integration of neuro stimulation with online neuroimaging systems may provide less ambiguous, robust optimization of NIBS, and its application in neurological conditions and disorders across individual patients

Neurosmart, une histoire de cerveau et de passionné·e·s de science

We propose a participatory science outreach approach allowing us to co-construct with our audiences resources aimed at understanding and demystifying the most disruptive results obtained regarding human brain by the conjunction of computer science, applied mathematics and neuroscience (computational neuroscience). The context is that of science and technology with a heavy societal impact, for which there is a strong need to allow everyone to build models of representation of these results and to forge an enlightened citizen's vision on these subjects.We rely here on our experience in sharing scientific culture on these subjects and our ability to create large diffusion content and resources, easy to appropriate and to operate.We propose to discover the models of the cerebral functions at the origin of our sensorimotor and vital cognitive behaviors (instinctive and motivated behavior, selection of embodied action, emotional decision-making or not, sites of self-awareness, etc. ) through :- a course of evolving content each time giving minimal key ideas on these subjects, also showing the simple use of mathematical concepts,- a Web-application (3D visualization of the brain in synergy with multi-media content and explanatory texts) with the possibility of interacting with the content. e.g., quizzes.The implementation is a free and open code, easily reusable by anyone with basic computing skills.This is also in itself a tool for learning the code, in addition to the acquisition of skills in integrative neuroscience, and it is a lever for co-creation.On propose la mise en place d’une démarche de médiation scientifique participative pour permettre de co-construire avec nos publics des ressources visant à comprendre et démystifier les résultats les plus disruptifs concernant le cerveau humain obtenus par la conjonction de l’informatique, mathématiques appliquées et des neurosciences (neurosciences computationnelles).Le contexte est celui de sciences et technologies à lourd impact sociétal avec un besoin fort de permettre à chacune et chacun de se construire des modèles de représentation de ces résultats et de se forger une vision citoyenne éclairée sur ces sujets. On s’appuie ici sur notre expérience en matière de partage de culture scientifique sur ces sujets et notre capacité à créer des contenus et des ressources, à forte diffusion, faciles à s’approprier et à faire fonctionner.On propose de découvrir les modèles des fonctions cérébrales à l’origine de nos comportements sensori-moteurs et cognitifs vitaux (comportement instinctif et motivé, sélection de l’action incarnée, prise de décision émotionnelle ou non, siège de la conscience de soi, …) à travers :- un parcours de contenus évolutifs donnant à chaque fois des idées clés minimales sur ces sujets, en montrant aussi l’utilisation simple de notions mathématiques, - une Web-application (visualisation 3D du cerveau en synergie avec des contenus multi-médias et des textes explicatifs) avec la possibilité d’interagir avec les contenus, par exemple un quiz.L’implémentation est un code libre et ouvert, facilement réutilisable par toute personne initiée à l’informatique.Cela constitue aussi en soi un outil d’apprentissage du code, en plus de l’acquisition de compétences en neuroscience intégrative, et c’est un levier de co-création

Proceedings of International Conference on Women Researchers in Electronics and Computing

This proceeding contains articles on the various research ideas of the academic community and practitioners presented at the international conference, “Women Researchers in Electronics and Computing” (WREC’2021). WREC'21 was organized in online mode by Dr. B R Ambedkar National Institute of Technology, Jalandhar (Punjab), INDIA during 22 – 24 April 2021. This conference was conceptualized with an objective to encourage and motivate women engineers and scientists to excel in science and technology and to be the role models for young girls to follow in their footsteps. With a view to inspire women engineers, pioneer and successful women achievers in the domains of VLSI design, wireless sensor networks, communication, image/ signal processing, machine learning, and emerging technologies were identified from across the globe and invited to present their work and address the participants in this women oriented conference. Conference Title: International Conference on Women Researchers in Electronics and ComputingConference Acronym: WREC'21Conference Date: 22–24 April 2021Conference Location: Online (Virtual Mode)Conference Organizers: Department of Electronics and Communication Engineering, Dr. B. R. Ambedkar National Institute of Technology, Jalandhar, Punjab, INDI