A study of virtual reality-mediated affective state and cognitive decline in Alzheimer’s disease

NeuroscienceLa démence de type d’Alzheimer est la plus commune des démences. Elle entraîne un déclin dans les capacités cognitives et fonctionnelles, se traduisant dans des difficultés au niveau de la prise de décision, de l’accomplissement de tâches quotidiennes, de la communication ainsi qu’au niveau de la mémoire et de l’attention. On remarque également une diminution de l’état émotionnel et une apathie chez ces patients. Ce mémoire explore une nouvelle approche pour atténuer les effets psychologiques et cognitifs de la maladie. Les recherches effectuées dans ce mémoire explorent les impacts cognitifs et les effets sur le bien-être d'une intervention utilisant la réalité virtuelle sur les personnes souffrant de déclin cognitif subjectif. Deux environnements virtuels ont été testés : le premier étant un environnement dans lequel le participant voyage en train à travers différents climats, et le second étant un environnement de musicothérapie qui s’adapte en fonction de la réponse émotionnelle du participant. Pour mesurer les impacts sur l'état affectif, des lectures électroencéphalographiques ont été prises et analysées afin de déduire l'émotion ressentie par le participant avant, pendant et après l'expérience. Les résultats montrent une amélioration générale de l'état émotionnel pour les deux environnements. Quant à la mesure des effets sur les fonctions cognitives, des tâches d'attention et de mémoire ont été effectuées par les participants avant et après l'immersion. Les résultats montrent une légère amélioration des capacités d'attention et une meilleure amélioration de la mémoire. Nous approprions cet écart dans l'expérience de musicothérapie à l'activation musicale d'un réseau de structures cérébrales impliquées dans les expériences agréables : le circuit de récompense. Nous proposons que la musique facilite la rétention de la mémoire chez les personnes souffrant de démence. En effet, les résultats de l’amélioration des fonctions cognitives pour les deux expériences précédentes dépendent fortement de la précision de l'outil de mesure cognitive utilisé pour évaluer les performances d'attention et de mémoire avant et après l'intervention. Pour assurer cette précision, ce mémoire présente un outil de mesure des performances cognitives basé sur des tâches cognitives qui ont montré à plusieurs reprises leur fiabilité. Cet outil d’adresse aux personnes atteintes de la maladie d'Alzheimer pré-clinique et diagnostiquée.Alzheimer’s disease is an irreversible disease which causes progressive memory loss and cognitive decline, eventually leading to severe inability to perform basic day-to-day tasks. The urgency to find an effective cure to the disease is crucial, as the medical and economical spin-offs could be disastrous. The present thesis explores a novel approach to help attenuate the psychological and cognitive effects of the disease. The research carried out for this thesis explored cognitive effects and impacts on overall well-being of a virtual reality intervention on people suffering from subjective cognitive decline. Two virtual environments were tested: the first being an environment in which the participant travels through different climates by train, and the second being a music therapy environment modified as a function of emotional response. To measure the effects on affective state, electroencephalography readings were taken and analyzed to infer the emotion felt by the participant before, during the experiment. Results show a general improvement in emotional state. To measure the effects of the environments on cognitive functions, attention and memory tasks were carried out by the participants before and after the immersion. Results show a small improvement in attention skills and a more substantial improvement in memory skills. We appropriate this discrepancy in the music therapy experiment to the musical activation of a network of brain structures involved in rewarding and pleasurable experiences. We propose that music could facilitate memory retention in people sufferance for dementia. Importantly, the results of the previous experiments rely heavily on the accuracy of the cognitive measurement tool used to evaluate attention and memory performances before and after the intervention. To provide this accuracy, this thesis presents a cognitive performance measurement tool based on cognitive tasks which have repeatedly shown to output reliable results. This tool is created to serve for people with pre-clinical Alzheimer’s disease and diagnosed Alzheimer’s disease. Additionally, this tool is designed in such a way as to minimize the effects of repetition as well as varying levels of education and language. This thesis presents a novel and promising research in the realms of computer sciences and health care

Système intelligent pour le suivi et l’optimisation de l’état cognitif

Les émotions des êtres humains changent régulièrement et parfois de manière brusque entrainant un changement de l’état mental c’est-à-dire de l’aptitude cérébrale à fonctionner normalement. Il en résulte une capacité cognitive (ou état cognitif) de l’individu à pouvoir raisonner, accéder à la mémoire, ou effectuer des déductions, variable selon l’état mental. Ceci affecte, en conséquence, les performances des utilisateurs qui varient en fonction de leurs état cognitifs. Cette thèse vise à optimiser l’état cognitif d’un utilisateur lors de ses interactions avec un environnement virtuel. Comme cet état dépend des émotions, l’optimisation de l’état cognitif peut être réalisée à travers l’optimisation des émotions et en particulier la réduction des émotions négatives. Une première partie concerne les moyens de mesurer en temps réel (par un Module de mesures) l’état émotionnel et mental d’un utilisateur lors de ses interactions avec un environnement virtuel. Nous avons réalisé pour cela quatre études expérimentales avec quatre environnements différents. Nous avons montré que ces mesures peuvent être réalisées en utilisant différents capteurs physiologiques. Nous avons aussi montré qu’il est possible de prédire la tendance de l’excitation (un état mental) à partir d’un traceur de regard. Dans une deuxième partie, nous présentons l’Agent Neural qui modifie les environnements virtuels afin de provoquer une modification de l’état émotionnel d’un utilisateur pour améliorer son état cognitif. Nous avons réalisé quatre études expérimentales avec quatre environnements virtuels, où l’Agent Neural intervient dans ces environnements afin de changer l’état émotionnel de l’utilisateur. Nous avons montré que l’agent est capable d’intervenir dans plusieurs types d’environnements et de modifier les émotions de l’utilisateur. Dans une troisième partie, présentons l’Agent Limbique, qui personnalise et améliore les adaptations faites par l’Agent Neural à travers l’observation et l’apprentissage des impacts des changements des environnements virtuels et des réactions émotionnelles des utilisateurs. Nous avons montré que cet agent est capable d’analyser les interventions de l’Agent Neural et de les modifier. Nous avons montré aussi que l’Agent Limbique est capable de générer une nouvelle règle d’intervention et de prédire son impact sur l’utilisateur. La combinaison du Module de mesures, de l’Agent Neural, et de l’Agent Limbique, nous a permis de créer un système de contrôle cognitif intelligent que nous avons appelé Système Limbique Digital.The human’s emotions change regularly and sometimes suddenly leading to changes in their mental state which is the brain’s ability to function normally. This mental state’s changes affect the users’ cognitive ability (or cognitive state) to reason, access memory, or make inferences, which varies depending on the mental state. Consequently, this affects the users’ performances which varies according to their cognitive states. This thesis aims to optimize the users’ cognitive state during their interactions with a virtual environment. Since this state depends on emotions, optimization of cognitive state can be achieved through the optimization of emotions and in particular the reduction of negative emotions. In a first part, we present the means of measuring in real time (using a Measuring module) the users’ emotional and mental state during their interactions with a virtual environment. We performed four experimental studies with four different environments. We have shown that these measurements can be performed using different physiological sensors. We have also shown that it is possible to predict the tendency of excitement (a mental state) using an eye tracker. In a second part, we present the Neural Agent which modifies virtual environments to provoke a modification on the users’ emotional state in order to improve their cognitive state. We performed four experimental studies with four virtual environments, in which the Neural Agent intervenes in these environments to change the users’ emotional state. We have shown that the agent is able to intervene in several types of environments and able to modify the users’ emotions. In a third part, we present the Limbic Agent, which personalizes and improves the adaptations performed by the Neural Agent through the observation and the learning from the virtual environments changes’ impacts and the users’ emotional reactions. We have shown that this agent is able to analyze the Neural Agent’s interventions and able to modify them. We have also shown that the Limbic Agent is able to generate a new intervention rule and predict its impact on the user. The combination of the Measuring Module, the Neural Agent, and the Limbic Agent, allowed us to create an intelligent cognitive control system that we called the Digital Limbic System

Détection et amélioration de l'état cognitif de l'apprenant

Cette thèse vise à détecter et améliorer l’état cognitif de l’apprenant. Cet état est défini par la capacité d’acquérir de nouvelles connaissances et de les stocker dans la mémoire. Nous nous sommes essentiellement intéressés à améliorer le raisonnement des apprenants, et ceci dans trois environnements : environnement purement cognitif Logique, jeu sérieux LewiSpace et jeu sérieux intelligent Inertia. La détection de cet état se fait essentiellement par des mesures physiologiques (en particulier les électroencéphalogrammes) afin d’avoir une idée sur les interactions des apprenants et l’évolution de leurs états mentaux. L’amélioration des performances des apprenants et de leur raisonnement est une clé pour la réussite de l’apprentissage. Dans une première partie, nous présentons l’implémentation de l’environnement cognitif logique. Nous décrivons des statistiques faites sur cet environnement. Nous avons collecté durant une étude expérimentale les données sur l’engagement, la charge cognitive et la distraction. Ces trois mesures se sont montrées efficaces pour la classification et la prédiction des performances des apprenants. Dans une deuxième partie, nous décrivons le jeu Lewispace pour l’apprentissage des diagrammes de Lewis. Nous avons mené une étude expérimentale et collecté les données des électroencéphalogrammes, des émotions et des traceurs de regard. Nous avons montré qu’il est possible de prédire le besoin d’aide dans cet environnement grâce à ces mesures physiologiques et des algorithmes d’apprentissage machine. Dans une troisième partie, nous clôturons la thèse en présentant des stratégies d’aide intégrées dans un jeu virtuel Inertia (jeu de physique). Cette dernière s’adapte selon deux mesures extraites des électroencéphalogrammes (l’engagement et la frustration). Nous avons montré que ce jeu permet d’augmenter le taux de réussite dans ses missions, la performance globale et par conséquent améliorer l’état cognitif de l’apprenant.This thesis aims at detecting and enhancing the cognitive state of a learner. This state is measured by the ability to acquire new knowledge and store it in memory. Focusing on three types of environments to enhance reasoning: environment Logic, serious game LewiSpace and intelligent serious game Inertia. Physiological measures (in particular the electroencephalograms) have been taken in order to measure learners’ engagement and mental states. Improving learners’ reasoning is key for successful learning process. In a first part, we present the implementation of logic environment. We present statistics on this environment, with data collected during an experimental study. Three types of data: engagement, workload and distraction, these measures were effective and can predict and classify learner’s performance. In a second part, we describe the LewiSpace game, aimed at teaching Lewis diagrams. We conducted an experimental study and collected data from electroencephalograms, emotions and eye-tracking software. Combined with machine learning algorithms, it is possible to anticipate a learner’s need for help using these data. In a third part, we finish by presenting some assistance strategies in a virtual reality game called Inertia (to teach Physics). The latter adapts according to two measures extracted from electroencephalograms (frustration and engagement). Based on our study, we were able to enhance the learner’s success rate on game missions, by improving its cognitive state