Positive and negative emotion induction through avatars and its impact on reasoning performance: cardiovascular and pupillary correlates

International audienceMany studies have shown the impact of emotion on cognition (Damasio, 1994), however these influences remain ambiguous. The contradictions may be explained by a lack of experimental control (emotional induction, objective clues on emotional states...) but also by the existence of complex cross-influences between the dorsolateral prefrontal cortex, a major substratum of executive functions (EFs) and the ventromedial prefrontal cortex, an area strongly connected to the limbic system. This work aimed at gaining a more precise view of the links between emotion and EFs, utilizing an experimental protocol that used avatars for a well-controlled emotional induction, measurements of the autonomic nervous system activity as evidence of the emotional state (cardiovascular and pupillary responses) and a neuropsychological test battery (dynamic reasoning and deductive reasoning tasks) for the detection of EFs variations in response to emotion. The experimental data showed that positive emotion (joy) led to a performance decrease during both tasks, together with physiological variations. These counterintuitive results showed that positive mood can impair executive functioning in our tasks. In addition, our results highlighted the lack of learning effects on deductive performance

Emotion induction through virtual avatars and its impact on reasoning: evidence from autonomous nervous system measurements and cognitive assessment

Many studies have shown the impact of emotion on cognition (Damasio 1995; Phelps 2004), however these influences remain ambiguous. The contradictions may be explained by a lack of experimental control but also by the existence of complex cross-influences between the dorsolateral prefrontal cortex, a major substratum of the executive functions (EFs) and the ventromedial prefrontal cortex, an area strongly connected to the limbic system (Simpson 2001a). This work aims at gaining a more precise view of the links between emotion and EFs thanks to an experimental protocol that uses Virtual Reality (avatars) for a controlled emotional conditioning, measurements of the autonomous nervous system (ANS) as evidence of the emotional variations and a neuropsychological test battery for the detection of EFs variations, especially reasoning. The battery’s major tasks consist in deductive reasoning and reasoning in dynamic situations. The experimental data show that positive conditioning leads to a performance decrease (in agreement with Phillips et al. (2002a)), together with physiological variations (cardiac and pupillary activity). Moreover negative conditioning leads to ineffective actions: more actions (Dynamic task), more quickly (Deductive task) with no performance variation. These results may have applications in neuropsychology, for the assessment and the rehabilitation of patients (Mateer et al. 2005) and in neuroergonomics in the field of complex working situations where emotions may cause accidents (e.g. potential source of air crashes, Dehais et al. 2003)

Avatare in der Hirnforschung : Ein Entwurf zur methodischen Erstellung und Verwendung artifizieller Gesichtsstimuli

Die Erforschung der menschlichen Mimik und der darin ausgedrückten Emotionen ist ein ebenso altes wie vielseitiges Gebiet der Neurowissenschaften, das zunehmend tiefe Einblicke in elementare Funktionen des Gehirns, das menschliche Verhalten und damit assoziierte Störungen ermöglicht. Die Generierung virtueller Personen, sogenannter Avatare, ist eine technische Entwicklung, die nicht nur den Medien, sondern auch der Forschung neue Möglichkeiten eröffnet. Bis dato sind emotionale artifizielle Gesichter jedoch nur in wenigen Studien verwandt worden. In diesen Studien fallen die Angaben zu den Einzelheiten der Erstellung von Avatargesichtern, ihrer Präsentation und den Besonderheiten der Studiendesigns sehr knapp und uneinheitlich aus. Derzeit existiert keine Veröffentlichung, die sich mit diesen Aspekten detailliert auseinandersetzt. Durch eine Literaturanalyse der Studien, in denen die Reaktion von Probanden auf Avatargesichter gemessen wurde, konnte eine Reihe von Aspekten benannt werden, die für die Ergebnisse derartiger Studien von Bedeutung sind. Dabei erzielten Avatargesichter im Vergleich zu herkömmlichem Stimulusmaterial stets solide Ergebnisse. Es zeigte sich, dass nicht nur die Modalitäten der Gesichtsstimuli wie die dargestellte Emotion und ihre Intensität oder das Geschlecht die Antwort der Probanden beeinflussen, sondern auch die verschiedenen technischen Methoden ihrer Erstellung. Neben der Hintergrundgestaltung stellen außerdem der zeitliche Ablauf und die Randomisierung der Stimuli bei der Präsentation wichtige Faktoren dar. Des Weiteren spielen das Alter, das Geschlecht, die Händigkeit sowie die psychiatrische Anamnese der Probanden eine Rolle bei der Bewertung emotionaler Gesichter. Würde bei der Generierung von Avataren zu Forschungszwecken ein größeres Augenmerk auf die hier erarbeiteten Aspekte gerichtet, könnten in zukünftigen Studien durch eine methodischere Erstellung und Verwendung der Stimuli unter Umständen eindeutigere Ergebnisse erzielt werden. Standardisierte, reproduzierbare Stimuli wären außerdem besser untereinander vergleichbar. Insgesamt zeichnet sich ab, dass Avatargesichter vielseitige und in verschiedener Hinsicht vorteilhafte Stimuli darstellen, die nicht nur Einsatzmöglichkeiten in der Erforschung, sondern auch in der Therapie zahlreicher neuropsychiatrischer Erkrankungen bieten

Experimental results of affective valence and arousal to avatar's facial expressions

The objectives of this study were to propose a method of presenting dynamic facial expressions to experimental subjects, in order to investigate human perception of avatar's facial expressions of different levels of emotional intensity. The investigation concerned how perception varies according to the strength of facial expression, as well as according to an avatar's gender. To accomplish these goals, we generated a male and a female virtual avatar with five levels of intensity of happiness and anger using a morphing technique. We then recruited 16 normal healthy subjects and measured each subject's emotional reaction by scoring affective arousal and valence after showing them the avatar's face. Through this study, we were able to investigate human perceptual characteristics evoked by male and female avatars' graduated facial expressions of happiness and anger. In addition, we were able to identify that a virtual avatar's facial expression could affect human emotion in different ways according to the avatar's gender and the intensity of its facial expressions. However, we could also see that virtual faces have some limitations because they are not real, so subjects recognized the expressions well, but were not influenced to the same extent. Although a virtual avatar has some limitations in conveying its emotion using facial expressions, this study is significant in that it shows that a new potential exists to use or manipulate emotional intensity by controlling a virtual avatar's facial expression linearly using a morphing technique. Therefore, it is predicted that this technique may be used for assessing emotional characteristics of humans, and may be of particular benefit for work with people with emotional disorders through a presentation of dynamic expression of various emotional intensities.restrictio

Interactions en environnements virtuels: aspects multimodaux

Tableau d’honneur de la Faculté des études supérieures et postdoctorales, 2012-2013.Les environnements virtuels prennent jour après jour une importance grandissante dans nos sociétés modernes. Leurs applications sont de plus en plus nombreuses, allant du récréatif et de l'éducatif au thérapeutique et à la télémédecine. Cependant, les paramètres exacts qui influencent l'organisation sociale dans les espaces virtuels sont encore grandement méconnus. Les résultats présentés dans ce mémoire visent à approfondir nos connaissances des interactions sociales en environnements virtuels. L'étude des interactions sociales, facteur clé de l'immersion dans les environnements virtuels, sera divisée selon trois aspects : les aspects langagiers, les aspects visuels et un cas extrême des aspects visuels en environnements virtuels. Le premier chapitre de ce mémoire, portant sur les aspects langagiers des environnements virtuels, démontre que le jugement d'humanité d'un interlocuteur durant une interaction sociale dépend non seulement du comportement de celui-ci, mais également du comportement du juge lui-même. De plus, nos résultats mettent l'accent sur l'aspect collaboratif du dialogue, tout comme sur la nature multidimensionnelle et multifactorielle de ce processus. Le deuxième chapitre de ce mémoire, portant sur les aspects visuels des environnements virtuels, suggère que les dynamiques sociales pourraient avoir une plus grande importance pour l'utilisateur que la récompense immédiate qu'apporte l'utilisation optimale de l'interface, et ainsi, représenter un facteur majeur d'immersion dans les environnements virtuels. Le troisième chapitre de ce mémoire, portant sur un cas particulier de l'aspect visuel des environnements virtuels, démontre que la sélection sociale basée sur l'apparence semble jouer un rôle considérable dans le regroupement social des communautés en ligne. Ainsi, présenter une apparence semblable pourrait donc représenter un moyen de favoriser l'émergence de groupes sociaux solides et durables. En somme, les résultats présentés dans les différents chapitres de ce mémoire sont non seulement essentiels pour la compréhension des fondements cognitifs des comportements sociaux dans les contextes virtuels, mais également pour l'optimisation de l'utilisation et du design des environnements virtuels immersifs futurs