Naturalistic Emotion Decoding From Facial Action Sets

Researchers have theoretically proposed that humans decode other individuals' emotions or elementary cognitive appraisals from particular sets of facial action units (AUs). However, only a few empirical studies have systematically tested the relationships between the decoding of emotions/appraisals and sets of AUs, and the results are mixed. Furthermore, the previous studies relied on facial expressions of actors and no study used spontaneous and dynamic facial expressions in naturalistic settings. We investigated this issue using video recordings of facial expressions filmed unobtrusively in a real-life emotional situation, specifically loss of luggage at an airport. The AUs observed in the videos were annotated using the Facial Action Coding System. Male participants (n = 98) were asked to decode emotions (e.g., anger) and appraisals (e.g., suddenness) from facial expressions. We explored the relationships between the emotion/appraisal decoding and AUs using stepwise multiple regression analyses. The results revealed that all the rated emotions and appraisals were associated with sets of AUs. The profiles of regression equations showed AUs both consistent and inconsistent with those in theoretical proposals. The results suggest that (1) the decoding of emotions and appraisals in facial expressions is implemented by the perception of set of AUs, and (2) the profiles of such AU sets could be different from previous theories

Évaluation de l'impact des facteurs émotionnels lors d'interactions physiques entre humains réels et virtuels

Avec l'expansion de l'informatique dans tous les domaines de la vie courante, les interactions avec des agents virtuels sont devenues courantes. Par ailleurs, nous savons que les émotions influencent les interactions entre individus. Dans cette thèse, nous nous plaçons dans le cas de la marche expressive non contrainte pour étudier, dans un premier temps, l'influence des émotions sur les interactions entre deux marcheurs réels. Puis, dans un deuxième temps, nous nous intéressons aux interactions entre un marcheur expressif virtuel et un sujet réel. La première étape de ce travail a consisté à concevoir et valider un protocole expérimental permettant l'analyse de marches expressives non contraintes. Nous avons ainsi capturé les mouvements de deux acteurs dans des tâches de marche seul ou en groupe. Dans la deuxième partie de ce travail, nous avons étudié les données de marche en groupe afin de mettre en évidence l'émergence d'un comportement de synchronisation entre les marcheurs de type meneur-suiveur. Nous avons également montré que les caractéristiques des émotions (comme le dialogue par exemple) peuvent avoir une influence sur cette synchronisation. Enfin, dans la troisième et dernière partie de cette thèse, nous avons étudié l'influence des émotions sur les interactions entre un humain virtuel et un humain réel. Pour cela, nous avons adopté une démarche en trois étapes : conception et analyse d'une base de données de marches expressives entre deux acteurs réels en ligne droite ; validation de la base de données par une étude en perception ; animation d'un humain virtuel grâce aux données de la base de données puis analyse de la marche entre des sujets réels et l'humain virtuel. Les résultats obtenus ont montré une forte similarité entre les deux situations.With the growing of information technologies in all everyday life situations, interactions with virtual agents are now common. Furthermore, we know that people's emotions influence interactions between them. In this thesis, we consider the case of unconstrained and expressive walk to study the influence of emotions on interactions between two real walkers. Then, we focus on the interactions between a virtual expressive human and a real subject. The first step of this work was to design and validate an experimental protocol allowing the analysis of unconstrained and expressive walks. Thus, we captured the motion of two actors walking alone and walking together. In the second part, we studied the data from the group walk situation and we highlighted the emergence of a leader-follower behavior between the walkers. We also showed that the characteristics of the emotions (eg dialogue) have an influence on this kind of synchronization. Last and not least, we studied the influence of emotions on interactions between a virtual human and a real one. We used a three-step process : creation and analysis of a database of expressive walks along a line between two walkers ; validation of the database through a perceptual study ; animation of a virtual human with the data from the database and analyze of the walk between real subjects and the virtual human. Results showed a strong similarity between the two situations.RENNES1-Bibl. électronique (352382106) / SudocSudocFranceF