Multispace behavioral model for face-based affective social agents

This paper describes a behavioral model for affective social agents based on three independent but interacting parameter spaces: knowledge, personality, andmood. These spaces control a lower-level geometry space that provides parameters at the facial feature level. Personality and mood use findings in behavioral psychology to relate the perception of personality types and emotional states to the facial actions and expressions through two-dimensional models for personality and emotion. Knowledge encapsulates the tasks to be performed and the decision-making process using a specially designed XML-based language. While the geometry space provides an MPEG-4 compatible set of parameters for low-level control, the behavioral extensions available through the triple spaces provide flexible means of designing complicated personality types, facial expression, and dynamic interactive scenarios

Vers des Agents Conversationnels Animés dotés d'émotions et d'attitudes sociales

International audienceIn this article, we propose an architecture of a socio-affective Embodied Conversational Agent (ECA). The different computational models of the architecture enable an ECA to express emotions and social attitudes during an interaction with a user. Based on corpora of actors expressing emotions, models have been defined to compute the emotional facial expressions of an ECA and the characteristics of its corporal movements. A user-perceptive approach has been used to design models to define how an ECA should adapt its non-verbal behavior according to the social attitude the ECA wants to display and the behavior of its interlocutor. The emotions and the social attitudes to express are computed by cognitive models presented in this article.Dans cet article, nous proposons une architecture d'un Agent Conversationnel Animé (ACA) socio-affectif. Les différents modèles computationnels sous-jacents à cette architecture, permettant de donner la capacité à un ACA d'exprimer des émotions et des attitudes sociales durant son interaction avec l'utilisateur, sont présentés. A partir de corpus d'individus exprimant des émotions, des modèles permettant de calculer l'expression faciale émotionnelle d'un ACA ainsi que les caractéristiques de ses mouvements du corps ont été définis. Fondés sur une approche centrée sur la perception de l'utilisateur, des modèles permettant de calculer comment un ACA doit adapter son comportement non-verbal suivant l'attitude sociale qu'il souhaite exprimer et suivant le comportement de son interlocuteur ont été construits. Le calcul des émotions et des attitudes sociales à exprimer est réalisé par des modèles cognitifs présentés dans cet article

Analyse du contenu expressif des gestes corporels

Nowadays, researches dealing with gesture analysis suffer from a lack of unified mathematical models. On the one hand, gesture formalizations by human sciences remain purely theoretical and are not inclined to any quantification. On the other hand, the commonly used motion descriptors are generally purely intuitive, and limited to the visual aspects of the gesture. In the present work, we retain Laban Movement Analysis (LMA – originally designed for the study of dance movements) as a framework for building our own gesture descriptors, based on expressivity. Two datasets are introduced: the first one is called ORCHESTRE-3D, and is composed of pre-segmented orchestra conductors’ gestures, which have been annotated with the help of lexicon of musical emotions. The second one, HTI 2014-2015, comprises sequences of multiple daily actions. In a first experiment, we define a global feature vector based upon the expressive indices of our model and dedicated to the characterization of the whole gesture. This descriptor is used for action recognition purpose and to discriminate the different emotions of our orchestra conductors’ dataset. In a second approach, the different elements of our expressive model are used as a frame descriptor (e.g., describing the gesture at a given time). The feature space provided by such local characteristics is used to extract key poses of the motion. With the help of such poses, we obtain a per-frame sub-representation of body motions which is available for real-time action recognition purposeAujourd’hui, les recherches portant sur le geste manquent de modèles génériques. Les spécialistes du geste doivent osciller entre une formalisation excessivement conceptuelle et une description purement visuelle du mouvement. Nous reprenons les concepts développés par le chorégraphe Rudolf Laban pour l’analyse de la danse classique contemporaine, et proposons leur extension afin d’élaborer un modèle générique du geste basé sur ses éléments expressifs. Nous présentons également deux corpus de gestes 3D que nous avons constitués. Le premier, ORCHESTRE-3D, se compose de gestes pré-segmentés de chefs d’orchestre enregistrés en répétition. Son annotation à l’aide d’émotions musicales est destinée à l’étude du contenu émotionnel de la direction musicale. Le deuxième corpus, HTI 2014-2015, propose des séquences d’actions variées de la vie quotidienne. Dans une première approche de reconnaissance dite « globale », nous définissons un descripteur qui se rapporte à l’entièreté du geste. Ce type de caractérisation nous permet de discriminer diverses actions, ainsi que de reconnaître les différentes émotions musicales que portent les gestes des chefs d’orchestre de notre base ORCHESTRE-3D. Dans une seconde approche dite « dynamique », nous définissons un descripteur de trame gestuelle (e.g. défini pour tout instant du geste). Les descripteurs de trame sont utilisés des poses-clés du mouvement, de sorte à en obtenir à tout instant une représentation simplifiée et utilisable pour reconnaître des actions à la volée. Nous testons notre approche sur plusieurs bases de geste, dont notre propre corpus HTI 2014-201

Migrating characters: effective user guidance in instrumented environments

The work at hand deals with the conceptual design as well as with the realization of virtual characters, which, unlike previous works in this research area, are not limited to a use in virtual worlds. The presented Migrating Character approach on the contrary allows virtual characters to act and interact with the physical world. Different technical solutions allowing a Migrating Character to move throughout physical space, either completely autonomously or in conjunction with a user, are introduced and discussed as well as resulting implications for the characters behavior. While traditional virtual characters are acting in a well defined virtual world, Migrating Characters need to adapt to changing environmental setups in a very flexible way. A Migrating Character must be capable of determining these environmental changes by means of sensors. Furthermore, based on this data, an adequate adaptation of the characters behavior has to be realized. Apart from a theoretical discussion of the necessary enhancements of a virtual character when taking the step from virtual to real worlds, different exemplary Migrating Character implementations are introduced in the course of the work.Die vorliegende Arbeit beschäftigt sich mit dem konzeptuellen Entwurf und der technischen Realisierung von virtuellen Charakteren, die im Gegensatz zu bisherigen Arbeiten auf diesem Gebiet nicht auf den Einsatz in virtuellen Welten beschränkt sind. Der vorgestellte Migrating Character Ansatz erlaubt virtuellen Charakteren vielmehr in der physikalischen Welt zu agieren und zu interagieren. Verschiedene technische Lösungen, welche es einem Migrating Character ermöglichen sich in der physikalischen Welt autonom bzw. in Abhängigkeit vom Benutzer zu bewegen, sind ebenso Gegenstand der Arbeit wie eine ausführliche Diskussion der daraus für das Verhalten des virtuellen Charakters resultierenden Implikationen. Während sich traditionelle virtuelle Charaktere in einer wohl definierten virtuellen Umgebung bewegen, muss ein Migrating Character flexibel auf sich ändernde Umgebungsbedingungen reagieren. Aus sensorischer Sicht benötigt ein Migrating Character also die Fähigkeit eine sich ändernde physikalische Situation zu erkennen. Basierend auf diesen Daten muss weiterhin eine adäquate Anpassung des Verhaltens des Migrating Characters geschehen. Neben einer theoretischen Diskussion der notwendigen Erweiterungen eines virtuellen Charakters beim übergang von virtueller zu realer Umgebung werden auch exemplarische Migrating Character Implementierungen vorgestellt