Expressions et micro-expressions spontanées de la face et de la voix en Interaction Homme-Machine : esquisse d'un modèle du "Feeling of Thinking".

Communicative interaction technologies focus more and more on human aspects. The informative position of expressions that are massively present out of the talk turns, through visible and audible micro-events, place the listener/interlocutor in a continuous communication of "Feeling of Thinking" (physiological, mental, emotional, intentional and attitudinal states). This work has been carried out on an emotionally induced corpus that greatly limits speech of the human-computer interaction. An empirical methodology based on ethological principles has been built to annotate audible and visible micro-gestures by 6 subjects. A perceptive analysis has measured the communicative relevance of certain gestural icons. A study of micro-gesture occurrences in the temporal organization of the task and within the turn-taking provides a cue of subjects' behavior. Finally, this study proposes an impressionistic characterization of the numerous vocal non-lexical sounds disseminated within the performances (mouth noises, grunts, fillers, interjections).Les technologies de l'interaction personne-machine se centrent de plus en plus sur l'humain. Le statut informatif des expressions présentes massivement en dehors des tours de parole, dans les micro-événements visibles ou audibles, inscrit le sujet dans une communication permanente du Feeling of Thinking (états physiologiques, mentaux, émotionnels, intentionnels et attitudinaux). Ce travail a été mené sur un corpus induit émotionnellement et restreignant l'interaction personne-machine au minima langagier. Une méthodologie empirique, sur des principes éthologiques, a d'abord été construite pour annoter les micro-gestes audibles et visibles de 6 sujets. Une analyse perceptive a ensuite mesuré la pertinence communicative de certaines icônes gestuelles. Puis a été menée une étude des occurrences des micro-gestes dans l'organisation temporelle de la tâche et des tours de parole, traçant ainsi le comportement des sujets. Enfin a été proposée une qualification impressionniste des nombreux sons vocaux non lexicaux qui ponctuent les performances (bruits de bouche, grunts, bursts, fillers, interjections)

Ethogrammes du Feeling of Thinking et pertinence perceptive de ses Icônes Gestuelles

Publication de l'ex-équipe Structure du Code de GIPSA-lab.National audienceAbstract : We can observe on our expressive corpus a large quantity of non verbal information, included outside the talk turn in interaction. We want to know if these events are real indications about the mental or affective states of the subject. In this aim, we first applied an empirical ethogram methodology to label these non speech parts and classify variant movements into minimal Gestural Icons, without interpreting what could be expressed. Then, we confronted some of the identified Gestural Icons, with the perceptive validation of their relevance, in an association task with subject's self-annotation labels. We have also tested three presentation conditions: whole face, top of the face only, and bottom of the face only. Selected icons, globally well identified, can consequently be considered as relevant. Moreover, meta-classes of labels could be defined and our result put the light on the importance of the dynamism and rythmicity of icons

Ethogrammes du Feeling of Thinking et pertinence perceptive de ses Icônes Gestuelles

Publication de l'ex-équipe Structure du Code de GIPSA-lab.National audienceAbstract : We can observe on our expressive corpus a large quantity of non verbal information, included outside the talk turn in interaction. We want to know if these events are real indications about the mental or affective states of the subject. In this aim, we first applied an empirical ethogram methodology to label these non speech parts and classify variant movements into minimal Gestural Icons, without interpreting what could be expressed. Then, we confronted some of the identified Gestural Icons, with the perceptive validation of their relevance, in an association task with subject's self-annotation labels. We have also tested three presentation conditions: whole face, top of the face only, and bottom of the face only. Selected icons, globally well identified, can consequently be considered as relevant. Moreover, meta-classes of labels could be defined and our result put the light on the importance of the dynamism and rythmicity of icons

Prosodie expressive audio-visuelle de l'interaction personne-machine

Most studies concerning expressive communication concentrate on (visual / vocal) expressions of the speaker while he is talking. But information about what he is doing while he is not talking is also important. We first tried to build an empirical methodology of ethograms for information about the (non)talker's mental or affective states, that we called 'Feeling of Thinking' (FoT). Then we perceptually tested some of the identified Gestural Icons: (1) the static form of the icons and their dynamic one; (2) three presentation conditions: whole face, upper part and lower part of the face only. Our results showed the importance of the dynamism and the static for the 'FoT' perception and called additivity of the upper and lower parts of the face in terms of affective information into question. 'FoT' expression also seems to be anchored in complex multimodality. The challenge is then to understand its temporal and modal organization and vocal events role.La plupart des études concernant la communication expressive se concentre sur les expressions (visibles et/ou audibles) du locuteur lorsqu'il parle. Pourtant, l'information qu'il envoie en dehors de son tour de parole est également importante. Nous avons d'abord construit une méthodologie empirique d'éthogrammes pour étudier les informations données par ce (non-) locuteur à propos de ses états mentaux et affectifs, ce que nous avons appelé " Feeling of Thinking " (FoT). Nous avons ensuite testé perceptivement certaines " icônes gestuelles " notées : d'une part les icônes gestuelles proprement dites, sous leur forme dynamique, mais aussi pour chacune l'extraction d'une image statique ; d'autre part trois conditions de présentation : visage entier, haut et bas du visage seul. Nos résultats montrent une importance du dynamique comme du statique pour la perception du FoT, et ils remettent en question l'additivité du haut et du bas du visage en terme d'information affective. D'autre part, l'expression du FoT semble être ancrée dans une multimodalité complexe, dont il s'agit de comprendre l'organisation temporelle et modale, ainsi que le rôle des événements vocaux

Pertinence perceptive d'Icônes Gestuelles du Feeling of Thinking

National audienceAprès avoir tenté d'ébaucher une méthodologie encore empirique d'éthogrammes des comportements expressifs dans l'interaction, nous avons désormais confronté certaines des Icônes Gestuelles isolées et statiques que nous avons identifiées, à la validation perceptive de leur pertinence, dans une tâche d'association entre IG et labels d'auto-annotations. Nous avons également testé trois conditions de présentation : visage entier, seulement le haut du visage et seulement le bas. Les icônes sélectionnées ont été globalement bien identifiées et sont donc pertinentes. Nous avons également pu établir des méta-classes de labels, remettre en question l'additivité du haut et du bas du visage en termes d'informations affectives, et nous rendre compte de l'importance de la dynamique et de la rythmicité des icônes

Static vs dynamic Gestural Icons of "Feeling of Thinking"

International audienceMost studies concerning expressive communication concentrate on (visual/vocal/auditory) expressions of the speaker while he is talking. But information about what a speaker is doing while he is not talking is also important (“feedback”, (Peters & al, 2005; Schröder & al, 2006)). We first tried to build an empirical methodology of ethograms for information about the (non)talker's mental or affective states, that we called 'Feeling of Thinking' (Loyau & Aubergé, 2006). Then we confronted some of the identified Gestural Icons with the perceptual validation of their relevance, in an association task with subject's self-annotation labels. We tested : (1) the static form of the Icons and their dynamic one; (2) three presentation conditions: whole face, upper part of the face only and lower part of the face only. The Icons were globally well identified, and can consequently be considered as relevant. Moreover, our results showed the importance of the dynamism for the 'Feeling of Thinking' perception and called additivity of the upper and lower parts of the face in terms of affective information into question

Prosodie visuelle expressive du Feeling of Thinking perception statique ou dynamique ?

National audienceLa plupart des études concernant la communication expressive se concentre sur les expressions (visibles et/ou audibles) du locuteur pendant qu'il est en train de parler. Pourtant, l'information qu'un locuteur envoie lorsqu'il se trouve en dehors de son tour de parole est également importante. Nous avons d'abord essayé de construire une méthodologie empirique d'éthogrammes pour étudier les informations données par ce (non-)locuteur à propos de ses états mentaux et affectifs, ce que nous avons appelé « Feeling of Thinking ». Nous avons ensuite cherché à valider perceptivement la pertinence de certaines icônes gestuelles relevées, dans une tâche d'association avec les labels d'auto-annotation, donnés par les sujets eux-mêmes. Nous testé d'une part les icônes gestuelles proprement dites, sous leur forme dynamique, mais aussi pour chacune l'extraction d'une image statique ; d'autre part trois conditions de présentation : visage entier, haut du visage seul et bas du visage seul. Les icônes ont été globalement bien identifiées et peuvent donc être considérées comme pertinentes. De plus, nos résultats montrent à la fois une importance du dynamique et de la perception statique pour la perception du « Feeling of Thinking », et ils remettent en question l'additivité du haut et du bas du visage en terme d'information affective

Perception de la communication expressive : Icônes Gestuelles statiques vs. dynamiques du Feeling of Thinking

International audienceMost studies concerning expressive communication concentrate on (visual/vocal/auditory) expressions of the speaker while he is talking. But information about what a speaker is doing while he is not talking is also important. We first tried to build an empirical methodology of ethograms for information about the (non)talker's mental or affective states, that we called 'Feeling of Thinking'. Then we confronted some of the identified Gestural Icons with the perceptual validation of their relevance, in an association task with subject's self-annotation labels. We tested : (1) the static form of the Icons and their dynamic one; (2) three presentation conditions: whole face, upper part of the face only and lower part of the face only. The Icons were globally well identified, and can consequently be considered as relevant. Moreover, our results showed the importance of the dynamism for the 'Feeling of Thinking' perception and called additivity of the upper and lower parts of the face in terms of affective information into question

Perception d'expressions multimodales du feeling of thinking (états mentaux et affectifs, intentions, attitudes) en interaction

National audienc