D'émotion et de GRACE (vers un modèle computationnel unifié des émotions)

Les psychologues (comme A. Damasio, K. R. Scherer, P. Ekman) ont montré que l émotion est un élément essentiel dans la prise de décision, dans l évolution des capacités d apprentissage et de création, dans l interaction sociale. Il est donc naturel de s'intéresser à l'expression d'émotions dans le cadre de l'interaction homme-machine. Nous avons proposé dans un premier temps le modèle GRACE, modèle générique des émotions pour les applications computationnelles. Nous nous sommes basés en particulier sur la théorie psychologique de K. R. Scherer, qui cherche à produire une théorie des processus émotionnels qui soit modélisable et calculable. La pertinence de notre modèle a été vérifiée et validée via une comparaison avec différents modèles computationnels existants. Si le modèle GRACE est générique, nous nous sommes attachés à montrer qu il pouvait s instancier dans un contexte particulier, en l occurrence l interaction homme-robot utilisant la modalité musicale. Nous nous sommes intéressés pour cela d une part à la conception d un module d analyse du contenu émotionnel d une séquence musicale, d autre part à la conception de mouvements émotionnellement expressifs pour un robot mobile. Du point de vue de l analyse musicale, la contribution principale de la thèse porte sur la proposition d un ensemble réduit d indicateurs musicaux et sur la validation du module d analyse sur une base de données de grande taille conçue par un expert en musicologie. Du point de vue de la robotique, nous avons pu montrer expérimentalement qu un robot avec des capacités expressives très limitées (déplacements, mouvements de caméra) pouvait néanmoins exprimer de manière satisfaisante un ensemble réduit d émotions simples (joie, colère, tristesse, sérénité).Emotion, as psychologists argue (like A. Damasio, K. R. Scherer, P. Ekman), is an essential factor for human beings in making decision, learning, inventing things, and interacting with others. Based on this statement, researchers in Human-Machine Interaction have been interested in adding emotional abilities to their applications. With the same goal of studying emotional abilities, we propose, in our work, a model of emotions named GRACE, which helps in modelling emotions in computational applications. We based our model on the work of psychologist Klaus R. Scherer, who intensively searches to form a generic model of emotion applicable to computational domain (like informatics, robotics, etc.). We demonstrate the pertinence of our model by comparing it to other existing models of emotions in the field of informatics and robotics. In this thesis, we also worked on the instantiation of GRACE, in particular the components Cognitive Interpretation and Expression. These two components have been developed to be applied in the context of interacting with users using music. To develop Cognitive Interpretation, we worked on the extraction of emotional content in musical excerpts. Our contribution consists in proposing a reduced number of musical features to efficiently extract the emotional content in music, and in validating them via a learning system with a large database designed by a musicologist. For Expression, we have worked on the design of emotional moves of a mobile robot. Through very limited moves (moves in space, camera moves), we have shown that with dance-inspired motions, the robot could efficiently convey basic emotions (i.e. happiness, sadness, anger, serenity) to people.EVRY-Bib. électronique (912289901) / SudocSudocFranceF

Analyse acoustique de la voix émotionnelle de locuteurs lors d'une interaction humain-robot

Mes travaux de thèse s'intéressent à la voix émotionnelle dans un contexte d'interaction humain-robot. Dans une interaction réaliste, nous définissons au moins quatre grands types de variabilités : l'environnement (salle, microphone); le locuteur, ses caractéristiques physiques (genre, âge, type de voix) et sa personnalité; ses états émotionnels; et enfin le type d'interaction (jeu, situation d'urgence ou de vie quotidienne). A partir de signaux audio collectés dans différentes conditions, nous avons cherché, grâce à des descripteurs acoustiques, à imbriquer la caractérisation d'un locuteur et de son état émotionnel en prenant en compte ces variabilités.Déterminer quels descripteurs sont essentiels et quels sont ceux à éviter est un défi complexe puisqu'il nécessite de travailler sur un grand nombre de variabilités et donc d'avoir à sa disposition des corpus riches et variés. Les principaux résultats portent à la fois sur la collecte et l'annotation de corpus émotionnels réalistes avec des locuteurs variés (enfants, adultes, personnes âgées), dans plusieurs environnements, et sur la robustesse de descripteurs acoustiques suivant ces quatre variabilités. Deux résultats intéressants découlent de cette analyse acoustique: la caractérisation sonore d'un corpus et l'établissement d'une liste "noire" de descripteurs très variables. Les émotions ne sont qu'une partie des indices paralinguistiques supportés par le signal audio, la personnalité et le stress dans la voix ont également été étudiés. Nous avons également mis en oeuvre un module de reconnaissance automatique des émotions et de caractérisation du locuteur qui a été testé au cours d'interactions humain-robot réalistes. Une réflexion éthique a été menée sur ces travaux.This thesis deals with emotional voices during a human-robot interaction. In a natural interaction, we define at least, four kinds of variabilities: environment (room, microphone); speaker, its physic characteristics (gender, age, voice type) and personality; emotional states; and finally the kind of interaction (game scenario, emergency, everyday life). From audio signals collected in different conditions, we tried to find out, with acoustic features, to overlap speaker and his emotional state characterisation taking into account these variabilities.To find which features are essential and which are to avoid is hard challenge because it needs to work with a high number of variabilities and then to have riche and diverse data to our disposal. The main results are about the collection and the annotation of natural emotional corpora that have been recorded with different kinds of speakers (children, adults, elderly people) in various environments, and about how reliable are acoustic features across the four variabilities. This analysis led to two interesting aspects: the audio characterisation of a corpus and the drawing of a black list of features which vary a lot. Emotions are ust a part of paralinguistic features that are supported by the audio channel, other paralinguistic features have been studied such as personality and stress in the voice. We have also built automatic emotion recognition and speaker characterisation module that we have tested during realistic interactions. An ethic discussion have been driven on our work.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Analyse du contenu expressif des gestes corporels

Nowadays, researches dealing with gesture analysis suffer from a lack of unified mathematical models. On the one hand, gesture formalizations by human sciences remain purely theoretical and are not inclined to any quantification. On the other hand, the commonly used motion descriptors are generally purely intuitive, and limited to the visual aspects of the gesture. In the present work, we retain Laban Movement Analysis (LMA – originally designed for the study of dance movements) as a framework for building our own gesture descriptors, based on expressivity. Two datasets are introduced: the first one is called ORCHESTRE-3D, and is composed of pre-segmented orchestra conductors’ gestures, which have been annotated with the help of lexicon of musical emotions. The second one, HTI 2014-2015, comprises sequences of multiple daily actions. In a first experiment, we define a global feature vector based upon the expressive indices of our model and dedicated to the characterization of the whole gesture. This descriptor is used for action recognition purpose and to discriminate the different emotions of our orchestra conductors’ dataset. In a second approach, the different elements of our expressive model are used as a frame descriptor (e.g., describing the gesture at a given time). The feature space provided by such local characteristics is used to extract key poses of the motion. With the help of such poses, we obtain a per-frame sub-representation of body motions which is available for real-time action recognition purposeAujourd’hui, les recherches portant sur le geste manquent de modèles génériques. Les spécialistes du geste doivent osciller entre une formalisation excessivement conceptuelle et une description purement visuelle du mouvement. Nous reprenons les concepts développés par le chorégraphe Rudolf Laban pour l’analyse de la danse classique contemporaine, et proposons leur extension afin d’élaborer un modèle générique du geste basé sur ses éléments expressifs. Nous présentons également deux corpus de gestes 3D que nous avons constitués. Le premier, ORCHESTRE-3D, se compose de gestes pré-segmentés de chefs d’orchestre enregistrés en répétition. Son annotation à l’aide d’émotions musicales est destinée à l’étude du contenu émotionnel de la direction musicale. Le deuxième corpus, HTI 2014-2015, propose des séquences d’actions variées de la vie quotidienne. Dans une première approche de reconnaissance dite « globale », nous définissons un descripteur qui se rapporte à l’entièreté du geste. Ce type de caractérisation nous permet de discriminer diverses actions, ainsi que de reconnaître les différentes émotions musicales que portent les gestes des chefs d’orchestre de notre base ORCHESTRE-3D. Dans une seconde approche dite « dynamique », nous définissons un descripteur de trame gestuelle (e.g. défini pour tout instant du geste). Les descripteurs de trame sont utilisés des poses-clés du mouvement, de sorte à en obtenir à tout instant une représentation simplifiée et utilisable pour reconnaître des actions à la volée. Nous testons notre approche sur plusieurs bases de geste, dont notre propre corpus HTI 2014-201

Indexation de bases d'images : Évaluation de l'impact émotionnel

The goal of this work is to propose an efficient approach for emotional impact recognition based on CBIR techniques (descriptors, image representation). The main idea relies in classifying images according to their emotion which can be "Negative", "Neutral" or "Positive". Emotion is related to the image content and also to the personnal feelings. To achieve our goal we firstly need a correct assessed image database. Our first contribution is about this aspect. We proposed a set of 350 diversifed images rated by people around the world. Added to our choice to use CBIR methods, we studied the impact of visual saliency for the subjective evaluations and interest region segmentation for classification. The results are really interesting and prove that the CBIR methods are usefull for emotion recognition. The chosen desciptors are complementary and their performance are consistent on the database we have built and on IAPS, reference database for the analysis of the image emotional impact.L'objectif de ce travail est de proposer une solution de reconnaissance de l'impact émotionnel des images en se basant sur les techniques utilisées en recherche d'images par le contenu. Nous partons des résultats intéressants de cette architecture pour la tester sur une tâche plus complexe. La tâche consiste à classifier les images en fonction de leurs émotions que nous avons définies "Négative", "Neutre" et "Positive". Les émotions sont liées aussi bien au contenu des images, qu'à notre vécu. On ne pourrait donc pas proposer un système de reconnaissance des émotions performant universel. Nous ne sommes pas sensible aux mêmes choses toute notre vie: certaines différences apparaissent avec l'âge et aussi en fonction du genre. Nous essaierons de nous affranchir de ces inconstances en ayant une évaluation des bases d'images la plus hétérogène possible. Notre première contribution va dans ce sens: nous proposons une base de 350 images très largement évaluée. Durant nos travaux, nous avons étudié l'apport de la saillance visuelle aussi bien pendant les expérimentations subjectives que pendant la classification des images. Les descripteurs, que nous avons choisis, ont été évalués dans leur majorité sur une base consacrée à la recherche d'images par le contenu afin de ne sélectionner que les plus pertinents. Notre approche qui tire les avantages d'une architecture bien codifiée, conduit à des résultats très intéressants aussi bien sur la base que nous avons construite que sur la base IAPS, qui sert de référence dans l'analyse de l'impact émotionnel des images

Reconnaissance automatique des dimensions affectives dans l'interaction orale homme-machine pour des personnes dépendantes

La majorité des systèmes de reconnaissance d'états affectifs est entrainée sur des données artificielles hors contexte applicatif et les évaluations sont effectuées sur des données pré-enregistrées de même qualité. Cette thèse porte sur les différents défis résultant de la confrontation de ces systèmes à des situations et des utilisateurs réels.Pour disposer de données émotionnelles spontanées au plus proche de la réalité, un système de collecte simulant une interaction naturelle et mettant en oeuvre un agent virtuel expressif a été développé. Il a été mis en oeuvre pour recueillir deux corpus émotionnels, avec la participation de près de 80 patients de centres médicaux de la région de Montpellier, dans le cadre du projet ANR ARMEN.Ces données ont été utilisées dans l'exploration d'approches pour la résolution du problème de la généralisation des performances des systèmes de détection des émotions à d'autres données. Dans cette optique, une grande partie des travaux menés a porté sur des stratégies cross-corpus ainsi que la sélection automatique des meilleurs paramètres. Un algorithme hybride combinant des techniques de sélection flottante avec des métriques de similitudes et des heuristiques multi-échelles a été proposé et appliqué notamment dans le cadre d'un challenge (InterSpeech 2012). Les résultats de l'application de cet algorithme offrent des pistes pour différencier des corpus émotionnels à partir des paramètres les plus pertinents pour les représenter.Un prototype du système de dialogue complet, incluant le module de détection des émotions et l'agent virtuel a également été implémenté.Most of the affective states recognition systems are trained on artificial data, without any realistic context. Moreover the evaluations are done with pre-recorded data of the same quality. This thesis seeks to tackle the various challenges resulting from the confrontation of these systems with real situations and users.In order to obtain close-to-reality spontaneous emotional data, a data-collection system simulating a natural interaction was developed. It uses an expressive virtual character to conduct the interaction. Two emotional corpora where gathered with this system, with almost 80 patients from medical centers of the region of Montpellier, France, participating in. This work was carried out as part of the French ANR ARMEN collaborative project.This data was used to explore approaches to solve the problem of performance generalization for emotion detection systems. Most of the work in this part deals with cross-corpus strategies and automatic selection of the best features. An hybrid algorithm combining floating selection techniques with similarity measures and multi-scale heuristics was proposed and used in the frame of the InterSpeech 2012 Emotino Challenge. The results and insights gained with the help of this algorithm suggest ways of distinguishing between emotional corpora using their most relevant features.A prototype of the complete dialog system, including the emotion detection module and the virtual agent was also implemented.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

: Rapport final du projet ANR 2006-2008 (annexes scientifiques)

As a 24 months platform project, Lutin Game Lab was designed for making academic researchers and game companies cooperate in order to reach a new stage in the process of game quality assessment, before and after they are available on the market. The project was organized along 6 WP, all of them having fulfilled their specific goals, although we had to endure some delays due to the time required for settling the technical platform and due to the lack of time available for the companies to collaborate during the year 2008.The project results can be summed up in 4 different aspects:* A platform is now open to companies as well as to academic labs, equipped with all the devices and the softwares needed for conducting evaluation of gamers behaviour, including all game platforms, excepted for on-line games. Two eye-tracking devices and sensorial analysis tools are part of the equipment of the platform. This technical platform is operated by the UMS CNRS Lutin at the Cité des Sciences in Paris.* The methods created for analyzing the existing games and the ones in development phase were scientifically validated and adapted to the requirements of companies (time needed, display of the results, prerequisites and modes of cooperation with developers). These methods have not yet been tested in the developing phase of real games except for one of them (QRC), due to the workload of developers during this period. * The methods are the following:o Artificial expert for the prediction of gamers judgments based on a description framework of game properties. A subjective evaluation database has been designed using the data collected during the tests of 240 gamers (experts and naives) expressing judgments in a 11 items questionnaire, using the data from an objective description of game properties and the data obtained through an "objectivated subjective" description of games qualities retrieved from experts who designed and filled up a framework of 56 items per game genre (126 iterations). This expert allows companies to test their games while they are still in the design phase through the description framework in order to predict the judgments from the gamers and to optimize their various choices in game design using the 15 fuzzy models selected for each game genre.o Usability testing method adapted specifically to videogames (Quick Reality Check, QRC), based on a test protocol involving 10 gamers, on logs tracking the gamer behaviour (implemented by the developers in their prototype), on synthetic visualization tools displaying the results, and on remediation method in cooperation with game designers (game doctor). This method focuses on ergonomics features and acceptability issues.o An eyetracking method dedicated to gamers behaviour analysis. It helps to explore in-depth the areas or phases of concern discovered with the previous method. This allows the game designers to reshape some features in the interfaces and to compare their results with the patterns of each game genre that the research was able to modelize.o A method for tracking emotional states during the game, through sensors placed on the gamers bodies, in order to explore and better understand the reasons of the problems pointed out by the other methods. This is a much more innovative methodology and field of research and this explains the need for focusing on specific features in order to validate the whole framework with the existing scientific state of the art. This is a very promising field and a very attractive one for the game designers, one that would require much more research efforts.o An artificial expert providing diagnosis through the gathering of every piece of data collected during the various tests, with added results from on line questionnaires. The expert software provides an integrative view of the results for a specific game and can refer it to the various models available in the literature.* In the gameplay evaluation field, the project evolves from a review of literature to the design of a wiki open to the community of game designers, which aim is to create de knowledge database about gameplay qualities for each game genre. The wiki includes a list of rules shared by the community and examples of games displaying the uses of these rules, extracted from a corpus of the most famous games. The database can be enriched with new cases, rules can be adapted, through the revision process of the wiki which includes collective validation. Developers can access the wiki as a resource for validation of their choices.In brief, the platform offers a set of devices, a set of methods, available for the game industry, operated by Lutin experts, and a website including the wiki. Lutin Game lab platform represents an European reference center in the field of game evaluation. Lutin plans to design a quality label for games that could be used before the games are placed on the market. LUtin Game Lab requires a new research project devoted to the extension of the methods to on-line games (Lutin Game Lab on line). The next year will be devoted to dissemination and validation on real game being developed.Le projet annonçait ainsi ses objectifs en 2006 : " Lutin Game Lab, projet de plate-forme de 24 mois, se propose de fédérer les forces de recherche académiques et de développement des entreprises pour faire faire un pas significatif aux méthodologies d'évaluation de la qualité d'un jeu vidéo fini ou en cours de développement. " Le travail a comporté 6 sous -projets qui ont tous été menés à bien conformément au programme prévu avec des décalages non négligeables dus notamment au temps nécessaire au montage technique de la plate-forme et à la difficulté des entreprises à dégager du temps pour leur collaboration au moment voulu alors qu'elles sont sous haute pression concurrentielle. Le bilan du projet peut se résumer en 4 points : * il existe désormais en France une plate-forme ouverte aux entreprises et aux laboratoires, équipée de tous les matériels et logiciels nécessaires pour faire l'évaluation des comportements des joueurs de jeux vidéo, toutes plates-formes de jeu confondus, à l'exception des jeux multi joueurs en ligne. Cette plate-forme technique, comportant notamment des dispositifs d'oculométrie opérationnels de divers types, et des dispositifs d'analyse sensorielle, est opérationnelle en permanence dans le cadre des missions de l'UMS CNRS Lutin 2803 à la Cité des Sciences. * Les méthodes élaborées pour l'analyse des jeux existants et des jeux en cours de développement ont été validées scientifiquement et opérationnellement selon les critères des entreprises de jeux vidéo (délais, présentation des résultats, prérequis et formes de coopération). Ces méthodes devront cependant être validées en situation de jeux en cours de développement car les délais de coopération avec les entreprises n'ont permis de mettre en œuvre cette étape que pour une seule de ces méthodes (dite QRC)* Les méthodes comportent 5 volets : o un expert artificiel prédictif qui permet de prédire l'appréciation subjective des joueurs à partir d'une description formalisée des propriétés d'un jeu. Une base de données d'évaluation subjective a été constituée à partir de tests réalisés par 240 joueurs de tous niveaux et de leur appréciation subjective (11 items), à partir de description des propriétés objectives du jeu (106 items) et à partir d'une description subjective objectivée des qualités d'un jeu par genre (56 items par genre de jeu) et de 126 itérations de cette grille réalisée à partir d'une extraction d'expertise auprès de game designers et élèves game designers. Il est proposé aux entreprises de jeux vidéo de tester leur jeu dans une phase amont du développement pour prédire les scores de leurs jeux et ensuite optimiser les choix effectués, en exploitant les 15 modèles en logique floue sélectionnés pour chaque genre de jeu. o Une méthode en usability (Quick Reality Check) qui comporte un protocole de tests auprès de 10 joueurs minimum, des outils de suivi des déplacements par implantation de logs dans le jeu en cours de développement, de modes de visualisation synthétique des résultats et une méthode de correction associant les développeurs (Game Doctor). Cette méthode traite avant tout les questions d'ergonomie et d'acceptabilité. o Une méthode de suivi du regard des joueurs permettant d'affiner les résultats de la méthode précédente, sur des zones ou des phases problématiques pour repositionner le game design et l'ergonomie en fonction des patterns, ou signatures, identifiés par la recherche pour chaque type de jeux. o Une méthode de suivi de l'engagement émotionnel durant le jeu à partir de capteurs d'analyse sensorielle placés sur les joueurs, permettant là aussi d'affiner la recherche éventuelle de problèmes pour des phases plus précises selon les stratégies du game designer. Cette méthode est la plus innovante en termes de recherche et nos résultats restent donc limités à certains points précis qui sont cependant très prometteurs et nécessiteraient des travaux supplémentaires.o Un expert artificiel diagnostic permettant de traiter et de synthétiser toutes les données recueillies lors des tests des autres méthodes, de les compléter par des questionnaires en ligne si nécessaire et de les rapporter à des modèles issus de la littérature pour proposer un diagnostic intégré sur les qualités d'un jeu donné. * Dans le domaine du gameplay, le projet a évolué à partir d'un recensement exhaustif de la littérature sur la mise en place d'un wiki permettant à toute la communauté des développeurs de constituer une base de connaissances partagées sur les qualités du gameplay selon les genres. Ce wiki comporte un énoncé de règles reconnues par la communauté mais aussi leur exemplification à partir d'un corpus de jeux parmi les plus connus dans tous les genres. La base peut être enrichie par d'autres études de cas, les règles peuvent être affinées, et les développeurs peuvent la consulter en tant que de besoin pour valider les choix qu'ils effectuent. La mise en place de la plate-forme comporte ainsi une partie d'équipements localisés à la cité des sciences, une expertise en méthodes, directement opérationnelles et proposées déjà aux entreprises par les différents partenaires membres de Lutin, et un site collaboratif qui rassemble la communauté autour de son expertise propre. Lutin Game Lab peut ainsi prétendre devenir un centre de références européen en termes de méthodes qualité pour les jeux vidéo et nous prévoyons de travailler à proposer un label pour qualifier les jeux vidéo avant leur mise sur le marché, ainsi qu'à une extension de ses compétences pour les jeux vidéo multi joueurs en ligne (Lutin Game Lab on line). Le projet a ainsi atteint son objectif général ainsi que ses objectifs particuliers, à l'exception du temps de validation encore nécessaire auprès des entreprises qui n'a pu être pris en compte durant le projet

Apprentissage automatique à partir de traces multi-sources hétérogènes pour la modélisation de connaissances perceptivo-gestuelles

Perceptual-gestural knowledge is multimodal : they combine theoretical and perceptual and gestural knowledge. It is difficult to capture in Intelligent Tutoring Systems. In fact, its capture in such systems involves the use of multiple devices or sensors covering all the modalities of underlying interactions. The "traces" of these interactions -also referred to as "activity traces"- are the raw material for the production of key tutoring services that consider their multimodal nature. Methods for "learning analytics" and production of "tutoring services" that favor one or another facet over others, are incomplete. However, the use of diverse devices generates heterogeneous activity traces. Those latter are hard to model and treat.My doctoral project addresses the challenge related to the production of tutoring services that are congruent to this type of knowledge. I am specifically interested to this type of knowledge in the context of "ill-defined domains". My research case study is the Intelligent Tutoring System TELEOS, a simulation platform dedicated to percutaneous orthopedic surgery.The contributions of this thesis are threefold : (1) the formalization of perceptual-gestural interactions sequences; (2) the implementation of tools capable of reifying the proposed conceptual model; (3) the conception and implementation of algorithmic tools fostering the analysis of these sequences from a didactic point of view.Les connaissances perceptivo-gestuelles sont difficiles à saisir dans les Systèmes Tutoriels Intelligents. Ces connaissances sont multimodales : elles combinent des connaissances théoriques, ainsi que des connaissances perceptuelles et gestuelles. Leur enregistrement dans les Systèmes Tutoriels Intelligents implique l'utilisation de plusieurs périphériques ou capteurs couvrant les différentes modalités des interactions qui les sous-tendent. Les « traces » de ces interactions –aussi désignées sous le terme "traces d'activité"- constituent la matière première pour la production de services tutoriels couvrant leurs différentes facettes. Les analyses de l'apprentissage ou les services tutoriels privilégiant une facette de ces connaissances au détriment des autres, sont incomplets. Cependant, en raison de la diversité des périphériques, les traces d'activité enregistrées sont hétérogènes et, de ce fait, difficiles à modéliser et à traiter. Mon projet doctoral adresse la problématique de la production de services tutoriels adaptés à ce type de connaissances. Je m'y intéresse tout particulièrement dans le cadre des domaines dits mal-définis. Le cas d'étude de mes recherches est le Système Tutoriel Intelligent TELEOS, un simulateur dédié à la chirurgie orthopédique percutanée. Les propositions formulées se regroupent sous trois volets : (1) la formalisation des séquences d'interactions perceptivo-gestuelles ; (2) l'implémentation d'outils capables de réifier le modèle conceptuel de leur représentation ; (3) la conception et l'implémentation d'outils algorithmiques favorisant l'analyse de ces séquences d'un point de vue didactique