Boucles de perception-action et interaction face-à-face

International audienceCet article explore un champ de recherches en plein essor : la communication face-à-face. Les performances et la robustesse des composants technologiques nécessaires à la mise en oeuvre de systèmes d'interaction face-à-face entre l'homme et un agent conversationnel - technologies vocales, vision par ordinateur, synthèse d'images, compréhension et génération de dialogues, etc. - sont maintenant matures. Nous esquissons ici un programme de recherche centré sur la modélisation des diverses boucles de perception-action impliquées dans la gestion de l'interaction et sur le paramétrage dynamique de ces boucles par les divers niveaux de compréhension de la scène dans laquelle humains, robots et agents conversationnels animés seront inévitablement plongés

A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people

International audienceThis article presents a multimodal video corpus with the principal aim to model and predict the effects of aging in Mild Cognitive Impairment situation on pragmatic and communicative skills. We take as observable variables the verbal pragmatic markers and non-verbal pragmatic markers. This approach, at the interface of the psycholinguistics, cognitive sciences and rehabilitation medicine (speech-language pathology and therapy) is part of a longitudinal research process in an ecological situation (interviews conducted by close intimate of the elderly). In the first part of the article we present the linguistic, cognitive and social characteristics of aging in its continuum up to mild cognitive impairment and pathological disorders such as Alzheimer's disease. In the second part, we develop a multimodal approach, in particular to inform and enrich speech and language therapy knowledge. Finally, we present our experimental design and preliminary results on two female participants over 75 years of age with mild cognitive impairment Our general findings indicate that with aging, verbal pragmatic markers acquire an interactive function that allows people with Mild Cognitive Impairment to maintain intersubjective relationships with their interlocutor. In addition, at the non-verbal level, gestural manifestations are increasingly mobilized over time with a preference for non-verbal pragmatic markers with a referential function and an interactive function. One such non-verbal manifestation compensates for naming deficits, planning difficulties, discursive hitches; while another optimizes and maintains the interaction with the interlocutor

Fusion de données hétérogènes pour la perception de l'homme par robot mobile

Ces travaux de thèse s'inscrivent dans le cadre du projet européen CommRob impliquant des partenaires académiques et industriels. Le but du projet est la conception d'un robot compagnon évoluant en milieu structuré, dynamique et fortement encombré par la présence d'autres agents partageant l'espace (autres robots, humains). Dans ce cadre, notre contribution porte plus spécifiquement sur la perception multimodale des usagers du robot (utilisateur et passants). La perception multimodale porte sur le développement et l'intégration de fonctions perceptuelles pour la détection, l'identification de personnes et l'analyse spatio-temporelle de leurs déplacements afin de communiquer avec le robot. La détection proximale des usagers du robot s'appuie sur une perception multimodale couplant des données hétérogènes issues de différents capteurs. Les humains détectés puis reconnus sont alors suivis dans le flot vidéo délivré par une caméra embarquée afin d'en interpréter leurs déplacements. Une première contribution réside dans la mise en place de fonctions de détection et d'identification de personnes depuis un robot mobile. Une deuxième contribution concerne l'analyse spatio-temporelle de ces percepts pour le suivi de l'utilisateur dans un premier temps, de l'ensemble des personnes situées aux alentours du robot dans un deuxième temps. Enfin, dans le sens des exigences de la robotique, la thèse comporte deux volets : un volet formel et algorithmique qui tire pertinence et validation d'un fort volet expérimental et intégratif. Ces développements s'appuient sur notre plateforme Rackham et celle mise en œuvre durant le projet CommRob.This work has been realized under the CommRob European project involving several academic and industrial partners. The goal of this project is to build a robot companion able to act in structured and dynamic environments cluttered by other agents (robots and humans). In this context, our contribution is related to multimodal perception of humans from the robot (users and passers-by). The multimodal perception induces the development and integration of perceptual functions able to detect, to identify the people and to track the motions in order to communicate with the robot. Proximal detection of the robot's users uses a multimodal perception framework based on heterogeneous data fusion from different sensors. The detected and identified users are then tracked in the video stream extracted from the embedded camera in order to interpret the human motions. The first contribution is related to the definition of perceptual functions for detecting and identifying humans from a mobile robot. The second contribution concerns the spatio-temporal analysis of these percepts for user tracking. Then, this work is extended to multi-target tracking dedicated to the passers by. Finally, as it is frequently done in robotics, our work contains two main topics: on one hand the approaches are formalized; on the other hand, these approaches are integrated and validated through live experiments. All the developments done during this thesis has been integrated on our platform Rackham and on the CommRob platform too

A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people

This article presents a multimodal video corpus with the principal aim to model and predict the effects of aging in Mild Cognitive Impairment situation on pragmatic and communicative skills. We take as observable variables the verbal pragmatic markers and non-verbal pragmatic markers. This approach, at the interface of the psycholinguistics, cognitive sciences and rehabilitation medicine (speech-language pathology and therapy) is part of a longitudinal research process in an ecological situation (interviews conducted by close intimate of the elderly).In the first part of the article we present the linguistic, cognitive and social characteristics of aging in its continuum up to mild cognitive impairment and pathological disorders such as Alzheimer’s disease. In the second part, we develop a multimodal approach, in particular to inform and enrich speech and language therapy knowledge. Finally, we present our experimental design and preliminary results on two female participants over 75 years of age with mild cognitive impairment.Our general findings indicate that with aging, verbal pragmatic markers acquire an interactive function that allows people with Mild Cognitive Impairment to maintain intersubjective relationships with their interlocutor. In addition, at the non-verbal level, gestural manifestations are increasingly mobilized over time with a preference for non-verbal pragmatic markers with a referential function and an interactive function. One such non-verbal manifestation compensates for naming deficits, planning difficulties, discursive hitches; while another optimizes and maintains the interaction with the interlocutor.Clinicians have a duty to develop their professional practice through an evidence-based clinical approach whose main objective is to reconcile clinical practice with the best evidence from research (Dollaghan 2007). In the case of speech-language pathology, clinicians consider themselves very limited in this approach (Lof 2011; McCurtin 2011), especially for patients with Mild Cognitive Impairment (Mungas et al. 2010; Hopper 2013; Morello 2017) and more specifically when it comes to assessing or supporting language functions (Cummings 2014).The studies focusing on Mild Cognitive Impairment require longitudinal corpora i) to understand the naturally occurring evolutions in subjects, ii) the implication of the cognitive reserve in each individual, and iii) to take advantage of these parameters as evidence for research and earlier rehabilitation. We aim to show the benefits of linguistic and interactional scientific investigation methods through fragile aging, for health professionals and everyday caregivers.Cet article présente un corpus vidéo d’analyse multimodale dont l’objectif principal est de modéliser et prédire les effets du vieillissement en situation de trouble cognitive léger sur les compétences pragmatiques et communicationnelles. Nous prenons comme observable les marqueurs pragmatiques verbaux et non-verbaux. Cette démarche, à l’interface des sciences du langage, des sciences cognitives et de la médecine réadaptative (l’orthophonie) s’inscrit dans un processus de recherche longitudinale en situation écologique (entretiens menés par des intimes des personnes âgées).Nous présenterons en première partie de cet article les caractéristiques langagières, cognitives et sociales du vieillissement dans son continuum jusqu’aux troubles cognitifs léger et pathologiques. En seconde partie nous développerons l’intérêt d’une approche multimodale sur corpus notamment pour renseigner l’accompagnement non-médicamenteux et enrichir les connaissances orthophoniques. Enfin nous présenterons le corpus depuis sa conception expérimentale à ses résultats préliminaires qui concernent deux locutrices de l’étude âgées de plus 75 ans et qui présentent un trouble cognitif léger.Les conclusions générales indiquent qu’avec l’avancée en âge, les marqueurs pragmatiques verbaux revêtent préférentiellement une fonction interactive permettant ainsi aux personnes avec TCL de maintenir les relations intersubjectives avec l’interlocuteur. Par ailleurs, au niveau non-verbal, les manifestations gestuelles sont de plus en plus mobilisées dans le temps avec une préférence pour les marqueurs pragmatiques non-verbaux à fonction référentielle et à fonction interactive. L’une permettant de compenser les manques du mot, difficultés de planification, accrocs discursifs ; l’autre optimisant et maintenant l’interaction avec l’interlocuteur.Les cliniciens ont le devoir de développer leur pratique professionnelle par l’approche clinique basée sur des données probantes dont l’objectif majeur est de concilier la pratique clinique et les meilleures preuves issues de la recherche (Dollaghan 2007). Pour le cas de l’orthophonie, les cliniciens s'estiment très limités quant à cette approche (Lof 2011 ; McCurtin 2011) en particulier pour les patients avec TCL (Mungas et al. 2010 ; Hopper 2013 ; Morello 2017) et plus spécifiquement lorsqu’il s’agit d’évaluer ou soutenir les fonctions langagières (Cummings 2014).L’approche en TCL nécessite des corpus longitudinaux pour comprendre i) les évolutions naturellement en œuvre chez les sujets, ii) renseigner l’implication de la réserve cognitive chez chaque individu et iii) tirer avantage de ces paramètres comme bases de données attestées pour la recherche et la rééducation précoce. Nous désirons montrer quels sont les avantages des méthodes d’investigation scientifiques linguistiques et interactionnelles à travers le vieillissement fragilisé, pour les professionnels de la santé et les aidants au quotidien

The ALICO Corpus: Analysing the Active Listener

Malisz Z, Wlodarczak M, Buschmeier H, Skubisz J, Kopp S, Wagner P. The ALICO Corpus: Analysing the Active Listener. Language Resources and Evaluation. 2016;50(2):411–442.The Active Listening Corpus (ALICO) is a multimodal data set of spontaneous dyadic conversations in German with diverse speech and gestural annotations of both dialogue partners. The annotations consist of short feedback expression transcriptions with corresponding communicative function interpretations as well as segmentations of interpausal units, words, rhythmic prominence intervals and vowel-to-vowel intervals. Additionally, ALICO contains head gesture annotations of both interlocutors. The corpus contributes to research on spontaneous human--human interaction, on functional relations between modalities, and timing variability in dialogue. It also provides data that differentiates between distracted and attentive listeners. We describe the main characteristics of the corpus and briefly present the most important results obtained from analyses in recent years

Cognition, Affects et Interaction

International audienceCet ouvrage rassemble les travaux d’études et de recherche effectués dans le cadre du cours «Cognition, Affects et Interaction » que nous avons animé au 1er semestre 2015-2016. Cette deuxième édition de cours poursuit le principe inauguré en 2014 : aux cours magistraux donnés sur la thématique "Cognition, Interaction & Affects" qui donnent les outils méthodologiques des composantes de l’interaction socio-communicative, nous avons couplé une introduction à la robotique sociale et un apprentissage actif par travail de recherche en binômes. Le principe de ces travaux d’études et de recherche est d’effectuer une recherche bibliographique et de rédiger un article de synthèse sur un aspect de l’interaction homme-robot. Si plusieurs sujets ont été proposés aux étudiants en début d’année, certains binômes ont choisi d’aborder l’interaction avec un angle original qui reflète souvent les trajectoires de formation variés des étudiants en sciences cognitives (ingénierie, sociologie, psychologie, etc). Le résultat dépasse nos espérances : le lecteur trouvera une compilation d’articles argumentés de manière solide, rédigés de manière claire et présentés avec soin. Ces premières «publications» reflètent les capacités singulières de réflexion de cette promotion en nette augmentation par rapport à l’année précédente. Nous espérons que cette série d’ouvrages disponibles sous HAL puisse servir de point d’entrée à des étudiants ou chercheurs intéressés à explorer ce champ de recherches pluri-disciplinaire

Apprentissage statistique de modèles de comportement multimodal pour les agents conversationnels interactifs

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux

Apprentissage statistique de modèles de comportement multimodal pour les agents conversationnels interactifs

Face to face interaction is one of the most fundamental forms of human communication. It is a complex multimodal and coupled dynamic system involving not only speech but of numerous segments of the body among which gaze, the orientation of the head, the chest and the body, the facial and brachiomanual movements, etc. The understanding and the modeling of this type of communication is a crucial stage for designing interactive agents capable of committing (hiring) credible conversations with human partners. Concretely, a model of multimodal behavior for interactive social agents faces with the complex task of generating gestural scores given an analysis of the scene and an incremental estimation of the joint objectives aimed during the conversation. The objective of this thesis is to develop models of multimodal behavior that allow artificial agents to engage into a relevant co-verbal communication with a human partner. While the immense majority of the works in the field of human-agent interaction (HAI) is scripted using ruled-based models, our approach relies on the training of statistical models from tracks collected during exemplary interactions, demonstrated by human trainers. In this context, we introduce "sensorimotor" models of behavior, which perform at the same time the recognition of joint cognitive states and the generation of the social signals in an incremental way. In particular, the proposed models of behavior have to estimate the current unit of interaction ( IU) in which the interlocutors are jointly committed and to predict the co-verbal behavior of its human trainer given the behavior of the interlocutor(s). The proposed models are all graphical models, i.e. Hidden Markov Models (HMM) and Dynamic Bayesian Networks (DBN). The models were trained and evaluated - in particular compared with classic classifiers - using datasets collected during two different interactions. Both interactions were carefully designed so as to collect, in a minimum amount of time, a sufficient number of exemplars of mutual attention and multimodal deixis of objects and places. Our contributions are completed by original methods for the interpretation and comparative evaluation of the properties of the proposed models. By comparing the output of the models with the original scores, we show that the HMM, thanks to its properties of sequential modeling, outperforms the simple classifiers in term of performances. The semi-Markovian models (HSMM) further improves the estimation of sensorimotor states thanks to duration modeling. Finally, thanks to a rich structure of dependency between variables learnt from the data, the DBN has the most convincing performances and demonstrates both the best performance and the most faithful multimodal coordination to the original multimodal events.L'interaction face-à-face représente une des formes les plus fondamentales de la communication humaine. C'est un système dynamique multimodal et couplé – impliquant non seulement la parole mais de nombreux segments du corps dont le regard, l'orientation de la tête, du buste et du corps, les gestes faciaux et brachio-manuels, etc – d'une grande complexité. La compréhension et la modélisation de ce type de communication est une étape cruciale dans le processus de la conception des agents interactifs capables d'engager des conversations crédibles avec des partenaires humains. Concrètement, un modèle de comportement multimodal destiné aux agents sociaux interactifs fait face à la tâche complexe de générer un comportement multimodal étant donné une analyse de la scène et une estimation incrémentale des objectifs conjoints visés au cours de la conversation. L'objectif de cette thèse est de développer des modèles de comportement multimodal pour permettre aux agents artificiels de mener une communication co-verbale pertinente avec un partenaire humain. Alors que l'immense majorité des travaux dans le domaine de l'interaction humain-agent repose essentiellement sur des modèles à base de règles, notre approche se base sur la modélisation statistique des interactions sociales à partir de traces collectées lors d'interactions exemplaires, démontrées par des tuteurs humains. Dans ce cadre, nous introduisons des modèles de comportement dits "sensori-moteurs", qui permettent à la fois la reconnaissance des états cognitifs conjoints et la génération des signaux sociaux d'une manière incrémentale. En particulier, les modèles de comportement proposés ont pour objectif d'estimer l'unité d'interaction (IU) dans laquelle sont engagés de manière conjointe les interlocuteurs et de générer le comportement co-verbal du tuteur humain étant donné le comportement observé de son/ses interlocuteur(s). Les modèles proposés sont principalement des modèles probabilistes graphiques qui se basent sur les chaînes de markov cachés (HMM) et les réseaux bayésiens dynamiques (DBN). Les modèles ont été appris et évalués – notamment comparés à des classifieurs classiques – sur des jeux de données collectés lors de deux différentes interactions face-à-face. Les deux interactions ont été soigneusement conçues de manière à collecter, en un minimum de temps, un nombre suffisant d'exemplaires de gestion de l'attention mutuelle et de deixis multimodale d'objets et de lieux. Nos contributions sont complétées par des méthodes originales d'interprétation et d'évaluation des propriétés des modèles proposés. En comparant tous les modèles avec les vraies traces d'interactions, les résultats montrent que le modèle HMM, grâce à ses propriétés de modélisation séquentielle, dépasse les simples classifieurs en terme de performances. Les modèles semi-markoviens (HSMM) ont été également testé et ont abouti à un meilleur bouclage sensori-moteur grâce à leurs propriétés de modélisation des durées des états. Enfin, grâce à une structure de dépendances riche apprise à partir des données, le modèle DBN a les performances les plus probantes et démontre en outre la coordination multimodale la plus fidèle aux évènements multimodaux originaux

On the effects of English elements in German print advertisements

Diese Arbeit untersucht den Einfluss von englischen Elementen in deutschen Werbeanzeigen auf die Anmutung der Anzeige, die Bewertung des beworbenen Produkts sowie der beworbenen Marke und die Einschätzung der Zielgruppe. In einer quantitativen Onlinestudie wurden vier speziell entwickelte Werbeanzeigen, die sich nur hinsichtlich der Verwendung englischer Elemente unterschieden, von 297 Teilnehmern bewertet. Dabei zeigten sich nur in wenigen Fällen statistisch signifikante Unterschiede zwischen der Bewertung der deutschen Anzeigenversionen und der englisch-deutsch gemischten Anzeigenversionen. Da den Probanden jeweils nur eine Version der Anzeige gezeigt wurde und ihnen der linguistische Hintergrund der Untersuchung unbekannt war, spiegeln die Ergebnisse die Wirkung englischer Elemente in realen Kontaktsituationen wider. Dieser Werbewirkungsstudie ging eine Untersuchung der Sprachzuordung voraus, in der getestet wurde, welche Variablen einen Einfluss darauf haben, ob ein visuell präsentiertes Stimuluswort als Deutsch oder Englisch wahrgenommen wird. Als geeignete Prädiktoren erwiesen sich neben der etymologischen Herkunft des Wortes vor allem die Integration in das deutsche Lexikon (operationalisiert durch Konsultierung des Duden Universalwörterbuchs 7. Aufl.). Des Weiteren zeigte sich ein signifikanter Einfluss graphemischer Fremdheitsmarker auf die Sprachzuordnung der Lexeme. Dieser Einfluss konnte sowohl bei Wörtern englischen Ursprungs als auch bei Wörtern, die nicht-englischen Ursprungs waren (z.B. LINEAL, CREMIG), beobachtet werden und verdeutlicht die Wichtigkeit der visuellen Wortform für die Sprachzuordnung.This thesis studies the influence of English elements in German print advertisements on the emotional appeal of the advertisement, the evaluation of the advertised product and brand, and the evaluation of the implied target group. Four especially designed print advertisements, which only differed in their use of English elements, were evaluated by 297 participants in a quantitative online study. Only in a few cases statistically significant differences between the evaluation of the German advertisement versions and the English-German mixed advertisement versions were found. Since participants were only shown one version of the advertisement and because the linguistic background of the study was disguised, the results mirror the effects of English elements in actual contact situations. Prior to this research, a study on language decisions was conducted to test which variables influence whether a visually presented word is perceived as English or German. Next to the etymological origin of a word, especially the integration into the German lexicon (operationalised by consulting the Duden Universalwörterbuchs 7th ed.) proved to be a good predictor. Moreover, graphemic markers of foreignness significantly influenced to which language lexemes were assigned. This impact was witnessed for words of English origin as well as for words of non-English origin (e.g. LINEAL, CREMIG), which emphasises the importance of visual word form for language decisions

Modèle d'interaction sociale pour des agents conversationnels animés : Application à la rééducation de patients cérébro-lésés

Social interaction in virtual universe opens new horizons in the field of information technologies, and particularly, in the use of video games for professional purposes (a.k.a. serious game). Introducing a certain level of realism in the social and emotional interactions of virtual characters makes it possible to consider many professional applications, which could have only been developed until now in the field of human-human interaction. The main difficulty of this approach is to produce a human interaction dynamic that makes sense for the tasks and actions that must be achieved by the characters. In order to develop this kind of dynamics, we have referred to (i) the approaches of situated cognition (so as to take into account the role of the objects of the environment), and (ii) representational approaches for the production of speech acts. We focus on the production of verbal, nonverbal and paraverbal interactions between a human and a virtual character in the context of virtual therapy . Initially, we were interested in the description of the dynamics of the visual, gesture and verbal interactions between a patient and a real therapist. This study enabled us to categorize the phases of dialogue and to elaborate a model of the dynamics of the interaction, taking into account the personality of the actors, their intentions, and their verbal and gesture behaviours. From this model, we have elaborated a generic architecture, which is articulated around a behavioural model and a kinesics model. The behavioural model selects the speech acts and the attitude of the character (empathic, neutral, etc). The kinesics model selects and integrates the facial, posture and gesture expressions related to the results of the behavioural model. From a theoretical point of view, we were interested in the concept of presence in order to identify which was the nature of the relevant couplings making it possible to produce a feeling of social presence (i.e. a feeling of living a social interaction not mediated by the elements of the technical device for the human actors which animate their characters). Finally, the device was used within the framework of a research program on the concept of mirror neurons. The assumption is that the presentation of a virtual image of its handicapped member to the patient would enable him to better recover. For this purpose, IRMf tests associated with each experiment would allow to confirm or to invalidate the role of these mirror neurons in the process of recovery.L'interaction sociale en univers virtuel ouvre de nouveaux horizons dans le domaine des technologies de l'information et en particulier de l'usage des jeux vidéo à des fins professionnelles (" serious game "). En introduisant la possibilité de gérer avec un certain niveau de réalisme des interactions sociales et émotionnelles entre les agents conversationnels animés (ACA) représentant des acteurs humains, cette approche permet d'envisager de nombreuses applications professionnelles qui jusqu'alors ne pouvaient être envisagées que dans le cadre domaine de l'interaction homme-homme. La difficulté principale de cette approche est de produire une dynamique des interactions humaines qui ait un sens dans le cadre des taches et des actions qui doivent être accomplies par les acteurs. Afin d'ancrer théoriquement cette question, nous avons fait référence aux approches de la cognition située (afin de prendre en compte le rôle médiateur des objets de l'environnement) et aux approches représentationnelles pour la production des actes de langage. Le contexte applicatif de ce travail de recherche concerne la rééducation de patients cérébro-lésés. Dans un premier temps, nous nous sommes intéressés à la description de la dynamique des interactions visuelles, gestuelles, verbales entre un patient et un véritable thérapeute. Cette étude nous a permis de catégoriser les différentes phases de dialogue et d'élaborer un modèle de la dynamique de l'interaction prenant en compte la personnalité des acteurs, leurs intentions, leurs comportements gestuels et verbal. A partir de ce modèle, nous avons élaboré une architecture informatique générique qui s'articule autour d'un modèle comportemental et d'un modèle kinésique. Le modèle comportemental sélectionne les actes de langage et l'attitude du personnage (empathique, neutre, etc.). Le modèle kinésique gère les expressions faciales, corporelles et gestuelles résultant du modèle comportemental. D'un point de vue théorique, nous nous sommes intéressés à la notion de présence afin d'identifier quelle était la nature des couplages pertinents permettant de produire un sentiment de présence sociale (sentiment pour les acteurs humains qui animent leurs avatars de vivre une interaction sociale non médiatisée par les éléments du dispositif technique). Enfin, le dispositif a été utilisé dans le cadre d'un programme de recherche sur le concept de neurone miroir. L'hypothèse étant que la présentation au patient d'une image virtuelle de son membre handicapé lui permettrait de mieux récupérer. Des tests IRMf associés à chaque expérience devrait permettait de confirmer ou d'infirmer le rôle de ces neurones miroir dans le processus de récupération