Modèle d'interaction sociale pour des agents conversationnels animés : Application à la rééducation de patients cérébro-lésés

Abstract

Social interaction in virtual universe opens new horizons in the field of information technologies, and particularly, in the use of video games for professional purposes (a.k.a. serious game). Introducing a certain level of realism in the social and emotional interactions of virtual characters makes it possible to consider many professional applications, which could have only been developed until now in the field of human-human interaction. The main difficulty of this approach is to produce a human interaction dynamic that makes sense for the tasks and actions that must be achieved by the characters. In order to develop this kind of dynamics, we have referred to (i) the approaches of situated cognition (so as to take into account the role of the objects of the environment), and (ii) representational approaches for the production of speech acts. We focus on the production of verbal, nonverbal and paraverbal interactions between a human and a virtual character in the context of virtual therapy . Initially, we were interested in the description of the dynamics of the visual, gesture and verbal interactions between a patient and a real therapist. This study enabled us to categorize the phases of dialogue and to elaborate a model of the dynamics of the interaction, taking into account the personality of the actors, their intentions, and their verbal and gesture behaviours. From this model, we have elaborated a generic architecture, which is articulated around a behavioural model and a kinesics model. The behavioural model selects the speech acts and the attitude of the character (empathic, neutral, etc). The kinesics model selects and integrates the facial, posture and gesture expressions related to the results of the behavioural model. From a theoretical point of view, we were interested in the concept of presence in order to identify which was the nature of the relevant couplings making it possible to produce a feeling of social presence (i.e. a feeling of living a social interaction not mediated by the elements of the technical device for the human actors which animate their characters). Finally, the device was used within the framework of a research program on the concept of mirror neurons. The assumption is that the presentation of a virtual image of its handicapped member to the patient would enable him to better recover. For this purpose, IRMf tests associated with each experiment would allow to confirm or to invalidate the role of these mirror neurons in the process of recovery.L'interaction sociale en univers virtuel ouvre de nouveaux horizons dans le domaine des technologies de l'information et en particulier de l'usage des jeux vidéo à des fins professionnelles (" serious game "). En introduisant la possibilité de gérer avec un certain niveau de réalisme des interactions sociales et émotionnelles entre les agents conversationnels animés (ACA) représentant des acteurs humains, cette approche permet d'envisager de nombreuses applications professionnelles qui jusqu'alors ne pouvaient être envisagées que dans le cadre domaine de l'interaction homme-homme. La difficulté principale de cette approche est de produire une dynamique des interactions humaines qui ait un sens dans le cadre des taches et des actions qui doivent être accomplies par les acteurs. Afin d'ancrer théoriquement cette question, nous avons fait référence aux approches de la cognition située (afin de prendre en compte le rôle médiateur des objets de l'environnement) et aux approches représentationnelles pour la production des actes de langage. Le contexte applicatif de ce travail de recherche concerne la rééducation de patients cérébro-lésés. Dans un premier temps, nous nous sommes intéressés à la description de la dynamique des interactions visuelles, gestuelles, verbales entre un patient et un véritable thérapeute. Cette étude nous a permis de catégoriser les différentes phases de dialogue et d'élaborer un modèle de la dynamique de l'interaction prenant en compte la personnalité des acteurs, leurs intentions, leurs comportements gestuels et verbal. A partir de ce modèle, nous avons élaboré une architecture informatique générique qui s'articule autour d'un modèle comportemental et d'un modèle kinésique. Le modèle comportemental sélectionne les actes de langage et l'attitude du personnage (empathique, neutre, etc.). Le modèle kinésique gère les expressions faciales, corporelles et gestuelles résultant du modèle comportemental. D'un point de vue théorique, nous nous sommes intéressés à la notion de présence afin d'identifier quelle était la nature des couplages pertinents permettant de produire un sentiment de présence sociale (sentiment pour les acteurs humains qui animent leurs avatars de vivre une interaction sociale non médiatisée par les éléments du dispositif technique). Enfin, le dispositif a été utilisé dans le cadre d'un programme de recherche sur le concept de neurone miroir. L'hypothèse étant que la présentation au patient d'une image virtuelle de son membre handicapé lui permettrait de mieux récupérer. Des tests IRMf associés à chaque expérience devrait permettait de confirmer ou d'infirmer le rôle de ces neurones miroir dans le processus de récupération