Modélisation du profil émotionnel de l'utilisateur dans les interactions parlées Humain-Machine

Les travaux de recherche de la thèse portent sur l'étude et la formalisation des interactions émotionnelles Humain-Machine. Au delà d une détection d'informations paralinguistiques (émotions, disfluences,...) ponctuelles, il s'agit de fournir au système un profil interactionnel et émotionnel de l'utilisateur dynamique, enrichi pendant l interaction. Ce profil permet d adapter les stratégies de réponses de la machine au locuteur, et il peut également servir pour mieux gérer des relations à long terme. Le profil est fondé sur une représentation multi-niveau du traitement des indices émotionnels et interactionnels extraits à partir de l'audio via les outils de détection des émotions du LIMSI. Ainsi, des indices bas niveau (variations de la F0, d'énergie, etc.), fournissent des informations sur le type d'émotion exprimée, la force de l'émotion, le degré de loquacité, etc. Ces éléments à moyen niveau sont exploités dans le système afin de déterminer, au fil des interactions, le profil émotionnel et interactionnel de l'utilisateur. Ce profil est composé de six dimensions : optimisme, extraversion, stabilité émotionnelle, confiance en soi, affinité et domination (basé sur le modèle de personnalité OCEAN et les théories de l interpersonal circumplex). Le comportement social du système est adapté en fonction de ce profil, de l'état de la tâche en cours, et du comportement courant du robot. Les règles de création et de mise à jour du profil émotionnel et interactionnel, ainsi que de sélection automatique du comportement du robot, ont été implémentées en logique floue à l'aide du moteur de décision développé par un partenaire du projet ROMEO. L implémentation du système a été réalisée sur le robot NAO. Afin d étudier les différents éléments de la boucle d interaction émotionnelle entre l utilisateur et le système, nous avons participé à la conception de plusieurs systèmes : système en Magicien d Oz pré-scripté, système semi-automatisé, et système d interaction émotionnelle autonome. Ces systèmes ont permis de recueillir des données en contrôlant plusieurs paramètres d élicitation des émotions au sein d une interaction ; nous présentons les résultats de ces expérimentations, et des protocoles d évaluation de l Interaction Humain-Robot via l utilisation de systèmes à différents degrés d autonomie.Analysing and formalising the emotional aspect of the Human-Machine Interaction is the key to a successful relation. Beyond and isolated paralinguistic detection (emotion, disfluences ), our aim consists in providing the system with a dynamic emotional and interactional profile of the user, which can evolve throughout the interaction. This profile allows for an adaptation of the machine s response strategy, and can deal with long term relationships. A multi-level processing of the emotional and interactional cues extracted from speech (LIMSI emotion detection tools) leads to the constitution of the profile. Low level cues ( F0, energy, etc.), are then interpreted in terms of expressed emotion, strength, or talkativeness of the speaker. These mid-level cues are processed in the system so as to determine, over the interaction sessions, the emotional and interactional profile of the user. The profile is made up of six dimensions: optimism, extroversion, emotional stability, self-confidence, affinity and dominance (based on the OCEAN personality model and the interpersonal circumplex theories). The information derived from this profile could allow for a measurement of the engagement of the speaker. The social behaviour of the system is adapted according to the profile, and the current task state and robot behaviour. Fuzzy logic rules drive the constitution of the profile and the automatic selection of the robotic behaviour. These determinist rules are implemented on a decision engine designed by a partner in the project ROMEO. We implemented the system on the humanoid robot NAO. The overriding issue dealt with in this thesis is the viable interpretation of the paralinguistic cues extracted from speech into a relevant emotional representation of the user. We deem it noteworthy to point out that multimodal cues could reinforce the profile s robustness. So as to analyse the different parts of the emotional interaction loop between the user and the system, we collaborated in the design of several systems with different autonomy degrees: a pre-scripted Wizard-of-Oz system, a semi-automated system, and a fully autonomous system. Using these systems allowed us to collect emotional data in robotic interaction contexts, by controlling several emotion elicitation parameters. This thesis presents the results of these data collections, and offers an evaluation protocol for Human-Robot Interaction through systems with various degrees of autonomy.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Analyse acoustique de la voix émotionnelle de locuteurs lors d'une interaction humain-robot

Mes travaux de thèse s'intéressent à la voix émotionnelle dans un contexte d'interaction humain-robot. Dans une interaction réaliste, nous définissons au moins quatre grands types de variabilités : l'environnement (salle, microphone); le locuteur, ses caractéristiques physiques (genre, âge, type de voix) et sa personnalité; ses états émotionnels; et enfin le type d'interaction (jeu, situation d'urgence ou de vie quotidienne). A partir de signaux audio collectés dans différentes conditions, nous avons cherché, grâce à des descripteurs acoustiques, à imbriquer la caractérisation d'un locuteur et de son état émotionnel en prenant en compte ces variabilités.Déterminer quels descripteurs sont essentiels et quels sont ceux à éviter est un défi complexe puisqu'il nécessite de travailler sur un grand nombre de variabilités et donc d'avoir à sa disposition des corpus riches et variés. Les principaux résultats portent à la fois sur la collecte et l'annotation de corpus émotionnels réalistes avec des locuteurs variés (enfants, adultes, personnes âgées), dans plusieurs environnements, et sur la robustesse de descripteurs acoustiques suivant ces quatre variabilités. Deux résultats intéressants découlent de cette analyse acoustique: la caractérisation sonore d'un corpus et l'établissement d'une liste "noire" de descripteurs très variables. Les émotions ne sont qu'une partie des indices paralinguistiques supportés par le signal audio, la personnalité et le stress dans la voix ont également été étudiés. Nous avons également mis en oeuvre un module de reconnaissance automatique des émotions et de caractérisation du locuteur qui a été testé au cours d'interactions humain-robot réalistes. Une réflexion éthique a été menée sur ces travaux.This thesis deals with emotional voices during a human-robot interaction. In a natural interaction, we define at least, four kinds of variabilities: environment (room, microphone); speaker, its physic characteristics (gender, age, voice type) and personality; emotional states; and finally the kind of interaction (game scenario, emergency, everyday life). From audio signals collected in different conditions, we tried to find out, with acoustic features, to overlap speaker and his emotional state characterisation taking into account these variabilities.To find which features are essential and which are to avoid is hard challenge because it needs to work with a high number of variabilities and then to have riche and diverse data to our disposal. The main results are about the collection and the annotation of natural emotional corpora that have been recorded with different kinds of speakers (children, adults, elderly people) in various environments, and about how reliable are acoustic features across the four variabilities. This analysis led to two interesting aspects: the audio characterisation of a corpus and the drawing of a black list of features which vary a lot. Emotions are ust a part of paralinguistic features that are supported by the audio channel, other paralinguistic features have been studied such as personality and stress in the voice. We have also built automatic emotion recognition and speaker characterisation module that we have tested during realistic interactions. An ethic discussion have been driven on our work.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Le changement des gestes didactiques déclarés par des enseignantes et enseignants du primaire dans un contexte de plan de formation continue sur l’enseignement et l’apprentissage de l’écriture

Les recherches des trente dernières années montrent l’efficacité de certaines pratiques d’enseignement de l’écriture pour améliorer les compétences scripturales des élèves. Il apparait toutefois que ces pratiques sont peu utilisées par les enseignants (Granger et Moreau, 2018). Une des pistes d’explication de cette relative stabilité des pratiques d’enseignement réside dans la difficulté de réunir les conditions en formation continue pour engager les enseignantes et enseignants dans un processus de changement de pratique. Toutefois, peu de recherches se penchent sur le processus d'apprentissage de nouvelles pratiques et de changement de pratiques auprès des enseignantes et enseignants en situation de formation continue et de développement professionnel. Tel est l’objectif général de cette recherche qui, de façon plus spécifique, vise à décrire la modification de gestes didactiques en enseignement de l’écriture ; les enseignantes et les enseignants du primaire sont susceptibles de s’engager dans cette modification dans le cadre d’une activité de développement professionnel reposant sur une formation d'une durée de dix mois. La formation continue offrait de nouveaux contenus théoriques, pratiques et des espaces expérientiels. Elle visait la mise en place de nouveaux gestes didactiques en lien avec l'enseignement et l'apprentissage de l'écriture à l'intérieur d'un système didactique. Elle s’inscrivait également dans un plan de formation au sein duquel le rôle de la formatrice exigeait d’être exploré en lien avec le changement de gestes didactiques. Ainsi, cette recherche a pour objectif de décrire la modification des gestes didactiques de l'enseignement de l'écriture des enseignants du primaire dans un contexte de plan de formation continue en identifiant les éléments qui ont encouragé les enseignants à s'engager et à poursuivre dans ce changement de gestes didactiques et en identifiant les gestes modifiés à la suite de ce plan. Il s'agissait également d'observer l'effet du triple rôle de la formatrice, c'est-à-dire formatrice, directrice et chercheuse sur l’engagement des enseignants dans la modification des gestes didactiques. Cette recherche s’inscrit dans la perspective d’une recherche intervention. Duchesne et Leurebourg définissent celle-ci comme « une méthode de recherche menée par un acteur-chercheur dont les rôles d’intervenant et d’agent de changement s’harmonisent aux besoins des acteurs-participants tout comme aux caractéristiques du terrain d’étude » (2012, p. 6). Le format d’une recherche-intervention (Duchesne et Leurebourg, 2012), vise à répondre à une problématique de terrain − ici, les difficultés liées à l’enseignement de l’écriture de textes à l’école primaire − et à mener un processus de recherche basé sur cette intervention afin d’en extraire de nouvelles connaissances qui, dans notre cas, porte sur la modification des gestes didactiques. Le chercheur en recherche intervention s’inscrit donc dans un rapport de proximité au regard du projet (Duchesne et Leurebourg, 2012), ce qui nous mène à opérer des choix méthodologiques qui tiennent compte de cette réalité. Ainsi, nous faisons des entrevues individuelles avec les enseignants et nous optons pour une triangulation des méthodes d’analyse des entretiens semi-dirigés. Une première méthode est l’analyse thématique des discours qui se réalise par une stratégie de condensation et de matérialisation des données dans le but de produire des vignettes d’enseignant qui mettent en valeur l’expérience et la voix des enseignants. La deuxième méthode d'analyse retenue est une analyse du discours assistée par des outils de la statistique textuelle. Ainsi, grâce aux méthodes et aux outils lexicométriques (Lebart et Salem, 1994), la linéarité de la lecture des données est augmentée par la réticularité (Mayaffre, 2007) de l’analyse textuelle. En effet, les outils lexicométriques établissent des réseaux sémantiques à partir des données, ce qui augmente l’angle de lecture. Les résultats montrent qu'à la suite du plan de formation, les enseignants déclarent avoir modifié les gestes didactiques suivants : mettre en place des dispositifs didactiques et réguler. Nous avons pu identifier quatre éléments qui ont encouragé et soutenu les enseignants dans la modification des gestes didactiques : le sentiment d'auto-efficacité (Bandura, 1997), la formation, les résultats des élèves (l'attitude, la progression et les résultats sommatifs) et la direction d'école (porteuse d'une vision commune de l'écriture). Il a été aussi identifié que les outils organisationnels ont joué un rôle de soutien lors de la modification des gestes didactiques des enseignants et lors du processus d'apprentissage des élèves. Comme dans le modèle de modification des pratiques de Guskey (2002), nous avons pu établir que les enseignants changent leur pratique en amont d'un changement d'attitude et de croyance. Le lien qui unit le changement de pratiques aux changements de résultats des élèves s'inscrit dans un système didactique dont les liens sont facilités par les outils organisationnels et qui est alimenté par un sentiment d'auto-efficacité. Cette relation n'est pas uniquement unidirectionnelle, mais plutôt circulaire, car elle est chapeautée par le savoir enseigné et le sentiment d'auto-efficacité personnelle. Ces résultats mettent en évidence l'ordre dans lequel se déroule la modification de gestes didactiques. En effet, ils confortent l'ordre préétabli par Guskey (2002) qui indique que la modification des pratiques se produit avant la modification des attitudes et des croyances et en simultané avec le changement de résultats des élèves. De plus, ces résultats posent les bases pour définir les paramètres d'un plan de formation et les conditions dans lesquels il se déploie

Les communautés de pratique en entreprise sous l'angle de leur animation : analyse et enjeux

This research focuses on communities of practice (CoP) in companies. Referring to Wenger and situated learning, it was to examine the role(s) of the facilitators in terms of member's learning. From a corpus of 31 interviews of people from 21 companies, as well as various secondary materials, I analyzed the terminology used by companies and facilitators and modes of structuring CoP. While learning issues appear less central than assumed, an institutionalization and formalization of communities and facilitators are apparent. A majority of CoP are implemented and supported intentionally, process is formalized, they became a form of management, especially knowledge management. New roles related to the implementation and the facilitation emerge. This process is accompanied by a process of professionalization and provides a market for businesses. In this context, the role of those leaders sometimes remains ambiguous. While CoP presented as a theory, a descriptor of learning processes at work in social groups, these were transformed in the last ten years in a managerial practice, a tool that companies integrate gradually in their operation. In an economy of competition, increasingly knowledge-based, they are traversed by management issues they are supposed to meet, as a remedy for some organizational ills.Cette recherche porte sur les communautés de pratique (CoP) dans les entreprises. En référence à Wenger et à l'apprentissage situé, il s'agissait d'examiner le(s) rôle(s) des animateurs sur le plan des apprentissages des membres. A partir d'un corpus constitué de 31 entretiens de personnes issues de 21 entreprises, ainsi que de matériaux secondaires variés, j'ai analysé la terminologie employée par les entreprises et par les personnes animatrices, ainsi que les modes de structuration des CoP. Tandis que les questions d'apprentissage apparaissent moins centrales que je le supposais, un processus d'institutionnalisation et de formalisation des communautés et des animateurs ressort clairement. Une majorité des CoP approchées sont mises en œuvre et soutenues intentionnellement, leur fonctionnement se formalise, elles deviennent une modalité de gestion, notamment de gestion des connaissances. Des rôles nouveaux liés à la mise en œuvre et à l'animation émergent. Ce processus s'accompagne d'un processus de professionnalisation et d'une offre marchande à destination des entreprises. Dans ce contexte, le rôle des personnes animatrices demeure parfois ambigu. Alors que les CoP se présentaient comme une théorie, un descripteur des processus d'apprentissage dans des groupes sociaux, elles se sont transformées, ces dix dernières années, en un dispositif de gestion, un instrument managérial, que les entreprises intègrent peu à peu dans leur fonctionnement. Dans une économie de compétition, de plus en plus fondée sur le savoir, elles sont traversées par des enjeux de gestion auxquels elles sont censées répondre, tel un remède à certains maux organisationnels

Fouille multidimensionnelle sur les données textuelles visant à extraire les réseaux sociaux et sémantiques pour leur exploitation via la téléphonie mobile

La concurrence est un concept fondamental de la tradition libérale et des sciences économiques qui oblige les entreprises à pratiquer l'Intelligence Economique (IE) pour bien se positionner sur le marché ou tout simplement pour survivre. Mais souvent, ce n'est pas le plus fort qui survit, ni le plus intelligent, mais celui qui est le plus sensible au changement, facteur dominant dans la société actuelle. Les changements proviennent de l'extérieur ou naissent au sein même de l'entreprise et peuvent l'affecter plus ou moins durablement. Dès lors, les entreprises sont appelées à rester constamment en veille pour guetter le moindre changement en vue d'y apporter la solution adéquate en temps réel. Cependant, pour une veille réussie, on ne doit pas se contenter uniquement de surveiller les opportunités, mais avant tout, d'anticiper les menaces. Malheureusement, cette veille se déroule en oubliant l'indispensable volet sécurité de l'IE à savoir la sécurité des données manipulées et celle des procédés suivis pour atteindre les objectifs de l'IE. Nos travaux de recherche consistent à proposer un Système d'Intelligence Economique (SIE) Généraliste et Mobile. Ce SIE intègre une approche de modélisation du contrôle d'accès aux données et aux traitements pour sécuriser toutes les informations et les flux d'interaction durant son cycle de vie. Le besoin en matière de sécurité dans un SIE provient du fait que les informations manipulées sont d'ordre stratégique ayant une valeur assez importante. Une telle sécurité ne doit pas être considérée comme une option supplémentaire qu'offre un SIE pour se distinguer d'un autre. D'autant plus que la fuite de ces informations n'est pas le fait de faiblesses inhérentes aux systèmes informatiques des entreprises, mais c'est avant tout une question organisationnelle. La mobilité présente un choix stratégique pour notre SIE ''XPlor EveryWhere'', dont le but est de permettre aux utilisateurs de nos solutions de veille de continuer à rechercher, surveiller, valider et rediffuser des informations stratégiques au cours de leurs déplacements. Ils n'ont ainsi plus besoin d'être assis face à leur ordinateur pour accéder à des données utiles dans l'instant (préparation d'une réunion, nouvel ordre du jour, information sur un interlocuteur, une technologie, un marché, demande urgente d'une analyse ou d'un focus spécifique). Il leur suffit simplement d'utiliser discrètement, et en tout sécurité, leur appareil mobile. Grâce à XPlor EveryWhere, ils sont en permanence au cœur de l'information pertinente.Competition is a fundamental concept of the liberal economy tradition that requires companies to resort to Competitive Intelligence (CI) in order to be advantageously positioned on the market, or simply to survive. Nevertheless, it is well known that it is not the strongest of the organizations that survives, nor the most intelligent, but rather, the one most adaptable to change, the dominant factor in society today. Therefore, companies are required to remain constantly on a wakeful state to watch for any change in order to make appropriate solutions in real time. However, for a successful vigil, we should not be satisfied merely to monitor the opportunities, but before all, to anticipate risks. The external risk factors have never been so many: extremely dynamic and unpredictable markets, new entrants, mergers and acquisitions, sharp price reduction, rapid changes in consumption patterns and values, fragility of brands and their reputation. To face all these challenges, our research consists in proposing a Competitive Intelligence System (CIS) designed to provide online services. Through descriptive and statistics exploratory methods of data, Xplor EveryWhere display, in a very short time, new strategic knowledge such as: the profile of the actors, their reputation, their relationships, their sites of action, their mobility, emerging issues and concepts, terminology, promising fields etc. The need for security in XPlor EveryWhere arises out of the strategic nature of information conveyed with quite a substantial value. Such security should not be considered as an additional option that a CIS can provide just in order to be distinguished from one another. Especially as the leak of this information is not the result of inherent weaknesses in corporate computer systems, but above all it is an organizational issue. With Xplor EveryWhere we completed the reporting service, especially the aspect of mobility. Lastly with this system, it's possible to: View updated information as we have access to our strategic database server in real-time, itself fed daily by watchmen. They can enter information at trade shows, customer visits or after meetings

Élaboration d'un système-conseiller en technologie éducative pour guider les designers pédagogiques dans l'élaboration de systèmes d'apprentissage multimédias interactifs fondés sur des principes cognitivistes et constructivistes de l'apprentissage

Les changements paradigmatiques en éducation de même que les nouvelles technologies de l'information et des communications ont révélé des discordances importantes en design pédagogique, domaine appliqué des sciences de l'éducation. De nombreuses lacunes sont constatées dans la facture et la nature des systèmes d'apprentissage multimédias interactifs (SAMI), qu'ils soient en ligne, en situation présentielle ou hybride, produits selon l'approche empirique et objective. Il semble qu'on arrime mal les nouvelles possibilités techniques et multimédiatiques autour de fondements théoriques en éducation. Les modèles de design de SAMI traditionnels, fondés sur une approche béhavioriste, ne permettent pas d'élaborer des SAMI dans lesquels l'apprenant construit ses connaissances et sa propre compréhension du monde en les négociant socialement, comme le suppose l'approche constructiviste de l'apprentissage. Aussi, le design pédagogique doit se préoccuper de la conception des interfaces de SAMI par l'application des principes de l'ergonomie cognitive en concordance avec les capacités perceptuelles des apprenants. Dans la littérature scientifique, on constate des difficultés d'application des principes cognitivistes et constructivistes de l'apprentissage, essentiellement de la part de leurs designers.\ud Afin de guider les designers dans l'exercice de leur fonction, cette étude vise l'élaboration d'un système-conseiller par un projet de recherche de développement en technologie éducative. Dans ce type de recherche, le processus de recherche de développement et le produit en résultant sont tous deux générateurs de connaissances. Les connaissances sont produites par l'observation active des participants et par la consignation et l'analyse des données du développement de SAMI. Les objectifs de cette recherche visent à élaborer un système-conseiller en technologie éducative pour guider les designers dans l'élaboration de SAMI de même qu'un modèle de la démarche d'élaboration d'un tel système dans un but de transférabilité. Il en a résulté une proposition de démarche de développement d'un système conseiller en technologie éducative, transférable et adaptable pour quiconque voudrait s'élancer dans un tel projet, de manière collaborative et systémique. Pour répondre aux besoins de la pratique pendant toute cette démarche, des modèles de design pédagogique et un modèle de prototypage ont été testés et imbriqués, plusieurs principes ont été validés et un concept a émergé, le concept info-pédagogique du design d'interface. Plusieurs méthodes ont été élaborées pour accélérer et baliser des tâches de design pédagogique. Le produit final de cette recherche est un prototype de système-conseiller en technologie éducative fondé sur des principes cognitivistes et constructivistes de l'apprentissage permettant de réaliser une démarche de design d'un SAMI ou de bénéficier de conseils pendant sa réalisation. ______________________________________________________________________________ MOTS-CLÉS DE L’AUTEUR : Système-conseiller, Cognitivisme, Constructivisme, Technologie éducative, Design pédagogique, Ergonomie cognitive

Interpréter pour (inter)agir et apprendre : la course d'orientation en Education physique et sportive au Baccalauréat.

This study focuses on the student’s activity as defined and experienced in Physical Education. The target was to reach what makes sense for him/her when confronted with a problem solving task. The method used an inductive, participative and internalist approach. The study’s context was an optional full learning cycle of Orienteering (T= 16 hours duration; 8 sequences; n = 19 students 17 and half years old) taught by an expert teacher on critical thinking approach and on this sport practice. Three studies are expected to characterize the student functioning when confronted with the Baccalaureat examination and preparation. The first study layed on the analyzis of the performance at different moments of the learning. The second study was on the interactions between student motor, verbal and reflective profiles from the written reports of their activity. The third study was based on the pre/post test inspired from Gardner’ theory of the multiple intelligences: it helped describing the evolution of the declared capabilities of the students. Results showed that student profiles evolve according to a variable success all along the learning cycle; these profiles express within the situated context according to the learning tasks, the mobilized resources and the interpretation of the relationship between the map and the effective natural environment. A case study allowed individualizing the observations so as to question at a time the way Orienteering has to be taught and the complex strategies used by studentsCette étude propose une approche centrée sur l’activité de l’élève telle que définie et expériencée en cours d’Education Physique et Sportive. Il s’agit d’accéder à ce qui fait sens pour lui/elle lorsque confronté à une situation de résolution de problème, étant entendu que la démarche menée est inductive, participante et internaliste. Le contexte de l’étude se place dans un cycle complet de Course d’Orientation (T = 16h de pratique effective ; 8 séances) mené par un enseignant expert de l’approche réflexive et de l’APSA, auprès d’une classe optionnaire de 19 élèves (âge moyen 17ans ½). Trois études sont menées afin de caractériser le fonctionnement des élèves confrontés à l’épreuve de Baccalauréat et à sa préparation. La première étude porte sur l’analyse de la performance à différents moments du cycle. La seconde étude porte sur les interactions entre profils moteurs, verbaux et réflexifs des élèves à partir des traces écrites de leur activité. La troisième étude s’intéresse, à partir d’un test ante/post cycle inspiré de la théorie des intelligences multiples de Gardner, à cerner l’évolution des capacités déclarées par les élèves. Les résultats montrent que les élèves voient leurs profils évoluer avec une réussite variable au cours du cycle ; ces profils s’expriment en contexte en fonction des situations d’apprentissage, des ressources mobilisées et de l’interprétation des relations carte/milieu naturel. Un suivi de cas permet d’individualiser les résultats qui viennent à la fois questionner la manière dont est abordée l’APSA Course d’Orientation et les stratégies complexes déployées par les élève