11 research outputs found

    Diseño de Agentes Conversacionales Pedagógicos usando análisis de datos

    Get PDF
    Pedagogical Conversational Agents are systems or programs that represent a resource and a means of learning for students, making the teaching and learning process more enjoyable. The aim is to improve the teaching-learning process. Currently, there are many agents being implemented in multiple knowledge domains. In our previous work, a methodology for designing agents was published, the result of which was Agent Dr. Roland, the first conversational agent for Early Childhood Education. In this paper, we propose the use of Data Analytics techniques to improve the design of the agent. Two new techniques are applied: KDDIAE, application of (Knowledge Discovery in Databases) to the Data of the Interaction between Agents and Students – Estudiantes in Spanish, and BIDAE (use of Data Analytics to obtain information of agents and students). The use of KDDIAE and BIDAE proves the existence of a fruitful relationship between learning analytics and learning design. Some samples of rules related to learning analytics and design are the following: (Learning Analytics) Children who initially do not know how to solve the exercise, after receiving help, are able to understand  and solve it Ă  (Learning Design) An agent for small children should be able to provide help. In addition, help should be entertaining and tailored to their characteristics because it is a resource that children actually use; or (Learning Analytics) Younger children use more voice interaction Ă  (Learning Design) An agent interface for young children must incorporate voice commands. A complete list of rules related to learning analytics and design is provided for any researcher interested in PCA design. 72 children were able to use the new Dr. Roland after applying the learning analytics-design rules. They reported a 100 % satisfaction as they all enjoyed interacting with the agent.Los Agentes Conversacionales PedagĂłgicos son sistemas informáticos que facilitan la enseñanza a los estudiantes y un recurso de apoyo para los profesores haciendo el proceso de enseñanza más agradable. El objetivo es mejorar el proceso de enseñanza-aprendizaje. Actualmente, hay muchos agentes que se implementan en mĂşltiples dominios de conocimiento. En nuestro trabajo previo se publicĂł una metodologĂ­a para diseñar agentes. Con esta metodologĂ­a se diseñó el agente Dr. Roland, el primer agente conversacional para EducaciĂłn Infantil. En este artĂ­culo, se propone el uso de tĂ©cnicas de análisis de datos para mejorar el diseño de Dr. Roland. Se implementan dos tĂ©cnicas nuevas: KDDIAE, aplicaciĂłn de KDD (Descubrimiento de Conocimiento en Bases de Datos) a los Datos de InteracciĂłn entre Agentes y Estudiantes, y BIDAE (uso de Análitica de Datos para obtener informaciĂłn de la interacciĂłn entre Agentes y Estudiantes). El uso de KDDIAE y BIDAE prueba la existencia de la fructĂ­fera relaciĂłn que puede darse entre analĂ­tica de aprendizaje y diseño de aprendizaje. Los niños que inicialmente no saben cĂłmo resolver un ejercicio, despuĂ©s de recibir ayuda son capaces de comprender el ejercicio y solucionarlo Ă  (Diseño de Aprendizaje) Un agente para niños pequeños deberĂ­a poder proporcionar ayuda. Además, la ayuda deberĂ­a ser entretenida y adaptada a las caracterĂ­sticas de los niños; o (Análitica de Aprendizaje) Los niños pequeños usan más la interacciĂłn por voz Ă  (Diseño de Aprendizaje) Una interfaz de agente para niños pequeños debe incorporar la posibilidad de interactuar por voz. En este artĂ­culo se proporciona una lista completa que relaciona análitica y diseño de aprendizaje para cualquier investigador que pueda estar interesado en APC. 72 niños pudieron usar el agente mejorado Dr. Roland al implementar las reglas.  Reportaron un 100 % de satisfacciĂłn, ya que todos disfrutaron de la interacciĂłn con el agente

    Exploring learners' emotions over time in virtual learning

    Get PDF
    Time constitutes an important factor influencing every process related to e-learning. Along these lines, we need to study how students manage time in their learning processes. We need to know if they feel that they have enough time to carry out a learning activity or whether they feel stressed and frustrated by the lack of time. We are also interested in what kind of emotions they express and how these emotions evolve over this period of time.Our work focuses on studying the nature and role time plays in the affective states learners experience during a long-term e-learning process. Our methodological design shows the type of data we need to collect, which methods are more suitable for analysing this data in order to detect and interpret the learners’ emotions across time

    A game theoretical model for a collaborative e-learning platform on privacy awareness

    Full text link
    De nos jours, avec l'utilisation croissante des technologies numériques, l'éducation à la préservation de la vie privée joue un rôle important en particulier pour les adolescents. Bien que plusieurs plateformes d'apprentissage en ligne à la sensibilisation à la vie privée aient été mises en œuvre, elles sont généralement basées sur des techniques traditionnelles d'apprentissage. Plus particulièrement, ces plateformes ne permettent pas aux étudiants de coopérer et de partager leurs connaissances afin d’améliorer leur apprentissage ensemble. En d'autres termes, elles manquent d'interactions élève-élève. Des recherches récentes sur les méthodes d'apprentissage montrent que la collaboration entre élèves peut entraîner de meilleurs résultats d'apprentissage par rapport à d'autres approches. De plus, le domaine de la vie privée étant fortement lié à la vie sociale des adolescents, il est préférable de fournir un environnement d'apprentissage collaboratif où l’on peut enseigner la préservation de la vie privée, et en même temps, permettre aux étudiants de partager leurs connaissances. Il serait souhaitable que ces derniers puissent interagir les uns avec les autres, résoudre des questionnaires en collaboration et discuter de problèmes et de situations de confidentialité. À cet effet, ce travail propose « Teens-online », une plateforme d'apprentissage en ligne collaborative pour la sensibilisation à la vie privée. Le programme d'études fourni dans cette plateforme est basé sur le Référentiel de formation des élèves à la protection des données personnelles. De plus, la plateforme proposée est équipée d'un mécanisme d'appariement de partenaires basé sur la théorie des jeux. Ce mécanisme garantit un appariement élève-élève stable en fonction des besoins de l'élève (comportement et / ou connaissances). Ainsi, des avantages mutuels seront obtenus en minimisant les chances de coopérer avec des pairs incompatibles. Les résultats expérimentaux montrent que l'utilité moyenne obtenue en appliquant l'algorithme proposé est beaucoup plus élevée que celle obtenue en utilisant d'autres mécanismes d'appariement. Les résultats suggèrent qu'en adoptant l'approche proposée, chaque élève peut être jumelé avec des partenaires optimaux, qui obtiennent également en retour des résultats d'apprentissage plus élevés.Nowadays, with the increasing use of digital technologies, especially for teenagers, privacy education plays an important role in their lives. While several e-learning platforms for privacy awareness training have been implemented, they are typically based on traditional learning techniques. In particular, these platforms do not allow students to cooperate and share knowledge with each other in order to achieve mutual benefits and improve learning outcomes. In other words, they lack student-student interaction. Recent research on learning methods shows that the collaboration among students can result in better learning outcomes compared to other learning approaches. Motivated by the above-mentioned facts, and since privacy domain is strongly linked to the social lives of teens, there is a pressing need for providing a collaborative learning platform for teaching privacy, and at the same time, allows students to share knowledge, interact with each other, solve quizzes collaboratively, and discuss privacy issues and situations. For this purpose, this work proposes “Teens-online”, a collaborative e-learning platform for privacy awareness. The curriculum provided in this platform is based on the Personal Data Protection Competency Framework for School Students. Moreover, the proposed platform is equipped with a partner-matching mechanism based on matching game theory. This mechanism guarantees a stable student-student matching according to a student's need (behavior and/or knowledge). Thus, mutual benefits will be attained by minimizing the chances of cooperating with incompatible students. Experimental results show that the average learning-related utility obtained by applying the proposed partner-matching algorithm is much higher than the average utility obtained using other matching mechanisms. The results also suggest that by adopting the proposed approach, each student can be paired with their optimal partners, which in turn helps them reach their highest learning outcomes

    Effet des actions pédagogiques sur l'état émotionnel de l'apprenant dans un système tutoriel intelligent

    Full text link
    Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

    C.A.M.E.L.E.O. : a cultural adaptation methodology for E-learning environment optimization

    Full text link
    Mémoire numérisé par la Division de la gestion de documents et des archives de l'Université de Montréal

    Impact des Ă©motions sur les performances

    Get PDF
    Les émotions jouent un rôle primordial dans les processus cognitifs et plus particulièrement dans les tâches d’apprentissage. D’ailleurs, plusieurs recherches neurologiques ont montré l’interrelation qui existe entre la cognition et les émotions. Elles ont aussi déterminé plusieurs formes d’intelligence humaine autre que l’intelligence rationnelle parmi lesquelles nous distinguons la forme ayant comme dimension émotionnelle, à savoir l’intelligence émotionnelle, vu son impact sur les processus d’apprentissage. L’intelligence émotionnelle est alors un facteur significatif de réussite scolaire et professionnelle. Sous la lumière de ces constatations présentées, les informaticiens à leur tour, vont alors tenter de consentir de plus en plus de place au facteur émotionnel dans les systèmes informatiques et plus particulièrement dans ceux dédiés à l’apprentissage. L’intégration de l’intelligence émotionnelle dans ces systèmes et plus précisément, dans les Systèmes Tutoriels Intelligents (STI), va leur permettre de gérer les émotions de l’apprenant et par la suite améliorer ses performances. Dans ce mémoire, notre objectif principal est d’élaborer une stratégie d’apprentissage visant à favoriser et accentuer la mémorisation chez les enfants. Pour atteindre cet objectif, nous avons développé un cours d’anglais en ligne ainsi qu’un tuteur virtuel utilisant des ressources multimédia tels que le ton de la voix, la musique, les images et les gestes afin de susciter des émotions chez l’apprenant. Nous avons conduit une expérience pour tester l’efficacité de quelques stratégies émotionnelles ainsi qu’évaluer l’impact des émotions suscitées sur la capacité de mémorisation des connaissances à acquérir par l’apprenant. Les résultats de cette étude expérimentale ont prouvé que l’induction implicite des émotions chez ce dernier a une influence significative sur ses performances. Ils ont également montré qu’il n’existe pas une stratégie efficace pour tous les apprenants à la fois, cependant l’efficacité d’une telle stratégie par rapport à une autre dépend essentiellement du profil comportemental de l’apprenant déterminé à partir de son tempérament.Emotions play a crucial role in cognitive processes, particularly in learning tasks. Furthermore, several studies in neurosciences have shown that emotion is closely related to cognitive processes. They have also determined many different forms of intelligence other than the rational intelligence; one of them is the form having an emotional dimension which influences the learning processes, namely emotional intelligence. Emotional intelligence is a significant factor in academic and professional success. Under the light of these results, the computer scientists will, in their turn, try to focus on the emotional factor in computer systems and more particularly in those dedicated to learning. The integration of emotional intelligence in these systems, specifically in Intelligent Tutoring System (ITS), will enable them to recognise learner’s emotions and improve his/her performances. In this thesis, our main aim is to develop a learning strategy which promotes and enhances memorization by children. To achieve this aim, we developed an English web course and a virtual tutor using multimedia resources such as voice pitch, music, images, and gestures to induce emotion in the learner. We conducted an experiment to test the effectiveness of some emotional strategies and assessed the impact of aroused emotions on the ability of memorizing knowledge to be acquired by the learner. The results of this experimental study have shown that implicit induction of emotions has a significant influence on learner’s performances. Moreover, no effective strategy can be applied to all learners at the same time. However, the efficiency of a strategy depends mainly on the learner’s behavioral profile based on his temperament

    L’analyse de composants émotionnels dans des stratégies d’apprentissage

    Get PDF
    Un certain nombre de théories pédagogiques ont été établies depuis plus de 20 ans. Elles font appel aux réactions de l’apprenant en situation d’apprentissage, mais aucune théorie pédagogique n’a pu décrire complètement un processus d’enseignement en tenant compte de toutes les réactions émotionnelles de l’apprenant. Nous souhaitons intégrer les émotions de l’apprenant dans ces processus d’apprentissage, car elles sont importantes dans les mécanismes d’acquisition de connaissances et dans la mémorisation. Récemment on a vu que le facteur émotionnel est considéré jouer un rôle très important dans les processus cognitifs. Modéliser les réactions émotionnelles d’un apprenant en cours du processus d’apprentissage est une nouveauté pour un Système Tutoriel Intelligent. Pour réaliser notre recherche, nous examinerons les théories pédagogiques qui n’ont pas considéré les émotions de l’apprenant. Jusqu’à maintenant, aucun Système Tutoriel Intelligent destiné à l’enseignement n’a incorporé la notion de facteur émotionnel pour un apprenant humain. Notre premier objectif est d’analyser quelques stratégies pédagogiques et de détecter les composantes émotionnelles qui peuvent y être ou non. Nous cherchons à déterminer dans cette analyse quel type de méthode didactique est utilisé, autrement dit, que fait le tuteur pour prévoir et aider l’apprenant à accomplir sa tâche d’apprentissage dans des conditions optimales. Le deuxième objectif est de proposer l’amélioration de ces méthodes en ajoutant les facteurs émotionnels. On les nommera des « méthodes émotionnelles ». Le dernier objectif vise à expérimenter le modèle d’une théorie pédagogique améliorée en ajoutant les facteurs émotionnels. Dans le cadre de cette recherche nous analyserons un certain nombre de théories pédagogiques, parmi lesquelles les théories de Robert Gagné, Jerome Bruner, Herbert J. Klausmeier et David Merrill, pour chercher à identifier les composantes émotionnelles. Aucune théorie pédagogique n’a mis l’accent sur les émotions au cours du processus d’apprentissage. Ces théories pédagogiques sont développées en tenant compte de plusieurs facteurs externes qui peuvent influencer le processus d’apprentissage. Nous proposons une approche basée sur la prédiction d’émotions qui est liée à de potentielles causes déclenchées par différents facteurs déterminants au cours du processus d’apprentissage. Nous voulons développer une technique qui permette au tuteur de traiter la réaction émotionnelle de l’apprenant à un moment donné au cours de son processus d’apprentissage et de l’inclure dans une méthode pédagogique. Pour atteindre le deuxième objectif de notre recherche, nous utiliserons un module tuteur apprenant basé sur le principe de l’éducation des émotions de l’apprenant, modèle qui vise premièrement sa personnalité et deuxièmement ses connaissances. Si on défini l’apprenant, on peut prédire ses réactions émotionnelles (positives ou négatives) et on peut s’assurer de la bonne disposition de l’apprenant, de sa coopération, sa communication et l’optimisme nécessaires à régler les problèmes émotionnels. Pour atteindre le troisième objectif, nous proposons une technique qui permet au tuteur de résoudre un problème de réaction émotionnelle de l’apprenant à un moment donné du processus d’apprentissage. Nous appliquerons cette technique à une théorie pédagogique. Pour cette première théorie, nous étudierons l’effet produit par certaines stratégies pédagogiques d’un tuteur virtuel au sujet de l’état émotionnel de l’apprenant, et pour ce faire, nous développerons une structure de données en ligne qu’un agent tuteur virtuel peut induire à l’apprenant des émotions positives. Nous analyserons les résultats expérimentaux en utilisant la première théorie et nous les comparerons ensuite avec trois autres théories que nous avons proposées d’étudier. En procédant de la sorte, nous atteindrons le troisième objectif de notre recherche, celui d’expérimenter un modèle d’une théorie pédagogique et de le comparer ensuite avec d’autres théories dans le but de développer ou d’améliorer les méthodes émotionnelles. Nous analyserons les avantages, mais aussi les insuffisances de ces théories par rapport au comportement émotionnel de l’apprenant. En guise de conclusion de cette recherche, nous retiendrons de meilleures théories pédagogiques ou bien nous suggérerons un moyen de les améliorer.A number of educational theories have been established for over 20 years. They use the learner’s reactions in a learning situation, but no educational theory could fully describe an educational process taking into account all the emotional reactions of a learner. We want to integrate the learner’s emotions in these learning processes, as they are important in the mechanisms of learning and memory. Recently we saw that emotional factor is considered to play an important role in cognitive processes. Modeling a learner’s emotional reactions during the learning process is a novelty for an Intelligent Tutorial System. To achieve our research, we will examine educational theories which did not consider the learner’s emotions. Until now, no Intelligent Tutorial System for teaching has incorporated the concept of emotional factor of a human learner. Our first objective is to analyze a few strategies and detect emotional components that may be there or not. We seek to determine what type of teaching method is used, in other words, what the tutor is doing to predict and assist the learner to accomplish his/her learning task under optimal conditions. The second objective is to improve these methods by adding the emotional factors. They are so called “emotional methods”. The final objective is to test the model of an improved educational theory by adding the emotional factors. As part of this research we analyze a number of educational theories, including theories of Robert Gagné, Jerome Bruner, Herbert J. Klausmeier and David Merrill, in seeking to identify the emotional components. No educational theory has focused on emotions during the learning process. These educational theories are developed taking into account several factors that can influence the learning process. We propose an approach based on emotion prediction that is linked to potential causes triggered by different factors in the learning process. We want to develop a technique that allows the tutor to deal with the learner’s emotional reaction at any given time during the learning process and to include it in a teaching method. To achieve the second objective of our research, we use a learning tutor model based on the principle of educating the learner’s emotions, model which first seeks the person’s personality and second the person's knowledge. If we know the learner’s personality, we can predict his/her emotional reactions (positive or negative) and we can ensure the proper disposal of the learner, his cooperation, communication and optimism necessary to resolve emotional problems. In order to achieve the third objective, we propose a technique that allows the tutor to solve an emotional reaction problem of the learner at a given moment during the learning process. We apply this technique to an educational theory. For this first theory, we study the effect of certain educational strategies of a virtual tutor about the learner’s emotional state, and to this end, we develop an online data structure with which a virtual tutor can induce positive emotions to the learner. We analyze the experimental results using the first theory and then we compare them with three other theories proposed for study. In doing so, we reach the third objective of our research, which is to test an educational theory model and then compare it with other theories in order to develop or improve the emotional methods. We analyze the advantages, but also the shortcomings of these theories compared to a learner’s emotional behaviour. In conclusion, we will keep the best educational theories or we will suggest a way to improve them

    Designing Embodied Interactive Software Agents for E-Learning: Principles, Components, and Roles

    Get PDF
    Embodied interactive software agents are complex autonomous, adaptive, and social software systems with a digital embodiment that enables them to act on and react to other entities (users, objects, and other agents) in their environment through bodily actions, which include the use of verbal and non-verbal communicative behaviors in face-to-face interactions with the user. These agents have been developed for various roles in different application domains, in which they perform tasks that have been assigned to them by their developers or delegated to them by their users or by other agents. In computer-assisted learning, embodied interactive pedagogical software agents have the general task to promote human learning by working with students (and other agents) in computer-based learning environments, among them e-learning platforms based on Internet technologies, such as the Virtual Linguistics Campus (www.linguistics-online.com). In these environments, pedagogical agents provide contextualized, qualified, personalized, and timely assistance, cooperation, instruction, motivation, and services for both individual learners and groups of learners. This thesis develops a comprehensive, multidisciplinary, and user-oriented view of the design of embodied interactive pedagogical software agents, which integrates theoretical and practical insights from various academic and other fields. The research intends to contribute to the scientific understanding of issues, methods, theories, and technologies that are involved in the design, implementation, and evaluation of embodied interactive software agents for different roles in e-learning and other areas. For developers, the thesis provides sixteen basic principles (Added Value, Perceptible Qualities, Balanced Design, Coherence, Consistency, Completeness, Comprehensibility, Individuality, Variability, Communicative Ability, Modularity, Teamwork, Participatory Design, Role Awareness, Cultural Awareness, and Relationship Building) plus a large number of specific guidelines for the design of embodied interactive software agents and their components. Furthermore, it offers critical reviews of theories, concepts, approaches, and technologies from different areas and disciplines that are relevant to agent design. Finally, it discusses three pedagogical agent roles (virtual native speaker, coach, and peer) in the scenario of the linguistic fieldwork classes on the Virtual Linguistics Campus and presents detailed considerations for the design of an agent for one of these roles (the virtual native speaker)

    Modélisation des émotions de l’apprenant et interventions implicites pour les systèmes tutoriels intelligents

    Full text link
    La modélisation de l’expérience de l’utilisateur dans les Interactions Homme-Machine est un enjeu important pour la conception et le développement des systèmes adaptatifs intelligents. Dans ce contexte, une attention particulière est portée sur les réactions émotionnelles de l’utilisateur, car elles ont une influence capitale sur ses aptitudes cognitives, comme la perception et la prise de décision. La modélisation des émotions est particulièrement pertinente pour les Systèmes Tutoriels Émotionnellement Intelligents (STEI). Ces systèmes cherchent à identifier les émotions de l’apprenant lors des sessions d’apprentissage, et à optimiser son expérience d’interaction en recourant à diverses stratégies d’interventions. Cette thèse vise à améliorer les méthodes de modélisation des émotions et les stratégies émotionnelles utilisées actuellement par les STEI pour agir sur les émotions de l’apprenant. Plus précisément, notre premier objectif a été de proposer une nouvelle méthode pour détecter l’état émotionnel de l’apprenant, en utilisant différentes sources d’informations qui permettent de mesurer les émotions de façon précise, tout en tenant compte des variables individuelles qui peuvent avoir un impact sur la manifestation des émotions. Pour ce faire, nous avons développé une approche multimodale combinant plusieurs mesures physiologiques (activité cérébrale, réactions galvaniques et rythme cardiaque) avec des variables individuelles, pour détecter une émotion très fréquemment observée lors des sessions d’apprentissage, à savoir l’incertitude. Dans un premier lieu, nous avons identifié les indicateurs physiologiques clés qui sont associés à cet état, ainsi que les caractéristiques individuelles qui contribuent à sa manifestation. Puis, nous avons développé des modèles prédictifs permettant de détecter automatiquement cet état à partir des différentes variables analysées, à travers l’entrainement d’algorithmes d’apprentissage machine. Notre deuxième objectif a été de proposer une approche unifiée pour reconnaître simultanément une combinaison de plusieurs émotions, et évaluer explicitement l’impact de ces émotions sur l’expérience d’interaction de l’apprenant. Pour cela, nous avons développé une plateforme hiérarchique, probabiliste et dynamique permettant de suivre les changements émotionnels de l'apprenant au fil du temps, et d’inférer automatiquement la tendance générale qui caractérise son expérience d’interaction à savoir : l’immersion, le blocage ou le décrochage. L’immersion correspond à une expérience optimale : un état dans lequel l'apprenant est complètement concentré et impliqué dans l’activité d’apprentissage. L’état de blocage correspond à une tendance d’interaction non optimale où l'apprenant a de la difficulté à se concentrer. Finalement, le décrochage correspond à un état extrêmement défavorable où l’apprenant n’est plus du tout impliqué dans l’activité d’apprentissage. La plateforme proposée intègre trois modalités de variables diagnostiques permettant d’évaluer l’expérience de l’apprenant à savoir : des variables physiologiques, des variables comportementales, et des mesures de performance, en combinaison avec des variables prédictives qui représentent le contexte courant de l’interaction et les caractéristiques personnelles de l'apprenant. Une étude a été réalisée pour valider notre approche à travers un protocole expérimental permettant de provoquer délibérément les trois tendances ciblées durant l’interaction des apprenants avec différents environnements d’apprentissage. Enfin, notre troisième objectif a été de proposer de nouvelles stratégies pour influencer positivement l’état émotionnel de l’apprenant, sans interrompre la dynamique de la session d’apprentissage. Nous avons à cette fin introduit le concept de stratégies émotionnelles implicites : une nouvelle approche pour agir subtilement sur les émotions de l’apprenant, dans le but d’améliorer son expérience d’apprentissage. Ces stratégies utilisent la perception subliminale, et plus précisément une technique connue sous le nom d’amorçage affectif. Cette technique permet de solliciter inconsciemment les émotions de l’apprenant, à travers la projection d’amorces comportant certaines connotations affectives. Nous avons mis en œuvre une stratégie émotionnelle implicite utilisant une forme particulière d’amorçage affectif à savoir : le conditionnement évaluatif, qui est destiné à améliorer de façon inconsciente l’estime de soi. Une étude expérimentale a été réalisée afin d’évaluer l’impact de cette stratégie sur les réactions émotionnelles et les performances des apprenants.Modeling the user’s experience within Human-Computer Interaction is an important challenge for the design and development of intelligent adaptive systems. In this context, a particular attention is given to the user’s emotional reactions, as they decisively influence his cognitive abilities, such as perception and decision-making. Emotion modeling is particularly relevant for Emotionally Intelligent Tutoring Systems (EITS). These systems seek to identify the learner’s emotions during tutoring sessions, and to optimize his interaction experience using a variety of intervention strategies. This thesis aims to improve current methods on emotion modeling, as well as the emotional strategies that are presently used within EITS to influence the learner’s emotions. More precisely, our first objective was to propose a new method to recognize the learner’s emotional state, using different sources of information that allow to measure emotions accurately, whilst taking account of individual characteristics that can have an impact on the manifestation of emotions. To that end, we have developed a multimodal approach combining several physiological measures (brain activity, galvanic responses and heart rate) with individual variables, to detect a specific emotion, which is frequently observed within computer tutoring, namely : uncertainty. First, we have identified the key physiological indicators that are associated to this state, and the individual characteristics that contribute to its manifestation. Then, we have developed predictive models to automatically detect this state from the analyzed variables, trough machine learning algorithm training. Our second objective was to propose a unified approach to simultaneously recognize a combination of several emotions, and to explicitly evaluate the impact of these emotions on the learner’s interaction experience. For this purpose, we have developed a hierarchical, probabilistic and dynamic framework, which allows one to track the learner’s emotional changes over time, and to automatically infer the trend that characterizes his interaction experience namely : flow, stuck or off-task. Flow is an optimal experience : a state in which the learner is completely focused and involved within the learning activity. The state of stuck is a non-optimal trend of the interaction where the learner has difficulty to maintain focused attention. Finally, the off-task behavior is an extremely unfavorable state where the learner is not involved anymore within the learning session. The proposed framework integrates three-modality diagnostic variables that sense the learner’s experience including : physiology, behavior and performance, in conjunction with predictive variables that represent the current context of the interaction and the learner’s personal characteristics. A human-subject study was conducted to validate our approach through an experimental protocol designed to deliberately elicit the three targeted trends during the learners’ interaction with different learning environments. Finally, our third objective was to propose new strategies to positively influence the learner’s emotional state, without interrupting the dynamics of the learning session. To this end, we have introduced the concept of implicit emotional strategies : a novel approach to subtly impact the learner’s emotions, in order to improve his learning experience. These strategies use the subliminal perception, and more precisely a technique known as affective priming. This technique aims to unconsciously solicit the learner’s emotions, through the projection of primes charged with specific affective connotations. We have implemented an implicit emotional strategy using a particular form of affective priming namely : the evaluative conditioning, which is designed to unconsciously enhance self-esteem. An experimental study was conducted in order to evaluate the impact of this strategy on the learners’ emotional reactions and performance
    corecore