Affective games:a multimodal classification system

Affective gaming is a relatively new field of research that exploits human emotions to influence gameplay for an enhanced player experience. Changes in player’s psychology reflect on their behaviour and physiology, hence recognition of such variation is a core element in affective games. Complementary sources of affect offer more reliable recognition, especially in contexts where one modality is partial or unavailable. As a multimodal recognition system, affect-aware games are subject to the practical difficulties met by traditional trained classifiers. In addition, inherited game-related challenges in terms of data collection and performance arise while attempting to sustain an acceptable level of immersion. Most existing scenarios employ sensors that offer limited freedom of movement resulting in less realistic experiences. Recent advances now offer technology that allows players to communicate more freely and naturally with the game, and furthermore, control it without the use of input devices. However, the affective game industry is still in its infancy and definitely needs to catch up with the current life-like level of adaptation provided by graphics and animation

Internet and Biometric Web Based Business Management Decision Support

Internet and Biometric Web Based Business Management Decision Support MICROBE MOOC material prepared under IO1/A5 Development of the MICROBE personalized MOOCs content and teaching materials Prepared by: A. Kaklauskas, A. Banaitis, I. Ubarte Vilnius Gediminas Technical University, Lithuania Project No: 2020-1-LT01-KA203-07810

Analyse visuelle et cérébrale de l’état cognitif d’un apprenant

Un état cognitif peut se définir comme étant l’ensemble des processus cognitifs inférieurs (par exemple : perception et attention) et supérieurs (par exemple : prise de décision et raisonnement), nécessitant de la part de l’être humain toutes ses capacités mentales en vue d’utiliser des connaissances existantes pour résoudre un problème donné ou bien d’établir de nouvelles connaissances. Dans ce contexte, une attention particulière est portée par les environnements d’apprentissage informatisés sur le suivi et l’analyse des réactions émotionnelles de l’apprenant lors de l’activité d’apprentissage. En effet, les émotions conditionnent l’état mental de l’apprenant qui a un impact direct sur ses capacités cognitives tel que le raisonnement, la prise de décision, la mémorisation, etc. Dans ce contexte, l’objectif est d’améliorer les capacités cognitives de l’apprenant en identifiant et corrigeant les états mentaux défavorables à l’apprentissage en vue d’optimiser les performances des apprenants. Dans cette thèse, nous visons en particulier à examiner le raisonnement en tant que processus cognitif complexe de haut niveau. Notre objectif est double : en premier lieu, nous cherchons à évaluer le processus de raisonnement des étudiants novices en médecine à travers leur comportement visuel et en deuxième lieu, nous cherchons à analyser leur état mental quand ils raisonnent afin de détecter des indicateurs visuels et cérébraux permettant d’améliorer l’expérience d’apprentissage. Plus précisément, notre premier objectif a été d’utiliser les mouvements des yeux de l’apprenant pour évaluer son processus de raisonnement lors d’interactions avec des jeux sérieux éducatifs. Pour ce faire, nous avons analysé deux types de mesures oculaires à savoir : des mesures statiques et des mesures dynamiques. Dans un premier temps, nous avons étudié la possibilité d’identifier automatiquement deux classes d’apprenants à partir des différentes mesures statiques, à travers l’entrainement d’algorithmes d’apprentissage machine. Ensuite, en utilisant les mesures dynamiques avec un algorithme d’alignement de séquences issu de la bio-informatique, nous avons évalué la séquence logique visuelle suivie par l’apprenant en cours de raisonnement pour vérifier s’il est en train de suivre le bon processus de raisonnement ou non. Notre deuxième objectif a été de suivre l’évolution de l’état mental d’engagement d’un apprenant à partir de son activité cérébrale et aussi d’évaluer la relation entre l’engagement et les performances d’apprentissage. Pour cela, une étude a été réalisée où nous avons analysé la distribution de l’indice d’engagement de l’apprenant à travers tout d’abord les différentes phases de résolution du problème donné et deuxièmement, à travers les différentes régions qui composent l’interface de l’environnement. L’activité cérébrale de chaque participant a été mesurée tout au long de l’interaction avec l’environnement. Ensuite, à partir des signaux obtenus, un indice d’engagement a été calculé en se basant sur les trois bandes de fréquences α, β et θ. Enfin, notre troisième objectif a été de proposer une approche multimodale à base de deux senseurs physiologiques pour permettre une analyse conjointe du comportement visuel et cérébral de l’apprenant. Nous avons à cette fin enregistré les mouvements des yeux et l’activité cérébrale de l’apprenant afin d’évaluer son processus de raisonnement durant la résolution de différents exercices cognitifs. Plus précisément, nous visons à déterminer quels sont les indicateurs clés de performances à travers un raisonnement clinique en vue de les utiliser pour améliorer en particulier, les capacités cognitives des apprenants novices et en général, l’expérience d’apprentissage.A cognitive state can be defined as a set of inferior (e.g. perception and attention) and superior (e.g. perception and attention) cognitive processes, requiring the human being to have all of his mental abilities in an effort to use existing knowledge to solve a given problem or to establish new knowledge. In this context, a particular attention is paid by computer-based learning environments to monitor and assess learner’s emotional reactions during a learning activity. In fact, emotions govern the learner’s mental state that has in turn a direct impact on his cognitive abilities such as reasoning, decision-making, memory, etc. In this context, the objective is to improve the cognitive abilities of the learner by identifying and redressing the mental states that are unfavorable to learning in order to optimize the learners’ performances. In this thesis, we aim in particular to examine the reasoning as a high-level cognitive process. Our goal is two-fold: first, we seek to evaluate the reasoning process of novice medical students through their visual behavior and second, we seek to analyze learners’ mental states when reasoning to detect visual and cerebral indicators that can improve learning outcomes. More specifically, our first objective was to use the learner’s eye movements to assess his reasoning process while interacting with educational serious games. For this purpose, we have analyzed two types of ocular metrics namely, static metrics and dynamic metrics. First of all, we have studied the feasibility of using static metrics to automatically identify two groups of learners through the training of machine learning algorithms. Then, we have assessed the logical visual sequence followed by the learner when reasoning using dynamic metrics and a sequence alignment method from bio-informatics to see if he/she performed the correct reasoning process or not. Our second objective was to analyze the evolution of the learner’s engagement mental state from his brain activity and to assess the relationship between engagement and learning performance. An experimental study was conducted where we analyzed the distribution of the learner engagement index through first, the different phases of the problem-solving task and second, through the different regions of the environment interface. The cerebral activity of each participant was recorded during the whole game interaction. Then, from the obtained signals, an engagement index was computed based on the three frequency bands α, β et θ. Finally, our third objective was to propose a multimodal approach based on two physiological sensors to provide a joint analysis of the learner’s visual and cerebral behaviors. To this end, we recorded eye movements and brain activity of the learner to assess his reasoning process during the resolution of different cognitive tasks. More precisely, we aimed to identify key indicators of reasoning performance in order to use them to improve the cognitive abilities of novice learners in particular, and the learning experience in general