The Use of Learning Analytics Interactive Dashboards in Serious Games: A Review of the Literature

The learning analytics in serious games, corresponds to a subject in increasing demand in the educational field. In this context, there is a need to study how data visualizations found in the literature are adopted in learning analytics in serious games. This paper presents a Systematic Literature Review (SLR) on how the evolution of studies associated with the use of learning analytics interactive dashboards in serious games is processed, seeking to investigate the characteristics of using dashboards for viewing educational data. A bibliometric analysis was carried out in which 75 relevant studies were selected from the Scopus, Web of Science, and IEEExplore databases. From the data analysis, it was observed that in the current literature there is a reduced number of studies containing the main actors in the learning process, as follows: teachers/instructors, students/participants, game developers/designers, and managers/researchers. In the vast majority of investigated studies, data visualization algorithms are used, where the main focus takes into account only actors, such as teachers/instructors and students/participants

Empleo de dispositivos BCI en alumnos para la evaluación docente

At this paper, we aim to offer a methodology for the collection and study of multimodal data through the integration and use of a brain-computer interface system better known as BCI, which facilitate the reading of physiological activity through electroencephalography (EEG) techniques to achieve analyzing cognitive processes that occur in subjects who are within a classroom voluntarily willing to learn. The BCI device of the NeuroSky brand, which is considered a low cost device, was used in conjunction with the free use software neuroexperimenter, where, being used together, it is possible to collect multimodal data in a traditional classroom; the obtained products served as a basis for conducting analysis of learning processes, to understand what happens from a perspective of cognitive neuroscience. The products of this methodology can be used as a reference for building reports to provide teachers feedback, where physiological data on the levels of attention in students open the opportunity to interpret the impacts of teaching activities. The relevance of this paper lies in the opportunity found to use BCI technologies so as to carry out studies within a classroom in an objective manner without using instruments such as a questionnaire.En este artículo se presenta una metodología para la recolección y estudio de datos multimodales por medio de la integración y uso de un sistema de interfaz cerebro-computador mejor conocidos como BCI, los cuales facilitan la lectura de la actividad fisiológica por medio de técnicas de electroencefalografía (EEG) para lograr analizar los procesos cognitivos que se producen en sujetos que se encuentran dentro de un salón de clase de forma voluntaria con disposición para aprender. El dispositivo BCI de la marca NeuroSky, es considerado como un dispositivo de bajo costo, el cual se utilizó en conjunto con el software de uso libre neuroexperimenter, donde al usarse en conjunto se logra la recolección de datos multimodales en un aula tradicional; los productos obtenidos sirvieron como base para realizar analíticas de los procesos de aprendizaje, para comprender que sucede desde una perspectiva de las neurociencias cognitivas. Los productos de esta metodología pueden ser utilizados como referente para construir reportes a fin de retroalimentar a docentes, donde los datos fisiológicos de los niveles de atención en alumnos abren la oportunidad de interpretar los impactos de las actividades docentes. Lo relevante de este artículo radica en la oportunidad encontrada para usar tecnologías BCI para realizar estudios dentro de un salón de clase de manera objetiva sin emplear instrumentos como un cuestionario

Analyse visuelle et cérébrale de l’état cognitif d’un apprenant

Un état cognitif peut se définir comme étant l’ensemble des processus cognitifs inférieurs (par exemple : perception et attention) et supérieurs (par exemple : prise de décision et raisonnement), nécessitant de la part de l’être humain toutes ses capacités mentales en vue d’utiliser des connaissances existantes pour résoudre un problème donné ou bien d’établir de nouvelles connaissances. Dans ce contexte, une attention particulière est portée par les environnements d’apprentissage informatisés sur le suivi et l’analyse des réactions émotionnelles de l’apprenant lors de l’activité d’apprentissage. En effet, les émotions conditionnent l’état mental de l’apprenant qui a un impact direct sur ses capacités cognitives tel que le raisonnement, la prise de décision, la mémorisation, etc. Dans ce contexte, l’objectif est d’améliorer les capacités cognitives de l’apprenant en identifiant et corrigeant les états mentaux défavorables à l’apprentissage en vue d’optimiser les performances des apprenants. Dans cette thèse, nous visons en particulier à examiner le raisonnement en tant que processus cognitif complexe de haut niveau. Notre objectif est double : en premier lieu, nous cherchons à évaluer le processus de raisonnement des étudiants novices en médecine à travers leur comportement visuel et en deuxième lieu, nous cherchons à analyser leur état mental quand ils raisonnent afin de détecter des indicateurs visuels et cérébraux permettant d’améliorer l’expérience d’apprentissage. Plus précisément, notre premier objectif a été d’utiliser les mouvements des yeux de l’apprenant pour évaluer son processus de raisonnement lors d’interactions avec des jeux sérieux éducatifs. Pour ce faire, nous avons analysé deux types de mesures oculaires à savoir : des mesures statiques et des mesures dynamiques. Dans un premier temps, nous avons étudié la possibilité d’identifier automatiquement deux classes d’apprenants à partir des différentes mesures statiques, à travers l’entrainement d’algorithmes d’apprentissage machine. Ensuite, en utilisant les mesures dynamiques avec un algorithme d’alignement de séquences issu de la bio-informatique, nous avons évalué la séquence logique visuelle suivie par l’apprenant en cours de raisonnement pour vérifier s’il est en train de suivre le bon processus de raisonnement ou non. Notre deuxième objectif a été de suivre l’évolution de l’état mental d’engagement d’un apprenant à partir de son activité cérébrale et aussi d’évaluer la relation entre l’engagement et les performances d’apprentissage. Pour cela, une étude a été réalisée où nous avons analysé la distribution de l’indice d’engagement de l’apprenant à travers tout d’abord les différentes phases de résolution du problème donné et deuxièmement, à travers les différentes régions qui composent l’interface de l’environnement. L’activité cérébrale de chaque participant a été mesurée tout au long de l’interaction avec l’environnement. Ensuite, à partir des signaux obtenus, un indice d’engagement a été calculé en se basant sur les trois bandes de fréquences α, β et θ. Enfin, notre troisième objectif a été de proposer une approche multimodale à base de deux senseurs physiologiques pour permettre une analyse conjointe du comportement visuel et cérébral de l’apprenant. Nous avons à cette fin enregistré les mouvements des yeux et l’activité cérébrale de l’apprenant afin d’évaluer son processus de raisonnement durant la résolution de différents exercices cognitifs. Plus précisément, nous visons à déterminer quels sont les indicateurs clés de performances à travers un raisonnement clinique en vue de les utiliser pour améliorer en particulier, les capacités cognitives des apprenants novices et en général, l’expérience d’apprentissage.A cognitive state can be defined as a set of inferior (e.g. perception and attention) and superior (e.g. perception and attention) cognitive processes, requiring the human being to have all of his mental abilities in an effort to use existing knowledge to solve a given problem or to establish new knowledge. In this context, a particular attention is paid by computer-based learning environments to monitor and assess learner’s emotional reactions during a learning activity. In fact, emotions govern the learner’s mental state that has in turn a direct impact on his cognitive abilities such as reasoning, decision-making, memory, etc. In this context, the objective is to improve the cognitive abilities of the learner by identifying and redressing the mental states that are unfavorable to learning in order to optimize the learners’ performances. In this thesis, we aim in particular to examine the reasoning as a high-level cognitive process. Our goal is two-fold: first, we seek to evaluate the reasoning process of novice medical students through their visual behavior and second, we seek to analyze learners’ mental states when reasoning to detect visual and cerebral indicators that can improve learning outcomes. More specifically, our first objective was to use the learner’s eye movements to assess his reasoning process while interacting with educational serious games. For this purpose, we have analyzed two types of ocular metrics namely, static metrics and dynamic metrics. First of all, we have studied the feasibility of using static metrics to automatically identify two groups of learners through the training of machine learning algorithms. Then, we have assessed the logical visual sequence followed by the learner when reasoning using dynamic metrics and a sequence alignment method from bio-informatics to see if he/she performed the correct reasoning process or not. Our second objective was to analyze the evolution of the learner’s engagement mental state from his brain activity and to assess the relationship between engagement and learning performance. An experimental study was conducted where we analyzed the distribution of the learner engagement index through first, the different phases of the problem-solving task and second, through the different regions of the environment interface. The cerebral activity of each participant was recorded during the whole game interaction. Then, from the obtained signals, an engagement index was computed based on the three frequency bands α, β et θ. Finally, our third objective was to propose a multimodal approach based on two physiological sensors to provide a joint analysis of the learner’s visual and cerebral behaviors. To this end, we recorded eye movements and brain activity of the learner to assess his reasoning process during the resolution of different cognitive tasks. More precisely, we aimed to identify key indicators of reasoning performance in order to use them to improve the cognitive abilities of novice learners in particular, and the learning experience in general