13 research outputs found

    Student Modeling and Analysis in Adaptive Instructional Systems

    Get PDF
    There is a growing interest in developing and implementing adaptive instructional systems to improve, automate, and personalize student education. A necessary part of any such adaptive instructional system is a student model used to predict or analyze learner behavior and inform adaptation. To help inform researchers in this area, this paper presents a state-of-the-art review of 11 years of research (2010-2021) in student modeling, focusing on learner characteristics, learning indicators, and foundational aspects of dissimilar models. We mainly emphasize increased prediction accuracy when using multidimensional learner data to create multimodal models in real-world adaptive instructional systems. In addition, we discuss challenges inherent in real-world multimodal modeling, such as uncontrolled data collection environments leading to noisy data and data sync issues. Finally, we reinforce our findings and conclusions through an industry case study of an adaptive instructional system. In our study, we verify that adding multiple data modalities increases our model prediction accuracy from 53.3% to 69%. At the same time, the challenges encountered with our real-world case study, including uncontrolled data collection environment with inevitably noisy data, calls for synchronization and noise control strategies for data quality and usability

    EDM 2011: 4th international conference on educational data mining : Eindhoven, July 6-8, 2011 : proceedings

    Get PDF

    The Analysis of Student Traces for Q-Matrix Refinement and Knowledge Tracing

    Get PDF
    Nous assistons à une effervescense de l’auto-apprentissage rendue possible par l’Internet et les environnements d’apprentissage. L’accessibilité des MOOCS et des environnements d’apprentissage informatisés en est une manifestation. En contrepartie, l’apprenant perd le guidage personnalisé d’un tuteur humain et le développement d’environnements d’apprentissage adaptatifs vise à combler cette lacune. Afin d’offrir guidage et personnalisation au long du processus d’apprentissage, il est essentiel de bien évaluer les connaissances acquises de l’apprenant et d’adapter le matériel didactique en conséquence. Les recherches dans les domaines des tutoriels intelligents et de l’analytique des données éducationnelles visent essentiellement à développer des modèles de connaissances pouvant offrir le support à la personnalisation de l’apprentissage. Je propose dans cette thèse de nouvelles approches à la modélisation des connaissances apprenants autour de deux axes. Le premier porte sur l’objectif de valider les connaissances et compétences sous-jacentes à des tâches à partir de données. La classification de questions et exercices en une taxonomie d’objectifs d’apprentissage est un exemple pratique d’identification de compétences sousjacentes que les enseignants et pédagogues font couramment. Les chercheurs du domaine de la modélisation cognitive (Cognitive Diagnostic Modeling) vont plus loin en identifiant plusieurs connaissances et compétences derrière un seul problème à résoudre par exemple. Cet exercice est intrinsèquemet difficile et sujet aux erreurs. Les recherches pour faciliter la validation des connaissances sous-jacentes sont connues sous le nom du raffinement d’une Q-matrice qui représente l’alignement des tâches aux connaissances requises. La dernière décennie a été témoin de développements importants autour des approches basées sur les données pour effectuer le raffinement de Q-matrices. Ce processus de raffinement peut être considéré comme un problème de classification : pour chaque alignement tâche-connaissance défini par l’expert, l’algorithme de classification doit décider s’il est correct ou incorrect. Alors que la majorité des algorithmes portent sur une décision par alignement individuel, nous proposons une approche de classification basée sur des algorithme multi-classe où l’ensemble des connaissances requises par une tâche est soumises, plutôt que chaque connaissance individuellement. Les résultats de l’approche démontrent que le raffinement est généralement de meilleur qualité que les techniques de l’état de l’art. Le second axe vise à améliorer les modèles d’apprentissage profond pour l’évaluation des connaissances de l’apprenant à partir de traces séquentielles du succès ou échecs aux tâches. Nous tablons sur un modèle d’évaluation de connaissances capable de capturer l’évolution temporelle du profil de connaissance qui évolue au long du processus d’apprentissage de l’apprenant. Les algorithmes d’apprentissage profond utilisant une architecture LSTM (Long Short-Term Memory) aspirent à cet objectif de mémoriser les informations temporelles et réussissent effectivement à mieux prédire les performances des apprenants. Mais le profil de connaissance constitue un mécanisme plus explicite de l’état de connaissance atteint et plus efficace pour synthétiser cet état. Nous intégrons donc ce mécanisme à une architecture LSTM et à une architecture de réseau de mémoires (memory networks) afin de valider cette hypothèse. Le profil de connaissance est modélisé sous forme de classes et cette information est encodée par un vecteur binaire de longueur unitaire (one-hot) qui est fourni en entrée aux modèles d’apprentissage profond.----------ABSTRACT: The growth of self-learning, enabled by the availability on the Internet of different forms of didactic material such as MOOCs and tutoring systems, increases in turn the relevance of personalized instructions for students in adaptive learning environment. For providing adaptive and personalized learning instructions, the assessment of student’s mastery of a topic and the estimation of when she actually knows how to answer problems correctly is recognized as paramount in the fields of learning analytics and educational data mining community. In this dissertation, I propose novel approaches for building skills and student learning models along two axes. The first axis is to recover and ensure the quality of skills sets behind problems in learning system. The second axis is on improving the predictive accuracy of students’ performance based on student ability profile on skills and considering of difficulty of the problem dynamically. Both of these axes are complementary and essential in knowledge assessment of future educational learning systems for equipping intelligent agents to provide adaptive instructions and independent learning environment for students. The first axis is referred to as the Q-matrix refinement problem and consists in validating an expert-defined mapping of exercises and tasks to underlying skills. The last decade has witnessed a wealth of data driven approaches aiming to refine expert-defined mappings. This refinement can be seen as a classification problem: for each possible mapping of task to skill, the classifier has to decide whether the expert’s advice is correct, or incorrect. Whereas most algorithms are working at the level of individual mappings, we introduce an approach based on a multi-label classification algorithm that is trained on the mapping of a task to all skills simultaneously. This approach improves Q-matrix validation methods by using supervised multi-label classifier. Results show it outperforms the existing Q-matrix refinement techniques. The second axis aims to improve deep learning models of skills assessment based on sequential data. The student skills model needs to capture the temporal nature of student knowledge, changing over time, based on the learning transferred from previous practice. Deep learning has achieved a large amount of success in student performance prediction with models relying on Long short-term memory (LSTM). We proposed two approaches called Deep Knowledge Tracing and Dynamic Student Classification (DKT-DSC) and Dynamic Student Classification on Memory Networks (DSCMN) based on LSTM and key-value memory networks. We apply k-means clustering to capture students’ temporal ability profile at each time interval, which serves as a transfer learning mechanism across student’s long-term learning process. DKT DSC can capture temporal ability profile, utilize ability profile in assessment of knowledge mastery state simultaneously. The second approach, DSCMN, utilizes problem difficulty in prediction of student performance. According to experimental results, these approaches show improvements in student performance prediction over other state-of-the-art methods (such as BKT, PFA, etc.)

    Forage de données pour la détection d'un état de blocage de l'apprenant dans le cadre du système tutoriel intelligent QED-Tutrix

    Get PDF
    L’état de blocage est le moment où un apprenant, en pleine résolution de problème sur un système tutoriel intelligent, a besoin d’une intervention tutorielle pour poursuivre sa résolution. Dans ce mémoire, des modèles probabilistes seront développés pour détecter les états de blocage d’un apprenant qui résout un problème sur le système tutoriel intelligent en mathématiques QED-Tutrix. La méthodologie inclut deux expérimentations avec une version modifiée de QED-Tutrix pour recueillir des séquences d’actions associées à un état de blocage ou de non-blocage. Dans ces ensembles de données, des états de blocage ont été observés à partir des fréquences d’actions et des distributions de sous-séquences. Quatre modèles probabilistes ont été développés en tout : le modèle de processus de fréquence d’actions, le modèle bayésien en sous-séquences d’actions, le modèle du réseau de neurones convolutif et le modèle hybride. Ce dernier surpasse les autres avec un score F1 de 80,4 % pour la classification des états de blocage sur l’ensemble d’entraînement et 77,3 % sur l’ensemble test. L’application de cette recherche mène directement à l’amélioration de la machine à états de QED-Tutrix dans son interaction avec l’apprenant. Elle aboutit aussi sur une deuxième phase de travaux de recherche durant laquelle le développement d’interventions tutorielles ciblées est approché. Puisqu’il est possible d’identifier les moments de blocage de l’apprenant avec une bonne précision, il faut à présent concevoir des algorithmes pouvant comprendre le contexte du blocage et pouvant intervenir en conséquence. En ce qui concerne l’amélioration des performances des modèles, l’incorporation de l’historique des blocages dans les modèles probabilistes est à considérer en plus d’une considération du contexte mathématique.----------ABSTRACT: A blocking state is a cognitive state in which a student cannot make any progress toward finding a solution to a problem. In this research, we present the development of probabilistic models to detect a blocking state while solving a Canadian high school-level problem in Euclidean geometry on an intelligent tutoring system. Our methodology includes an experimentation with a modified version of QED-Tutrix, an intelligent tutoring system, which was used to gather labelled datasets composed of sequences of mouse and keyboard actions. We observed blocking states in this dataset from subsequence distributions and frequency of states. Using a probabilistic framework, we developed four predicting models: an actionfrequency model, a subsequence-detection model, a 1D convolutional neural network model and an hybrid model. The hybrid model outperforms the others with a F1 score of 80.4 % on classification of blocking state on training set. It performs 77.3 % on test set. The applications of this research lead to an upgrade of QED-Tutrix internal finite-state machine for its interactions with the learner. Also, this research opens a second research stage, in which targeted tutorial interventions in QED-Tutrix can be developed. This can be achieved with an algorithm that understands the context of intervention and that is able to help precisely the learner. In order to get better performances from the current models, the history of the previous blocking states needs to be incorporated. Moreover, the mathematical concepts used by the learner can be integrated

    Predicting Academic Performance: A Systematic Literature Review

    Get PDF
    The ability to predict student performance in a course or program creates opportunities to improve educational outcomes. With effective performance prediction approaches, instructors can allocate resources and instruction more accurately. Research in this area seeks to identify features that can be used to make predictions, to identify algorithms that can improve predictions, and to quantify aspects of student performance. Moreover, research in predicting student performance seeks to determine interrelated features and to identify the underlying reasons why certain features work better than others. This working group report presents a systematic literature review of work in the area of predicting student performance. Our analysis shows a clearly increasing amount of research in this area, as well as an increasing variety of techniques used. At the same time, the review uncovered a number of issues with research quality that drives a need for the community to provide more detailed reporting of methods and results and to increase efforts to validate and replicate work.Peer reviewe

    Big data-driven multimodal traffic management : trends and challenges

    Get PDF

    The Big Five:Addressing Recurrent Multimodal Learning Data Challenges

    Get PDF
    The analysis of multimodal data in learning is a growing field of research, which has led to the development of different analytics solutions. However, there is no standardised approach to handle multimodal data. In this paper, we describe and outline a solution for five recurrent challenges in the analysis of multimodal data: the data collection, storing, annotation, processing and exploitation. For each of these challenges, we envision possible solutions. The prototypes for some of the proposed solutions will be discussed during the Multimodal Challenge of the fourth Learning Analytics & Knowledge Hackathon, a two-day hands-on workshop in which the authors will open up the prototypes for trials, validation and feedback

    Multimodal Challenge: Analytics Beyond User-computer Interaction Data

    Get PDF
    This contribution describes one the challenges explored in the Fourth LAK Hackathon. This challenge aims at shifting the focus from learning situations which can be easily traced through user-computer interactions data and concentrate more on user-world interactions events, typical of co-located and practice-based learning experiences. This mission, pursued by the multimodal learning analytics (MMLA) community, seeks to bridge the gap between digital and physical learning spaces. The “multimodal” approach consists in combining learners’ motoric actions with physiological responses and data about the learning contexts. These data can be collected through multiple wearable sensors and Internet of Things (IoT) devices. This Hackathon table will confront with three main challenges arising from the analysis and valorisation of multimodal datasets: 1) the data collection and storing, 2) the data annotation, 3) the data processing and exploitation. Some research questions which will be considered in this Hackathon challenge are the following: how to process the raw sensor data streams and extract relevant features? which data mining and machine learning techniques can be applied? how can we compare two action recordings? How to combine sensor data with Experience API (xAPI)? what are meaningful visualisations for these data

    Anales del XIII Congreso Argentino de Ciencias de la Computación (CACIC)

    Get PDF
    Contenido: Arquitecturas de computadoras Sistemas embebidos Arquitecturas orientadas a servicios (SOA) Redes de comunicaciones Redes heterogéneas Redes de Avanzada Redes inalámbricas Redes móviles Redes activas Administración y monitoreo de redes y servicios Calidad de Servicio (QoS, SLAs) Seguridad informática y autenticación, privacidad Infraestructura para firma digital y certificados digitales Análisis y detección de vulnerabilidades Sistemas operativos Sistemas P2P Middleware Infraestructura para grid Servicios de integración (Web Services o .Net)Red de Universidades con Carreras en Informática (RedUNCI
    corecore