Comparing Student Models in Different Formalisms by Predicting their Impact on Help Success

Session: Student Modeling & PersonalizationInternational audienceWe describe a method to evaluate how student models affect ITS decision quality - their raison d'être. Given logs of randomized tutorial decisions and ensuing student performance, we train a classifier to predict tutor decision outcomes (success or failure) based on situation features, such as student and task. We define a decision policy that selects whichever tutor action the trained classifier predicts in the current situation is likeliest to lead to a successful outcome. The ideal but costly way to evaluate such a policy is to implement it in the tutor and collect new data, which may require months of tutor use by hundreds of students. Instead, we use historical data to simulate a policy by extrapolating its effects from the subset of randomized decisions that happened to follow the policy. We then compare policies based on alternative student models by their simulated impact on the success rate of tutorial decisions. We test the method on data logged by Project LISTEN's Reading Tutor, which chooses randomly which type of help to give on a word. We report the cross-validated accuracy of predictions based on four types of student models, and compare the resulting policies' expected success and coverage. The method provides a utility-relevant metric to compare student models expressed in different formalisms

THE ROLE OF SIMULATION IN SUPPORTING LONGER-TERM LEARNING AND MENTORING WITH TECHNOLOGY

Mentoring is an important part of professional development and longer-term learning. The nature of longer-term mentoring contexts means that designing, developing, and testing adaptive learning sys-tems for use in this kind of context would be very costly as it would require substantial amounts of fi-nancial, human, and time resources. Simulation is a cheaper and quicker approach for evaluating the impact of various design and development decisions. Within the Artificial Intelligence in Education (AIED) research community, however, surprisingly little attention has been paid to how to design, de-velop, and use simulations in longer-term learning contexts. The central challenge is that adaptive learning system designers and educational practitioners have limited guidance on what steps to consider when designing simulations for supporting longer-term mentoring system design and development deci-sions. My research work takes as a starting point VanLehn et al.’s [1] introduction to applications of simulated students and Erickson et al.’s [2] suggested approach to creating simulated learning envi-ronments. My dissertation presents four research directions using a real-world longer-term mentoring context, a doctoral program, for illustrative purposes. The first direction outlines a framework for guid-ing system designers as to what factors to consider when building pedagogical simulations, fundamen-tally to answer the question: how can a system designer capture a representation of a target learning context in a pedagogical simulation model? To illustrate the feasibility of this framework, this disserta-tion describes how to build, the SimDoc model, a pedagogical model of a longer-term mentoring learn-ing environment – a doctoral program. The second direction builds on the first, and considers the issue of model fidelity, essentially to answer the question: how can a system designer determine a simulation model’s fidelity to the desired granularity level? This dissertation shows how data from a target learning environment, the research literature, and common sense are combined to achieve SimDoc’s medium fidelity model. The third research direction explores calibration and validation issues to answer the question: how many simulation runs does it take for a practitioner to have confidence in the simulation model’s output? This dissertation describes the steps taken to calibrate and validate the SimDoc model, so its output statistically matches data from the target doctoral program, the one at the university of Saskatchewan. The fourth direction is to demonstrate the applicability of the resulting pedagogical model. This dissertation presents two experiments using SimDoc to illustrate how to explore pedagogi-cal questions concerning personalization strategies and to determine the effectiveness of different men-toring strategies in a target learning context. Overall, this dissertation shows that simulation is an important tool in the AIED system design-ers’ toolkit as AIED moves towards designing, building, and evaluating AIED systems meant to support learners in longer-term learning and mentoring contexts. Simulation allows a system designer to exper-iment with various design and implementation decisions in a cost-effective and timely manner before committing to these decisions in the real world

Des méta-modèles pour guider l’élicitation des connaissances en EIAH : contributions à l’enseignement de méthodes et à la personnalisation des activités

Les travaux présentés dans ce mémoire d'habilitation à diriger des recherches portent sur l’élicitation des connaissances dans le cadre de l’ingénierie des EIAH (Environnements Informatiques pour l’Apprentissage Humain). Deux thématiques de recherche ont été explorées : l’enseignement de méthodes de résolution de problèmes et la personnalisation des EIAH. Les contributions à l’élicitation des connaissances dans ces deux thématiques sont des modèles et outils permettant à un utilisateur humain de définir les connaissances nécessaires au système pour proposer à l’apprenant un contenu pédagogique personnalisé, que ce soit un exercice, une rétroaction ou une recommandation.L’approche choisie pour répondre à la problématique de l’élicitation des connaissances est de proposer, pour chacune des questions de recherche abordées, un méta-modèle des connaissances à acquérir, indépendant du domaine d’apprentissage. Ce méta-modèle permet de guider l’utilisateur humain (concepteur, expert, auteur, enseignant) dans la définition d’un modèle de connaissances, qui sera lui dépendant du domaine. Le méta-modèle proposé permet également de définir un moteur de raisonnement associé, capable d’exploiter tout modèle de connaissances conforme au méta-modèle. Ce moteur de raisonnement exploite le modèle de connaissances défini par l’utilisateur, afin d’accomplir les tâches nécessaires à l’accompagnement par l’EIAH d’une activité d’apprentissage.En ce qui concerne l’enseignement de méthodes, les architectures proposées, rassemblant méta-modèles et moteurs de raisonnement, permettent de définir, dans un domaine donné, une méthode de résolution de problèmes et les connaissances destinées à accompagner l’élève dans son apprentissage de la méthode. Dans un domaine donné, une méthode de résolution de problèmes est constituée par un ensemble de classes de problème et d’outils de résolution associés à ces classes. Nous avons proposé le cycle AMBRE, mis en œuvre dans plusieurs EIAH, et qui incite l’apprenant à résoudre des problèmes par analogie afin d’acquérir les classes de problèmes de la méthode.Pour ce qui est de la personnalisation des EIAH, l’objectif de ces recherches est d’adapter à chaque apprenant les activités qui lui sont proposées au sein d’un EIAH. Nous avons proposé des méta-modèles et des outils fondés sur ces méta-modèles, outils destinés à un utilisateur ne possédant pas forcément de compétences poussées en informatique, comme un enseignant ou un auteur de MOOC. Ces outils lui permettent de mettre en place un processus de personnalisation complet, en définissant d’une part comment élaborer des profils d’apprenant à partir des traces de l’activité des apprenants avec l’EIAH, dans le but d’identifier les besoins de chacun, en définissant d’autre part des modèles d’exercices permettant la génération d’activités répondant à des besoins spécifiques, et en précisant enfin selon quelle stratégie affecter des exercices adaptés au profil de chaque apprenant

Assistance à la construction et à la comparaison de techniques de diagnostic des connaissances

Comparing and building knowledge diagnostic is a challenge in the field of Technology Enhanced Learning (TEL) systems. Knowledge diagnostic aims to infer the knowledge mastered or not by a student in a given learning domain (like mathematics for high school) using student traces recorded by the TEL system. Knowledge diagnostics are widely used, but they strongly depend on the learning domain and are not well formalized. Thus, there exists no method or tool to build, compare and evaluate different diagnostics applied on a given learning domain. Similarly, using a diagnostic in two different domain usually imply to implementing almost both from scratch. Yet, comparing and reusing knowledge diagnostics can lead to reduce the engineering cost, to reinforce the evaluation and finally help knowledge diagnostic designers to choose a diagnostic. We propose a method, refine in a first platform, to assist knowledge diagnostic designers to build and compare knowledge diagnostics, using a new formalization of the diagnostic and student traces. To help building diagnostics, we used a semi-automatic machine learning algorithm, guided by an ontology of the traces and the knowledge designed by the designer. To help comparing diagnostics, we use a set of comparison criteria (either statistical or specific to the field of TEL systems) applied on the results of each diagnostic on a given set of traces. The main contribution is that our method is generic over diagnostics, meaning that very different diagnostics can be built and compared, unlike previous work on this topic. We evaluated our work though three experiments. The first one was about applying our method on three different domains and set of traces (namely geometry, reading and surgery) to build and compare five different knowledge diagnostics in cross validation. The second experiment was about designing and implementing a new comparison criteria specific to TEL systems: the impact of knowledge diagnostic on a pedagogical decision, the choice of a type of help to give to a student. The last experiment was about designing and adding in our platform a new diagnostic, in collaboration with an expert in didactic.Cette thèse aborde la thématique de la comparaison et de la construction de diagnostics des connaissances dans les Environnements Informatiques pour l'Apprentissage Humain (EIAH). Ces diagnostics sont utilisés pour déterminer si les apprenants maîtrisent ou non les connaissances ou conceptions du domaine d'apprentissage (par exemple math au collège) à partir des traces collectées par l'EIAH. Bien que ces diagnostics soient récurrents dans les EIAH, ils sont fortement liés au domaine et ne sont que peu formalisés, si bien qu'il n'existe pas de méthode de comparaison pour les positionner entre eux et les valider. Pour la même raison, utiliser un diagnostic dans deux domaines différents implique souvent de le redévelopper en partie ou en totalité, sans réelle réutilisation. Pourtant, pouvoir comparer et réutiliser des diagnostics apporterait aux concepteurs d'EIAH plus de rigueur pour le choix, l'évaluation et le développement de ces diagnostics. Nous proposons une méthode d'assistance à la construction et à la comparaison de diagnostics des connaissances, réifiée dans une première plateforme, en se basant sur une formalisation du diagnostic des connaissances en EIAH que nous avons défini et sur l'utilisation de traces d'apprenant. L'assistance à la construction se fait via un algorithme d'apprentissage semi-automatique, guidé par le concepteur du diagnostic grâce à une ontologie décrivant les traces et les connaissances du domaine d'apprentissage. L'assistance à la comparaison se fait par application d'un ensemble de critères de comparaison (statistiques ou spécifiques aux EIAH) sur les résultats des différents diagnostics construits. La principale contribution au domaine est la généricité de notre méthode, applicable à un ensemble de diagnostics différents pour tout domaine d'apprentissage. Nous évaluons notre travail à travers trois expérimentations. La première porte sur l'application de la méthode à trois domaines différents (géométrie, lecture, chirurgie) en utilisant des jeux de traces en validation croisée pour construire et appliquer les critères de comparaison sur cinq diagnostics différents. La seconde expérimentation porte sur la spécification et l'implémentation d'un nouveau critère de comparaison spécifique aux EIAH : la comparaison des diagnostics en fonction de leur impact sur une prise de décision de l'EIAH, le choix d'un type d'aide à donner à l'apprenant. La troisième expérimentation traite de la spécification et de l'ajout d'un nouveau diagnostic dans notre plateforme, en collaborant avec une didacticienne