Un modèle pour les algorithmes avec retour sur trace dans les tuteurs par traçage de modèles

La présente thèse décrit des travaux de recherches effectués sur des systèmes tutoriels intelligents (STI) et plus précisément sur les tuteurs par traçage de modèle (MTT). Les travaux de recherche présentés ici s’intéressent à la conception de MTT pour des domaines dans lesquels les étudiants peuvent résoudre la tâche qui leur est assignée de plusieurs façons. Ces domaines comportent parfois des algorithmes avec retour sur trace lorsque l’étudiant ne sait pas forcément quelles sont les alternatives qui feront progresser correctement l’état de la tâche.Cette thèse présente dans un premier temps un système de représentation de connaissances pour les algorithmes avec retour sur trace qui rend les connaissances de cet algorithme exploitables par des agents logiciels. Elle présente dans un second temps un ensemble de processus qui exploitent ces connaissances dans le cadre de MTT pour assurer automatiquement le suivi de l’étudiant et ainsi que la production d’interventions pédagogiques. En premier, ces interventions consistent à fournir à l'étudiant de l’aide pour la prochaine étape qui explique quelles sont les possibilités dont dispose l'étudiant et comment déterminer laquelle est la meilleure. En deuxième, elles fournissent à l'étudiant des rétroactions stratégiques qui lui confirment que son action est valide tout en l’informant de l’existence d’une meilleure alternative le cas échéant. Enfin, elles fournissent à l'étudiant des rétroactions négatives qui lui apprennent dans quelles situations les actions invalides qu’il vient d’effectuer s’appliquent.Une expérimentation a été réalisée avec des étudiants de biologie de l’Université de Sherbrooke pour évaluer les effets de ces interventions sur les choix des étudiants au cours de la résolution de la tâche. Les résultats de cette expérience montrent que les étudiants bénéficiant de ces interventions effectuent plus souvent des choix optimaux, et démontrent ainsi une plus grande maîtrise du domaine

A data-assisted approach to supporting instructional interventions in technology enhanced learning environments

The design of intelligent learning environments requires significant up-front resources and expertise. These environments generally maintain complex and comprehensive knowledge bases describing pedagogical approaches, learner traits, and content models. This has limited the influence of these technologies in higher education, which instead largely uses learning content management systems in order to deliver non-classroom instruction to learners. This dissertation puts forth a data-assisted approach to embedding intelligence within learning environments. In this approach, instructional experts are provided with summaries of the activities of learners who interact with technology enhanced learning tools. These experts, which may include instructors, instructional designers, educational technologists, and others, use this data to gain insight into the activities of their learners. These insights lead experts to form instructional interventions which can be used to enhance the learning experience. The novel aspect of this approach is that the actions of the intelligent learning environment are now not just those of the learners and software constructs, but also those of the educational experts who may be supporting the learning process. The kinds of insights and interventions that come from application of the data-assisted approach vary with the domain being taught, the epistemology and pedagogical techniques being employed, and the particulars of the cohort being instructed. In this dissertation, three investigations using the data-assisted approach are described. The first of these demonstrates the effects of making available to instructors novel sociogram-based visualizations of online asynchronous discourse. By making instructors aware of the discussion habits of both themselves and learners, the instructors are better able to measure the effect of their teaching practice. This enables them to change their activities in response to the social networks that form between their learners, allowing them to react to deficiencies in the learning environment. Through these visualizations it is demonstrated that instructors can effectively change their pedagogy based on seeing data of their students’ interactions. The second investigation described in this dissertation is the application of unsupervised machine learning to the viewing habits of learners using lecture capture facilities. By clustering learners into groups based on behaviour and correlating groups with academic outcome, a model of positive learning activity can be described. This is particularly useful for instructional designers who are evaluating the role of learning technologies in programs as it contextualizes how technologies enable success in learners. Through this investigation it is demonstrated that the viewership data of learners can be used to assist designers in building higher level models of learning that can be used for evaluating the use of specific tools in blended learning situations. Finally, the results of applying supervised machine learning to the indexing of lecture video is described. Usage data collected from software is increasingly being used by software engineers to make technologies that are more customizable and adaptable. In this dissertation, it is demonstrated that supervised machine learning can provide human-like indexing of lecture videos that is more accurate than current techniques. Further, these indices can be customized for groups of learners, increasing the level of personalization in the learning environment. This investigation demonstrates that the data-assisted approach can also be used by application developers who are building software features for personalization into intelligent learning environments. Through this work, it is shown that a data-assisted approach to supporting instructional interventions in technology enhanced learning environments is both possible and can positively impact the teaching and learning process. By making available to instructional experts the online activities of learners, experts can better understand and react to patterns of use that develop, making for a more effective and personalized learning environment. This approach differs from traditional methods of building intelligent learning environments, which apply learning theories a priori to instructional design, and do not leverage the in situ data collected about learners

Assistance à la construction et à la comparaison de techniques de diagnostic des connaissances

Comparing and building knowledge diagnostic is a challenge in the field of Technology Enhanced Learning (TEL) systems. Knowledge diagnostic aims to infer the knowledge mastered or not by a student in a given learning domain (like mathematics for high school) using student traces recorded by the TEL system. Knowledge diagnostics are widely used, but they strongly depend on the learning domain and are not well formalized. Thus, there exists no method or tool to build, compare and evaluate different diagnostics applied on a given learning domain. Similarly, using a diagnostic in two different domain usually imply to implementing almost both from scratch. Yet, comparing and reusing knowledge diagnostics can lead to reduce the engineering cost, to reinforce the evaluation and finally help knowledge diagnostic designers to choose a diagnostic. We propose a method, refine in a first platform, to assist knowledge diagnostic designers to build and compare knowledge diagnostics, using a new formalization of the diagnostic and student traces. To help building diagnostics, we used a semi-automatic machine learning algorithm, guided by an ontology of the traces and the knowledge designed by the designer. To help comparing diagnostics, we use a set of comparison criteria (either statistical or specific to the field of TEL systems) applied on the results of each diagnostic on a given set of traces. The main contribution is that our method is generic over diagnostics, meaning that very different diagnostics can be built and compared, unlike previous work on this topic. We evaluated our work though three experiments. The first one was about applying our method on three different domains and set of traces (namely geometry, reading and surgery) to build and compare five different knowledge diagnostics in cross validation. The second experiment was about designing and implementing a new comparison criteria specific to TEL systems: the impact of knowledge diagnostic on a pedagogical decision, the choice of a type of help to give to a student. The last experiment was about designing and adding in our platform a new diagnostic, in collaboration with an expert in didactic.Cette thèse aborde la thématique de la comparaison et de la construction de diagnostics des connaissances dans les Environnements Informatiques pour l'Apprentissage Humain (EIAH). Ces diagnostics sont utilisés pour déterminer si les apprenants maîtrisent ou non les connaissances ou conceptions du domaine d'apprentissage (par exemple math au collège) à partir des traces collectées par l'EIAH. Bien que ces diagnostics soient récurrents dans les EIAH, ils sont fortement liés au domaine et ne sont que peu formalisés, si bien qu'il n'existe pas de méthode de comparaison pour les positionner entre eux et les valider. Pour la même raison, utiliser un diagnostic dans deux domaines différents implique souvent de le redévelopper en partie ou en totalité, sans réelle réutilisation. Pourtant, pouvoir comparer et réutiliser des diagnostics apporterait aux concepteurs d'EIAH plus de rigueur pour le choix, l'évaluation et le développement de ces diagnostics. Nous proposons une méthode d'assistance à la construction et à la comparaison de diagnostics des connaissances, réifiée dans une première plateforme, en se basant sur une formalisation du diagnostic des connaissances en EIAH que nous avons défini et sur l'utilisation de traces d'apprenant. L'assistance à la construction se fait via un algorithme d'apprentissage semi-automatique, guidé par le concepteur du diagnostic grâce à une ontologie décrivant les traces et les connaissances du domaine d'apprentissage. L'assistance à la comparaison se fait par application d'un ensemble de critères de comparaison (statistiques ou spécifiques aux EIAH) sur les résultats des différents diagnostics construits. La principale contribution au domaine est la généricité de notre méthode, applicable à un ensemble de diagnostics différents pour tout domaine d'apprentissage. Nous évaluons notre travail à travers trois expérimentations. La première porte sur l'application de la méthode à trois domaines différents (géométrie, lecture, chirurgie) en utilisant des jeux de traces en validation croisée pour construire et appliquer les critères de comparaison sur cinq diagnostics différents. La seconde expérimentation porte sur la spécification et l'implémentation d'un nouveau critère de comparaison spécifique aux EIAH : la comparaison des diagnostics en fonction de leur impact sur une prise de décision de l'EIAH, le choix d'un type d'aide à donner à l'apprenant. La troisième expérimentation traite de la spécification et de l'ajout d'un nouveau diagnostic dans notre plateforme, en collaborant avec une didacticienne

Intelligent tutoring in virtual reality for highly dynamic pedestrian safety training

This thesis presents the design, implementation, and evaluation of an Intelligent Tutoring System (ITS) with a Virtual Reality (VR) interface for child pedestrian safety training. This system enables children to train practical skills in a safe and realistic virtual environment without the time and space dependencies of traditional roadside training. This system also employs Domain and Student Modelling techniques to analyze user data during training automatically and to provide appropriate instructions and feedback. Thus, the traditional requirement of constant monitoring from teaching personnel is greatly reduced. Compared to previous work, especially the second aspect is a principal novelty for this domain. To achieve this, a novel Domain and Student Modeling method was developed in addition to a modular and extensible virtual environment for the target domain. While the Domain and Student Modeling framework is designed to handle the highly dynamic nature of training in traffic and the ill-defined characteristics of pedestrian tasks, the modular virtual environment supports different interaction methods and a simple and efficient way to create and adapt exercises. The thesis is complemented by two user studies with elementary school children. These studies testify great overall user acceptance and the system’s potential for improving key pedestrian skills through autonomous learning. Last but not least, the thesis presents experiments with different forms of VR input and provides directions for future work.Diese Arbeit behandelt den Entwurf, die Implementierung sowie die Evaluierung eines intelligenten Tutorensystems (ITS) mit einer Virtual Reality (VR) basierten Benutzeroberfläche zum Zwecke von Verkehrssicherheitstraining für Kinder. Dieses System ermöglicht es Kindern praktische Fähigkeiten in einer sicheren und realistischen Umgebung zu trainieren, ohne den örtlichen und zeitlichen Abhängigkeiten des traditionellen, straßenseitigen Trainings unterworfen zu sein. Dieses System macht außerdem von Domain und Student Modelling Techniken gebrauch, um Nutzerdaten während des Trainings zu analysieren und daraufhin automatisiert geeignete Instruktionen und Rückmeldung zu generieren. Dadurch kann die bisher erforderliche, ständige Überwachung durch Lehrpersonal drastisch reduziert werden. Verglichen mit bisherigen Lösungen ist insbesondere der zweite Aspekt eine grundlegende Neuheit für diesen Bereich. Um dies zu erreichen wurde ein neuartiges Framework für Domain und Student Modelling entwickelt, sowie eine modulare und erweiterbare virtuelle Umgebung für diese Art von Training. Während das Domain und Student Modelling Framework so entworfen wurde, um mit der hohen Dynamik des Straßenverkehrs sowie den vage definierten Fußgängeraufgaben zurecht zu kommen, unterstützt die modulare Umgebung unterschiedliche Eingabeformen sowie eine unkomplizierte und effiziente Methode, um Übungen zu erstellen und anzupassen. Die Arbeit beinhaltet außerdem zwei Nutzerstudien mit Grundschulkindern. Diese Studien belegen dem System eine hohe Benutzerakzeptanz und stellt das Potenzial des Systems heraus, wichtige Fähigkeiten für Fußgängersicherheit durch autodidaktisches Training zu verbessern. Nicht zuletzt beschreibt die Arbeit Experimente mit verschiedenen Formen von VR Eingaben und zeigt die Richtung für zukünftige Arbeit auf

Astus, une plateforme pour créer et étudier les systèmes tutoriels intelligents « par traçage de modèle »

Cette thèse s’intéresse aux systèmes tutoriels intelligents (STI), un type d’environnement informatique pour l’apprentissage humain (EIAH) qui se distingue des autres (p. ex. les exerciseurs et les hypermédias éducatifs) en offrant un mécanisme d’évaluation plus sophistiqué. Parmi les différentes familles de STI, ce sont les STI « par traçage de modèle » (MTT) qui ont le plus fait leurs preuves. Les MTT sont critiqués, premièrement parce qu’ils évaluent l’apprenant de façon serrée (c.-à-d. qui positionne l’action de l’apprenant par rapport à une ou plusieurs méthodes pour effectuer la tâche), ce qui n’est possible que pour des tâches bien définies. Par conséquent, on leur reproche d’encourager un apprentissage superficiel. Deuxièmement, parce que les efforts de création qu’ils requièrent sont jugés prohibitifs, ce qui a mené à l’apparition d’autres familles de STI, comme les STI « par contraintes » et les STI « par traçage d’exemples » et ceux basés sur l’apprentissage automatique. Par cette thèse, nous voulons contribuer à renouveler l’intérêt pour les MTT en améliorant le rapport entre les efforts de création et l’efficacité potentielle des interventions, et en établissant plus clairement leur rôle pédagogique. Pour ce faire, nous proposons la plateforme Astus qui permet d’explorer l’espace qui existe entre les MTT créés avec les plateformes existantes, et des MTT dédiés ayant recours à des connaissances didactiques sophistiquées (p. ex. des dialogues) qui exigent des efforts de création encore plus importants. La plateforme Astus se distingue des plateformes existantes parce qu’elle génère des interventions plutôt que de recourir à des interventions prémâchées et qu’elle supporte les tâches s’effectuant dans des environnements qui ont une dimension physique. La génération des interventions dépend : d’un modèle de la tâche qui s’inscrit dans le paradigme du tuteur, c’est-à-dire qui représente une abstraction et une généralisation des instructions d’un tuteur humain; d’un modèle de l’UI qui permet des interventions riches comme une démonstration (c.-à-d. déplacements du pointeur et simulation des clics et des saisies); de langages dédiés et d’outils qui réduisent les efforts de création des auteurs; de mécanismes d’extension qui permettent d’adapter la génération en fonction d’une stratégie pédagogique particulière. Le paradigme du tuteur, parce qu’il favorise une communication transparente entre le système et l’apprenant, met en évidence les avantages et les désavantages de l’approche pédagogique des MTT, essentiellement une évaluation précise (c.-à-d. qui permet de produire des indices sur la prochaine étape et des rétroactions sur les erreurs), mais serrée. En s’inscrivant explicitement le paradigme du tuteur, entre autres en évitant de tirer profit de la nature de domaines particuliers ou de propriétés de tâches particulières pour assouplir l’évaluation, la plateforme Astus se démarque plus nettement des autres familles de STI que les autres MTT. Par conséquent, elle établit plus clairement le rôle pédagogique des MTT. Cinq expérimentations (menées par Luc Paquette) à petite échelle ont été réalisées auprès d’étudiants au baccalauréat au département d’informatique (un laboratoire pour la manipulation d’arbres binaires de recherche et un pour la conversion de nombres en virgule flottante). Ces expérimentations indiquent que les interventions générées sont efficaces. Au-delà de ces résultats, c’est le processus entourant ces expérimentations, parce qu’il est comparable au processus des chercheurs potentiellement intéressés par la plateforme Astus, qui montre que la version présentée dans cette thèse est plus qu’un prototype et qu’elle peut être utilisée à l’interne dans un contexte réel

Augmented Conversation and Cognitive Apprenticeship Metamodel Based Intelligent Learning Activity Builder System

This research focused on a formal (theory based) approach to designing Intelligent Tutoring System (ITS) authoring tool involving two specific conventional pedagogical theories—Conversation Theory (CT) and Cognitive Apprenticeship (CA). The research conceptualised an Augmented Conversation and Cognitive Apprenticeship Metamodel (ACCAM) based on apriori theoretical knowledge and assumptions of its underlying theories. ACCAM was implemented in an Intelligent Learning Activity Builder System (ILABS)—an ITS authoring tool. ACCAM’s implementation aims to facilitate formally designed tutoring systems, hence, ILABS―the practical implementation of ACCAM― constructs metamodels for Intelligent Learning Activity Tools (ILATs) in a numerical problem-solving context (focusing on the construction of procedural knowledge in applied numerical disciplines). Also, an Intelligent Learning Activity Management System (ILAMS), although not the focus of this research, was developed as a launchpad for ILATs constructed and to administer learning activities. Hence, ACCAM and ILABS constitute the conceptual and practical contributions that respectively flow from this research. ACCAM’s implementation was tested through the evaluation of ILABS and ILATs within an applied numerical domain―the accounting domain. The evaluation focused on the key constructs of ACCAM―cognitive visibility and conversation, implemented through a tutoring strategy employing Process Monitoring (PM). PM augments conversation within a cognitive apprenticeship framework; it aims to improve the visibility of the cognitive process of a learner and infers intelligence in tutoring systems. PM was implemented via an interface that attempts to bring learner’s thought process to the surface. This approach contrasted with previous studies that adopted standard Artificial Intelligence (AI) based inference techniques. The interface-based PM extends the existing CT and CA work. The strategy (i.e. interface-based PM) makes available a new tutoring approach that aimed fine-grain (or step-wise) feedbacks, unlike the goal-oriented feedbacks of model-tracing. The impact of PM—as a preventive strategy (or intervention) and to aid diagnosis of learners’ cognitive process—was investigated in relation to other constructs from the literature (such as detection of misconception, feedback generation and perceived learning effectiveness). Thus, the conceptualisation and implementation of PM via an interface also contributes to knowledge and practice. The evaluation of the ACCAM-based design approach and investigation of the above mentioned constructs were undertaken through users’ reaction/perception to ILABS and ILAT. This involved, principally, quantitative approach. However, a qualitative approach was also utilised to gain deeper insight. Findings from the evaluation supports the formal (theory based) design approach—the design of ILABS through interaction with ACCAM. Empirical data revealed the presence of conversation and cognitive visibility constructs in ILATs, which were determined through its behaviour during the learning process. This research identified some other theoretical elements (e.g. motivation, reflection, remediation, evaluation, etc.) that possibly play out in a learning process. This clarifies key conceptual variables that should be considered when constructing tutoring systems for applied numerical disciplines (e.g. accounting, engineering). Also, the research revealed that PM enhances the detection of a learner’s misconception and feedback generation. Nevertheless, qualitative data revealed that frequent feedbacks due to the implementation of PM could be obstructive to thought process at advance stage of learning. Thus, PM implementations should also include delayed diagnosis, especially for advance learners who prefer to have it on request. Despite that, current implementation allows users to turn PM off, thereby using alternative learning route. Overall, the research revealed that the implementation of interface-based PM (i.e. conversation and cognitive visibility) improved the visibility of learner’s cognitive process, and this in turn enhanced learning—as perceived

A critique of Kodaganallur, Weitz and Rosenthal "A comparison of model-tracing and constraint-based intelligent tutoring paradigms"

In the following, we group the flaws in the authors' paper into three sections. We first address KWR's misconceptions regarding the constraint representation that is the core of the CBM approach and the suboptimal implementation decisions these misconceptions caused. In the following two sections, we discuss their conclusions with respect to the range of application and remediation. We then critique how they conducted their comparison. We end with some reflections on how this sort of comparison ought to be conducted

Un modèle hybride pour le support à l'apprentissage dans les domaines procéduraux et mal définis

Pour construire des systèmes tutoriels intelligents capables d'offrir une assistance hautement personnalisée, une solution populaire est de représenter les processus cognitifs pertinents des apprenants à l'aide d'un modèle cognitif. Toutefois, ces systèmes tuteurs dits cognitifs ne sont applicables que pour des domaines simples et bien définis, et ne couvrent pas les aspects liés à la cognition spatiale. De plus, l'acquisition des connaissances pour ces systèmes est une tâche ardue et coûteuse en temps. Pour répondre à cette problématique, cette thèse propose un modèle hybride qui combine la modélisation cognitive avec une approche novatrice basée sur la fouille de données pour extraire automatiquement des connaissances du domaine à partir de traces de résolution de problème enregistrées lors de l'usagé du système. L'approche par la fouille de données n'offre pas la finesse de la modélisation cognitive, mais elle permet d'extraire des espaces problèmes partiels pour des domaines mal définis où la modélisation cognitive n'est pas applicable. Un modèle hybride permet de profiter des avantages de la modélisation cognitive et de ceux de l'approche fouille de données. Des algorithmes sont présentés pour exploiter les connaissances et le modèle a été appliqué dans un domaine mal défini : l'apprentissage de la manipulation du bras robotisé Canadarm2. \ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : Systèmes tutoriels intelligents, cognition spatiale, robotique, fouille de donnée

A Critique of Kodaganallur, Weitz and Rosenthal, "A Comparison of Model-Tracing and Constraint-Based Intelligent Tutoring Paradigms"

Research on intelligent tutoring systems (ITS) has produced many systems, but only a handful of design principles. From its start in the late 1970s, researchers have recognized that design principles should ideally be derived from psychological insights into the cognitive processes underlying the acquisition of cognitive skills, but attempts to base design philosophies on psychological principles are still few and far between (Ohlsson, 1991). Two such philosophies have come to be associated with the labels model-tracing (MT), which is based on the ACT-R theory of human cognition (Anderson, 2005; Anderson & Lebiere, 1998), and constraint-based modelling (CBM), which has grown out of our own work on learning (Ohlsson, 1993; 1996a; 1996b; Ohlsson & Rees, 1991). Given two design philosophies, it is useful to conduct systematic comparisons to ascertain the importance and implications of their differences. In a recent IJAIED article, Kodaganallur, Weitz and Rosenthal (2005), henceforth referred to as KWR, undertake a comparison between MT and CBM. They built two tutoring systems for the same domain, one based on MT and one on CBM, and they report their observations and reflections with respect to a catalogue of issues. For every issue but one they find some weakness or potential problem with the CBM approach and also some reason for believing that any corresponding or related proble

Undergraduate Catalogue 2005-2007

https://scholarship.shu.edu/undergraduate_catalogues/1005/thumbnail.jp