Towards a system redesign for better performance and customer satisfaction : a case study of the ICTS helpdesk at the University of Cape Town

Includes bibliographical references.This paper presents the findings from a study, which was carried out to investigate how the design of knowledge management systems could be improved for enhanced performance and greater customer satisfaction. The ICTS Department's helpdesk at the University of Cape Town, South Africa, was the venue for this case study. The study set out to meet the following objectives: - undertaking a knowledge acquisition strategy by carrying out a systems evaluation and analysis of the existing web-based user support system, - suggesting a knowledge representation model for an adaptive web-based user support system, and - developing and testing an online troubleshooter prototype for an improved knowledge use support system. To achieve the objectives of the study, knowledge engineering techniques were deployed on top of a qualitative research design. Questionnaires, which were supplemented by interview guides and observations, were the research tools used in gathering the data. In addition to this, a representative sample of the ICTS clientele and management was interviewed. It was discovered that poorly designed knowledge management systems cause frustration among the clientele who interact with the system. Specifically, it was found that the language used for knowledge representation plays a vital role in determining how best users can interpret knowledge items in a given knowledge domain. In other words, knowledge modelling and representation can improve knowledge representation if knowledge engineering techniques are appropriately followed in designing knowledge based systems. It was concluded that knowledge representation can be improved significantly if, firstly, the ontology technique is embraced as a mechanism of knowledge representation. Secondly, using hierarchies and taxonomies improves navigability in the knowledge structure. Thirdly, visual knowledge representation that supplements textual knowledge adds more meaning to the user, and is such a major and important technique that it can even cater for novice users

Astus, une plateforme pour créer et étudier les systèmes tutoriels intelligents « par traçage de modèle »

Cette thèse s’intéresse aux systèmes tutoriels intelligents (STI), un type d’environnement informatique pour l’apprentissage humain (EIAH) qui se distingue des autres (p. ex. les exerciseurs et les hypermédias éducatifs) en offrant un mécanisme d’évaluation plus sophistiqué. Parmi les différentes familles de STI, ce sont les STI « par traçage de modèle » (MTT) qui ont le plus fait leurs preuves. Les MTT sont critiqués, premièrement parce qu’ils évaluent l’apprenant de façon serrée (c.-à-d. qui positionne l’action de l’apprenant par rapport à une ou plusieurs méthodes pour effectuer la tâche), ce qui n’est possible que pour des tâches bien définies. Par conséquent, on leur reproche d’encourager un apprentissage superficiel. Deuxièmement, parce que les efforts de création qu’ils requièrent sont jugés prohibitifs, ce qui a mené à l’apparition d’autres familles de STI, comme les STI « par contraintes » et les STI « par traçage d’exemples » et ceux basés sur l’apprentissage automatique. Par cette thèse, nous voulons contribuer à renouveler l’intérêt pour les MTT en améliorant le rapport entre les efforts de création et l’efficacité potentielle des interventions, et en établissant plus clairement leur rôle pédagogique. Pour ce faire, nous proposons la plateforme Astus qui permet d’explorer l’espace qui existe entre les MTT créés avec les plateformes existantes, et des MTT dédiés ayant recours à des connaissances didactiques sophistiquées (p. ex. des dialogues) qui exigent des efforts de création encore plus importants. La plateforme Astus se distingue des plateformes existantes parce qu’elle génère des interventions plutôt que de recourir à des interventions prémâchées et qu’elle supporte les tâches s’effectuant dans des environnements qui ont une dimension physique. La génération des interventions dépend : d’un modèle de la tâche qui s’inscrit dans le paradigme du tuteur, c’est-à-dire qui représente une abstraction et une généralisation des instructions d’un tuteur humain; d’un modèle de l’UI qui permet des interventions riches comme une démonstration (c.-à-d. déplacements du pointeur et simulation des clics et des saisies); de langages dédiés et d’outils qui réduisent les efforts de création des auteurs; de mécanismes d’extension qui permettent d’adapter la génération en fonction d’une stratégie pédagogique particulière. Le paradigme du tuteur, parce qu’il favorise une communication transparente entre le système et l’apprenant, met en évidence les avantages et les désavantages de l’approche pédagogique des MTT, essentiellement une évaluation précise (c.-à-d. qui permet de produire des indices sur la prochaine étape et des rétroactions sur les erreurs), mais serrée. En s’inscrivant explicitement le paradigme du tuteur, entre autres en évitant de tirer profit de la nature de domaines particuliers ou de propriétés de tâches particulières pour assouplir l’évaluation, la plateforme Astus se démarque plus nettement des autres familles de STI que les autres MTT. Par conséquent, elle établit plus clairement le rôle pédagogique des MTT. Cinq expérimentations (menées par Luc Paquette) à petite échelle ont été réalisées auprès d’étudiants au baccalauréat au département d’informatique (un laboratoire pour la manipulation d’arbres binaires de recherche et un pour la conversion de nombres en virgule flottante). Ces expérimentations indiquent que les interventions générées sont efficaces. Au-delà de ces résultats, c’est le processus entourant ces expérimentations, parce qu’il est comparable au processus des chercheurs potentiellement intéressés par la plateforme Astus, qui montre que la version présentée dans cette thèse est plus qu’un prototype et qu’elle peut être utilisée à l’interne dans un contexte réel

Learning Domain Knowledge for Teaching Procedural Skills

This paper describes a method for acquiring procedural knowledge for use by pedagogical agents in interactive simulation-based learning environments. Such agents need to be able to adapt their behavior to the changing conditions of the simulated world, and respond appropriately in mixed-initiative interactions with learners. This requires a good understanding of the goals and causal dependencies in the procedures being taught. Our method, inspired by human tutorial dialog, combines direct specification, demonstration, and experimentation. The human instructor demonstrates the skill being taught, while the agent observes the effects of the procedure on the simulated world. The agent then autonomously experiments with the procedure, making modifications to it, in order to understand the role of each step in the procedure. At various points the instructor can provide clarifications, and modify the developing procedural description as needed. This method is realized in a system called Diligent, which acquires procedural knowledge for the STEVE animated pedagogical agent