Commentary on Kurt VanLehn's "The behaviour of tutoring systems"

The paper by Kurt VanLehn has been designed for two audiences: one who does not know very much about ITSs and the other who does. The paper has much to offer both audiences. For the former it gives an indication of the educational performance and complexity that ITSs are now able to offer in a way that focuses on the pedagogy and not on the underlying mechanisms. For the latter audience it offers a way of thinking about the nature of ITSs that helps to unify the field and demonstrates common themes across a range of research programmes. The paper is interesting and useful to read and makes many wise points about ITSs and their development. This commentary on the paper is divided into two parts. The first deals with the basic ontology set out in VanLehn's paper and offers some comments on it. The second goes through the paper sequentially and makes some comments on individual sections and subsections (but not all of them)

Sistemas inteligentes que promuevan el aprendizaje colaborativo soportado por computadoras

Las ventajas de los sistemas de Aprendizaje Colaborativo Soportado por Computadora (ACSC) están ampliamente reconocidas. Sin embargo, utilizar estos sistemas, organizar a los estudiantes en grupos e instar a los mismos a desarrollar sus actividades de manera colaborativa, no garantiza la construcción de un aprendizaje colaborativo adecuado. El éxito o fracaso de las experiencias de aprendizaje depende principalmente del comportamiento que los integrantes del grupo manifiesten. Así, las conductas que demuestren tanto docentes como estudiantes son fundamentales para alcanzar con éxito los objetivos de enseñanza y de aprendizaje. Este artículo describe un proyecto que propone desarrollar módulos para sistemas de ACSC que puedan personalizar los procesos de enseñanza y de aprendizaje, a fin de promover las conductas adecuadas y asegurar el éxito de las experiencias de colaboración. Para ello se desarrollarán módulos basados en agentes, los cuales mediante técnicas de aprendizaje de máquina puedan analizar las interacciones y administrar los modelos de estudiante necesarios para lograr la personalización. La validación de los productos desarrollados se realizará mediante la experimentación con grupos de estudiantes universitarios reales durante sesiones de trabajo colaborativo especialmente diseñadas. Los datos recabados serán procesados mediante técnicas estadísticas y métricas específicas de personalización.Eje: Agentes y Sistemas InteligentesRed de Universidades con Carreras en Informática (RedUNCI

Grupos de aprendizaje colaborativo asistidos por agentes para promover el equilibrio de roles

Organizar a los estudiantes en grupos para que trabajen juntos no garantiza que alcancen un aprendizaje colaborativo efectivo. Las conductas que manifiesta cada uno de los integrantes, es decir los roles que se asuman, son fundamentales para alcanzar con éxito los objetivos de enseñanza y de aprendizaje. Por ello, en este trabajo se presenta un proyecto que propone un modelo multiagente que monitorea la participación de los estudiantes dentro del grupo, reconoce los roles que ellos desenvuelven al trabajar colaborativamente, construye automáticamente sus perfiles de usuario, diagnostica el estado de la colaboración considerando el equilibrio de roles como situación ideal, y propone acciones correctivas cuando el comportamiento del grupo se aleja de dicho equilibrio. El modelo a desarrollar será implementado en un entorno de aprendizaje a distancia, y para validar su funcionamiento será utilizado por grupos de estudiantes reales durante sesiones de trabajo colaborativo.Eje: Agentes y Sistemas InteligentesRed de Universidades con Carreras en Informática (RedUNCI

Agentes pedagógicos inteligentes y ambientes colaborativos como recursos estratégicos de aprendizaje

In the present time, pedagogical intelligent agents are resources that operate in order to solve problems, to make inferences and to determine actions that involve task management, communication, knowledge, and collaboration techniques in different learning, formation and educational areas, among others. Moreover, the statement of this article is focused on giving a theoretical reflexion as a product of the documental revision, from which the following results are derived: the use of pedagogical intelligent agents in a collaborative learning environment is suitable. Besides, one of its strengths is that this kind of environment offers the learner the same opportunity to develop his individual and group growth, and in contrast, its major limitation is that the responses and explanations given by the agents are not leading to the understanding of the characteristics and requirements of each learner. In this sense, in order to support the teacher's task, some strategies focused on both perspectives are proposed.Los agentes pedagógicos inteligentes actualmente son recursos que actúan para resolver problemas, realizar inferencias y determinar acciones que involucren el manejo de tareas, técnicas de comunicación, de conocimiento y colaboración en diferentes áreas del aprendizaje, formación y educación, entre otros. Ahora bien, el planteamiento de este artículo esta enfocado en brindar una reflexión teórica producto de la revisión documental,  del cual se derivaron los siguientes resultados: es propicio el uso de  los agentes pedagógicos inteligentes en ambiente de aprendizaje colaborativos, por otro lado, una de sus fortaleza es que ofrecen igual oportunidad a los estudiantes para desarrollar su crecimiento individual y grupal y su mayor debilidad està centrada en que las respuestas y explicaciones que proporciona el agente, vienen dadas a que éste comprenda las características y requerimientos de cada estudiante. En tal sentido para apoyar la labor del docente, se proponen una serie de estrategias  aplicadas en ambas perspectivas

The Role of Artificial Intelligence in Educating Novice Programmers

Programming is an inherently difficult skill to acquire and develop. Those who attempt to learn programming may be easily discouraged. The current landscape for computer science education does not address the needs of every novice programmer. Literature reports a discrepancy between student misconceptions and instructors’ perceptions of those misconceptions. Those who can afford a one-on-one human tutor perform on average two standard deviations better than those who learn via conventional methods, suggesting there is a need for a comparable, cheaper replacement. As a result, a number of intelligent tutoring systems have been developed for the purpose of teaching introductory programming concepts and replicating the benefits of one-on-one human tutoring. In this thesis, we analyze and discuss the literature pertaining to student misconceptions, selecting five fundamental misconception categories for introductory programming to demonstrate the effectiveness of existing intelligent tutoring systems. The features of existing intelligent tutoring systems are discussed and analyzed with respect to their effectiveness in addressing student misconceptions. Finally, we highlight the current gap in research on intelligent tutoring systems, hypothesizing the architecture and features of an ideal intelligent tutoring system for introductory programming.Electrical and Computer Engineerin

How Simulation can Illuminate Pedagogical and System Design Issues in Dynamic Open Ended Learning Environments

A Dynamic Open-Ended Learning Environment (DOELE) is a collection of learners and learning objects (LOs) that could be constantly changing. In DOELEs, learners need the support of Advanced Learning Technology (ALT), but most ALT is not designed to run in such environments. An architecture for designing advanced learning technology that is compatible with DOELEs is the ecological approach (EA). This thesis looks at how to test and develop ALT based on the EA, and argues that this process would benefit from the use of simulation. The essential components of an EA-based simulation are: simulated learners, simulated LOs, and their simulated interactions. In this thesis the value of simulation is demonstrated with two experiments. The first experiment focuses on the pedagogical issue of peer impact, how learning is impacted by the performance of peers. By systematically varying the number and type of learners and LOs in a DOELE, the simulation uncovers behaviours that would otherwise go unseen. The second experiment shows how to validate and tune a new instructional planner built on the EA, the Collaborative Filtering based on Learning Sequences planner (CFLS). When the CFLS planner is configured appropriately, simulated learners achieve higher performance measurements that those learners using the baseline planners. Simulation results lead to predictions that ultimately need to be proven in the real world, but even without real world validation such predictions can be useful to researchers to inform the ALT system design process. This thesis work shows that it is not necessary to model all the details of the real world to come to a better understanding of a pedagogical issue such as peer impact. And, simulation allowed for the design of the first known instructional planner to be based on usage data, the CFLS planner. The use of simulation for the design of EA-based systems opens new possibilities for instructional planning without knowledge engineering. Such systems can find niche learning paths that may have never been thought of by a human designer. By exploring pedagogical and ALT system design issues for DOELEs, this thesis shows that simulation is a valuable addition to the toolkit for ALT researchers

THE ROLE OF SIMULATION IN SUPPORTING LONGER-TERM LEARNING AND MENTORING WITH TECHNOLOGY

Mentoring is an important part of professional development and longer-term learning. The nature of longer-term mentoring contexts means that designing, developing, and testing adaptive learning sys-tems for use in this kind of context would be very costly as it would require substantial amounts of fi-nancial, human, and time resources. Simulation is a cheaper and quicker approach for evaluating the impact of various design and development decisions. Within the Artificial Intelligence in Education (AIED) research community, however, surprisingly little attention has been paid to how to design, de-velop, and use simulations in longer-term learning contexts. The central challenge is that adaptive learning system designers and educational practitioners have limited guidance on what steps to consider when designing simulations for supporting longer-term mentoring system design and development deci-sions. My research work takes as a starting point VanLehn et al.’s [1] introduction to applications of simulated students and Erickson et al.’s [2] suggested approach to creating simulated learning envi-ronments. My dissertation presents four research directions using a real-world longer-term mentoring context, a doctoral program, for illustrative purposes. The first direction outlines a framework for guid-ing system designers as to what factors to consider when building pedagogical simulations, fundamen-tally to answer the question: how can a system designer capture a representation of a target learning context in a pedagogical simulation model? To illustrate the feasibility of this framework, this disserta-tion describes how to build, the SimDoc model, a pedagogical model of a longer-term mentoring learn-ing environment – a doctoral program. The second direction builds on the first, and considers the issue of model fidelity, essentially to answer the question: how can a system designer determine a simulation model’s fidelity to the desired granularity level? This dissertation shows how data from a target learning environment, the research literature, and common sense are combined to achieve SimDoc’s medium fidelity model. The third research direction explores calibration and validation issues to answer the question: how many simulation runs does it take for a practitioner to have confidence in the simulation model’s output? This dissertation describes the steps taken to calibrate and validate the SimDoc model, so its output statistically matches data from the target doctoral program, the one at the university of Saskatchewan. The fourth direction is to demonstrate the applicability of the resulting pedagogical model. This dissertation presents two experiments using SimDoc to illustrate how to explore pedagogi-cal questions concerning personalization strategies and to determine the effectiveness of different men-toring strategies in a target learning context. Overall, this dissertation shows that simulation is an important tool in the AIED system design-ers’ toolkit as AIED moves towards designing, building, and evaluating AIED systems meant to support learners in longer-term learning and mentoring contexts. Simulation allows a system designer to exper-iment with various design and implementation decisions in a cost-effective and timely manner before committing to these decisions in the real world

Interacción e interactividad en el trabajo colaborativo mediado por tecnología informática : Metodología de seguimiento en escenarios educativos

El estudio de los escenarios de enseñanza y aprendizaje mediados por tecnología digital se asemeja a mirar a través de un caleidoscopio. Cada cristal ofrece una óptica diferente. Cada disciplina que observa este fenómeno muestra una cara algo desconocida, un aspecto quizás inexplorado. La sensación es la de pisar arenas resbaladizas, viscosas, cada vez más profundas: cuánto más se avanza, más camino hay por delante. En ese camino transita esta tesis. El objeto de estudio aborda el análisis y el seguimiento de la interacción e interactividad en el trabajo colaborativo mediado por tecnología informática. La literatura proveniente de la Psicología y la Didáctica ha estudiado y escrito sobre este fenómeno desde el propio nacimiento de la Tecnología Educativa, en la década del ´70. En las aulas presenciales es posible observar “en vivo” y analizar cómo las personas se comunican en pos de lograr algo juntas. En este sentido, la Didáctica de Grupos se ha convertido en un eje fundamental de la enseñanza. Con la tecnología digital y la posibilidad agregada de documentar eventos e información para su posterior recuperación, estos estudios se han enriquecido al punto de poder reconstruir las formas de interacción e interactividad de un grupo colaborativo en una situación de enseñanza mediada. En esta tesis se propone echar luz sobre algunos temas que resultan de interés, tanto para la Ciencia Informática como para la Tecnología Educativa y la Didáctica. Se ofrecerá un marco conceptual comprensivo acerca de las relaciones epistemológicas entre los conceptos de interacción e interactividad, desde una mirada interdisciplinar. Asimismo, respecto del trabajo colaborativo, se lo ubicará conceptualmente, diferenciándolo de otras formas de trabajo grupal y de cooperación que no llegan al estadio de la colaboración. El aporte sustancial de la tesis se vincula con el seguimiento del trabajo colaborativo mediado por tecnología informática. En este sentido, se ofrece un metodología completa (que se ha llamado por su acrónimo MetSCIn) que puede ayudar a estudiantes, docentes y desarrolladores de software a analizar, e incluso reconstruir, las etapas y eventos que conllevan a un grupo a logros colectivos. En el diseño de esta metodología se ha documentado el estado del arte de los indicadores con los cuales se ha estudiado el trabajo colaborativo desde diversas disciplinas. Se han comparado investigaciones en este tema para componer, como parte de MetSCin, una matriz de indicadores integrados en una doble dimensión de estudio: el aporte de los individuos al trabajo grupal y la construcción colaborativa propiamente dicha. El estudio de caso donde se ha probado la metodología completa se ha llevado adelante en una e-actividad de escritura colaborativa, con estudiantes del seminario de “Educación a Distancia” de la Maestría en “Tecnología Informática aplicada en Educación”, que se dicta en la Facultad de Informática de la Universidad Nacional de La Plata. En el estudio de caso se ha trabajado con dos cohortes completas contrastadas (2015 y 2016). En la segunda cohorte se ha implementado la metodología MetSCIn completa. Se ha realizado, como parte de esta metodología, una intervención didáctica denominada mirroring que consiste en la visilibización semanal del seguimiento de los indicadores del proceso colaborativo a disposición de todos los integrantes del grupo. Una vez finalizado ese trabajo, se ha evaluado su impacto. Los resultados permiten comprobar que la metodología ha mostrado eficacia en el seguimiento del trabajo colaborativo, al permitir realizar una cuidadosa descripción y recuperación del proceso de trabajo en el estudio de caso. La matriz de indicadores de colaboración que forma parte de MetSCIn fue sometida al juicio de expertos y resultó válida y confiable a partir de las respuestas obtenidas. Finalmente, los resultados alcanzados en la indagación de impacto posterior a la implementación de la estrategia de mirroring refuerzan la idea de que el grupo se beneficia a partir del conocimiento sobre cómo se está desarrollando su proceso colaborativo y, aún más, indican que se profundiza la conciencia que cada integrante tiene de su propia tarea y de la de sus compañeros. Asimismo, esta tesis ha permitido avanzar hacia trabajos futuros en cada una de las áreas de incumbencia, que se describen al final de este informe.Facultad de Informátic