The effectiveness of using intelligent tutoring systems to increase student achievement

Intelligent Tutoring Systems could be used to provide differentiated instruction. This review examines qualities of Intelligent Tutoring Systems and their impact on student achievement. Thirty peer-reviewed research studies published from 1997 to 2019 were selected for analysis. This review considers how intelligent tutoring systems compare with other methods of instruction, and how an intelligent tutoring system’s on-screen tutor impacts student achievement. Finally, this review considers methods of ITS personalization and how those methods impact student achievement. The reviewed research studies indicated that ITS was more effective than all forms of instruction except small group and individualized instruction. Additionally, on-screen agents in and personalization of Intelligent Tutoring Systems often have a positive impact on student learning. Recommendations for classroom implementation of intelligent tutoring systems and suggestions for future research are discusse

Supporting students in the analysis of case studies for professional ethics education

Intelligent tutoring systems and computer-supported collaborative environments have been designed to enhance human learning in various domains. While a number of solid techniques have been developed in the Artificial Intelligence in Education (AIED) field to foster human learning in fundamental science domains, there is still a lack of evidence about how to support learning in so-called ill-defined domains that are characterized by the absence of formal domain theories, uncertainty about best solution strategies and teaching practices, and learners' answers represented through text and argumentation. This dissertation investigates how to support students' learning in the ill-defined domain of professional ethics through a computer-based learning system. More specifically, it examines how to support students in the analysis of case studies, which is a common pedagogical practice in the ethics domain. This dissertation describes our design considerations and a resulting system called Umka. In Umka learners analyze case studies individually and collaboratively that pose some ethical or professional dilemmas. Umka provides various types of support to learners in the analysis task. In the individual analysis it provides various kinds of feedback to arguments of learners based on predefined system knowledge. In the collaborative analysis Umka fosters learners' interactions and self-reflection through system suggestions and a specifically designed visualization. The system suggestions offer learners the chance to consider certain helpful arguments of their peers, or to interact with certain helpful peers. The visualization highlights similarities and differences between the learners' positions, and illustrates the learners' level of acceptance of each other's positions. This dissertation reports on a series of experiments in which we evaluated the effectiveness of Umka's support features, and suggests several research contributions. Through this work, it is shown that despite the ill-definedness of the ethics domain, and the consequent complications of text processing and domain modelling, it is possible to build effective tutoring systems for supporting students' learning in this domain. Moreover, the techniques developed through this research for the ethics domain can be readily expanded to other ill-defined domains, where argument, qualitative analysis, metacognition and interaction over case studies are key pedagogical practices

The Impact of Task Difficulty on Reading Comprehension Intervention with Computer Agents

The Impact of Task Difficulty on Reading Comprehension Intervention with Computer Agent

Examining the Role of Linguistic Flexibility in the Text Production Process

abstract: A commonly held belief among educators, researchers, and students is that high-quality texts are easier to read than low-quality texts, as they contain more engaging narrative and story-like elements. Interestingly, these assumptions have typically failed to be supported by the writing literature. Research suggests that higher quality writing is typically associated with decreased levels of text narrativity and readability. Although narrative elements may sometimes be associated with high-quality writing, the majority of research suggests that higher quality writing is associated with decreased levels of text narrativity, and measures of readability in general. One potential explanation for this conflicting evidence lies in the situational influence of text elements on writing quality. In other words, it is possible that the frequency of specific linguistic or rhetorical text elements alone is not consistently indicative of essay quality. Rather, these effects may be largely driven by individual differences in students' ability to leverage the benefits of these elements in appropriate contexts. This dissertation presents the hypothesis that writing proficiency is associated with an individual's flexible use of text properties, rather than simply the consistent use of a particular set of properties. Across three experiments, this dissertation relies on a combination of natural language processing and dynamic methodologies to examine the role of linguistic flexibility in the text production process. Overall, the studies included in this dissertation provide important insights into the role of flexibility in writing skill and develop a strong foundation on which to conduct future research and educational interventions.Dissertation/ThesisDoctoral Dissertation Psychology 201

Teaching reading literacy strategies through the intelligent tutoring system TuinLECweb

La presente Tesis Doctoral tiene como objetivo examinar la eficacia del tutor inteligente TuinLECweb para enseñar estrategias de competencia lectora y mejorar el rendimiento de los estudiantes en situaciones de lectura orientada a tareas. Estas situaciones de lectura son habituales en la sociedad actual (White, Chen y Forsyth, 2010) y hacen referencia al uso de información textual con un fin concreto. En el ámbito educativo es también habitual que los estudiantes tengan que usar la información de un texto para realizar alguna tarea, como responder preguntas. Estas situaciones de lectura implican procesos cognitivos y metacognitivos que son parcialmente distintos a aquellos implicados en la comprensión lectora, pues además de comprender lo que están leyendo, los lectores deben tomar una serie de decisiones estratégicas que requieren un alto nivel de auto-regulación (McNamara y Magliano, 2009; Rouet, 2006). La primera decisión está relacionada con la lectura inicial del texto, pues el lector debe decidir qué cantidad de texto leer, con qué detenimiento y de qué manera. La segunda decisión se encuentra relacionada con la identificación de las demandas de la tarea, proceso cognitivo que debe ir acompañado de una autorregulación de la comprensión de la misma. Una vez identificadas las demandas de la tarea, el lector debe decidir si dispone de la información necesaria para resolverla adecuadamente o debe consultar el texto. Si decide consultar el texto, el lector deberá localizar y procesar la información relevante para la tarea, proceso que también implica auto-regulación por parte del lector. Abundante investigación ha demostrado que los estudiantes que auto-regulan correctamente estas decisiones obtienen mejores resultados cuando responder preguntas usando información de textos (Cerdán y Vidal-Abarca, 2008; Mañá, 2011; Vidal-Abarca et al., 2010). Los resultados de los pasados informes PISA (2010, 2014) han derivado en un creciente interés por la búsqueda de metodologías de instrucción para mejorar la competencia lectora de los estudiantes. Sin embargo, adquirir y mejorar habilidades cognitivas complejas habitualmente requiere una enseñanza explícita, algo que no ha recibido demasiada atención en las aulas (Bjork, Dunlosky y Kornell, 2013; Ness, 2011). En respuesta a esta carencia, en las últimas décadas ha emergido una línea de investigación basada en el uso de sistemas tutoriales inteligentes (STI) para mejorar la comprensión lectora y el uso de estrategias de los alumnos (e.g., iSTART: McNamara, Levinstein y Boonthum, 2004; LoCoTex: Potocki, Ecalle y Magnan, 2013). Diversos metaanálisis y revisiones han concluido que los STI incrementan el aprendizaje en mayor medida que la enseñanza en el aula o que otros métodos de enseñanza tradicionales (Kulik y Fletcher, 2016; Ma, Adesope, Nesbit y Liu, 2014). En el ámbito de la lectura orientada a tareas, Vidal-Abarca y colaboradores, desarrollaron TuinLEC, un tutor inteligente para enseñan estrategias de competencia lectora mediante la enseñanza explícita, el modelado y la práctica guiada de las mismas (Vidal-Abarca et al., 2014). La eficacia de TuinLEC para mejorar la competencia lectora de los estudiantes ha sido demostrada en varios estudios, los cuales también fueron de utilidad para detectar las ineficiencias de esta primera versión y desarrollar una versión mejorada de TuinLEC (i.e., TuinLECweb), cuya eficacia es analizada en esta Tesis Doctoral. En el estudio 1 se analizó el efecto inmediato y a largo plazo de TuinLECweb para mejorar el rendimiento y las decisiones estratégicas de los estudiantes. Estas decisiones fueron registradas por el software Read&Answer (Vidal-Abarca et al., 2011) a través de un conjunto de índices de estrategias de auto-regulación, predictores del éxito en situaciones de lectura orientada a tareas. Asimismo, se exploró la eficacia de la intervención en estudiantes de sexto curso de Educación Primaria y primer curso de Educación Secundaria con diferentes niveles de comprensión lectora identificar el perfil de estudiante que obtiene mayor beneficio de TuinLECweb. Finalmente, se examinó la usabilidad de TuinLECweb, así como la satisfacción de los estudiantes con la herramienta y el nivel de aprendizaje percibido. Los resultados indicaron que los mayores beneficios fueron obtenidos por los estudiantes con menor nivel de comprensión, quienes incrementaron su rendimiento dos semanas después de la intervención, aunque no el uso de estrategias. Los alumnos de 1ºESO mejoraron su rendimiento después de TuinLECweb, pero esta mejora no se mantuvo en el seguimiento, mientras que la mejora de los alumnos de 6º no fue significativa. Sin embargo, este último mostró mayor satisfacción, usabilidad y aprendizaje percibido. A partir de los resultados obtenidos en el estudio 1, en el estudio 2 se acotó la muestra a estudiantes a 6º curso de Primaria, se incrementó el tamaño de la muestra y se incluyó un grupo de comparación, el cual recibió una intervención tradicional en el aula con un cuaderno de mejora de la comprensión lectora aplicado por el profesor. El objetivo principal era analizar la eficacia de TuinLECweb en comparación con una enseñanza tradicional para mejorar el rendimiento y las estrategias empleadas por los estudiantes en una situación de lectura orientada a tareas, tanto a corto como a largo plazo. Adicionalmente, se analizó la utilidad percibida de las estrategias implicadas en la lectura orientada a tareas. El estudio 2 pone su énfasis en identificar las características de los estudiantes que se benefician en mayor medida de una intervención con TuinLECweb, por lo que se exploró el papel moderador de nuevas variables individuales, además de la comprensión lectora, como el rendimiento académico, la utilidad percibida de las estrategias entrenadas en TuinLECweb y el empleo de las mismas en una situación de lectura orientada a tareas. Por otra parte, este estudio pretendía explorar el mecanismo de cambio de TuinLECweb. Los resultados indicaron que TuinLECweb resultó más eficaz para mejorar el rendimiento a largo plazo en lectura orientada a tareas que una instrucción tradicional, especialmente en aquellos estudiantes con un menor rendimiento académico y menor comportamiento de búsqueda. También se mostró eficaz para mejorar la auto-regulación de las decisiones de búsqueda y la percepción de utilidad de las estrategias. Ambas intervenciones mejoraron el proceso de búsqueda de los estudiantes, pero disminuyeron sus decisiones de búsqueda. Finalmente, TuinLECweb incrementó la utilidad percibida de las estrategias, lo que condujo a un incremento en el rendimiento de los estudiantes dos semanas después de la intervención. Ambos estudios contribuyen a incrementar la evidenciar empírica sobre la superioridad de los tutores inteligentes sobre otras formas de instrucción (Ma et al., 2014; Tamim et al., 2011; VanLehn, 2011), atribuida principalmente a la inmediatez de la retroalimentación y a la capacidad de adaptación al estudiante (Azevedo y Bernard, 1995; Sosa, Berger, Saw y Mary, 2011). Aunque TuinLECweb no logra incrementar el uso de algunas estrategias efectivas, como la estrategia de búsqueda, sí logra mejorar las habilidades metacognitivas de los estudiantes, su rendimiento y el valor que éstos otorgan a las estrategias. Asimismo, los resultados de ambos estudios permiten acotar el perfil de la población que mayor beneficio obtiene de una intervención con TuinLECweb, así como aproximarnos a una explicación sobre el mecanismo de cambio. El presente trabajo tiene importantes implicaciones para la práctica educativa dirigida a mejorar la competencia lectora de los estudiantes

Βιβλιογραφική Ανασκόπηση των Ευφυών Συστημάτων Διδασκαλίας και Ανάλυση Συγκεκριμένων Παραδειγμάτων Εφαρμογής τους

Τα Ευφυή Συστήματα Διδασκαλίας (ΕΣΔ) είναι συστήματα βασισμένα στην τεχνολογία της Τεχνητής Νοημοσύνης τα οποία προσφέρουν εξατομικευμένη και τμηματοποιημένη διδασκαλία και ανατροφοδότηση στον/στην εκάστοτε εκπαιδευόμενο/η βάσει των προσωπικών του/της γνωστικών αναγκών, κλίσεων και μαθησιακού στυλ. Η παρούσα έρευνα αποτελεί μια συστηματική ανασκόπηση της υπάρχουσας διεθνούς βιβλιογραφίας κατά τη περίοδο 2012-2022, με στόχο τη διερεύνηση της επίδρασης των ΕΣΔ στο σύνολο της εκπαιδευτικής διαδικασίας, τον αρχιτεκτονικό σχεδιασμό και τις στρατηγικές εκπαιδευτικού σχεδιασμού που ακολουθούνται, τον τρόπο εφαρμογής αξιολόγησης μέσω αυτών των συστημάτων αλλά και τις απόψεις των εμπλεκομένων στην εκπαίδευση σχετικά με την ενσωμάτωση των συστημάτων αυτών στον εκπαιδευτικό χώρο. Αναφορικά με την αναζήτηση των επιστημονικών άρθρων, αξιοποιήθηκε το πρωτόκολλο PRISMA καθώς επίσης και μια σειρά προκαθορισμένων κριτηρίων. Στη παρούσα ανασκόπηση συμπεριλήφθηκαν συνολικά 50 μελέτες οι οποίες προέρχονται από τρεις επιστημονικές βάσεις δεδομένων καθώς επίσης και από χειροκίνητη αναζήτηση σε επιστημονικά περιοδικά τα οποία αφορούν το θεματικό πεδίο των ΕΣΔ. Συμπερασματικά, κατά τη διάρκεια της εκπόνησης της παρούσας ανασκόπησης παρατηρήθηκε ότι η ενσωμάτωση των συστημάτων αυτών στα πλαίσια της εκπαίδευσης δεν πρόκειται για μια απλή διαδικασία αλλά τόσο οι εκπαιδευτικοί όσο και οι εκπαιδευόμενοι/ες αναγνωρίζουν τα θετικά χαρακτηριστικά, τη σημαντική επίδραση που ενέχουν καθώς επίσης και τις θετικές αλλαγές που μπορούν να επιφέρουν στο σύνολο της εκπαιδευτικής και παιδαγωγικής διαδικασίας.Intelligent Tutoring Systems (ITS) are systems based on Artificial Intelligence technology which offer personalized and segmented instruction and feedback to each learner based on their personal cognitive needs, inclinations and learning style. The present research is a systematic review of the existing international literature during the period 2012-2022, with the aim of investigating the effect of ITSs on the educational process, the architectural design and instructional design strategies implemented, the way of performing assessment through these systems but also the views of those involved in education regarding the integration of these systems in the educational field. Regarding the search of the scientific articles, the PRISMA protocol was used as well as a series of predefined criteria. Within the framework of the present review, a total of 50 studies were included, from three scientific databases as well as from a manual search of scientific journals that concern the field of ITSs. All in all, during the writing of this review it was observed that the integration of these systems in the context of education is not a simple process, yet both teachers and learners recognize the positive characteristics, the significant effect these systems entail as well as the positive changes which can be brought about the educational and pedagogical process

Proceedings of the 6th Workshop on Awareness and Reflection in Technology Enhanced Learning. In conjunction with the 11th European Conference on Technology Enhanced Learning: Adaptive and Adaptable Learning.

Awareness and reflection are viewed differently across the disciplines informing Technology-Enhanced Learning (CSCW, psychology, educational sciences, computer science and others). The ARTEL workshop series brings together researchers and professionals from different backgrounds to provide a forum for discussing the multi-faceted area of awareness and reflection. 2016 was the 6th workshop in this series. Through the last ARTEL workshops at EC-TEL the topic has gained maturity and questions addresses are converging towards the usage of awareness and reflection in practice, its implementation in modern organisations, its impact on learners and questions of feasibility and sustainability for awareness and reflection in education and work. To reflect the growing maturity of research in ARTEL over the years in conjunction with the latest trends in TEL, this year's topic particularly invited contributions that deal with the contribution and impact of Learning Analytics on awareness and reflection. The motto of the workshop this year was: 'Learning Analytics for Awareness and Reflection: How can Learning Analytics methodologies and tools support awareness and reflection in different learning contexts?

Proceedings of QG2010: The Third Workshop on Question Generation

These are the peer-reviewed proceedings of "QG2010, The Third Workshop on Question Generation". The workshop included a special track for "QGSTEC2010: The First Question Generation Shared Task and Evaluation Challenge". QG2010 was held as part of The Tenth International Conference on Intelligent Tutoring Systems (ITS2010)