'UNED - Universidad Nacional de Educacion a Distancia'
Doi
Abstract
Investigating effectiveness of learning analytics is a major topic of research, with a recent systematic review finding 689 papers in this field (Larrabee Sonderlund et al., 2019). Few of these (11 out of 689) highlight the potential of interventions based on learning analytics. The Open University UK (OU) is one of few institutions to systematically develop and implement a learning analytics framework at scale. This paper reviews the impact of one part of this framework - the Analytics for Action (A4A) process, focusing on the 2017-18 academic year and reviewing both feedback from module teams and interventions coming out of the process. The A4A process includes hands-on training for staff, followed by data support meetings with educators when the course is live to students. The aim being to help educators with making informed, evidence-based interventions to aid student retention and engagement. Findings from this study indicate that participants are satisfied with the training and that the data support meetings are helping in providing new perspectives on the data. The scope and nature of actions taken by module teams varies widely, ranging from no intervention at all to interventions spanning over multiple presentations. In some cases, measuring the impact of the actions taken will require data analysis from further presentations. The paper also presents findings indicating room for improvement in the follow up of the actions agreed, support given to module teams to implement such actions and final evaluation of impact on student outcomes.La efectividad del uso de las analíticas de aprendizaje es un tópico de gran relevancia en la literatura sobre el tema. Una revisión sistemática reciente encontró 689 artículos en este campo (Larrabee Sonderlund et al., 2019). Sin embargo, solamente 11 de los 689 artículos destacan el potencial de las intervenciones basadas directamente en el análisis de los datos disponibles. La Open University UK (OU) es una de las pocas instituciones que desarrolla e implementa sistemáticamente un marco de uso de las análiticas a gran escala. Este documento revisa el impacto de una parte de este marco: el proceso de Analytics for Action (A4A). Utilizando datos del curso académico 2017-18, revisamos los comentarios de los participantes y las intervenciones acordadas como parte del proceso.El proceso A4A implica la capacitación práctica del personal, seguida de reuniones sucesivas en las que se discuten los datos cuando el curso ya está disponible en línea. El objetivo del proceso es ayudar a los educadores a planificar y realizar intervenciones basadas en la evidencia, con el fin de mejorar la retención y satisfacción de los estudiantes. Los resultados de este estudio indican que los participantes están satisfechos con la capacitación y que las reuniones de apoyo están ayudando a proporcionar nuevas perspectivas sobre los datos. El alcance y la naturaleza de las intervenciones varían ampliamente, desde la no intervención hasta intervenciones que abarcan múltiples presentaciones (cohortes) del curso. En algunos casos, medir el impacto real de las acciones tomadas requerirá el análisis de los datos de otras presentaciones. El trabajo también presenta hallazgos que indican que todavía hay margen para mejorar el seguimiento de las acciones acordadas, el apoyo brindado a los equipos académicos para implementar tales acciones y la evaluación final del impacto en los resultados y satisfacción de los estudiantes
