Dashboard for Evaluating the Quality of Open Learning Courses

Universities are developing a large number of Open Learning projects that must be subject to quality evaluation. However, these projects have some special characteristics that make the usual quality models not respond to all their requirements. A fundamental part in a quality model is a visual representation of the results (a dashboard) that can facilitate decision making. In this paper, we propose a complete model for evaluating the quality of Open Learning courses and the design of a dashboard to represent its results. The quality model is hierarchical, with four levels of abstraction: components, elements, attributes and indicators. An interesting contribution is the definition of the standards in the form of fulfillment levels, that are easier to interpret and allow using a color code to build a heat map that serves as a dashboard. It is a regular nonagon, divided into sectors and concentric rings, in which each color intensity represents the fulfillment level reached by each abstraction level. The resulting diagram is a compact and visually powerful representation, which allows the identification of the strengths and weaknesses of the Open Learning course. A case study of an Ecuadorian university is also presented to complete the description and draw new conclusions.This research was funded by Universidad Central del Ecuador, through the agreement with Universidad de Alicante for the direction of doctoral theses.” “The APC was funded by Cátedra Santander-UA de Transformación Digital and Smart Learning Research Group, Universidad de Alicante”

Herramienta de visualización de la calidad de un sistema b-learning

La gran mayoría de universidades están desarrollando o han desarrollado ya proyectos de aprendizaje basado en las Tecnologías de la Información y la Comunicación, bien para docencia exclusivamente online (e-learning) o para docencia mixta (b-learning). Como cualquier proceso desarrollado en el entorno universitario, estos cursos deben estar sujetos a parámetros que nos permitan evaluar su calidad. En este trabajo presentamos un modelo de evaluación de la calidad especialmente adaptado a las características singulares del b-learning, que cuenta, además, con una herramienta de visualización para facilitar la toma de decisiones. El modelo de evaluación es integral, abierto y adaptable, y formaliza la información en niveles de cumplimiento, permitiendo una fácil comparación entre los elementos del modelo. Los niveles de cumplimiento, además, facilitan la construcción de un cuadro de mando, en forma de mapa de calor, que resulta ser una representación compacta e intuitiva para la toma de decisiones

El proceso de enseñanza aprendizaje apoyado en las tecnologías de la información: modelo para evaluar la calidad de los cursos b-learning en las universidades

Las universidades se encuentran desarrollando una gran cantidad de proyectos de aprendizaje basado en las Tecnologías de la Información y la Comunicación (TIC), principalmente cursos de e-learning (como se ha convenido en llamar al aprendizaje electrónico o a través de la tecnología), para apoyar a sus estudiantes dentro del proceso de enseñanza aprendizaje. Como cualquier proceso desarrollado en el entorno universitario, el e-learning debe estar sujeto a parámetros que nos permitan evaluar su calidad. Sin embargo, el e-learning tiene algunas características especiales que hacen que los sistemas de calidad habituales no respondan a todos sus requisitos. Aunque se han desarrollado diversas propuestas para evaluar la calidad del e-learning, muchas de ellas no son transferibles, están desestructuradas, son incompletas o no presentan una descripción formal. La necesidad de velar por la calidad en los cursos viene también avalada por la normativa. En este caso, nos hemos fijado en las leyes del Ecuador, por ser el país sobre el que se ha desarrollado la parte aplicada de esta investigación. Por un lado, la Ley Orgánica de Educación Superior del Ecuador menciona que la evaluación de la calidad es un proceso para determinar las condiciones de una institución, carrera o programa académico. Por otro lado, la Normativa de Régimen Académico del Ecuador indica que la planificación, seguimiento y evaluación de la organización del aprendizaje deberá constar en el diseño curricular de las carreras y programas y en su correspondiente portafolio académico. Este diseño curricular será sometido a procesos de seguimiento y evaluación por parte de las instituciones de educación superior. Establece que la organización del aprendizaje consiste en la planificación del proceso formativo del estudiante, a través de actividades de aprendizaje: componente de docencia, componente de prácticas de aplicación y experimentación de los aprendizajes, y componente de aprendizaje autónomo, que garantizan los resultados pedagógicos correspondientes a los distintos niveles de formación y sus modalidades. Basado en todas estas necesidades hemos establecido que el propósito general de esta tesis es proporcionar un modelo de evaluación de la calidad de cursos de b-learning que permita, de forma sencilla, integrada y práctica, conocer cuál es el estado del curso, sus puntos fuertes y sus debilidades, así como ayudar a la creación de planes de actuación o acción que permitan mejorar la calidad de los cursos a lo largo del tiempo. Hemos preferido el término b-learning (blended learning) por ser un aprendizaje combinado, en donde hay clases presenciales complementadas con el uso de diversas tecnologías y un sistema de gestión del aprendizaje. La tesis doctoral se ha desarrollado siguiendo una metodología de investigación-acción, en 4 ciclos con sus diferentes resultados parciales. En el primer ciclo se obtuvieron dos resultados iniciales que hemos denominado Modelo 1 y Modelo 2, y que han dado lugar a dos publicaciones. En el segundo ciclo se abordó la elaboración de una revisión sistemática de la literatura sobre el tema de estudio. En el tercer ciclo, se obtuvo un modelo integral para evaluar la calidad de los cursos b-learning en las universidades, resultado de lo aprendido tras formular los modelos 1 y 2, y realizar la revisión sistemática de la literatura. Además, se creó una metodología para la definición de una cartera de proyectos estratégicos de mejora de los cursos de b-learning. Por último, en el cuarto ciclo se aplicó el modelo integral en dos casos de estudio y se definieron sendas carteras de proyectos estratégicos. La principal aportación de la tesis es el modelo de evaluación de la calidad de los cursos de b-learning propuesto, basado en los principios de la calidad, y apoyado en diferentes marcos teóricos que permiten dotarlo de una estructura formal: la teoría de sistemas, la gestión de procesos y el principio de mejora continua. El modelo está formado por 3 componentes y 9 elementos obtenidos de la revisión sistemática de la literatura. El primer componente es el humano, que a su vez tiene 3 elementos: el estudiante, el docente y los gestores de la plataforma del sistema de gestión de aprendizaje. El segundo componente, el de los recursos, incluye recursos metodológicos (relacionados con el diseño instruccional como metodología pedagógica, que utiliza como base el modelo ADDIE), tecnológicos (la plataforma del sistema de gestión de aprendizaje) y la mesa de ayuda pedagógica (el soporte y servicio que brinda la institución educativa). El tercer componente, que hace referencia a la dinámica del proceso de enseñanza-aprendizaje, está formado por el proceso propiamente dicho, la retroalimentación y el resultado (evaluado según el modelo de Kirkpatrick). Cada uno de los 9 elementos incluye un número variable de atributos (38 en total) que se miden a través de un total de 99 indicadores. La segunda aportación es una representación gráfica de la situación de un curso b-learning basada en un mapa de calor. Esta representación, compacta y por niveles, nos permite conocer y valorar la situación de los cursos b-learning en las universidades. Se utiliza una escala de 5 valores para los diferentes niveles de madurez. De esta manera se homogenizan los indicadores, se hacen comparables y se facilita la creación de planes de mejora. La tercera aportación es la definición de una metodología para la aplicación del modelo de evaluación de la calidad a un curso dado y la definición de una cartera de proyectos estratégicos para la mejora de los cursos. A grandes rasgos, esta metodología se desarrolla en 3 etapas (Diseño, Implementación, y Seguimiento y mejora), de las cuales nos hemos centrado en la etapa de diseño, desarrollada a su vez en 6 pasos: 1) Análisis del contexto, en el que se estudia el contexto internacional y nacional; 2) Aplicación del modelo para evaluar la calidad de los cursos b-learning; 3) Presentación de los resultados a través del mapa de calor; 4) Definición de la matriz de diagnóstico que incluye puntos fuertes, débiles, acciones de mejora y prioridades; 5) Definición de los proyectos y establecimiento de las relaciones entre los proyectos y las acciones de mejora que ya se han definido, a través de una matriz de relaciones; y 6) Alineamiento de los proyectos con los objetivos estratégicos institucionales. El modelo ha sido validado por expertos, tras lo que se ha aplicado a dos casos prácticos en dos universidades del Ecuador. Los resultados de la evaluación en estos dos casos han establecido la línea base para transformarlos en un plan de acción que contiene una cartera de proyectos estratégicos para el mejoramiento de calidad de los cursos b-learning en la Universidad Central del Ecuador y en la Escuela Politécnica Nacional. Con la propuesta de este modelo se ofrece a los docentes una variedad de estrategias y oportunidades, para que puedan innovar en sus clases y mejorar la calidad de éstas. La aplicación del diseño instruccional, el diseño y desarrollo de recursos y actividades de aprendizaje contribuirán a la mejora de la calidad dentro del proceso de enseñanza aprendizaje universitario. Además, este modelo puede ser aplicado para evaluar o autoevaluar la calidad de los cursos b-learning en otras universidades respetando sus propias particularidades

El proceso de enseñanza aprendizaje apoyado en las tecnologías de la información: modelo para evaluar la calidad de los cursos b-learning en las universidades

Las universidades se encuentran desarrollando una gran cantidad de proyectos de aprendizaje basado en las Tecnologías de la Información y la Comunicación (TIC), principalmente cursos de e-learning (como se ha convenido en llamar al aprendizaje electrónico o a través de la tecnología), para apoyar a sus estudiantes dentro del proceso de enseñanza aprendizaje. Como cualquier proceso desarrollado en el entorno universitario, el e-learning debe estar sujeto a parámetros que nos permitan evaluar su calidad. Sin embargo, el e-learning tiene algunas características especiales que hacen que los sistemas de calidad habituales no respondan a todos sus requisitos. Aunque se han desarrollado diversas propuestas para evaluar la calidad del e-learning, muchas de ellas no son transferibles, están desestructuradas, son incompletas o no presentan una descripción formal. La necesidad de velar por la calidad en los cursos viene también avalada por la normativa. En este caso, nos hemos fijado en las leyes del Ecuador, por ser el país sobre el que se ha desarrollado la parte aplicada de esta investigación. Por un lado, la Ley Orgánica de Educación Superior del Ecuador menciona que la evaluación de la calidad es un proceso para determinar las condiciones de una institución, carrera o programa académico. Por otro lado, la Normativa de Régimen Académico del Ecuador indica que la planificación, seguimiento y evaluación de la organización del aprendizaje deberá constar en el diseño curricular de las carreras y programas y en su correspondiente portafolio académico. Este diseño curricular será sometido a procesos de seguimiento y evaluación por parte de las instituciones de educación superior. Establece que la organización del aprendizaje consiste en la planificación del proceso formativo del estudiante, a través de actividades de aprendizaje: componente de docencia, componente de prácticas de aplicación y experimentación de los aprendizajes, y componente de aprendizaje autónomo, que garantizan los resultados pedagógicos correspondientes a los distintos niveles de formación y sus modalidades. Basado en todas estas necesidades hemos establecido que el propósito general de esta tesis es proporcionar un modelo de evaluación de la calidad de cursos de b-learning que permita, de forma sencilla, integrada y práctica, conocer cuál es el estado del curso, sus puntos fuertes y sus debilidades, así como ayudar a la creación de planes de actuación o acción que permitan mejorar la calidad de los cursos a lo largo del tiempo. Hemos preferido el término b-learning (blended learning) por ser un aprendizaje combinado, en donde hay clases presenciales complementadas con el uso de diversas tecnologías y un sistema de gestión del aprendizaje. La tesis doctoral se ha desarrollado siguiendo una metodología de investigación-acción, en 4 ciclos con sus diferentes resultados parciales. En el primer ciclo se obtuvieron dos resultados iniciales que hemos denominado Modelo 1 y Modelo 2, y que han dado lugar a dos publicaciones. En el segundo ciclo se abordó la elaboración de una revisión sistemática de la literatura sobre el tema de estudio. En el tercer ciclo, se obtuvo un modelo integral para evaluar la calidad de los cursos b-learning en las universidades, resultado de lo aprendido tras formular los modelos 1 y 2, y realizar la revisión sistemática de la literatura. Además, se creó una metodología para la definición de una cartera de proyectos estratégicos de mejora de los cursos de b-learning. Por último, en el cuarto ciclo se aplicó el modelo integral en dos casos de estudio y se definieron sendas carteras de proyectos estratégicos. La principal aportación de la tesis es el modelo de evaluación de la calidad de los cursos de b-learning propuesto, basado en los principios de la calidad, y apoyado en diferentes marcos teóricos que permiten dotarlo de una estructura formal: la teoría de sistemas, la gestión de procesos y el principio de mejora continua. El modelo está formado por 3 componentes y 9 elementos obtenidos de la revisión sistemática de la literatura. El primer componente es el humano, que a su vez tiene 3 elementos: el estudiante, el docente y los gestores de la plataforma del sistema de gestión de aprendizaje. El segundo componente, el de los recursos, incluye recursos metodológicos (relacionados con el diseño instruccional como metodología pedagógica, que utiliza como base el modelo ADDIE), tecnológicos (la plataforma del sistema de gestión de aprendizaje) y la mesa de ayuda pedagógica (el soporte y servicio que brinda la institución educativa). El tercer componente, que hace referencia a la dinámica del proceso de enseñanza-aprendizaje, está formado por el proceso propiamente dicho, la retroalimentación y el resultado (evaluado según el modelo de Kirkpatrick). Cada uno de los 9 elementos incluye un número variable de atributos (38 en total) que se miden a través de un total de 99 indicadores. La segunda aportación es una representación gráfica de la situación de un curso b-learning basada en un mapa de calor. Esta representación, compacta y por niveles, nos permite conocer y valorar la situación de los cursos b-learning en las universidades. Se utiliza una escala de 5 valores para los diferentes niveles de madurez. De esta manera se homogenizan los indicadores, se hacen comparables y se facilita la creación de planes de mejora. La tercera aportación es la definición de una metodología para la aplicación del modelo de evaluación de la calidad a un curso dado y la definición de una cartera de proyectos estratégicos para la mejora de los cursos. A grandes rasgos, esta metodología se desarrolla en 3 etapas (Diseño, Implementación, y Seguimiento y mejora), de las cuales nos hemos centrado en la etapa de diseño, desarrollada a su vez en 6 pasos: 1) Análisis del contexto, en el que se estudia el contexto internacional y nacional; 2) Aplicación del modelo para evaluar la calidad de los cursos b-learning; 3) Presentación de los resultados a través del mapa de calor; 4) Definición de la matriz de diagnóstico que incluye puntos fuertes, débiles, acciones de mejora y prioridades; 5) Definición de los proyectos y establecimiento de las relaciones entre los proyectos y las acciones de mejora que ya se han definido, a través de una matriz de relaciones; y 6) Alineamiento de los proyectos con los objetivos estratégicos institucionales. El modelo ha sido validado por expertos, tras lo que se ha aplicado a dos casos prácticos en dos universidades del Ecuador. Los resultados de la evaluación en estos dos casos han establecido la línea base para transformarlos en un plan de acción que contiene una cartera de proyectos estratégicos para el mejoramiento de calidad de los cursos b-learning en la Universidad Central del Ecuador y en la Escuela Politécnica Nacional. Con la propuesta de este modelo se ofrece a los docentes una variedad de estrategias y oportunidades, para que puedan innovar en sus clases y mejorar la calidad de éstas. La aplicación del diseño instruccional, el diseño y desarrollo de recursos y actividades de aprendizaje contribuirán a la mejora de la calidad dentro del proceso de enseñanza aprendizaje universitario. Además, este modelo puede ser aplicado para evaluar o autoevaluar la calidad de los cursos b-learning en otras universidades respetando sus propias particularidades

Evaluación de las Tecnologías para el Aprendizaje y el Conocimiento en el proceso de enseñanza aprendizaje en la Universidad Central del Ecuador

Las Tecnologías para el Aprendizaje y la adquisición del Conocimiento (TAC) son una pieza clave en los modelos actuales de aprendizaje presenciales, semipresenciales y en particular en un entorno de educación a distancia. Por ello es fundamental evaluar su calidad. El objetivo de este estudio es la definición de un conjunto de criterios y directrices para diseñar y construir un modelo de evaluación de la calidad de las TAC y su uso en el proceso de enseñanza-aprendizaje, particularizado al caso del modelo educativo del Ecuador, Universidad Central del Ecuador, Facultad de Ciencias Económicas. Se parte de dos modelos iniciales: un modelo de evaluación del entorno de aprendizaje del Ecuador, y un conjunto de criterios y directrices para el aseguramiento de calidad en el Espacio Europeo de Educación Superior. Se propone la adaptación al caso de las TAC de los diez criterios proporcionados por el modelo europeo y se obtiene un conjunto de directrices que nos llevarán en un futuro a concretar estas pautas en forma de indicadores y métricas.Learning Technologies and Knowledge (TAC) are a key element in the current models of learning, particularly in an environment of distance education. It is therefore essential to assess its quality. The aim of this study is to define a set of criteria and guidelines to design and build a model of quality assessment of the TAC and its use in the teaching-learning process, particularized to the case of Ecuador’s educational model. It is part of two initial models: a model for evaluating the learning environment of Ecuador, and a set of criteria and guidelines for quality assurance in the European Higher Education Area. adaptation to the case of the TAC of the ten criteria provided by the European model and a set of guidelines that will lead us in the future to realize these guidelines in the form of indicators and metrics

Evaluación de las Tecnologías para el Aprendizaje y el Conocimiento en el proceso de enseñanza aprendizaje en la Universidad Central del Ecuador

Las Tecnologías para el Aprendizaje y la adquisición del Conocimiento (TAC) son una pieza clave en los modelos actuales de aprendizaje presenciales, semipresenciales y en particular en un entorno de educación a distancia. Por ello es fundamental evaluar su calidad. El objetivo de este estudio es la definición de un conjunto de criterios y directrices para diseñar y construir un modelo de evaluación de la calidad de las TAC y su uso en el proceso de enseñanza-aprendizaje, particularizado al caso del modelo educativo del Ecuador, Universidad Central del Ecuador, Facultad de Ciencias Económicas. Se parte de dos modelos iniciales: un modelo de evaluación del entorno de aprendizaje del Ecuador, y un conjunto de criterios y directrices para el aseguramiento de calidad en el Espacio Europeo de Educación Superior. Se propone la adaptación al caso de las TAC de los diez criterios proporcionados por el modelo europeo y se obtiene un conjunto de directrices que nos llevarán en un futuro a concretar estas pautas en forma de indicadores y métricas.Learning Technologies and Knowledge (TAC) are a key element in the current models of learning, particularly in an environment of distance education. It is therefore essential to assess its quality. The aim of this study is to define a set of criteria and guidelines to design and build a model of quality assessment of the TAC and its use in the teaching-learning process, particularized to the case of Ecuador’s educational model. It is part of two initial models: a model for evaluating the learning environment of Ecuador, and a set of criteria and guidelines for quality assurance in the European Higher Education Area. adaptation to the case of the TAC of the ten criteria provided by the European model and a set of guidelines that will lead us in the future to realize these guidelines in the form of indicators and metrics