Assessment of Open-Ended Questions using a Multidimensional Approach for the Interaction and Collaboration of Learners in E-Learning Environments

Currently, the assessment of learners in conventional e-learning systems is only one dimension in which learners are required to produce answers, for example, by selecting multiple-choice, true/false, or matching answers or by giving short answers. This type of assessment still lacks interactions among the learners, and thus, it might not fully support learning. Many researchers have endeavored to propose an open-ended question method for evaluation, but their methods still focus on content assessment rather than learners' activities, which again lacks interactions among the learners. This paper concentrates on creating a new assessment method using open-ended questions with the aim of enhancing collaborations, activities and interactions of learners at the same time. The objectives are as follows: 1) to develop a process model for multidimensional assessment (M-DA) to enable effective learning; 2) to develop free-text answer assessments using a vector space model and a semantic extraction model; and 3) to develop an algorithm for evaluating learners based on a M-DA to encourage learners' activities. In addition, we created an environment for learners to be actively assessed and to interact with others when studying online. Two groups of parallel learners taking an e-course were tested on the two systems in a virtual learning environment. The results of the experiment noted that the system with multidimensional assessment showed a better outcome than the system without M-DA

Marco de trabajo basado en una red de ontologías para dar soporte a la generación de evaluaciones en entornos de e-learning

La incorporación de Tecnologías de la Información y Comunicación (TIC) a todos los ámbitos de la sociedad, y a la educación en particular, representa un desafío en la búsqueda de una renovación sustantiva de los métodos, la organización y los procesos de enseñanza. La educación mediada por TIC, denominada como e-learning, impone el reto de desarrollar un entorno de enseñanza que permita el diseño de material flexible y personalizado que se ajuste a ambientes de trabajo heterogéneos y dinámicos. En este contexto pedagógico-tecnológico, la evaluación del proceso de enseñanza-aprendizaje (e-assessment) se convierte en un factor clave. Basado en la evaluación, el aprendizaje con la utilización de las nuevas tecnologías puede enriquecerse con una retroalimentación de calidad a través de una enseñanza personalizada, convirtiendo a este proceso en una experiencia altamente interactiva basado en tecnologías web. Con el fin que la evaluación mediada por las TIC sea aceptada por los educadores, se necesitan herramientas que den soporte al diseño y creación de evaluaciones válidas y confiables, desde una perspectiva pedagógica y técnica. Es decir, es necesario establecer una alineación de la enseñanza, el aprendizaje y la evaluación, definiendo un mecanismo para validar si la evaluación cubre todos los objetivos de aprendizaje de un curso y que a su vez satisface los principios pedagógicos de confiabilidad y validez. Por un lado, una prueba puede ser considerada válida si los ítems que integran la misma constituyen una muestra representativa del dominio de contenido del curso que se desea medir. Por otro lado, la confiabilidad permite estimar la homogeneidad de la prueba o el grado de intercorrelación de los ítems que conforman la misma. El uso de diferentes métodos de evaluación en un sistema de e-learning hace que los estudiantes establezcan una conexión con sus profesores, y esto a su vez ayuda a asegurar que sus esfuerzos de aprendizaje se evalúan correctamente El propósito principal del trabajo de tesis es la definición de un marco de trabajo compuesto por una red de ontologías que describa semánticamente el dominio de las evaluaciones para dar soporte a la generación semi-automática de evaluaciones basado en dominios de conocimiento arbitrarios y que contemple los diferentes aspectos que intervienen como ser los instrumentos a utilizar, los agentes que están involucrados, el dominio del conocimiento que se evalúa, los recursos educativos usados para impartir el curso, los aspectos pedagógicos y los momentos de la evaluación en el proceso de enseñanza-aprendizaje. Además, dicho marco de trabajo estará compuesto por un conjunto de reglas implementadas en un lenguaje de reglas con el propósito de verificar si la evaluación generada cumple con los principios pedagógicos. Una red de ontologías es un conjunto de ontologías en las cuales se explicitan las meta-relaciones. El principal beneficio de su uso es que conceptualiza un dominio dado de una manera modular. Una ontología en red es lo suficientemente pequeña como para ser comprensible por cualquier persona y su mantenimiento es fácil. Además, varios diseñadores podrían trabajar en las diferentes ontologías que componen la red al mismo tiempo. La modularización que esta red ofrece permite concentrar la atención en un dominio particular y gradualmente construir un modelo más general en relación diferencial.Fil: Romero, Lucila. Universidad Tecnológica Nacional. Facultad Regional Santa Fe; Argentina.Peer Reviewe