Analysis of the use and design of rubrics in competency assessment in engineering degrees

Velasco-Martínez, L. C. & Tójar-Hurtado, J. C. (2016). Analysis of the use and design of rubrics in competency assessment in engineering degrees. In F. J. García-Peñalvo (Ed.). Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality. (pp. 177-184). New York, NY.: The Association for Computing MachineryThe defining, implementation and assessment of competencies are challenges for new undergraduate and Master’s degrees which must respond to current education demands. The use of rubrics in universities is considered an instrument of innovation and educational change that transforms assessment practices, both for students and educators. Furthermore, new education, focusing on the development of student competencies, implies a profound modification, not only of assessment approaches, but also of the approach towards education, instruction and teaching. Since their appearance in the university environment, the application of competencies in assessment systems has progressively grown. But, there is yet to be a solid body of knowledge providing evidence of the use of rubrics by educators as assessment instruments. In this study, rubrics have been analysed in 50 educators from the engineering departments of distinct Spanish universities. The rubrics used represent a wide variety of courses and university centres. A comparative analysis allows us to determine how these rubrics are being used (or not) to assess competencies. To do so, the type of works and tasks to which they are applied has been revealed, as well as the technical and pedagogical aspects that are considered by the educators in their design. The results and conclusions allow us to detect the educational needs of the teaching staff that hopes to use rubrics to assess competencies.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Universidad de Salamanca, IUCE, GRIAL, ICP

Innovación educativa con los ODS como herramienta para el emprendimiento azul y sostenible

La UNESCO ha proclamado el periodo 2021-2030 "Decenio de las Ciencias Oceánicas para el Desarrollo Sostenible" para forjar una nueva relación con los océanos y revertir su degradación. La sobreexplotación de recursos marinos, la subida de temperatura de los mares o la contaminación están afectando a la salud de los océanos (FAO, 2017; Narula, 2015; OECD, 2020). El Decenio plantea la necesidad imperante de avanzar en la exploración y comprensión de los cambios que están produciendo el deterioro de los océanos (UNESCO, 2019). La implementación del ODS 14 genera nuevos conocimientos, competencias y valores, favoreciendo el acceso a las ciencias oceánicas. Sin embargo, el estudio sobre el “mundo marino” aún no ha despertado gran interés en la comunidad académico-científica y las investigaciones en educación siguen siendo escasas (Fauville, 2021). Tampoco se aborda el estudio de los océanos y la economía azul en los planes de estudios de muchos países (Mogias et al. 2021), siendo incluso necesario poner en valor y visibilizar la perspectiva azul en la educación superior (CE, 2021). En este sentido, la Educación para el Desarrollo Sostenible (EDS) juega un papel clave para impulsar acciones formativas para la ampliación de la cultura oceánica (Chicote y Pujana, 2016; Ferreira et al., 2021). Laboratorios de enseñanza flotante, museos marinos virtuales o proyectos educativos interdisciplinares son algunas de las metodologías de aprendizaje innovadoras y tecnologías emergentes, que se están desarrollando para fomentar el pensamiento crítico y la participación activa del alumnado hacia la búsqueda de soluciones innovadoras y sostenibles, basadas en la cultura de emprendimiento y la economía azul (Chen y Tsai, 2015; Scholaert, 2020; UNESCO, 2018). Este trabajo reúne un conjunto de experiencias y estrategias educativas innovadoras que promueven la formación y sensibilización del alumnado en los procesos conservación y gestión de los ecosistemas marinos.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

The Use of Rubrics in Higher Education and Competencies Evaluation. Scientific Study about Characteristics of Rating Scales Used by Professors

Competency-based learning in Spain has achieved a reconfiguration of higher education to meet the current demands of training. In this regard, institutions and different university regulations promote a "constructive alignment" of the essential elements from the curriculum (Biggs, 2005), giving to the competencies the role of curricular model which gives coherence to the new design of degrees. In the university context, scoring rubrics are considered an innovation tool to collect evidences of competency acquisition (Baryla, Shelley and Trainor, 2012, White, 2011; Cebrián, 2012; Andradre and Reddy, 2010). Its potential lies in the ability for issuing adjusted valuations about the quality of student’s works in a wide range of subjects or tasks (Blanco, 2008). Regarding the type of rubric, Blanco (2008, 176) notes that "the selection form one kind or another of rubric depends mainly on the use you want to give to the outcomes, that is, if the emphasis is more focused on the formative aspects or on the summative ones. Other factors to consider: the required time, the nature of the task itself or the specific performance criteria which are being observed”. Based in these assumptions it is studied: What kinds of rubrics are used by teacher: analytic (formative) or holistic (summative)? Do professors know the pedagogical and techniques requirements needed to design rubrics?Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Transparency in evaluation through the use of rubrics in University subjects

Two key elements of educational innovation in evaluation are student participation and transparency. In both cases rubrics are a powerful resource promoting a transparent and fair evaluation. However, there is still not enough evidence on the levels of student participation in the assessment process. The objective of this study is to ascertain the level of transparency provided by the use of scoring rubrics in university subjects by analyzing the relevant factors that are involved in a more significant and participatory evaluation of learning processes. This research is approached from a qualitative perspective through content analysis of in-depth interviews conducted with higher education institutions in Mexico (n = 22). The results and conclusions show the importance of promoting more transparent evaluative practices in order to acquire true formative evaluation

Construction of a questionnaire to know the transparency in the evaluation of the learning of engineering students

Las propuestas metodológicas que surgen del área de convergencia europea plantean la necesidad de promover mayores niveles de participación implicación de los estudiantes en su propio proceso de evaluación. El objetivo del estudio fue validar un instrumento de medición que permitiera evaluar la transparencia de los métodos y las estrategias de evaluación empleadas por los educadores de los grados de Ingeniería. El estudio piloto, aplicado a 50 estudiantes de Ingeniería, ha sido analizado a través de un análisis categorial de componentes principales (CATPCA). Los siete componentes en los que se ha estructurado el modelo muestran tantas dimensiones relevantes que reflejan la estructura factorial del cuestionario: transparencia, modalidades de evaluación, retroalimentación de los docentes, recursos y agentes educativos, procedimientos, estrategias y Pautas; y recursos materiales que usan los educadores.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Intervention Project on Emotional Education in El Milagro Community (Iquitos, Peru)

En los últimos años, la educación ha incorporado la educacional emocional como complemento al desarrollo del potencial cognitivo del estudiante, existiendo en la actualidad programas, pautas de actuación y recursos encaminados a favorecer la resolución de conflictos y dificultades mediante la compresión y gestión de las emociones. En este sentido, se presentaun proyecto de intervención socioeducativa sobre educación emocional dirigido a estudiantes, familiares y docentes en un Colegio Agropecuario de Educación Secundaria, situado en la Comunidad “El Milagro” en la región de Iquitos, Perú. Los objetivos del proyecto pretenden dar respuesta a una serie de necesidades y problemáticas (adicciones, embarazos precoces, bajo rendimiento académico, absentismo escolar, etc.), surgidas en el centro educativo y en su entorno. El proyecto plantea un conjunto de actividades (debates, video-fórum, role-playing, biodanza, etc.), que ofrece espacios de reflexión e intercambio de ideas y concepciones relacionadas con diversas temáticas como la sexualidad, autoconcepto, resiliencia, etc. La evaluación del proyecto realizada a través de diferentes técnicas de análisis y recogida de la información como la observación, entrevistas informales y cuestionarios permitió conocer el nivel de satisfacción de los participantes, así como la eficacia, la eficiencia y el grado de consecución de los objetivos propuestos.In recent years, education has incorporated emotional education as a complement to the development of the student's cognitive potential. Currently, there are programs, action guidelines and resources aimed at favoring the resolution of conflicts and difficulties through the understanding and management of emotions. In this sense, a socio-educational intervention project on emotional education is presented to students, family members and teachers in an Agricultural College of Secondary Education, located in the community "El Milagro" in the region of Iquitos, Peru. The objectives of the project are intended to respond to a series of needs and problems (addictions, early pregnancies, low academic performance, school absenteeism, etc.), arising in the school and its environment. The project proposes a set of activities (discussion, video-forum, role-playing, biodance, etc.), which offers spaces for reflection and exchange of ideas and concepts related to various topics such as sexuality, self-concept, resilience, etc. The evaluation of the project carried out through different techniques of analysis and collection of information such as observation, informal interviews and questionnaires allowed to know the level of satisfaction of the participants, as well as the effectiveness, efficiency and degree of achievement of the objectives proposed

Análisis del nivel de transparencia en el sistema de evaluación de las asignaturas universitarias

Hay un debate abierto en torno a la necesidad de establecer enfoques, principios y propuestas educativas innovadoras para impulsar una evaluación más transparente, accesible y justa para los aprendizajes. El objetivo del estudio es identificar las estrategias, características y elementos esenciales que determinan la puesta en práctica de una evaluación formativa y transparente en los grados universitarios. Se plantea una metodología mixta de investigación. El enfoque cuantitativo se aplica a través de un estudio tipo encuesta que implicó el diseño, validación y aplicación de un cuestionario. La perspectiva cualitativa se desarrolla a través un procedimiento de análisis cualitativo de una pregunta abierta. Los resultados de este estudio permiten reflexionar sobre los retos, obstáculos y oportunidades para facilitar la comprensión de los propios procesos evaluativos de los estudiantes.Universidad de Valladolid. Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Resistencias hacia el enfoque por competencias en las instituciones universitarias mexicanas

La introducción del enfoque por competencias en la educación superior, tanto en el contexto internacional como, en particular, en el sistema universitario mexicano, ha provocado transformaciones importantes en la forma de planificar, desarrollar y evaluar los procesos educativos. No obstante, algunos autores indican que aún no se ha resuelto su concreción, inclusión y diseminación en el sistema universitario. De este modo, el diverso origen y concepto de las competencias, la mejorable y prescriptiva formación de los docentes, la falta de respuesta contextualizada o la dificultad para evaluar por competencias, son algunos de los retos y desafíos que aún comporta la integración y consolidación de este nuevo enfoque en la enseñanza universitaria. En este sentido, el objetivo de este trabajo es desentrañar las fortalezas, debilidades y resistencias del modelo competencial, analizando los elementos que obstaculizan su adecuada expansión, adopción e instauración en la educación superior. La metodología empleada fue cualitativa y se utilizó la entrevista en profundidad (n=22), con investigadores y docentes de distintas instituciones universitarias mexicanas. Se realizó un análisis cualitativo construyendo y organizando las categorías a partir del rechazo y las resistencias al cambio. Este estudio permitió conocer las perspectivas y experiencias sobre la evolución y situación actual del enfoque por competencias en los procesos de enseñanza-aprendizaje. Los resultados de este trabajo constituyen un espacio de reflexión y debate para vencer las dificultades, prevenir riesgos y plantear estrategias que permitan trabajar la resistencia al cambio de modelo educativo.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Adquisición y evaluación de competencias mediante rúbricas. Estudio cualitativo de las percepciones del profesorado universitario en México

Las nuevas tendencias en la enseñanza universitaria apuestan por un modelo de evaluación estrechamente vinculado al concepto de evaluación formativa que promueve el enfoque competencial. En este contexto, las rúbricas de evaluación, son algunos de los instrumentos más útiles para obtener evidencias de la adquisición de competencias. En este sentido, el objetivo del estudio era conocer la percepción que concepciones tiene el profesorado mexicano sobre evaluación de competencias y aprendizaje complejo en la universidad, a partir del uso de rúbricas de evaluación. Se trataba de identificar en qué medida el profesorado está evaluando por competencias o si, por el contrario, continua más identificado con la evaluación de aspectos disciplinares. También, se perseguía conocer el sentido y el alcance de las rúbricas como recurso de innovación, teniendo en cuenta los aspectos técnicos y pedagógicos presentes en su diseño e implementación. La metodología empleada fue la entrevista en profundidad con el propósito de adquirir una comprensión detallada de las experiencias y perspectivas del profesorado en relación a la evaluación de competencias mediante rúbricas. Los resultados y conclusiones del estudio permiten identificar necesidades formativas del profesorado mexicano que desea evaluar por competencias. La discusión con otras investigaciones realizadas en Europa permitió además analizar divergencias y convergencias en la manera en que son concebidos estos instrumentos de evaluación.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

The use of rubrics in higher education and competences evaluation

El aprendizaje basado en competencias ha supuesto una transformación de la Educación Superior para atender las actuales demandas de formación. El uso de la rúbrica en las universidades es considerado un instrumento de innovación docente que favorece la evaluación de competencias. Sin embargo, aún no existe un cuerpo sólido de conocimiento que aporte evidencias del uso que hacen los docentes de la rúbrica como instrumento de evaluación. En este trabajo se analizaron 59 rúbricas de diferentes docentes de tres universidades españolas. El análisis comparado permite conocer cómo se están utilizando las rúbricas para evaluar, o no, competencias. También, se observa el tipo de tareas sobre las que se aplican, así como los aspectos técnicos y pedagógicos considerados por los docentes en su diseño. Los resultados muestran que el enfoque por competencias no forma parte aún de la práctica docente habitual, y que existen relevantes carencias en el diseño y uso de rúbricas para la evaluación. Del mismo modo, las conclusiones permiten detectar necesidades formativas del profesorado que desea utilizar rúbricas para evaluar por competencias.Competency-based learning has produced a transformation of higher education to meet the current demands of training. The use of rubric at universities is considered an innovative teaching tool that promotes a competency evaluation for both students and professors. However, there’s still not a solid field of knowledge to provide evidence of the rubric use made by educators as skills evaluation tool. In this paper, 59 rubrics by several educators and three Spanish universities were analyzed. The comparative analysis lets us know how professors are using rubrics to evaluate or not competencies. Moreover, the type of tasks for its use is considered, as well as technical and pedagogical aspects that professors include in its design. The results show that competency-based learning is not yet integrated into usual teaching practice, and there are relevant gaps in the design and use of rubrics for evaluation. Furthermore, the conclusions can identify training needs of faculty to use rubrics to evaluate competencies