Analysis of the use and design of rubrics in competency assessment in engineering degrees

Velasco-Martínez, L. C. & Tójar-Hurtado, J. C. (2016). Analysis of the use and design of rubrics in competency assessment in engineering degrees. In F. J. García-Peñalvo (Ed.). Fourth International Conference on Technological Ecosystems for Enhancing Multiculturality. (pp. 177-184). New York, NY.: The Association for Computing MachineryThe defining, implementation and assessment of competencies are challenges for new undergraduate and Master’s degrees which must respond to current education demands. The use of rubrics in universities is considered an instrument of innovation and educational change that transforms assessment practices, both for students and educators. Furthermore, new education, focusing on the development of student competencies, implies a profound modification, not only of assessment approaches, but also of the approach towards education, instruction and teaching. Since their appearance in the university environment, the application of competencies in assessment systems has progressively grown. But, there is yet to be a solid body of knowledge providing evidence of the use of rubrics by educators as assessment instruments. In this study, rubrics have been analysed in 50 educators from the engineering departments of distinct Spanish universities. The rubrics used represent a wide variety of courses and university centres. A comparative analysis allows us to determine how these rubrics are being used (or not) to assess competencies. To do so, the type of works and tasks to which they are applied has been revealed, as well as the technical and pedagogical aspects that are considered by the educators in their design. The results and conclusions allow us to detect the educational needs of the teaching staff that hopes to use rubrics to assess competencies.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech. Universidad de Salamanca, IUCE, GRIAL, ICP

La perspectiva de los participantes en la producción y análisis de la información de la investigación cualitativa

En las siguientes páginas se va a ir analizando el rol de los participantes a partir de la perspectiva de los implicados. Dicha perspectiva que por supuesto es “subjetiva”, no debe ser en ningún caso desdeñada por arbitraria o improcedente. Como se verá, esa perspectiva, con sus motivaciones e inquietudes es la que nos interesa para comprender mejor el mundo que les/nos rodea. Para aproximarnos a esa perspectiva existen numerosos métodos y técnicas. De entre ellas vamos a destacar algunas de las denominadas “participativas”, por ser estas las que más claramente muestran la importancia de profundizar en la perspectiva de los implicados y la contribución de los participantes al desarrollo de la investigación. Las técnicas participativas, como otras empleadas en investigación cualitativa, pueden ser clasificadas entre las técnicas de recogida o de recolección de la información. Sin embargo, una nueva perspectiva, que destaca la aportación de los verdaderos protagonistas de la investigación, señala la oportunidad de referirnos a ellas no tanto como técnicas de recogida (o de recolección) de datos, sino de producción de información. Una vez producida y analizada la información es necesario “devolver” y validar la información con los propios implicados. Se trata de una cuestión de justicia y de derecho. ¿Qué opinión le merecen a los implicados los resultados y conclusiones que se derivan de una investigación en la que ellos han participando? ¿Merece la pena contar con su visión al respecto

Valores ambientales y evaluación de competencias para la gestión responsable del agua por parte de la ciudadanía

Este trabajo se ha realizado a partir de las conclusiones de una amplia investigación sobre la implicación ciudadana en relación al agua en Andalucía (España). Uno de los resultados de esta investigación ha sido el diseño de un instrumento para evaluar valores ambientales y competencias de los ciudadanos. Frente a la actitud pasiva que fomenta la realización de cuestionarios, el enfoque constructivista del desarrollo moral utilizado, propone la presentación a los participantes de dilemas que les provoquen conflictos de valores, necesidad de construir razonamientos y toma de decisión reflexiva.Junta de Andalucía, P07-SEJ-0257

Análisis de competencias y oportunidades de empleo en una enseñanza de posgrado. El caso del máster interuniversitario en educación ambiental

El modelo de competencias es ya una realidad en el diseño de los actuales títulos de grado y posgrado. En esta investigación, llevada a cabo en la Universidad de Málaga, se utiliza la metodología de encuestas para analizar la pertinencia y el grado de desarrollo de las competencias incluidas en una enseñanza de posgrado: Un máster oficial interuniversitario en Educación Ambiental. Dentro del enfoque metodológico de encuestas se han diseñado tres cuestionarios dirigidos a tres muestras relevantes: especialistas en Educación Ambiental, estudiantes actuales del Máster y egresados del mismo. El diseño del instrumento permite analizar la pertinencia y el grado de desarrollo de las competencias así como relacionar dichos elementos con los ámbitos y sectores en los que existen mayores oportunidades de empleo. Los resultados y las conclusiones permiten orientar sobre la conveniencia de trabajar o no determinadas competencias y ofrecer información sobre los ámbitos y sectores en los que existen oportunidades de empleo para los educadores ambientales

Evaluación por competencias en Educación Superior. Uso y diseño de rúbricas por los docentes universitarios

El aprendizaje basado en competencias debe suponer una reconfiguración de la Educación Superior que dé respuesta a las actuales demandas formativas. El uso de la rúbrica en la Universidad se considera un instrumento de innovación docente que favorece la evaluación por competencias, tanto para estudiantes como para docentes. Desde su aparición en el ámbito universitario, su aplicación en los sistemas de evaluación ha ido creciendo paulatinamente. Sin embargo, aún no existe un cuerpo sólido de conocimiento que aporte evidencias del uso que hacen los docentes de la rúbrica como recurso de evaluación. En este trabajo se analizan rúbricas de 150 docentes de 5 universidades españolas. Las rúbricas utilizadas representan una gran variedad de asignaturas y centros universitarios de diversas ramas de conocimiento. El análisis comparado permite conocer cómo están siendo empleadas las rúbricas para evaluar, o no, competencias. En este estudio se observan los tipos de resultados de aprendizaje que son evaluados con rúbricas, así como los aspectos técnicos y pedagógicos que se tienen en cuenta en su diseño. Los resultados y conclusiones permiten revelar necesidades formativas del profesorado que desea evaluar por competencias.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Dificultades en los proceso de enseñanza-aprendizaje del concepto de límite y su relación con los sistemas de representación

En el presente trabajo, se muestran relaciones entre los sistemas de representación utilizados por los docentes en la enseñanza del concepto de límite y los sistemas de representación donde los estudiantes tienen mayor y menor dificultad en el aprendizaje. Para establecer estas relaciones, se determinó el grado de precisión de la idea numérica, gráfica, analítica y verbal del concepto de límite de una función en un punto por parte de los estudiantes y se contrastó con los sistemas de representación utilizado con mayor frecuencia por los docentes. Posteriormente, se describe los resultados y el análisis hecho a la información obtenida sobre los estudiantes y docentes. Se enuncian las conclusiones, en las que se evidencias estrechas relaciones entre los sistemas utilizados por los docentes y los sistemas de representación utilizados por los estudiantes

Evaluación de actividades del programa de educación ambiental “Cuidemos la Costa” en Andalucía

El programa cuidemos la costa (CLC) es una adaptación del proyecto Coastwatch Europe diseñado en Irlanda por Karin Dubsky y colaboradores (1987). CLC se desarrolla en varias provincias andaluzas desde 1985, como parte un programa más amplio de educación ambiental conocido con el nombre de “ALDEA”. Este último está funcionando en Andalucía desde 1990 para integrar la educación ambiental (EA) en el sistema educativo andaluz de forma proactiva, contribuyendo a la conservación de nuestro entorno. La evaluación de los programas de educación ambiental es el principal medio para la mejora continua de los mismos y, por tanto, también para promover acciones y actitudes que contribuyan a la sostenibilidad de nuestro entorno. Por este motivo, y en un contexto de colaboración entre el máster en educador/a ambiental, de la Universidad de Málaga, y el Servicio de Espacios Naturales Protegidos (Junta de Andalucía), los autores de este estudio se propusieron la evaluación de varias actividades del programa CLC. Cuidemos la costa posee dos actividades principales, en las que se ha centrado el presente estudio: “Proyecto Correlimos” y “Formación”. La puesta en marcha de ambas actividades implica la movilización de recursos de índice económico, material y personal, lo que justifica per se la realización de una evaluación, además del interés por proponer nuevas mejoras. La evaluación se llevó a cabo contando con los coordinadores y profesores participantes en el programa CLC en la provincia de Málaga (2013-2014). El material e información con el que se ha trabajado ha sido recogido y proporcionado por la administración competente. La información se obtuvo a través de cuestionarios abiertos que se realizaron tras la finalización de las jornadas formativas. Esta información se ha enriquecido con la realización de entrevistas. Para el tratamiento de los datos se aplicó un método mixto (cualitativo y cuantitativo) Los resultados obtenidos de esta evaluación permitieron identificar varias propuestas de mejora. Propuestas que pueden incrementar tanto la calidad como la eficacia del programa CLC, además de servir de motivación a la comunidad educativa participante, a fin de generar un mayor compromiso en su desarrollo.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

Nuevos retos y empleabilidad del profesional de la Pedagogía. Estudio mixto de trayectorias profesionales

La Pedagogía y la figura del profesional en dicha disciplina han evolucionado vertiginosamente en los últimos años. Los planes de estudio universitarios han ido dibujando un perfil profesional cada vez más orientado a considerar la Pedagogía como una disciplina transversal y adaptable a contextos muy variados de intervención, mucho más allá del ámbito escolar: empresas, orientación laboral, TIC, recursos humanos, etc… En esta investigación se ha analizado cómo han evolucionado las trayectorias profesionales de pedagogos y pedagogas; cómo el bagaje de estos profesionales, se ha ido enriqueciendo desarrollando tareas, asumiendo nuevos retos y responsabilidades, que han otorgando unos rasgos distintivos y nuevas competencias a esta profesión. La idea fuerza de esta investigación es que el análisis y la interpretación de trayectorias individuales de profesionales, puede permitir la profundización en el conocimiento de los sectores en los que la Pedagogía está emergiendo, así como su potencial de empleabilidad. Por tanto, se trató de analizar la empleabilidad del pedagogo/a a través de la interpretación de trayectorias profesionales individuales, los puestos de trabajo desempeñados, las funciones y tareas realizadas, así como las percepciones sobre su propia trayectoria profesional. La investigación se ha realizado empleando una metodología mixta basada en encuestas y entrevistas en profundidad. El cuestionario construido, aplicado a profesionales de la Pedagogía en ejercicio (n1 = 142), permitió obtener una perspectiva general de la profesión, lo que ofreció una visión actual del contexto laboral y de los sectores donde el pedagogo/a ejerce su actividad, además de ayudar a seleccionar los perfiles profesionales que más se ajustaban a los objetivos de la investigación. La entrevista en profundidad se aplicó a una selección de informantes (n2 = 4) que habían destacado por su desarrollada carrera laboral en la Pedagogía. A partir de los resultados de la parte cuantitativa, se observó cómo los profesionales encuestados se distribuyen mayoritariamente en empresas de titularidad públicas, aunque cada vez más cerca de las posibilidades de empleabilidad del profesional de la pedagogía en el sector privado (48,9%). En lo relativo a los planes de estudio, se puede afirmar que existe una clara tendencia a la homogeneización de las enseñanzas con la implantación del Espacio Europeo. En lo que concierne a las competencias (se valoraron 31), se observó que, existe un desarrollo importante en aquellas relacionadas con los aspectos legales y más teóricos de la disciplina y que destacan en el diseño de programas socioeducativos. En lo que respecta a los resultados más destacados de la fase cualitativa, se observa cómo se encuentran elementos comunes en las diferentes trayectorias profesionales, en cuanto a carencias y sobretodo necesidades, retos y oportunidades en el quehacer diario del profesional de la pedagogía. Se identificaron 14 categorías ad hoc de las cuales, tras un primer análisis de coocurrencias, se establecieron cuatro de ellas como categorías principales: Vocación, Competencias, Ámbitos de intervención y Nichos de trabajo alternativo. Cada una de ellas permitió construir diversos diagramas comprensivos que permiten analizar en profundidad qué factores se relacionan con las trayectorias profesionales de éxito en la Pedagogía.Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech

The Use of Rubrics in Higher Education and Competencies Evaluation. Scientific Study about Characteristics of Rating Scales Used by Professors

Competency-based learning in Spain has achieved a reconfiguration of higher education to meet the current demands of training. In this regard, institutions and different university regulations promote a "constructive alignment" of the essential elements from the curriculum (Biggs, 2005), giving to the competencies the role of curricular model which gives coherence to the new design of degrees. In the university context, scoring rubrics are considered an innovation tool to collect evidences of competency acquisition (Baryla, Shelley and Trainor, 2012, White, 2011; Cebrián, 2012; Andradre and Reddy, 2010). Its potential lies in the ability for issuing adjusted valuations about the quality of student’s works in a wide range of subjects or tasks (Blanco, 2008). Regarding the type of rubric, Blanco (2008, 176) notes that "the selection form one kind or another of rubric depends mainly on the use you want to give to the outcomes, that is, if the emphasis is more focused on the formative aspects or on the summative ones. Other factors to consider: the required time, the nature of the task itself or the specific performance criteria which are being observed”. Based in these assumptions it is studied: What kinds of rubrics are used by teacher: analytic (formative) or holistic (summative)? Do professors know the pedagogical and techniques requirements needed to design rubrics?Universidad de Málaga. Campus de Excelencia Internacional Andalucía Tech