En 2005, un grupo de profesores de la Universidad Politécnica de Madrid (UPM)  constituyó el Grupo de Innovación Educativa DMAE-DIA que fue reconocido como  tal por la UPM en 2006 y en 2009. A posteriori, se  han incorporado al grupo  profesores de la Universidad Complutense de Madrid y de la Universidad Rey Juan  Carlos Las líneas de actuación prioritarias del grupo son la evaluación de  competencias genéricas y las metodologías de aprendizaje activo. Desde entonces  estamos realizando evaluaciones sobre la adquisición por parte de estudiantes de  ingeniería de algunas competencias genéricas.  En este trabajo mostraremos las dos estrategias que estamos utilizando para  evaluar la adquisición de competencias transversales: test psicométricos y pruebas  (genéricas y específicas) con contenidos

Blanco Viejo, Gregoria

Perez Martinez, Jorge Enrique

Sierra Alonso, Almudena

Spanish

Archivo Digital UPM

Diseño de pruebas para la evaluación de competencias transversales

Servicio de Coordinación de Bibliotecas de la Universidad Politécnica de Madrid

DISEÑO DE PRUEBAS PARA LA EVALUACIÓN DE COMPETENCIAS 
TRANSVERSALES   
 
 
Almudena Sierra Alonso1, Jorge E. Pérez Martínez2, Gregoria Blanco Viejo2 
1Departamento de Ciencias de la Computación, ETSII, Universidad Rey Juan Carlos 
C/ Tulipán s/n, 28933 Móstoles, Madrid 
almudena.sierra@urjc.es 
2Escuela Universitaria de Informática, Universidad Politécnica de Madrid 
Ctra. de  Valencia, Km. 7 28031 - MADRID               
{jeperez, gblanco}@eui.upm.es 
 
 
 
Resumen 
 
En 2005, un grupo de profesores de la Universidad Politécnica de Madrid (UPM) 
constituyó el Grupo de Innovación Educativa DMAE-DIA que fue reconocido como 
tal por la UPM en 2006 y en 2009. A posteriori, se han incorporado al grupo 
profesores de la Universidad Complutense de Madrid y de la Universidad Rey Juan 
Carlos Las líneas de actuación prioritarias del grupo son la evaluación de 
competencias genéricas y las metodologías de aprendizaje activo. Desde entonces 
estamos realizando evaluaciones sobre la adquisición por parte de estudiantes de 
ingeniería de algunas competencias genéricas. 
En este trabajo mostraremos las dos estrategias que estamos utilizando para 
evaluar la adquisición de competencias transversales: test psicométricos y pruebas 
(genéricas y específicas) con contenidos. 
 
 
Palabras clave  
competencia transversal; evaluación; test psicométrico  
 
 
1. INTRODUCCIÓN 
 
La evaluación de competencias o resultados de aprendizaje es una  cuestión clave en  la 
implantación del ECTS (European Credit Transfer and Accumulation System), puesto que, como 
indica la Guía del Usuario del ECTS [1] los créditos se reconocen cuando la evaluación demuestra 
que las competencias que se esperaba desarrollar se han adquirido.  Así pues, la evaluación de 
dichas competencias es el criterio para el reconocimiento de créditos. 
En el Proyecto Tuning [2] se indica que la competencia es la combinación dinámica de atributos –
respecto al conocimiento, a su aplicación, a las actitudes y responsabilidades – que describe los 
resultados de un proceso educativo, o cómo los aprendices son capaces de actuar al final de un 
proceso educativo. En el contexto de la universidad española, el RD 1393/2007 [3] establece en su 
Anexo I, artículo 3.2 que se garantizarán, como mínimo las siguientes competencias básicas, en el 
caso del Grado, y aquellas otras que figuren en el Marco Español de Cualificaciones para la 
Educación Superior, MECES: 
• Que los estudiantes hayan demostrado poseer y comprender conocimientos en un área de 
estudio que parte de la base de la educación secundaria general, y se suele encontrar a un nivel 
que, si bien se apoya en libros de texto avanzados, incluye también algunos aspectos que 
implican conocimientos procedentes de la vanguardia de su campo de estudio. 
• Que los estudiantes sepan aplicar sus conocimientos a su trabajo o vocación de una forma 
profesional y posean las competencias que suelen demostrarse por medio de la elaboración y 
defensa de argumentos y la resolución de problemas dentro de su área de estudio. 
• Que los estudiantes tengan la capacidad de reunir e interpretar datos relevantes (normalmente 
dentro de su área de estudio) para emitir juicios que incluyan una reflexión sobre temas 
relevantes de índole social, científica o ética. 
• Que los estudiantes puedan transmitir información, ideas, problemas y soluciones a un público 
tanto especializado como no especializado. 
• Que los estudiantes hayan desarrollado aquellas habilidades de aprendizaje necesarias para 
emprender estudios posteriores con un alto grado de autonomía. 
Como puede observarse estas competencias están expresadas con “grano grueso” si las 
comparamos con las habituales tales como “trabajo en equipo” o “capacidad para resolver 
problemas”. 
El grupo de innovación educativa DMAE-DIA (http://c3po.eui.upm.es/dmae/dmaeing.html) de la 
Universidad Politécnica de Madrid, desde el año 2006 ha estado realizando experimentos orientados 
a establecer medidores susceptibles de ser utilizados para medir el grado de adquisición por parte de 
los estudiantes de determinadas competencias transversales [4-7]. En este trabajo se presentan las 
dos estrategias que ha desarrollado el citado grupo para realizar la medición de competencias 
transversales: test psicométricos y pruebas sobre contenidos.   
 
 
2. METODOLOGÍA  
 
A continuación se describen las dos estrategias que componentes del GIE DMAE-DIA han utilizado 
para realizar la adquisición de competencias transversales por parte de nuestros estudiantes. 
 
2.1 Test psicométricos 
 
Esta es la primera estrategia que se puso en marcha en el curso académico 2006/07 en varias 
asignaturas del departamento de Informática Aplicada de la Escuela Universitaria de Informática 
(Universidad Politécnica de Madrid). Estos test fueron propuestos por psicólogos que colaboran con 
el grupo DMAE-DIA. Estas pruebas tienen que poseer, entre otras, las siguientes propiedades: 
• Construcción del test (el contenido y la dificultad de los ítems están sistemáticamente 
controlados). 
• Fiabilidad (si las condiciones no cambian, la repetición del examen debe conducir siempre al 
mismo resultado, o a otro muy próximo) 
• Validez (las respuestas a las cuestiones planteadas dan una medida correcta del comportamiento 
al que el test apunta). 
Las competencias consideradas fueron las siguientes: 
• Autoconcepto académico, directamente relacionado con la autoestima. Se utilizó el test de 
Trapnell. 
• Motivación por la calidad y la mejora continua (por el logro académico), AGQI Escala (reducida) 
de Motivación intrínseca 
• Capacidad de organización y planificación de su propio esfuerzo, DIE-3 [8]. 
• Trabajo en equipo [9]. 
• Capacidad de resolución de problemas, Problem Solving Inventory [10]. 
No obstante, esta estrategia presenta dos problemas. En primer lugar se intenta medir una 
competencia sin realizar una tarea que demuestre las habilidades ejercitadas de dicha competencia. 
Por ejemplo, intentamos medir la competencia de trabajo en equipo respondiendo de manera 
individual a un cuestionario y no trabajando en equipo. En segundo lugar, los test miden la 
“percepción” que tienen los sujetos sobre su propia competencia y no la competencia misma. Para 
soslayar esta segunda cuestión y para la competencia de trabajo en equipo diseñamos un protocolo 
observacional tal que los observadores (entrenados) califican a los integrantes de un grupo cuando 
éstos estaban realizando alguna tarea en grupo. En la Figura 1 se ilustra parte de este protocolo. 
Además, también se evalúa el resultado de la actividad realizada por el grupo. De esta manera se 
obtienen tres valores para medir la competencia de trabajo en equipo. Por supuesto, no para todas 
las competencias es posible elaborar un protocolo como el mencionado. 
Con esta estrategia se han realizado mediciones en asignaturas de la Universidad de Valladolid, la 
Universidad Rey Juan Carlos, la Universidad Politécnica de Cataluña y la Universidad Politécnica de 
Madrid. Las mediciones se han realizado al comienzo y al final de la asignatura (cuatrimestrales). Los 
resultados han demostrado que casi no hay variación en la competencia medida. La hipótesis que 
formulamos tiene tres facetas: 
• El periodo de tiempo entre ambas mediciones es demasiado corto. 
• Es necesario entrenar a los estudiantes en la competencia en cuestión. 
• Hay que desarrollar dicha competencia mediante actividades adecuadas. 
 
 
 
Figura 1. Parte del protocolo de observación conductual para el trabajo en equipo. 
 
Por todo ello es necesario la realización de un proyecto longitudinal a varios años, formar a 
estudiantes (y profesores) en competencias y elaborar tareas que las fomenten y desarrollen. 
 
2.2  Pruebas de contenidos 
 
En esta segunda estrategia se trata de analizar las competencias obteniendo las facetas que la 
componen y elaborar tareas cuya realización cubra dichas facetas. Esta actividad se está realizando 
en el contexto del proyecto piloto “Evaluación de Resultados de Aprendizaje” 
(http://www.expertosbet.es/evaluacionra) que se está realizando dentro del proyecto presentado a 
la convocatoria National Teams of Bologna Experts Team-España 2009-2011, financiado con fondos 
del Programa Lifelong Learning, de la DG Education and Culture, Education, Audivisual and Culture 
Executive Agency. El reto consiste en evaluar las competencias básicas del RD 1393/2007 [3] con 
pruebas válidas para todas las titulaciones de todos los centros de la Universidad Española con 
criterios válidos para todos los jueces. Los objetivos concretos del proyecto son: 
• Adquirir experiencia en la evaluación de resultados de aprendizaje. 
• Identificar las competencias básicas del RD 1393/2007 para una titulación de cada una de las 
cinco ramas de conocimiento. 
• Elaborar procedimientos para evaluar dichas competencias (viables, aceptables, fiables, válidos y 
equitativos). 
• Probar los procedimientos desarrollados con estudiantes de distintas titulaciones y niveles 
académicos para: 
o Determinar las garantías de éstos  (fiabilidad, validez y equidad). 
o Establecer estándares para distintos niveles académicos y titulaciones. 
o Comprobar el progreso entre niveles académicos. 
Los participantes en este proyecto piloto son los siguientes: 
Universidad Autónoma de Madrid: Psicología. 
Universidad de Cantabria: Informática,   Económicas. 
Universidad de Jaén: Psicología, Biología. 
Universidad Politécnica de Madrid: Informática (3 titulaciones de Grados). 
Universidad de Valencia: Económicas, Biología, Psicología. 
El diseño de las pruebas ha implicado el análisis de las facetas que concurrían en cada una de las 5 
competencias enunciadas en el RD. Se han diseñado pruebas generales, aplicables a todas las 
titulaciones de grado, y pruebas propias para cada titulación. Además, se han elaborado pruebas de 
nivel N0, pasadas al principio del primer cuatrimestre, y pruebas de nivel N1, pasadas al final del 
segundo cuatrimestre. Los sujetos que las realizaron eran estudiantes de primer curso que 
accedieron por selectividad en junio. Se han elaborado criterios de corrección: rúbricas y escalas de 
ejecución (con el visto bueno de los especialistas). La Figura 2 ilustra parte de una ficha elaborada 
para medir la primera competencia de las enunciadas en el RD. 
 
 
 
Figura 2. Parte de una de las fichas para el análisis de competencias 
 
En  cuanto a la implementación se refiere, a la hora de pasar las pruebas tuvimos que sortear algunas 
dificultades tales como: 
• Falta de previsión en las titulaciones de un tiempo específico para evaluar las competencias. 
• Falta de vinculación/compromiso/concienciación de las asignaturas/profesores con la evaluación 
de competencias. 
• Falta de motivación en los estudiantes a la hora de abordar algunas de las tareas. 
 
 
3. RESULTADOS  
 
Como ya se ha indicado, el uso de los test psicométricos tiene algunas limitaciones en el propio 
instrumento. Las observaciones realizadas nos han permitido refinar los protocolos para pasar estos 
cuestionarios. De hecho, en estos momentos se está desarrollando una herramienta que nos permita 
prescindir del papel para lectora óptica mediante el uso de una aplicación web. 
En cuanto a las pruebas con contenidos realizadas en el seno del BET, las mayores dificultades se 
centran en la elaboración de las tareas, los juicios de expertos sobre la validez del contenido de las 
mismas y la valoración interjueces. Los primeros resultados nos han permitido depurar las tareas y no 
tanto realizar la medición. Es decir, se trata primero de, una vez diseñado el instrumento, establecer 
la adecuación y validez del mismo. Este proyecto ya tiene continuidad para el periodo 2011-2013 y se 
avanzará en validar las propiedades psicométricas del instrumento elaborado y en comenzar a 
realizar las mediciones. 
 
 
4. CONCLUSIONES  
 
Ya hemos puesto de manifiesto las limitaciones de los test psicométricos. No obstante, tienen una 
ventaja clara: el tiempo que se emplea en realizarlo. La realización de test para las cinco 
competencias enunciadas en el epígrafe 2.1 supone aproximadamente 1 hora. Por el contrario, la 
realización de pruebas con contenidos implica, para cada una de ellas, entre 20 y 50 minutos. 
Durante este curso, los estudiantes han empleado cerca de unas 24 horas en realizar las pruebas 
generales así como las específicas en los niveles N0 y N1 (frente a las 2 horas que supondría la 
realización de los test). Sin embargo, si nos limitamos a pasar las pruebas específicas de cada 
titulación y estas pruebas forman parte de los ejercicios habituales de la asignatura en la que se 
pasan no se puede hablar de “perdida de tiempo”. Y es justamente así como entendemos la 
evaluación de competencias: indisoluble con la evaluación de las habilidades específicas que deben 
adquirir en una asignatura o materia. 
 
Referencias 
 
[1] Guía del usuario del ECTS. Recuperado el 20 de Julio de 2011 ec.europa.eu/education/lifelong-
learning-policy/doc/ects/guide_es.pdf. 
[2] Tuning Educational Structures in Europe. Recuperado el 20 de Julio de 2011 desde   
(http://www.unideusto.org/tuning). 
[3] Ministerio de Educación y Ciencia, “REAL DECRETO 1393/2007, de 29 de octubre, por el que se 
establece la ordenación de las enseñanzas universitarias oficiales”, BOE núm. 260, de 30 octubre 
2007, pp. 44037-44048. 
[4] J. E. Pérez, J. García, I. Muñoz, M. T. Coello, D. Pérez (2009). Evaluación de competencias 
genéricas instrumentales en la asignatura de Sistemas Operativos I. Sexto Simposium 
Iberoamericano en Educación, Cibernética e Informática: SIECI 2009. Comunicación en la sesión 
invitada: Aprendizaje y Evaluación por competencias en las Enseñanzas Técnicas. Orlando, Florida. 
[5] García Martín, J. (2009). Co-assessment to Foster the Motivation for Quality and Continuous 
Improving in PBL. 2nd International Research Symposium on PBL'09. Melbourne, Australia. 
[6] Javier García, Pilar Manzano, Jorge. E. Pérez, Fernando Rodríguez, Carlos María Alcover (2010). 
Measuring the influence of active learning (CL and PBL) in students’ generics competences. 
International Conference: Visions, challenges and strategies for problem based learning. Aalborg, 
Denmark. 
[7] Jorge Enrique Pérez-Martínez, Javier García, Isabel Muñoz y Almudena Sierra-Alonso (2010). 
Active Learning and Generic Competences in an Operating Systems Course. International Journal of 
Engineering Education, 26 (6), 1484-1492. 
[8] Pérez Avellaneda, M., Rodríguez Corps, E., Cabezas Fernández, M.N. y PoloMingo, A. (1999). 
DIE-3. Diagnóstico Integral del Estudio. Madrid: TEA Ediciones, S.A. 
[9] Tasa K., Taggar S. and Seijts G.H. (2007). The development of collective efficacy in teams: A 
multi-level and longitudinal perspective. Journal of Applied Psychology, 92, pp. 17-27. 
[10] Heppner, P.P. (1988). The Problem solving Inventory (PSI): Manual. University of Missouri, 
Columbia. 
 
 


Diseño de pruebas para la evaluación de competencias transversales

Abstract

Similar works

Full text

Available Versions

Archivo Digital UPM

Servicio de Coordinación de Bibliotecas de la Universidad Politécnica de Madrid