La plataforma AulaWeb lleva empleándose desde el curso 2000-01 como sistema de apoyo docente en la  asignatura de Informática del Plan de Estudios de la titulación de Ingeniería Industrial en la ETSII-UPM. Una de las funcionalidades más empleadas como recurso de aprendizaje-enseñanza es el módulo de autoevaluación, que se muestra imprescindible en asignaturas como ésta con un elevado número de alumnos matriculados. El sistema se emplea como evaluación continua conforme se avanza en la impartición de contenidos en las clases teóricas presenciales. La actividad se considera en el cálculo de la calificación final de la asignatura al final del cuatrimestre. El módulo de evaluación se alimenta de una base de datos de más de 800 preguntas de diferentes tipos que ha permanecido invariable desde el curso 2004-05. En este trabajo se analiza la evolución de los  resultados de la evaluación desde su implantación y la posible disminución de efectividad del sistema

Arranz Santamaria, Jose Maria

García Beltrán, Ángel

Jaen Gallego, Jose Alberto

Martínez Fernández, Raquel

Tapia Fernández, Santiago

Servicio de Coordinación de Bibliotecas de la Universidad Politécnica de Madrid

66 
¿Pierde eficiencia con el tiempo una base de datos de 
preguntas de un sistema de autoevaluación para el 
aprendizaje de un lenguaje de programación? 
Ángel García-Beltrán1, Raquel Martínez1, José-Alberto Jaén1,
Santiago Tapia1 y José-María Arranz1,
1 Unidad Docente de Informática Industrial – Universidad Politécnica de Madrid,  
Escuela Técnica Superior de Ingenieros Industriales, C/José Gutiérrez Abascal, 2  
28006 – Madrid, España 
{agarcia, raquelm, jjaen, stapia, jmarranz}@etsii.upm.es 
Resumen. La plataforma AulaWeb lleva empleándose desde el curso 2000-01 
como sistema de apoyo docente en la asignatura de Informática del Plan de 
Estudios de la titulación de Ingeniería Industrial en la ETSII-UPM. Una de las 
funcionalidades más empleadas como recurso de aprendizaje-enseñanza es el 
módulo de autoevaluación, que se muestra imprescindible en asignaturas como 
ésta con un elevado número de alumnos matriculados. El sistema se emplea 
como evaluación continua conforme se avanza en la impartición de contenidos 
en las clases teóricas presenciales. La actividad se considera en el cálculo de la 
calificación final de la asignatura al final del cuatrimestre. El módulo de 
evaluación se alimenta de una base de datos de más de 800 preguntas de 
diferentes tipos que ha permanecido invariable desde el curso 2004-05. En este 
trabajo se analiza la evolución de los resultados de la evaluación desde su 
implantación y la posible disminución de efectividad del sistema. 
Palabras clave: Metodología aprendizaje-enseñanza, Autoevaluación, 
Lenguaje de programación, Informática, Preguntas de respuesta objetiva  
1   Introducción 
La evaluación como elemento de verificación del aprendizaje es un pilar fundamental 
que debe permitir medir y valorar la bondad del proceso de aprendizaje considerado 
globalmente, tanto de la programación como de la puesta en práctica del mismo [1]. 
La no consecución de los objetivos planteados a priori debe implicar la ineficacia del 
proceso tal y como se ha llevado a la práctica, y la necesidad de reestructurarlo en 
mayor o menor medida con el objetivo de mejorarlo [2]. Por tanto, la evaluación del 
aprendizaje cumple básicamente dos funciones fundamentales: facilita el ajuste 
pedagógico a las características individuales de los alumnos y determina el grado de 
consecución de los objetivos previstos [3]. En este sentido un sistema de 
autoevaluación continuada permite tener un conocimiento de la evolución desde el 
principio del periodo académico en el aprendizaje de contenidos de una asignatura 
tanto por parte del alumno como por parte del profesor. En este trabajo se plantean 
cuestiones no respondidas previamente acerca de la evolución de los resultados de un 
71
67 
sistema de autoevaluación durante varios cursos académicos para tratar de adoptar las 
correspondientes medidas correctoras, entre las cuales podría encontrarse la 
renovación periódica de contenidos de la base de datos de preguntas. 
1.1   La autoevaluación en entornos virtuales 
Las principales ventajas en la utilización de un entorno virtual para llevar a cabo un 
sistema de autoevaluación con pruebas de respuesta objetiva son: (a) facilita el 
establecimiento de una evaluación continuada durante el proceso de aprendizaje y 
reduce el tiempo de su diseño, distribución y desarrollo, (b) permite una gran 
flexibilidad temporal y espacial tanto para la configuración de ejercicios como de su 
realización, (c) proporciona una respuesta inmediata de los resultados de los 
ejercicios, (d) facilita la introducción de elementos interactivos y multimedia, (e) 
permite la creación de informes y tratamiento de datos tanto a nivel de un alumno o 
de un grupo de alumnos como de las preguntas utilizadas, (f) mejora la fiabilidad de 
la corrección evitando el error humano, (g) lo hace especialmente apropiado para 
grandes grupos de alumnos por la no necesidad de corregir por parte del profesor y (h) 
la base de datos de preguntas puede reutilizarse en cursos posteriores. Actualmente 
existen desarrolladas muchas herramientas que permiten implantar actividades de 
autoevaluación de forma más o menos sencilla [1]. 
1.2   La plataforma AulaWeb 
La plataforma AulaWeb lleva empleándose desde el curso 1999-2000 como sistema 
de apoyo docente para alumnos y profesores en la ETSII-UPM [4-5]. Una de las 
funcionalidades más empleadas como recurso de aprendizaje-enseñanza es el sistema 
de autoevaluación, especialmente sencillo y funcional y muy interesante en 
asignaturas con un elevado número de alumnos matriculados. El sistema permite la 
evaluación mediante ejercicios libres personalizados por el alumno o mediante 
ejercicios programados por el profesor de una forma muy versátil tanto por el tipo de 
preguntas que pueden implementarse como por los parámetros de configuración de 
los ejercicios. 
1.3   La asignatura de Informática 
Informática está encuadrada como asignatura troncal dentro del primer cuatrimestre 
del primer curso de los Planes de Estudios de Ingeniería Industrial desde el curso 
2000-01 y tiene un peso de 7.5 créditos UPM ó 6 créditos ECTS que equivalen a 180 
horas totales de trabajo del alumno repartidas durante 15 semanas y que incluyen 75 
horas en total de clases presenciales. El objetivo de la asignatura es proporcionar al 
alumno los conocimientos básicos de la programación de ordenadores que se presenta 
como una disciplina sistemática en la que es necesario manejar conceptos tales como 
la programación estructurada, la abstracción y la descomposición modular. La 
metodología didáctica se centra en el aprendizaje del alumno y su formación y emplea 
72
68 
el lenguaje de programación TurboPascal como instrumento para hacer que la 
asignatura tenga una componente práctica fundamental. Las competencias específicas 
que se pretenden que alcancen los alumnos se resumen en dos capacidades: la 
capacidad de entender el funcionamiento de un programa dado y la capacidad de 
desarrollar un programa que resuelva un problema científico o técnico sencillo. 
2   La Autoevaluación en la asignatura de Informática 
A lo largo del curso se realiza una evaluación continuada de ejercicios propuestos en 
cada tema, que serán resueltos y entregados por los alumnos con carácter voluntario. 
Desde el curso 2000-01 los resultados de esta actividad (calificación media de los 
ejercicios programados) dan derecho a un incremento máximo de un punto sobre la 
nota final en la convocatoria de Febrero, siempre que en el examen final se alcance 
una calificación igual o superior a 4 sobre un máximo de 10 puntos.  
2.1   Generación de la base de datos de preguntas 
Los ejercicios periódicos a realizar en la asignatura de Informática se han llevado a 
cabo mediante el sistema de autoevaluación de AulaWeb. Para posibilitar la 
implantación de esta actividad, los profesores han elaborado una base de datos de más 
de 800 preguntas. Las preguntas pueden clasificarse según el tipo de respuesta: tipo 
test de respuesta simple o múltiple, numérica o cadena de caracteres. Algunas de las 
preguntas (denominadas de enunciado variante) se han configurado de manera que 
los datos del enunciado se generen aleatoriamente. Esta característica da lugar a que, 
una pregunta variante da lugar a un gran número de preguntas diferentes. Otro tipo de 
pregunta, exclusiva de la plataforma AulaWeb y muy interesante en la asignatura de 
Informática, permite la simulación de un entorno de programación y el planteamiento 
de preguntas en las que el alumno debe completar un programa o código de forma que 
realice una tarea determinada y es similar a las preguntas de los exámenes finales. La 
finalidad fundamental de este tipo de preguntas de código de programación es fijar 
los conceptos y técnicas descritas en las demás actividades docentes y trabajar  los 
aspectos prácticos de la asignatura [6]. 
Dos de las cuestiones de interés para los profesores son la evolución de los 
resultados de la evaluación continuada en la secuencia de cursos académicos y la 
pérdida de la eficacia de las preguntas de la base de datos con el transcurso del 
tiempo. Una posible causa para esta última circunstancia podría deberse a la 
recopilación por parte de los alumnos de las preguntas de la base de datos con sus 
respectivas respuestas. La opción de realizar ejercicios personalizados de forma 
ilimitada facilitaría esta tarea, mientras que el hecho de que el sistema no facilite las 
respuestas correctas correspondientes a las preguntas falladas en la corrección lo 
dificultaría. Las preguntas de la base de datos se generaron durante los primeros 
cursos de implantación del sistema de autoevaluación. Desde el curso 2004-05 se 
decidió no modificar la base de datos de preguntas para hacer coherente el posterior 
análisis temporal. En la figura 1 se muestra la evolución del número total de preguntas 
73
69 
y se especifican, por su especial interés en la asignatura, las preguntas de enunciado 
variable y de respuesta de código de programación. 
Fig. 1. Evolución del número total de preguntas de la base de datos así como de las preguntas 
de código de TurboPascal y de enunciado variable en la asignatura de Informática desde el 
curso 2000-01 al 2009-10. 
2.2   Configuración de la autoevaluación 
Una vez se dispone de esta base de datos de preguntas, el profesor puede configurar 
los ejercicios correspondientes a cada uno de los capítulos del temario de la asignatura 
que pueden ser realizados por los alumnos, conforme el profesor de cada grupo va 
impartiendo la materia a lo largo de las clases teóricas. Durante el periodo docente el 
profesor va informando, en las clases teóricas de la asignatura, acerca de la 
publicación de cada uno de los ejercicios y de la posibilidad de comenzar la 
autoevaluación. Estos anuncios también se publican en el sistema de noticias de la 
propia herramienta. Como el ritmo de impartición de la materia es parecido en todos 
los grupos, la fecha límite de realización de cada ejercicio se hace diferir sólo en uno 
o dos días para cada uno de los grupos con el fin de no saturar al servidor. Por otro 
lado, se les informa a los alumnos de la posibilidad de realizar varias veces un mismo 
ejercicio, con el fin de mejorar la puntuación media ponderada que se contabiliza 
como resultado en la evaluación continuada. Además, se les recuerda que pueden 
realizar libremente, y sin efecto en la calificación, todos los ejercicios que deseen, 
configurados por ellos mismos para familiarizarse con el sistema y con el nivel de 
dificultad de las preguntas. 
3   Resultados 
En la base de datos de resultados del sistema se almacena una gran cantidad de 
información tanto a nivel particular como global. Entre otros, se registra el número de 
alumnos que los han realizado, el número total de ejercicios realizados, las 
74
70 
calificaciones, etc. Esto es especialmente importante en el caso de grupos de alumnos 
muy numerosos. En la Figura 2 se muestra la evolución del número total de alumnos 
matriculados en la asignatura y de participantes en los ejercicios de autoevaluación 
programados por los profesores desde el curso 2000-01.  
Fig. 2. Evolución del número total de alumnos matriculados en la asignatura y del número de 
alumnos participantes en la actividad de autoevaluación (que han realizado al menos un 
ejercicio programado) en valores absolutos y relativos.  
Con la excepción del primer año, el resto de cursos mantiene un porcentaje de 
participación en la autoevaluación alrededor del 94%, incluido el curso 2005-06 que 
es el de menor número de alumnos matriculados. Este valor indica que el número de 
alumnos repetidores en este curso es inferior al del resto de cursos ya que el número 
de alumnos de nuevo ingreso se mantiene constante desde el curso 2000-01. 
3.1   Resultados dentro de un periodo académico 
En un mismo periodo académico se puede observar que el número total de ejercicios 
realizados al principio del curso es relativamente elevado pero decae rápidamente 
conforme avanza el periodo académico según se observa en la Figura 3. Se han 
tomado los datos de los cursos 2004-05, 2006-07 y 2008-09 como ejemplos 
representativos del conjunto de cursos. El descenso coincidente en todos ellos en el 
número total de ejercicios realizados puede ser debido a varias causas que se 
superponen: (a) la falta de rodaje en el sistema que hace que al principio los alumnos 
tiendan a repetir varias veces un mismo ejercicio (por equivocación o 
desconocimiento de la forma de evaluación); (b) la paulatina falta de tiempo de los 
alumnos conforme avanza el curso; (c) el efecto del abandono de la actividad de 
algunos alumnos (y probablemente del estudio de la asignatura) y (d) la dificultad 
creciente del temario. De forma excepcional se aprecia un pico en el número de 
ejercicios realizados en el ejercicio del capítulo 9 (Unidades) del temario en todos los 
cursos académicos que puede achacarse al relativo menor nivel de dificultad de dicho 
capítulo con respecto a sus adyacentes. 
75
71 
Fig. 3. Evolución del número de ejercicios realizados dentro de un curso académico para los 
cursos 2004-05, 2006-07 y 2008-09 como ejemplos representativos. 
En la figura 4 se muestra que las calificaciones medias de los ejercicios para cada 
grupo de alumnos se encuentran entre 6,7 y 9,3 sobre una calificación máxima de 10. 
La calificación media no suele sufrir una tendencia clara (ni creciente ni decreciente) 
a nivel temporal, pero los ejercicios con mejores resultados son los correspondientes a 
los capítulos 9 (Unidades) y 10 (Punteros y Variables dinámicas), mientras que los de 
peores resultados corresponden al 5 (Sentencias) y al 6 (Datos Estructurados). 
Fig. 4. Evolución de la calificación media de los ejercicios realizados dentro de un curso 
académico para los cursos 2004-05, 2006-07 y 2008-09 como ejemplos representativos. 
3.2   Evolución temporal de los resultados 
En la Figura 5 se muestra la evolución en el número total de ejercicios realizados por 
los alumnos en cada curso académico, además se incluye el número medio de 
ejercicios realizados por alumno. Se observa que tanto el número total de ejercicios 
realizados como el número medio de ejercicios realizados por alumno se mantienen 
bastante estables aunque se observa un mínimo en el curso 2005-06, precisamente el 
de menor número de alumnos matriculados (menor número de alumnos repetidores). 
76
72 
Fig. 5. Evolución del número total de ejercicios realizados por los alumnos matriculados y del 
número medio de ejercicios realizados por alumno. 
Por otro lado en la figura 6 se muestra la evolución en los porcentajes de preguntas 
con respuestas correctas, incorrectas y sin contestar en los ejercicios programados 
durante los periodos académicos correspondientes. 
Fig. 6. Evolución del porcentaje de preguntas acertadas, incorrectas y sin responder de los 
ejercicios programados por los profesores durante los periodos académicos.
No se observa una gran variabilidad temporal de estos datos lo que, en principio, 
apoya la hipótesis de que la base de datos de preguntas del sistema no pierde 
efectividad con el paso de los cursos y tiene unos resultados estables en el tiempo. 
4   Conclusiones 
En general se observa que el uso del sistema de autoevaluación por parte del 
alumnado se mantiene elevado en el tiempo con el transcurso de los periodos 
académicos. La causa principal puede achacarse a: (a) la facilidad y flexibilidad de 
77
73 
uso del sistema, (b) su consideración en el cálculo de la calificación final de la 
asignatura y (c) la similitud entre las preguntas de la base de datos y las de los 
exámenes ordinarios. Los resultados de las evaluaciones también son similares a lo 
largo del tiempo, lo que respalda el mantenimiento de la eficiencia del sistema a pesar 
de (o gracias a) la invariabilidad de las preguntas de la base de datos. El análisis de 
los resultados no avala la hipótesis de una degradación de la eficiencia o del nivel de 
dificultad o de las preguntas del sistema lo que obligaría a una renovación obligada de 
los contenidos de la base de datos de preguntas. En cualquier caso es recomendable 
desarrollar una base de datos suficientemente amplia, incluir (si la aplicación 
informática lo permite) preguntas de enunciado variable y de un tipo y dificultad 
similar a las del examen final y no facilitar las respuestas correctas tras la corrección 
automática. Asimismo, desde el punto de vista pedagógico, es conveniente establecer 
una secuencia de ejercicios con fechas límite repartidas a lo largo del periodo 
académico y sincronizada con la impartición de los contenidos en las clases 
presenciales como refuerzo para el aprendizaje progresivo. En futuros trabajos se 
podrían realizar análisis estadísticos más profundos o métodos de triangulación para 
obtener unos resultados de mayor contraste y estudios acerca de la correlación entre 
los resultados de la autoevaluación y los de los exámenes de las convocatorias 
ordinarias. Estos últimos facilitarían argumentos a favor o en contra de la sustitución 
de los exámenes finales tradicionales por un sistema de ejercicios de autoevaluación 
repartidos a lo largo del periodo académico. 
Agradecimientos. Los autores quieren agradecer a las siguientes personas han 
colaborado en el proyecto de desarrollo de las distintas versiones del sistema: A. 
Alonso, P. Avendaño, M. Aza, L. Blanco, S. Campos, D. Cortés, J. A. Criado, F. de 
Ory, C. Engels, M. Fernández, V. Gámiz, P. García, M. González, J. Granado, T. 
Hernández, I. Iglesias, A. R. López, D. López, J. A. Martín, M. Martín, F. J. Mascato, 
D. Molina, C. Moreno, L. M. Pabón, S. Pastor, J. C. Pérez, A. Rodelgo, A. Valero, E. 
Villalar y C. Zoido dentro de la División de Informática Industrial de la ETSII-UPM. 
Referencias 
1. García-Beltrán A. y Martínez R. Jaén J.A. y Tapia, S: La autoevaluación como actividad 
docente en entornos virtuales de aprendizaje/enseñanza, RED - Revista de Educación a 
Distancia, nº monográfico VI (2006) 
2. Villar, L.M. y Alegre O.M.: Manual para la excelencia en la enseñanza superior, Mc Graw-
Hill (2004) 
3. Serrano, M. Torres, L.M. Pavón, I. y Sardá, E.: Evalúe formativa y sumativamente en 
Capacidades docentes para una gestión de calidad en educación secundaria, Villar, L.M. 
(ed.), Mc. Graw-Hill, 259--269, (2004) 
4. García-Beltrán A. y Martínez R.: Experiencia docente con AulaWeb en la asignatura de 
Informática, RED - Revista de Educación a Distancia, 11 (2004) 
5. Servidor AulaWeb de la Escuela Técnica Superior de Ingenieros Industriales de la 
Universidad Politécnica de Madrid, http://aulaweb.etsii.upm.es 
6. García-Beltrán A. y Martínez R.: Web assisted assessment in computer programming 
learning using AulaWeb, Int. J. of Eng. Educ., 22-5, 1063--1069 (2006)
78


¿Pierde eficiencia con el tiempo una base de datos de preguntas de un sistema de autoevaluación para el aprendizaje de un lenguaje de programación?

Archivo Digital UPM

http://oa.upm.es/8052/1/INVE_MEM_2010_80869.pdf

¿Pierde eficiencia con el tiempo una base de datos de preguntas de un sistema de autoevaluación para el aprendizaje de un lenguaje de programación?

Abstract

Similar works

Full text

Available Versions

Servicio de Coordinación de Bibliotecas de la Universidad Politécnica de Madrid

Archivo Digital UPM