[ES] ILas Tecnologías de la Información y Comunicaciones (TICs) han provocado una revolución no sólo
en el contexto económico y social sino que han afectado también de forma muy significativa al ámbito
de la enseñanza. En los últimos años, se ha puesto al alcance de las instituciones educativas
diversas modalidades de plataformas de teleformación (learning management systems, LMS) que son
recibidas con diferentes grados de entusiasmo por parte de los docentes.
Paralelamente, el proceso de reconversión y convergencia de la enseñanza superior en España
siguiendo las directrices de la Declaración de Bolonia implica un mayor protagonismo del alumno en
el proceso de enseñanza-aprendizaje y en consecuencia, hace necesario un incremento en la
interactividad alumno-profesor. Con el fin de ofrecer un feedback adecuado y oportuno al estudiante
de sus progresos o deficiencias a lo largo del proceso, racionalizando esfuerzos y recursos, es
conveniente recurrir a herramientas de tipo tecnológico que hagan más eficiente el trabajo del
profesorado.
Este trabajo pone de manifiesto la experiencia obtenida por un grupo de profesores de la Universitat
Politècnica de València en base al uso de la plataforma de teleformación de la misma, PoliformaT,
englobada dentro del proyecto Sakai. En concreto, el trabajo se ha centrado en el análisis de la
herramienta “Exámenes” para la realización de tareas de evaluación formativa. Tal como se pone
manifiesto en las conclusiones del trabajo, aunque la herramienta tiene asociadas unas barreras de
entrada importantes -ya que requiere conocimientos avanzados de la plataforma y ciertas nociones
informáticas, el balance tras su utilización es positivo y tiene un claro impacto favorable tanto en la
gestión de la docencia como en el aprendizaje del alumno.Alfaro Cid, E.; Bañón Gomis, AJ.; Lajara-Camilleri, N.; Trinidad Tornel, Á. (2013). La evaluación mediante plataformas de formación: análisis de su utilización en enseñanza superior. En New changes in technology and innovation : INNODOCT'13 : International Conference on Innovation, Documentation and Teaching Technologies, held on-line in Valencia, Spain, on 6-7 May, 2013. https://riunet.upv.es/handle/10251/30843. Universidad Politécnica de Valencia. 165-173. http://hdl.handle.net/10251/82121S16517

Alfaro Cid, Eva

Bañón Gomis, Alexis Jacobo

Lajara-Camilleri, Natalia

Trinidad Tornel, Ángel

[ES] ILas Tecnologías de la Información y Comunicaciones (TICs) han provocado una revolución no sólo
en el contexto económico y social sino que han afectado también de forma muy significativa al ámbito
de la enseñanza. En los últimos años, se ha puesto al alcance de las instituciones educativas
diversas modalidades de plataformas de teleformación (learning management systems, LMS) que son
recibidas con diferentes grados de entusiasmo por parte de los docentes.
Paralelamente, el proceso de reconversión y convergencia de la enseñanza superior en España
siguiendo las directrices de la Declaración de Bolonia implica un mayor protagonismo del alumno en
el proceso de enseñanza-aprendizaje y en consecuencia, hace necesario un incremento en la
interactividad alumno-profesor. Con el fin de ofrecer un feedback adecuado y oportuno al estudiante
de sus progresos o deficiencias a lo largo del proceso, racionalizando esfuerzos y recursos, es
conveniente recurrir a herramientas de tipo tecnológico que hagan más eficiente el trabajo del
profesorado.
Este trabajo pone de manifiesto la experiencia obtenida por un grupo de profesores de la Universitat
Politècnica de València en base al uso de la plataforma de teleformación de la misma, PoliformaT,
englobada dentro del proyecto Sakai. En concreto, el trabajo se ha centrado en el análisis de la
herramienta “Exámenes” para la realización de tareas de evaluación formativa. Tal como se pone
manifiesto en las conclusiones del trabajo, aunque la herramienta tiene asociadas unas barreras de
entrada importantes -ya que requiere conocimientos avanzados de la plataforma y ciertas nociones
informáticas, el balance tras su utilización es positivo y tiene un claro impacto favorable tanto en la
gestión de la docencia como en el aprendizaje del alumno.Alfaro Cid, E.; Bañón Gomis, AJ.; Lajara-Camilleri, N.; Trinidad Tornel, Á. (2013). La evaluación mediante plataformas de formación: análisis de su utilización en enseñanza superior. En New changes in technology and innovation : INNODOCT'13 : International Conference on Innovation, Documentation and Teaching Technologies, held on-line in Valencia, Spain, on 6-7 May, 2013. https://riunet.upv.es/handle/10251/30843. Universidad Politécnica de Valencia. 165-173. http://hdl.handle.net/10251/8212116517

RiuNet

165   LA EVALUACIÓN MEDIANTE PLATAFORMAS DE FORMACIÓN: ANÁLISIS DE SU UTILIZACIÓN EN ENSEÑANZA SUPERIOR.   Eva Alfaro-Cid1, Alexis J. Bañón-Gomis2, Natalia Lajara-Camilleri3, Ángel Trinidad-Tornel4 1Instituto Tecnológico de Informática. Universitat Politècnica de València (SPAIN) 2Dpto. de Organización de Empresas. Universitat Politècnica de València (SPAIN) 3Dpto. de Economía y Ciencias Sociales. CEGEA. Universitat Politècnica de València (SPAIN) 4Dpto. de Urbanismo. Universitat Politècnica de València (SPAIN) evalfaro@iti.upv.es, albaogo@upvnet.upv.es, nalade@cegea.upv.es, antritor@urb.upv.es,  Resumen Las Tecnologías de la Información y Comunicaciones (TICs) han provocado una revolución no sólo en el contexto económico y social sino que han afectado también de forma muy significativa al ámbito de la enseñanza. En los últimos años, se ha puesto al alcance de las instituciones educativas diversas modalidades de plataformas de teleformación (learning management systems, LMS) que son recibidas con diferentes grados de entusiasmo por parte de los docentes. Paralelamente, el proceso de reconversión y convergencia de la enseñanza superior en España siguiendo las directrices de la Declaración de Bolonia implica un mayor protagonismo del alumno en el proceso de enseñanza-aprendizaje y en consecuencia, hace necesario un incremento en la interactividad alumno-profesor. Con el  fin de ofrecer un feedback adecuado y oportuno al estudiante de sus progresos o deficiencias a lo largo del proceso, racionalizando esfuerzos y recursos, es conveniente recurrir a herramientas de tipo tecnológico que hagan más eficiente el trabajo del profesorado. Este trabajo pone de manifiesto la experiencia obtenida por un grupo de profesores de la Universitat Politècnica de València en base al uso de la plataforma de teleformación de la misma, PoliformaT, englobada dentro del proyecto Sakai. En concreto, el trabajo se ha centrado en el análisis de la herramienta “Exámenes” para la realización de tareas de evaluación formativa. Tal como se pone manifiesto en las conclusiones del trabajo, aunque la herramienta tiene asociadas unas barreras de entrada importantes -ya que requiere conocimientos avanzados de la plataforma y ciertas nociones informáticas, el balance tras su utilización es positivo y tiene un claro impacto  favorable  tanto en la gestión de la docencia como en el aprendizaje del alumno. Palabras clave: Evaluación, teleformación, tecnologías, Sakai  1. INTRODUCCIÓN Desde la entrada en vigor del Espacio Europeo de Educación Superior (EEES) el sistema de enseñanza tradicional, en el que la materia y el profesor son el centro del proceso, pierde peso frente a un nuevo modelo diferente, en el que el alumno y el desarrollo de sus capacidades son el punto central. El Espacio Europeo de Educación Superior (EEES) propone un modelo en el que el profesor es también, y quizá fundamentalmente, promotor y facilitador del trabajo de sus alumnos, apoyándose en metodologías activas, frente a la tradicional lección magistral como núcleo integrador de la docencia. Por todo ello, se hace necesaria una nueva concepción de la formación académica, centrada en el aprendizaje del alumno, y una revalorización de la función docente del profesor universitario que incentive su motivación y que reconozca los esfuerzos encaminados a mejorar la calidad y la innovación educativa. Todo ello provoca que desde hace unos años se estén produciendo multitud de cambios en el contexto institucional y legal de la enseñanza universitaria. Esos cambios están afectando, como no puede ser de otra manera, a la manera de evaluar a los alumnos. Evaluar, según la Real Academia de la Lengua, significa “estimar los conocimientos, aptitudes y rendimiento de los alumnos”. La evaluación es un aspecto clave del proceso enseñanza-aprendizaje. Tal y como dijo Boud (1995) “Los estudiantes pueden, con dificultad, escapar de los efectos de una mala enseñanza, pero no pueden escapar (por definición, si quieren licenciarse) de los efectos de una mala evaluación”.  166   En el nuevo contexto de educación universitaria se pasa de una evaluación de orientación sólo sumativa basada en exámenes finales a una evaluación esencialmente formativa que utiliza diversos métodos de evaluación. El su nuevo papel de guía del trabajo de los alumnos, el profesor debe realizar una evaluación continua del proceso de aprendizaje y proporcionar un feedback continuo a los mismos. Esto pone en relieve la necesidad de instrumentos de recogida de información que permita al profesor realizar esta tarea, sobre todo cuando se enfrenta a grupos grandes de alumnos. La Universitat Politècnica de València dispone de una plataforma de gestión del aprendizaje, llamada PoliformaT, basada en el sistema Sakai. PoliformaT lleva funcionando desde el curso 2006/2007 y cuenta con un alto grado de satisfacción tanto entre los profesores como entre los alumnos, como se destaca en Clemente Ricolfe et al. (2010). Una de las características de PoliformaT es que dispone de una herramienta de realización de exámenes.  En la literatura se pueden encontrar experiencias de uso de otras  plataformas de teleformación para la realización de exámenes, como por ejemplo, en Saval Pérez et al. (2011) y Tolosa Igualada (2011). De la misma manera, otros profesores de la Universidad Politécnica de Valencia (Portillo-Poblador et al., 2009; Sanabria, 2008) han informado de experiencias exitosas en el uso de la herramienta de exámenes de PoliformaT El objetivo de este trabajo es evaluar dicha herramienta y la valoración que hacen los profesores del impacto que tiene tanto en el aprendizaje de los alumnos como en la gestión de su docencia. El artículo está estructurado de la siguiente manera. La sección 2 describe la herramienta de realización de exámenes que proporciona PoliformaT. La sección 3 expone la metodología utilizada en el trabajo. En la sección 4 se presentan los resultados obtenidos y, por último, en la sección 5 se resumen las conclusiones del trabajo. 2. LA HERRAMIENTA DE REALIZACIÓN DE EXÁMENES DE POLIFORMAT La página principal de la herramienta de exámenes de PoliformaT permite crear exámenes nuevos, acceder a los exámenes ya creados pero no publicados y visualizar los exámenes ya publicados para los alumnos (ver Fig. 1).  Figura 1. Pantalla inicial de la herramienta de Exámenes Hay diversos tipos de preguntas que se pueden generar a la hora de crear exámenes (ver Fig. 2). Unas las evalúa la herramienta de manera automática y otras requieren de la evaluación del profesor. Las que son evaluadas de manera automática por la herramienta son las preguntas de opción múltiple, las de completar espacios en blanco, las de respuesta numérica, las de relacionar y las de verdadero-falso. También se admiten preguntas de respuesta corta, de subir ficheros o de grabaciones de audio, pero este tipo de preguntas requieren de la corrección manual por parte del profesor. Por último, la herramienta de exámenes se puede utilizar para realizar encuestas, pero en este caso, las respuestas son anónimas y, obviamente, no se evalúan. Todos estos tipos de preguntas se pueden combinar en un único examen.  167    Figura 2. Tipos de preguntas de la herramienta de Exámenes La herramienta permite crear configuraciones para los exámenes (ver Fig. 3). En ellas se puede determinar diversas opciones. A continuación listamos las que consideramos más relevantes: • Fechas de envío: la fecha en la que el examen estará disponible para los alumnos y la fecha de entrega.  • Grupos para los que se publica el examen. • Publicación condicional: el examen sólo se muestra a aquellos alumnos que cumplan ciertos requisitos en las calificaciones previas. • Seguridad: sólo se permite el acceso desde ciertas IPs. • Temporización: límite de tiempo desde que se empieza el examen. • Organización del examen: si el acceso debe ser lineal o se permite saltar a las preguntas desde un índice inicial, si hay una o varias preguntas en cada página, etc. • Envíos: número de envíos permitido, gestión de los envíos fuera de plazo (se aceptan o no) y envío automático del examen una vez cumplido el plazo. • Comentarios: diversas opciones sobre cómo gestionar los comentarios sobre las respuestas correctas a las preguntas y la respuesta elegida por el alumno. Este apartado es especialmente importante de cara a la evaluación formativa del alumno.   Figura 3. Opciones de configuración de la herramienta de Exámenes 168   Una funcionalidad que proporciona la herramienta y que resulta muy valiosa para mejorar la gestión docente es la posibilidad de crear baterías de preguntas. Estas baterías de preguntas son propias del profesor y las puede usar en diversas asignaturas o compartirlas con otros compañeros. Las baterías de preguntas permiten rentabilizar el trabajo realizado, ya que cada curso se pueden ir enriqueciendo con preguntas nuevas. Las baterías de preguntas se organizan en sub-baterías. Esta distribución resulta muy útil ya que permite generar exámenes aleatorios. A la hora de crear un examen se determina el número de preguntas que vienen de una determinada sub-batería y la puntuación que recibirán. A partir de ahí se generan exámenes escogiendo las preguntas de las sub-baterías de manera aleatoria. De esta manera cada alumno tiene un examen individualizado, lo que dificulta que se copien.  3. METODOLOGÍA Para llevar a cabo el estudio previsto se ha realizado una encuesta entre el profesorado de la Universitat Politècnica de València. La encuesta se ha llevado a cabo de forma virtual, a través de internet, distribuyendo la petición de cumplimentación entre profesores y departamentos de la universidad. Se han recibido un total de 71 respuestas, lo cual asumiendo una población de 2855 profesores (UPV, 2010) y un nivel de confianza del 90%, supone un margen de error del 9,7%. A fin de facilitar la cumplimentación de la encuesta y siguiendo las indicaciones de Schuman y Presser (Santesmases, 2005) se ha optado por incluir principalmente preguntas de tipo cerrado, tanto de tipo dicotómico como de opción múltiple. Sin embargo, debido a la riqueza de información y al carácter exploratorio de este trabajo se han incorporado también dos preguntas abiertas de valoración. En el anexo del trabajo se puede consultar la encuesta elaborada. 4. RESULTADOS Caracterización de la muestra La encuesta ha sido contestada por 71 profesores de la Universitat Politècnica de València. De ellos, un 52% afirma tener una docencia superior a 10 años en la universidad (Figura 4), mientras que aproximadamente el 28% cuenta con entre 8 y 10 años de experiencia docente en educación superior. Por departamentos, las respuestas han procedido mayoritariamente de los departamentos de Economía y Ciencias Sociales y de Urbanismo, concentrando entre ambos el 63% de las respuestas obtenidas. Sin embargo se han obtenido respuestas de un total de 11 departamentos de la UPV (Figura 5).  Figura 4. Experiencia de los profesores encuestados    Figura 5. Departamento al que pertenecen los profesores encuestados  El 90% de los profesores encuestados afirmaron tener docencia en grado, correspondiendo la mayoría a asignaturas de primer y segundo curso (38% y 35%, respectivamente). El tipo de evaluación más frecuente en dichas asignaturas según los resultados obtenidos es la realización de pruebas parciales que eliminan materia y que en conjunto suponen más del 60% de la nota final de la asignatura (44%), un 35% declara realizar numerosas pruebas de evaluación tanto en el aula como fuera de ella, con un peso superior al 50% en la nota final de la asignatura. Adicionalmente hay que destacar que un 7% evalúa a través de la realización de proyectos con entregas parciales y otro 7% 0 10 20 30 40Menos de 2 añosEntre 2 y 5 añosEntre 5 y 10 añosMás de 10 años281113 2 2 3 1 1 118051015202530  continua realizando una prueba final con un peso del 70% o más de la calificación final de la asignatura (Figura 6). En referencia al uso de PoliformaT como herramienta en la asignatura, el 97% de los profesores encuestados declaran hacer uso de la plataforma de teleformación para complementar su docencia, sin embargo tan sólo el 45% de ellos utiliza la opción ExámAquéllos que utilizan el recurso Exámenes de la plataforma declaran hacerlo fundamentalmente en la evaluación de prácticas o visitas o bien para comprobar el nivel de seguimiento de la asignatura (Figura 7) Figura 7. Objetivos del En referencia a la retroalimentación del alumno respecto a su ejecución, tan sólo el 41% de los encuestados que desarrollan baterías de preguntas incluyen en ellas comentarios a modo de feedback que sean visibles para el alumNo obstante la experiencia con el uso de la herramienta Exámenes de PoliformaT es satisfactoria para la mayoría de los docentes encuestados (Figura impacto de su uso en relación al apFigura 8. Grado de satisfacción de los profesores UPV con la herramienta Exámenes de PoliformaT 35%7%7%Evaluación de conocimientos previos de la asignaturaRefuerzo de unidades especialmente complicadas (autoevaluación, sin valor Realización de pruebas de evaluación que sustituyen a exámenes presencialesComprobación del nivel de seguimiento de la asignaturaEvaluación de prácticas o visitas169 Figura 6. Sistema de evaluación  enes de la plataforma. uso de la herramienta Exámenes no una vez resuelta la prueba. 8), valorando positivamente el rendizaje del alumno (Figura 9).             igura 9. Valoración de la mejora del aprendizaje del alumno a través de la herramienta Exámenes de PoliformaT.7%44%Prueba final de la asignatura que tiene un peso del 70% o másPruebas parciales que eliminan materia y que cuentan más del 60% de la nota final de la asignaturaNumerosas pruebas evaluatorias tanto en el aula como fuera de ella que suponen más del 50% de la nota final de la asignaturaElaboración de un proyecto con entregas parcialesOtros237815190 5 10 15 20Otro…  en general   170    Finalmente, cabe destacar que más de un 70% de los profesores indican que la herramienta contribuye de forma significativa a mejorar su gestión de la docencia (Figura 10).   Figura 10. Valoración de la mejora en la gestión docente con el uso de la herramienta Exámenes de PoliformaT  5. CONCLUSIONES Antes de abordar estrictamente las conclusiones de este trabajo conviene realizar un par de precisiones o consideraciones previas.  La primera de ellas es que, aunque se han obtenido muestras de 11 departamentos diferentes, la concentración de las mismas entorno a tres de ellos (Departamentos de Economía y Ciencias Sociales, de Urbanismo y Estadística), imposibilita la comparación y extracción de conclusiones acerca del uso de la herramienta por unidades docentes. No obstante, este trabajo constituye la primera fase de un proyecto de investigación docente de mayor calado que pretende analizar la implantación y utilidad de la herramienta “Exámenes” en la Universitat Politècnica de València y en el que tras la correspondiente ampliación del trabajo de campo y toma de muestras, se procederá en fases posteriores a la mencionada comparativa.  La segunda que, a pesar de ello, se considera como aceptable el sesgo de la muestra a efectos de analizar el uso y efectividad de la herramienta en el marco del proceso de reconversión y convergencia de la enseñanza superior en la Universitat Politècnica de València ya que el 90% de los encuestados afirmaron tener docencia en grado en la que mayoritariamente utilizan una metodología de evaluación continua con pruebas parciales eliminatorias que en casi un 80% superan el 50% de la nota final. Sentado lo anterior, las conclusiones del trabajo son las siguientes:  1.  Aunque la práctica unanimidad de los encuestados reconocen utilizar PoliformaT en la docencia de sus asignaturas, menos de la mitad lo hacen con “Exámenes” y en la mayoría de los casos el uso se limita a la evaluación de prácticas y visitas.  2. Adicionalmente hay que señalar que, ya sea por desconocimiento o por otras causas, los resultados de la encuesta parecen indicar que no se está aprovechando toda la potencialidad del recurso al no mejorar el feedback a los alumnos mediante el uso de comentarios en las baterías de preguntas. 3. No obstante y entre el profesorado que ha reconocido el uso de la herramienta “Exámenes”, se constata su satisfacción con la misma destacando muy especialmente que más de un 70% entiende que su utilización conlleva una mejora tanto del proceso de gestión docente como del propio aprendizaje del alumno. 4. Por todo ello, se concluye que sería deseable una mayor difusión institucional de la herramienta y de sus funcionalidades entre el profesorado de la Universitat Politècnica de València con el objeto de  lograr aumentar su uso entre los usuarios de PoliformaT. Deberían remarcarse las diferentes posibilidades de aplicación, con especial incisión en las finalidades de refuerzo y evaluación de conocimientos y finalmente, potenciar el uso de comentarios en las baterías de preguntas a fin de aumentar el feedback de los alumnos.      9%6%13%44%28%0%10%20%30%40%50%Muy en desacuerdo Algo en desacuerdo Ni de acuerdo ni en desacuerdoAlgo de acuerdo Muy de acuerdo171   Referencias Boud, D. (1995), Enhancing Learning through Self Assessment, London: Kogan. Clemente Ricolfe, J.S., Escribá Pérez, C, Buitrago Vera, J.M. (2010), “Dimensiones clave em la satisfacción com los entornos virtuales de aprendizaje en la enseñanza universitaria. El caso de PoliformaT”, Revista Mexicana de Investigación Educativa, 15(46), pp. 849-871. Portillo-Poblador, N., Vidal-Puig, S., Montesinos-Guillot, A., Martín-Marín, J.  (2009), “E-learning in teaching statistics: an application in Civil Engineering”, Proceedings of EDULEARN09 Conference, 6-8 julio 2009, Barcelona, España, ISBN: 978-84-612-9802-0. Sanabria, E. (2008), “Una experiencia de evaluación continua a través del PoliformaT”, V Congreso Iberoamericano de Docencia Universitaria, Valencia, España. Santesmases, M. (2005) “DYANE versión 3. Diseño y análisis de encuestas en investigación social y de mercados”. Ed. Pirámide. Madrid Saval Pérez, J.M., García Andreu, C., Baeza Brotons, F, Tenza Abril, A,J, (2011) “Utilización de pruebas objetivas virtuales como componente en la evaluación de la asignatura Materiales de Construcción“, IX Jornadas Redes de Investigación en Docencia Universitaria, 16-17 junio 2011, Alicante, España. Tolosa Igualada, M. (2011), “La evaluación de la evolución formativa de los estudiantes de interpretación de la Universidad de Alicante a través de la Plataforma multimedia para la docencia virtual, presencial y semipresencial”, IX Jornadas Redes de Investigación en Docencia Universitaria, 16-17 junio 2001, Alicante (España). Universidad Politécnica de Valencia (2010). “Memoria del curso académico 2009/2010”. http://www.upv.es/entidades/SG/infoweb/sg/info/U0563938.pdf    