Todos los jueces en línea, incluído en sus inicios ¡Acepta el reto! (https://www.aceptaelreto.com) desarrollado por profesores de la UCM, adolecen de un problema de realimentación al usuario: cuando el visitante hace un envío incorrecto el sistema no es capaz de dar información específica del error.

El documento es la memoria final de un Proyecto de Innovación y Mejora de la Calidad Docente (PIMCD) de 2017/2018 en el que se puso en marcha un sistema de pistas en el juez

Costero Valero, Luís María

Domenech Arellano, Jesús Javier

Doménech Arellano, Pedro Pablo

Gómez Albarrán, Mª De Las Mercedes

Gómez Martín, Marco Antonio

Gómez Martín, Pedro Pablo

Hernández Bécares, Jénnifer

Pita Andreu, María Isabel

Segura Díaz, Clara María

Verdejo López, José Alberto

Todos los jueces en línea, incluído en sus inicios ¡Acepta el reto! (https://www.aceptaelreto.com) desarrollado por profesores de la UCM, adolecen de un problema de realimentación al usuario: cuando el visitante hace un envío incorrecto el sistema no es capaz de dar información específica del error.
El documento es la memoria final de un Proyecto de Innovación y Mejora de la Calidad Docente (PIMCD) de 2017/2018 en el que se puso en marcha un sistema de pistas en el juez.Depto. de Ingeniería de Software e Inteligencia Artificial (ISIA)Fac. de InformáticaFALSEsubmitte

Docta Complutense

   Proyecto de Innovación Convocatoria 2017/2018   Proyecto 282 Añadiendo mecanismos de ayuda en un juez on-line automático para soporte a mentorías académicas        Responsable: Marco Antonio Gómez Martín     Facultad de Informática Departamento de Ingeniería del Software e Inteligencia Artificial   Objetivos propuestos  En 2014 un grupo de profesores de la Facultad de Informática lanzamos un portal y juez en línea conocido como “¡Acepta el reto!” (https://www.aceptaelreto.com). Desde entonces no ha dejado de crecer y a día de hoy tiene más de 12.000 usuarios registrados que han enviado casi 300.000 soluciones distintas a sus cerca de 400 problemas de programación. El funcionamiento básico de un juez en línea es sencillo como el nuestro. Dispone de una colección de ejercicios de programación, centrados en conceptos de algoritmia, que cubren niveles de iniciación (primeras semanas de cualquier curso de programación) a conceptos de tercero de carrera o superior. Los visitantes pueden navegar por esos problemas y resolverlos off-line en sus propios ordenadores. Cuando creen tener la solución (un programa que resuelve el problema) envían el código fuente en donde un juez automático comprueba su validez. La respuesta que el sistema da al usuario es siempre la misma, independientemente del problema: o bien la solución es correcta o incorrecta. Ante un envío incorrecto la única ayuda que se le proporciona al usuario tiene que ver con el resultado de la ejecución de su aplicación. Por ejemplo “la solución no contesta lo que debería” (wrong answer), “solución demasiado lenta” (time limit) o “la solución efectuó una operación no válida” (runtime error). Es decir, al comenzar el proyecto los veredictos que se daban eran muy generales y nada específicos del problema particular que se intentaba resolver. Estas respuestas tan limitadas son perfectamente admisibles en contextos de programación competitiva en los que los usuarios se enfrentan unos contra otros para ver quién resuelve los problemas más rápidamente. En esos casos, cualquier ayuda adicional proporcionada a un usuario puede desvirtuar esa competición y hacer vencedor a alguien que no lo merece. El uso que se da a ¡Acepta el reto!, sin embargo, excede el ámbito puramente competitivo. El juez es utilizado en numerosas instituciones tanto en España como fuera de nuestro país como soporte para las clases. Esa ausencia de ayuda adicional es un problema que provoca desazón entre los alumnos, que tienen una tasa de éxito relativamente baja pues aproximadamente dos de cada tres soluciones enviadas al juez son incorrectas. El problema de la ausencia de realimentación en los alumnos es especialmente importante en la propia Facultad de Informática de la UCM en donde el juez se utiliza de forma extensiva en asignaturas de los tres primeros cursos de los distintos grados impartidos en ella. Además, desde el curso 2017/2018 el juez se utiliza también dentro del programa de mentorías académicas de la facultad. El funcionamiento básico de las mentorías es sencillo: alumnos de últimos cursos del grado hacen de tutores de alumnos de primeros cursos, ayudándoles a comprender la asignatura en cuestión, resolviéndoles dudas puntuales, proponiéndoles ejercicios a realizar, etc. Obviamente, esos alumnos-tutores están en comunicación permanente con el profesor de la asignatura para evitar cualquier discrepancia de criterios. Con este contexto, el proyecto de innovación cuya memoria final tienes entre manos se propuso añadir al portal educativo la capacidad de dar información más detallada sobre los errores cometidos por los estudiantes que envían soluciones a sus problemas. Esa información, que puede verse como “pistas”, debe tener en cuenta el problema concreto que el usuario trata de resolver y la solución enviada. Este objetivo enlaza perfectamente con el proyecto piloto de mentorías académicas mencionado anteriormente, pues permite que los tutores, atentos de los fallos cometidos por los alumnos, incorporen en los ejercicios seleccionados contestaciones específicas ante esos errores más comunes. Esas contestaciones pueden ser previamente validadas por los profesores de la asignatura. Sin embargo, esa necesidad no es específica de esas mentorías académicas. Desde el momento del lanzamiento del juez, tanto alumnos como profesores nos han reclamado como creadores del portal la extensión del sistema de veredictos para facilitar la corrección de los errores de las soluciones erróneas enviadas. Un objetivo secundario del proyecto era seguir haciendo crecer la colección de problemas con otros ejercicios directamente aplicables a las asignaturas en las que se utiliza el juez y objeto del proyecto piloto de mentorías académicas. Igual que antes, esa necesidad de ejercicios nuevos es también demandada por los propios profesores de la UCM y de instituciones externas que utilizan ¡Acepta el reto! en sus clases. Objetivos alcanzados Los objetivos del PIMCD se han cubierto satisfactoriamente. Por un lado, el sistema de pistas está funcionando y en uso y por otro lado se han creado más de 50 problemas nuevos. Metodología empleada en el proyecto La elaboración del proyecto involucraba varias tareas distintas descritas con algo más de detalle en una sección posterior: especificación y diseño del sistema de ayuda a incorporar en el juez, implementación y puesta en marcha de ese soporte, incorporación de pistas a los problemas ya existentes, uso de las pistas por parte de los alumnos-tutores y creación de problemas nuevos. Para la primera tarea se llevaron a cabo distintas reuniones entre el equipo de trabajo que dieron lugar a un pequeño documento que sirvió para la parte de implementación. Para esa implementación se utilizó la misma metodología que se ha utilizado para la construcción del resto del juez en línea: un sistema de control de versiones en donde los desarrolladores volcaban el código fuente que era probado en instalaciones locales antes de su publicación en el sistema en producción. Tras esa implementación, varias reuniones del equipo terminaron con la lista de problemas más adecuados para la incorporación de pistas, que fueron después utilizadas por los alumnos. La creación de problemas en el juez siguió una metodología similar a la descrita en la memoria final del proyecto de innovación docente 279 – Desarrollo de material educativo reutilizable para el portal educativo de la UCM “Acepta el reto” de la convocatoria 2015. Se utilizaron las herramientas que el portal tiene disponibles para la elaboración de ejercicios y un sistema de control de versiones para poder trabajar de forma colaborativa en los mismos. Recursos humanos Los recursos humanos con los que ha contado el proyecto han sido las diez personas que aparecían en la propuesta original. Por un lado, Marco Antonio Gómez Martín y Pedro Pablo Gómez Martín son los desarrolladores principales del portal y juez en línea y cuentan con amplia experiencia creando problemas, ejemplos y casos de prueba. Por otro lado, Alberto Verdejo, Isabel Pita y Clara Segura aportan también su experiencia en elaboración de problemas; no en vano participaron en un PIMCD anterior en el que se extendió la colección de problemas con 82 ejercicios nuevos. Además, son parte del equipo de profesores pertenecientes al equipo del proyecto piloto de mentorías académicas. También parte de ese proyecto piloto es Mercedes Gómez. Por último, y no menos importante, contamos con Jénnifer Hernández, Jesús Javier Domenech, Luis María Costero y Pedro Pablo Domenech que son usuarios activos del juez y alumnos (o antiguos alumnos) de las asignaturas objeto del programa de mentorías académicas. Desarrollo de las actividades La primera tarea del proyecto consistió en la definición del sistema de pistas. En esta definición se tuvo en cuenta los comentarios de todos los miembros del equipo así como la dificultad que las distintas ideas podrían tener en el momento de la implementación. La implementación se realizó durante los primeros meses de ejecución del proyecto. Al final el sistema de pistas se puso en marcha a tiempo para poder ser utilizado durante el proyecto de mentorías. Creemos que el sistema de pistas definido e implementado se adecúa perfectamente al uso para el que están pensadas. Todo comienza con la selección de los problemas en los que se quiere permitir el uso de pistas. El juez no se utiliza únicamente en contextos académicos, sino que también es usado en entornos competitivos por lo que un primer requisito era que no queríamos generalizar el sistema de pistas a todos los problemas. Es por esto por lo que las pistas se “activan” únicamente en los problemas escogidos. De esta forma, una persona planificando un concurso puede dejar fuera problemas que tienen habilitado el sistema de pistas. Una vez activadas esas pistas, hay dos alternativas para la incorporación de pistas: - Los profesores (o alumnos-tutores) identifican fallos típicos en los distintos problemas y proporcionan una explicación a ellos. Esa explicación se incorpora al sistema para poder ser utilizada posteriormente por los usuarios. - Los propios usuarios del portal pueden proponer pistas. Cuando un usuario envía una solución correcta que soluciona un problema de un envío anterior, se le da la posibilidad de añadir una breve explicación del fallo que puede ser utilizado como pista si otro usuario hace un envío erróneo equivalente. Tras la incorporación de pistas, cuando alguien realiza un envío incorrecto similar a otro con pista asociado se informa al usuario de que existe una explicación asociada al error y se le pregunta si quiere que se la proporcionemos. De esta forma es el estudiante el que decide si quiere una explicación personalizada que pueda ayudarle a resolver el problema o prefiere seguir probando por él mismo hasta alcanzar la solución.  Como decíamos antes, cuando el usuario consigue un envío correcto tras algún otro incorrecto, se le indica que puede colaborar con el sistema añadiendo una explicación:  La opción concreta aparece en la información del propio envío incorrecto en la que desaparece el botón para solicitar pista (al fin y al cabo ya has conseguido hacer bien el problema) y aparece un nuevo para proponer una pista. Se puede ver una descripción más detallada en la ayuda del propio juez disponible en la URL: https://www.aceptaelreto.com/doc/hints.php  

Spanish

Añadiendo mecanismos de ayuda en un juez on-line automático para soporte a mentorías académicas

https://docta.ucm.es/bitstreams/0de24843-4b8c-4e64-97fb-b166ef3540e6/download

Añadiendo mecanismos de ayuda en un juez on-line automático para soporte a mentorías académicas

Abstract

Similar works

Full text

Available Versions

Docta Complutense