Actas de: VII Jornada de Innovación Pedagógica. Proyecto ADA-Madrid: Experiencias de evaluación en e-learning. Madrid, 13 abril 2012.La evaluación de software educativo puede definirse como el proceso de recogida de información que permita diseñar y mejorar la eficiencia de un producto instruccional. En este artículo describimos una experiencia práctica desarrollada para evaluar diferentes aspectos definidos como indicadores de calidad del software educativo. Para ello se han evaluado dos versiones de un mismo programa informático de forma comparativa considerando asimismo su relación con la docencia tradicional.The evaluation of educational software can be defined as the process of gathering information to design and improve the efficiency of instructional elements. In this paper we describe an experience developed to evaluate different aspects defined as quality indicators of educational software. To do this, two versions of the same multimedia software have been evaluated also considering its relationship with traditional teaching.Publicad

Barat, José Manuel

Griol, David

Molina, José M.

Palau, Carlos

Name not available

Experiencia de evaluación formativa de un software educativo

Universidad Carlos III de Madrid e-Archivo

Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 60  Experiencia de evaluación formativa de un software educativo  David Griol. José Manuel Molina.  Universidad Carlos III de Madrid. Departamento de Informática. Escuela Politécnica Superior. Avda. de la Universidad, 30. 28911 Leganés. España. dgriol@inf.uc3m.es     molina@ia.uc3m.es  José Manuel Barat. Carlos Palau.  Universidad Politécnica de Valencia. Departamento de Tecnología de Alimentos Departamento de Comunicaciones. Camí de Vera s/n. 46022 Valencia. España. jmbarat@tal.upv.es     cpalau@dcom.upv.es     Resumen: la evaluación de software educativo puede definirse como el proceso de recogida de información que permita diseñar y mejorar la eficiencia de un producto instruccional. En este artículo describimos una experiencia práctica desarrollada para evaluar diferentes aspectos definidos como indicadores de calidad del software educativo. Para ello se han evaluado dos versiones de un mismo programa informático de forma comparativa considerando asimismo su relación con la docencia tradicional.  Palabras clave: Software Educativo. Evaluación. Aprendizaje Autónomo. Tele-Educación.  Abstract: The evaluation of educational software can be defined as the process of gathering information to design and improve the efficiency of instructional elements. In this paper we describe an experience developed to evaluate different aspects defined as quality indicators of educational software. To do this, two versions of the same multimedia software have been evaluated also considering its relationship with traditional teaching.  Keywords: Educative Software. Evaluation. Autonomous Learning. Tele-Education. E-Learning.   INTRODUCCIÓN  A medida que la cantidad y variedad de software educativo crece, surge la necesidad correspondiente por realizar su evaluación con el objetivo de valorar su conveniencia para su propósito intencional (Majó y Marqués, 2002). Los educadores necesitan saber si un determinado software puede utilizarse para mejorar la enseñanza, los alumnos deben conocer cómo podría mejorar su aprendizaje, y los evaluadores deben recomendar qué criterios utilizar. La evaluación de software puede considerarse un proceso dinámico cuya finalidad Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 61 es encontrar problemas y hacer recomendaciones que permitan mejorar la calidad del programa durante las fases de diseño y desarrollo (Le y Le, 2007; Pérez Juste, 2000). Existen numerosas técnicas y modelos para llevar a cabo la evaluación, muchas de ellos todavía difusos (Geissinger, 1997): modelos de evaluación heurística, enfoques pluralistas, inspecciones de uso formal, métodos empíricos, puntos de vista cognitivo, análisis de diseño evaluador, etc. Asimismo, pueden aplicarse diferentes criterios e indicadores de calidad del software evaluado (Kizlik, 2006): objetivos logrados, tratamiento de errores, elementos multimedia, individualización, etc. Por último, cabe decidir el método de recogida de información utilizado: observación, entrevista, cuestionario, matriz de evaluación, etc. El propósito de este artículo es mostrar la aplicación del proceso evaluador en el caso específico de herramienta educativa desarrollada como apoyo a la docencia. Tal y como se describe seguidamente, la evaluación ha conllevado el desarrollo de varias versiones del  software a evaluar, así como el diseño de un cuestionario de evaluación para recoger la opinión de los alumnos.  EXPERIENCIA Y PROGRAMA EDUCATIVO DESARROLLADO  Como aplicación práctica del proceso de evaluación de software educativo nos hemos basado en un programa desarrollado en el ámbito de la Ciencia y Tecnología de los Alimentos (Barat et al., 2001). El programa tiene una finalidad principalmente didáctica, formando parte de una serie de programas encaminados a los sistemas de extracción que se utilizan en la industria de los alimentos. Se pretende que el alumno se familiarice con la toma de decisiones y aumente su motivación para poder trabajar con un producto tan complejo, complicado y heterogéneo como son los alimentos (Toledo, 1991).  Para la experiencia se desarrollaron dos versiones de la herramienta, ambos con el mismo código fundamental, variando únicamente la presentación en pantalla (Fig. 1). Por un lado, se desarrolló una versión visual que posee una estructura de menús y de pantallas con elementos visuales (botones, menús, etc.) y que permite la representación gráfica de los resultados. Por otro, se desarrolló una versión que emula los típicos programas MS-DOS, poseyendo una única pantalla de color negro para introducir los datos numéricos correspondientes a cada caso práctico La experiencia se realizó con alumnos de la asignatura Ampliación de Ingeniería de Alimentos de la licenciatura de Ingeniería de los Alimentos de la E.T.S. de Ingenieros Agrónomos (Universidad Politécnica de Valencia). Los alumnos se distribuyeron aleatoriamente en tres grupos de tamaño similar (47, 48 y 47 alumnos) y se les planteó exactamente el mismo ejercicio a resolver. El primer grupo realizó un examen tradicional, mientras que los otros dos lo realizaron utilizando la aplicación a evaluar: unos la versión MS-DOS y otros la versión visual.  Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 62    Figura 1. Versión visual y MS-DOS de la herramienta desarrollada   RESULTADOS DE LA EVALUACIÓN  La experiencia evaluó seis aspectos fundamentales: i) Comparación entre enseñanza tradicional y programas informáticos: Se evaluó el grado de valoración de los programas educativos por parte de los alumnos; ii) Presentación y facilidad de uso: Se definieron una serie de preguntas para medir las dificultades e inconvenientes que los alumnos han encontrado en el uso y presentación de la herramienta; iii) Contenidos y funcionamiento del programa: Se evaluó el correcto funcionamiento de la herramienta, así como la coherencia y calidad de sus contenidos; iv) Comparación programa visual y programa MS-DOS: Con este bloque de preguntas se evaluó la idoneidad de los elementos visuales y su incorporación en programas multimedia educativos; v) Manejo del ordenador: Se evaluó el grado de conocimientos informáticos de los alumnos y su influencia en la prueba. Las posibles respuestas para las diferentes preguntas definidas en cada bloque se cuantificaron entre 0 (NS/NC) y 5.  Comparación enseñanza tradicional y programas informáticos  Se utilizaron las siguientes preguntas: i) P1: El programa informático es adecuado para mejorar los conocimientos adquiridos en clase; ii) P2: Permite la reducción del tiempo y esfuerzos necesarios para aprende; iii) P3: Pienso que el ordenador será el “docente” del futuro; iv) P4: Es interesante elaborar programas que apoyen a la enseñanza tradicional, pero nunca llegarán a substituirla. La Fig. 2 muestra los resultados de la evaluación. La pregunta P1 consigue una valoración muy similar en los tres grupos, obteniendo una valoración media de 3,85. Este dato nos indica que los alumnos valoran positivamente la utilización de programas informáticos como apoyo a la docencia tradicional y como una mejora de cara a reducir el tiempo y esfuerzo requeridos por el proceso de aprendizaje. Las preguntas P2, P3 y P4 refuerzan esta idea, ya que obtienen una nota media similar a la anterior. Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 63 La pregunta P2 es la que ha obtenido una mayor nota media (4,58) entre todas las del test. En ella, los alumnos muestran que conocen la importancia de familiarizarse con programas de este tipo, ya que en un futuro muy cercano lo deberán hacer para sus puestos de trabajo. Respecto al papel de las aplicaciones multimedia en el futuro de la enseñanza, las respuestas dadas por los alumnos nos permiten extraer que el software educativo es útil como apoyo a la docencia tradicional pero nunca llegará a substituirla (4,20) y que este tipo de software ayuda a hacer más entretenida la enseñanza (3,96). La pregunta P3 merece un comentario aparte. En ella se cuestionaba si el ordenador sería el profesor del futuro, idea que es acogida favorablemente por los alumnos que utilizaron la herramienta multimedia. Sin embargo, los alumnos que realizaron el examen tradicional sólo la valoran con un 2,83.   Pregunta P1   Pregunta P2   Pregunta P3   Pregunta P4  Figura 2. Evaluación comparativa entre la enseñanza tradicional y la formación on-line.   Presentación y facilidad de uso del programa  Se utilizaron las siguientes preguntas: i) P5: El programa permite ser explorado sin excesiva dificultad; ii) P6: Se trata de un programa fácil de usar, agradable y autoexplicativo; iii) P7: Programa abierto a todos los usuarios y no sólo al profesorado y profesionales del sector; iv) P8: Es fácil familiarizarse rápidamente con el programa. La Fig. 3 muestra los resultados de la evaluación. El primer aspecto a comentar es la diferencia existente en la valoración de la facilidad de exploración del programa. Mientras que los alumnos que utilizaron la versión visual no encuentran excesiva dificultad (la pregunta P5 obtiene una nota media de 4,38), la versión MS-DOS sólo obtiene un 3,32. La conclusión que puede extraerse es la gran ayuda que proporcionan los elementos visuales (menús, botones, gráficos, etc.) a la hora de interactuar con la herramienta. Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 64 Respecto a la valoración de la facilidad de uso, el programa obtiene una nota media de 4,21, existiendo una diferencia de 0,77 puntos entre ambos tipos de programas. Asimismo, los dos grupos opinan que es fácil familiarizarse rápidamente con el programa (4,24 de media). De ello concluimos que los elementos visuales cumplen una función fundamental en la familiarización e interacción con el programa. Otro punto que se evaluó es el referente a la opinión de los alumnos respecto a los usuarios potenciales de la herramienta. Se puede concluir que los alumnos opinan que es un programa destinado tanto a los profesionales del sector y profesorado, como para estudiantes. Por último, merece destacarse la importancia de la valoración de la incorporación de la herramienta junto a otros programas educativos (4,15), ya que es la finalidad última que deseamos alcanzar con nuestro trabajo.     Pregunta P5   Pregunta P6   Pregunta P7   Pregunta P8  Figura 3. Evaluación de la presentación y facilidad de uso del programa educativo.   Contenidos y funcionamiento del programa  Se utilizaron las siguientes preguntas: i) P9: El programa cumple los objetivos educativos que tenía previstos (servir como herramienta de cálculo del proceso de extracción); ii) P10: El programa se cuelga frecuentemente, no previniendo errores; iii) P11: Teniendo en cuenta las limitaciones del sistema operativo Windows, creo que es un buen programa; iv) P12: Considero que el programa me proporciona la suficiente ayuda para poder consultar mis dudas. La Fig. 4 muestra los resultados de la evaluación. Con referencia al funcionamiento del programa merecen destacarse las respuestas a los alumnos a las preguntas que evalúan el grado de desarrollo de la aplicación, los procesos de cuelgue y la coherencia del programa. Las mejores calificaciones las obtiene el programa visual, destacando las medias 4,11 y de 3,37 que obtienen respectivamente la versión visual y la versión MS-DOS en la pregunta 11. Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 65 Respecto a la prevención de errores y el grado de desarrollo de la aplicación, las respuestas de los alumnos nos indican que existe una mejor valoración de la versión visual. Los principales motivos son una mayor apreciación de la versión visual por lo que respecta al uso de los diferentes periféricos, tolerancia a presiones accidentales de teclas, semejanza con otros programas utilizados y movimientos por el programa. Además, los alumnos que utilizaron la versión visual consideran que la ayuda del programa es la suficiente para poder interactuar con el programa para resolver los problemas propuestos, a diferencia de la versión MS-DOS, que es considerada más complicada y con insuficiente ayuda. En referencia a los contenidos, los alumnos opinan que no contiene faltas de ortografía (4,18), no discrimina por ningún tipo de razón (4,56) y concuerda con las clases teóricas recibidas (3,99). Finalmente, merece destacarse que los alumnos consideran que la información que presenta el programa es correcta y que éste proporciona una rapidez de respuesta frente a los requerimientos del usuario.    Pregunta P9   Pregunta P10   Pregunta P11   Pregunta P12  Figura 4. Evaluación de los contenidos y funcionamiento del programa.   Comparación programa visual y programa MS-DOS  Se utilizaron las siguientes preguntas: i) P13: Considero útil que se representen gráficamente los resultados, no bastando con mostrar simplemente su valor; ii) P14: Los elementos visuales interfieren negativamente en los aprendizajes; iii) P15: El hecho de realizar un programa visual permite incorporar funciones adicionales; iv) P16: Los diferentes elementos multimedia son parte relevante del programa. La Fig. 5 muestra los resultados de la evaluación. Los alumnos que utilizaron alguna de las versiones del programa consideran fundamental la representación gráfica de los resultados (4,11), así como la importancia de utilizar elementos visuales para lograr aprendizajes más completos. Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 66 En conclusión, los alumnos opinan que los elementos visuales adquieren una gran importancia para aumentar la motivación, incorporar las nuevas tecnologías en el proceso educativo y mejorar el grado de aprendizaje.    Pregunta P13   Pregunta P14   Pregunta P15   Pregunta P16  Figura 5. Evaluación de la comparativa entre el programa visual y el programa MS-DOS   Manejo del ordenador  Se utilizaron las siguientes preguntas: i) P17: En caso de haber encontrado dificultades en el manejo del programa, creo que se deben a mi grado de habituación que dispongo con los ordenadores; ii) P18: Tengo claro la diferencia entre hardware y software; iii) P19: Conozco el funcionamiento del correo electrónico, buscadores de información, programas de navegación; iv) P20: El uso de la informática complica la enseñanza. La Fig. 6 muestra los resultados de la evaluación. Respecto a los conocimientos que poseen los alumnos que participaron en la experiencia, las respuestas a este bloque de preguntas nos indican que en general estos resultados son pobres. No se tiene clara la diferencia entre hardware y software, no se conoce ningún lenguaje de programación, únicamente se destacan conocimientos del uso de las redes sociales y de acceso a Internet, y se achaca a la falta de conocimientos informáticos como causa de de las dificultades encontradas en el manejo de la herramienta. No obstante, los alumnos suelen utilizar el ordenador en tareas relacionadas con sus estudios y manejan habitualmente los servicios de red. Por último, merece destacarse que los alumnos piensan que la Informática no complica la enseñanza, siendo su aplicación en la enseñanza aconsejable con el fin de mejorarla.  Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 67 CONCLUSIONES  A lo largo de este artículo se ha expuesto la problemática existente cuando se intenta realizar la evaluación de software educativo. Los criterios de evaluación son muy difusos, la bibliografía sobre el tema es escasa y el proceso a seguir destaca por su complejidad. Se ha descrito esta complejidad mediante el desarrollo de una experiencia práctica consistente en la evaluación comparativa de diferentes versiones de un mismo software y su relación con la docencia tradicional.    Pregunta P17   Pregunta P18   Pregunta P19   Pregunta P20  Figura 6. Evaluación del manejo de los ordenadores y uso de aplicaciones informáticas.   BIBLIOGRAFÍA  Barat, J.M., Griol, D., Fito, P.J., Palau, C. y Fito, P. (2001). Cálculo visual de la operación de separación por contacto discontinuo entre dos fases fluidas inmiscibles. Herramientas de Cálculo en Ingeniería de Alimentos. Proyecto XI.11. Editorial UPV, pp. 71-91.  Geissinger, H. (1997). Educational software: Criteria for evaluation. In R. O. R. P. R. Kevill (Ed.), Proceedings of ASCILITE'97 on what works and why? Perth, WA: Curtin University of Technology, pp. 219-225.  Kizlik, B. (2006). How to Write Learning Objectives that Meet Demanding Behavioral Criteria. Consultado el 9 de febrero de 2012 en: http://www.adprima.com/objectives.htm   Le, Q. y Le, T. (2007). Evaluation of educational software: Theory into practice. Technology and Teaching, Nova Science Publishers, pp. 115-124.  Relada 6(1): 60-68, 2012                                              ISSN: 1988-5822 68 Majó, J.; y Marqués, P. (2002). La revolución educativa en la era Internet. Barcelona. Praxis.  Pérez Juste, R. (2000). La evaluación de programas educativos: Conceptos básicos, planteamientos generales y problemática. Revista de Investigación educativa, 18, 2, pp. 261-287.  Toledo, R.T. (1991) Fundamentals of Food Process Engineering. Extraction .Van Nostrand Reinhold, NY (USA), pp. 548-566.   Recibido: 17 febrero 2012. Aceptado: 16 marzo 2012.  

http://e-archivo.uc3m.es/bitstream/handle/10016/18699/experiencia_griol_molina_RELADA_2012.pdf?sequence=1&isAllowed=y

Experiencia de evaluación formativa de un software educativo

Abstract

Similar works

Full text

Available Versions

Name not available

Universidad Carlos III de Madrid e-Archivo

Name not available