Andreu Andrés, MA.; García Carbonell, A.; Watts Hooge, FI. (2014). Innovación y su evaluación en la enseñanza universitaria. Editorial Universitat Politècnica de València. 1130-1137. http://hdl.handle.net/10251/168624S1130113

Andreu Andrés, María Angeles

García Carbonell, Amparo

Watts Hooge, Frances Irene

Spanish

Andreu Andrés, MA.; García Carbonell, A.; Watts Hooge, FI. (2014). Innovación y su evaluación en la enseñanza universitaria. Editorial Universitat Politècnica de València. 1130-1137. http://hdl.handle.net/10251/1686241130113

RiuNet

Jornadas In-Red 2014Universitat Politècnica de València  2014, Universitat Politècnica de València I Jornadas In-Red (2014) Innovación y su evaluación en la enseñanza universitaria Mª Ángeles Andreu-Andrésa, Amparo García-Carbonellb y Frances Wattsc Dpto. de Lingüística Aplicada, Universitat Politècnica de València maandreu@idm.upv.esa  Dpto. de Lingüística Aplicada, Universitat Politècnica de València agarciac@upvnet.upv.esb  Dpto. de Lingüística Aplicada, Universitat Politècnica de València fwatts@upv.esc Abstract The changes that are taking place in higher education compel universities to provide students not only with knowledge, skills and attitudes but also with competences that can foster their professional success. The IEMA-UPV group, since it set forth on the complicated field of active learning assessment, has focused its interest on different aspects that merge into this type of learning and its assessment such as team working or innovation, central axis of the INCODE European project. Once a teaching methodology is implemented, assessment must test whether the goals pursued have been achieved. This paper presents the steps followed during the first phase of construction of the scoring rubric or INCODE Barometer, intended to aid in the development and assessment of innovation competence.  This phase reaches the first five steps addressed by defining the innovation competence, identifying and describing behaviours that underline the construct, developing an initial instrument as well as piloting tests with the initial instrument in order to enhance its design and carry out new tests of the revised instrument. Keywords: Innovation, competence, assessment, barometer, rubric, higher education 1130 Innovación y su evaluación en la enseñanza universitaria  2014, Universitat Politècnica de València I Jornadas IN-RED (2014) Resumen Los cambios que se están llevando a cabo en la enseñanza superior obligan a las universidades a dotar a sus estudiantes no solo de conocimientos, destrezas y actitudes sino de competencias que favorezcan su éxito profesional. El grupo IEMA de la UPV, desde que emprendió su andadura en el intrincado terreno de la evaluación del aprendizaje activo, ha centrado su interés en diferentes aspectos que confluyen y derivan en dicho aprendizaje y su evaluación tales como el trabajo en grupo o la innovación, siendo esta última el eje central del proyecto europeo INCODE. Una vez empleada una metodología se ha de comprobar a través de la evaluación si los logros perseguidos se han alcanzado y ratificar así el éxito de ésta. Este trabajo presenta los pasos seguidos en la primera fase de construcción del instrumento de evaluación o barómetro INCODE, diseñado con el objetivo de valorar la competencia de innovación y ayudar a fomentar su desarrollo.  Esta fase comprende las cinco primeras etapas en las que se define la competencia de innovación, se identifican y describen las pautas de comportamiento que son la base de tal competencia, seguido de un desarrollo inicial del instrumento, así como pruebas realizadas para alcanzar una mejora del diseño junto con nuevos tests del instrumento revisado.  Palabras clave: innovación, competencia, evaluación, barómetro, rúbrica, enseñanza universitaria Introducción Los cambios que se están llevando a cabo en la enseñanza superior dentro y fuera de nuestras fronteras obligan a las universidades a centrarse menos en un enfoque tradicional basado, fundamentalmente, en la transmisión de conocimiento a fin de dotar a sus estudiantes no solo de conocimientos, destrezas y actitudes sino también de competencias (Gillies y Howard, 2003). Unas competencias que las propias empresas empiezan a exigir a sus posibles empleados (García-Carbonell et al., en prensa) y que se pueden definir, según Villa y Poblete (2007:21), como “el buen desempeño en contextos diversos y auténticos basado en la integración y activación de conocimientos, normas, técnicas, procedimientos, habilidades y destrezas, actitudes y valores”; un saber hacer complejo resultado de la 1131Andreu-Andrés, M. A.; García-Carbonell, A. y Watts, F.   2014, Universitat Politècnica de València  I Jornadas IN-RED (2014) integración y adaptación de capacidades y destrezas a situaciones de características similares (Fernández-March, 2010; Lasnier, 2000) que permiten al individuo actuar por medio de una combinación eficaz de recursos internos y externos (Marin-García et al., 2013).  De igual modo, el interés empresarial por profesionales capaces de innovar está guiando a las universidades hacia un cambio de paradigma que tiene como retos no solo el perfilar los ingredientes de dichas competencias, sino una enseñanza-aprendizaje que permita su desarrollo y posterior evaluación en los futuros egresados.  Un interés, la innovación, que lleva consigo significados diferentes para cada interlocutor y que puede definirse como la introducción de algo radicalmente nuevo, bien sea una idea, un método, un instrumento o una invención, o bien la mejora de algo existente, útil para las personas y las organizaciones que satisface sus necesidades (Watts et al., 2013).  De ese modo, entendemos que una educación superior, propia de una universidad politécnica, que proporciona conocimiento para ser aplicado de manera innovadora más tarde en la vida laboral, debe ir dejando paso a la pedagogía de la innovación. Se trata de una estrategia de enseñanza-aprendizaje, lanzada por la Universidad de Ciencias Aplicadas de Turku (TUAS) en Finlandia (Kettunen, 2011), capaz de ofrecer ambientes de aprendizaje activo en los que se combinan diferentes maneras de saber hacer que desemboquen en ideas, productos o servicios innovadores aplicables al mundo de la empresa. Está basada fundamentalmente en el pragmatismo de Dewey (1925), el aprendizaje experiencial de Kolb (1984), el modelo de adquisición de destrezas a través de la experiencia de Dreyfus (Dreyfus y Dreyfus, 1986) —con sus cinco etapas de desarrollo— y el aprendizaje a través del desarrollo de proyectos (Raij, 2007), entre otros. Su principal objetivo se centra en la creación de innovaciones reales durante el proceso de aprendizaje al tiempo que contribuye al desarrollo de destrezas innovadoras (Kairisto-Mertanen, Kanerva-Lehto y Penttilä, 2009.) El grupo IEMA  (Innovación en la Evaluación para la Mejora del Aprendizaje Activo) de la Universitat Politècnica de València (UPV), desde que emprendió su andadura en el intrincado terreno de la evaluación del aprendizaje activo, ha centrado su interés en diferentes aspectos que confluyen y derivan en dicha enseñanza-aprendizaje y su evaluación tales como el trabajo en grupo o la innovación, siendo esta última el eje central del proyecto europeo INCODE (Desarrollo de Competencias de Innovación)1 en el que ha colaborado durante los últimos tres años con TUAS y otras dos universidades europeas para                                                             1  Unión Europea 518132-LLP-1-2011-1-FI-ERASMUS-FEXI  1132 Innovación y su evaluación en la enseñanza universitaria  2014, Universitat Politècnica de València I Jornadas IN-RED (2014) definir y crear un instrumento de evaluación de competencias para la innovación: el Barómetro INCODE. Una vez empleada una metodología se ha de comprobar a través de la evaluación si los logros perseguidos se han alcanzado y ratificar así el éxito de ésta. Este trabajo presenta los pasos seguidos en la primera fase de construcción del instrumento de evaluación o barómetro INCODE, diseñado con el objetivo de valorar la competencia de innovación y ayudar a fomentar su desarrollo, de acuerdo con las diez etapas descritas para el diseño por Onwuegbuzie et al. (2010). 1 Hacía el barómetro De esas diez etapas de diseño, este trabajo recoge las cinco primeras; en ellas se define la competencia de innovación, se identifican y describen las pautas de comportamiento que son la base de tal competencia, seguido de un desarrollo inicial del instrumento, así como los tests realizados para alcanzar una mejora del diseño junto con nuevas pruebas del instrumento revisado. Con la finalidad de completar los cinco pasos restantes, los resultados obtenidos se completarán con los datos que se obtengan a través de la experimentación con estrategias, dentro de la pedagogía de la innovación, como son las Research Hatcheries (Kanerva-Lehto et al. 2011; Räsänen y Kyllönen, 2013) que combinan aprendizaje, innovación e investigación. 1.1. Etapa primera Tras una pormenorizada revisión de la literatura a fin de identificar las posibles destrezas asociadas a las competencias de innovación y su importancia relativa al comportamiento innovador, éstas se agrupan según el modelo de Lehto et al. (2011), Penttilä and Kairisto-Mertanene (2012) y Watts et al. (2012) de acuerdo con tres dimensiones: individual, interpersonal y red. Dicha revisión de la literatura se complementa con entrevistas en profundidad con tres directores de Recursos Humanos de tres compañías diferentes conocidas por su innovación.  La dimensión individual está directamente relacionada con la creatividad, la perseverancia, la asunción de riesgos y la actitud personal, aspectos relacionados con la innovación.  La dimensión interpersonal gira en torno al liderazgo y la comunicación mientras que la de red está íntimamente relacionada con los valores éticos y la responsabilidad social además del trabajo colaborativo con personas de otras culturas y procedencias y la habilidad para crear una red de contactos.   1133Andreu-Andrés, M. A.; García-Carbonell, A. y Watts, F.  2014, Universitat Politècnica de València I Jornadas IN-RED (2014) 1.2. Etapas segunda y tercera Para determinar y describir los comportamientos que subyacen en cada una de las dimensiones y desarrollar un instrumento inicial de evaluación o barómetro, en la segunda y tercera etapa dichos comportamientos se ampliaron tras el trabajo realizado en grupos de discusión con doce investigadores en el campo, teniendo en cuenta las once competencias genéricas definidas por la organización no gubernamental dedicada a la acreditación de pro-gramas de educación universitaria en ciencias aplicadas, de computación e ingenierías y tecnología ABET (Accreditation Board for Engineering and Technology); todas ellas adoptadas a iniciativa de la OCDE (Organización para la Cooperación y Desarrollo Económico) para la evaluación de los resultados de aprendizaje en la educación superior (AHELO) y descritas por múltiples autores como Passow (2012), Andreu-Andrés y García-Casas (2014), Villa y Poblete (2007), Marin et al. (2011) o Montero-Fleta (2012).  1.3. Etapas cuarta y quinta En la fase de pilotaje del instrumento inicial, cuarta etapa, un primer listado de treinta y nueve comportamientos fue analizado y revisado por veinte académicos con experiencia en evaluación y, posteriormente, comentado y filtrado por diecinueve evaluadores. Teniendo en cuenta la calidad y funcionalidad de los criterios, el listado fue reducido a veinticinco; de ellos doce correspondían a la dimensión individual, ocho a la interpersonal y cinco a la de red. En la última etapa de esta primera fase, diecinueve evaluadores de diferentes campos y de manera simultánea participaron en la evaluación experimental de un vídeo en el que se mostraba el comportamiento de tres estudiantes que habían sido puestos ante una situación que requería una muestra de innovación para poder resolver un problema. Los evaluadores tenían tres opciones entre las que elegir en cada uno de los comportamientos: sí se ha observado el comportamiento, no se ha observado o no aplicable (n/a) si no se tenía evidencia de tal conducta. En esa evaluación se obtuvo un total de cincuenta y siete valoraciones. El análisis descriptivo de las puntuaciones y de aquellos comportamientos que se dejaron en blanco, y que se contabilizaron como ausentes, dio lugar a un filtrado tanto de evaluadores como de conductas. Los análisis de correspondencia múltiple identificaron posibles agrupaciones de variables de acuerdo con su frecuencia; la técnica analiza las relaciones entre las diferentes categorías de variables y ofrece como resultado un diagrama de dos dimensiones en el que la posición de cada variable es esencial ya que la proximidad entre ellas indica relación o asociación entre categorías de variables, mientras que la distancia muestra una falta de relación o 1134 Innovación y su evaluación en la enseñanza universitaria  2014, Universitat Politècnica de València I Jornadas IN-RED (2014) asociación. Para estudiar con detalle estos resultados se recomienda la lectura de Watts et al. (2012). 2. ConclusionesDe los resultados de los análisis realizados se desprende la existencia de diferencias entre las tres categorías, individual, interpersonal y de red, si bien en este estadio del estudio deben interpretarse con cautela al tratarse de una experiencia piloto con una única grabación. La falta de puntuaciones en algunos comportamientos y el hecho de que se recurra a la opción  n/a  muestra con claridad la necesidad de entrenar a los evaluadores antes de utilizar el barómetro.  Los siguientes pasos han de dirigirse hacia nuevas pruebas de campo tanto con estudiantes como con evaluadores de diferentes procedencias y lenguas a fin de poder completar la validación del instrumento. Los resultados obtenidos en esta primera fase de la construcción del barómetro así como en la validación han de completarse en una última etapa con los datos que se obtengan para evaluar tanto el proceso como el producto a través de la experimentación en el aula por medio de la implementación de la metodología de enseñanza-aprendizaje acuñada como Research Hatchery. 3. ReferenciasANDREU-ANDRÉS, Mª Á. y García-Casas, M. (2014). Evaluación del pensamiento crítico en el trabajo en grupo. Revista de Investigación Educativa, 32(1), 203-222. DEWEY, J. (1925). Experience and nature. LaSalle. IL: Open Court. DREYFUS, H. L., y DREYFUS, S. E. (1986). Mind over machine: The power of human intuition and expertise in the age of the computer. Oxford: Basil Blackwell FERNÁNDEZ-MARCH, A. (2010). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. Revista de Docencia Universitaria, 8(1), 11-34. GARCÍA-CARBONELL, A., ANDREU-ANDRÉS, Mª Á. y WATTS, F. (en prensa). “Simulation and Gaming as the future’s language of languages for professional competences acquisition” en Back to the Future of Gaming. GILLIES, A. y HOWARD, J. (2003), Managing change in process and people. TQM and Business Excellence, 14(7), 797-805. 1135Andreu-Andrés, M. A.; García-Carbonell, A. y Watts, F.  2014, Universitat Politècnica de València I Jornadas IN-RED (2014) KAIRISTO-MERTANEN, L., KANERVA-LEHTO, H. y PENTTILÄ, T. (2009). Reports from Turku University of Applied Sciences 92. Turku: University of Applied Sciences. KANERVA-LEHTO, H.,  LEHTONEN, J., JOLKKANEN, A. Y RIIHIRANTA, J. (2011). “Research Hatchery. A concept for combining learning, developing and research” en Lehto. Kairisto-Mertanen y Penttlilä, Towards Innovation Pedagogy. A New Approach to Teaching and Learning for Universities of Applied Sciences. Reports 100. Turku: University of Applied Sciences, 26-34. http://julkaisut.turkuamk.fi/isbn9789522161697.pdf [Consulta: 3 de junio de 2014]. KETTUNEN, J. (2011). “Innovation Pedagogy for Universities of Applied Sciences” en Creative Education, 2(1), 56-62. KOLB, D. (1984). Experiential learning: experience as the source of learning and development. Englewood Cliffs, NJ: Prentice Hall. http://academic.regis.edu/ed205/kolb.pdf [Consulta: 31 de mayo de 2014]. LEHTO, A., KAIRISTO-MERTANENE, L. y PENTTILÄ, T. (2011). Towards Innovation Pedagogy. A New Approach to Teaching and Learning for Universities of Applied Sciences. Reports 100. Turku: University of Applied Sciences. MARIN-GARCÍA, J. A., AZNAR-MAS, L. E. y GONZÁLEZ-LADRÓN-DE-GUEVARA, F. (2011). “Innovation types and talent management for innovation”. Working Papers on Operations Management, 2(2), 25-31. MARÍN-GARCÍA, J.A., PÉREZ-PEÑALVER, Mª J. y WATTS, F. (2013). “How to assess innovation competences in services: The case of university students”. Dirección y Organización, 50, 48-62. http://www.revistadyo.com/index.php/dyo/article/view/431 [Consulta: 3 de junio de 2014]. MONTERO-FLETA, B. (2012). “Looking beyond linguistic outcomes: active learning and professional competencies in higher education”. Procedia-Social and Behavioral Sciences, 46, 1812-1819.  ONWUEGBUZIE, A. J., BUSTAMANTE, R. M., NELSON, J. A. (2010). “Mixed Research as a Tool for Developing Quantitative Instruments”. Journal of Mixed Methods Research, 4(1), 56-78. PASSOW, H. J. (2012). “Which ABET competencies do engineering graduates find most important in their work?” Journal of Engineering Education, 101(1), 95-118. PENTTILÄ, T. y KAIRISTO-MERTANENE, L. (2012). “Innovation competence barometer ICB - a tool for assessing students' innovation competences as learning outcomes in higher education”. INTED2012 Conference. 5-7 marzo 2012, 6347-6351. RAIJ, K. (2007). Learning by developing. Laurea Publications, A 58. Helsinki: Edit Prima. http://esdhweb.ucl.dk/133272.Learning%20by%20Developing,%20artikel%20Katarina%20Raij.pdf  [Consulta: 1 de junio de 2014]. 1136 Innovación y su evaluación en la enseñanza universitaria  2014, Universitat Politècnica de València I Jornadas IN-RED (2014) RÄSÄNEN, M. y KYLLÖNEN, A. Eds. (2013). Research Hatchery as a Cradle for New Innovators. Handbook for Implementation. Turku: Turku University of Applied Sciences. http://julkaisut.turkuamk.fi/isbn9789522164223.pdf [Consulta: 6 de junio de 2014]. VILLA, A. y POBLETE, M. (2007). Aprendizaje basado en competencias. Una propuesta para la evaluación de las competencias genéricas. Bilbao: Universidad de Deusto. WATTS, F., GARCÍA-CARBONELL, A. y ANDREU-ANDRÉS, Mª Á. (2013). Innovation Competencies Development. INCODE Barometer and User Guide. Turku: Turku University of Applied Sciences. http://julkaisut.turkuamk.fi/isbn9789522164254.pdf [Consulta: 1 de junio de 2014]. WATTS, F., MARIN-GARCIA, J. A., GARCIA-CARBONELL, A. y AZNAR-MAS, L. E. (2012). “Validation of a rubric to assess innovation competence”. Working Papers on Operations Management, 3(1), 61-70. 1137

Innovación y su evaluación en la enseñanza universitaria

https://riunet.upv.es/bitstream/10251/168624/1/Andreu%3bGarc%c3%ada%3bWatts%20-%20Innovac%c3%b3n%20y%20su%20evaluac%c3%b3n%20en%20la%20ense%c3%b1anza%20unverstara.pdf

Innovación y su evaluación en la enseñanza universitaria

Abstract

Similar works

Full text

Available Versions

RiuNet