Depto. de Análisis Económico y Economía CuantitativaFac. de Ciencias Económicas y EmpresarialesFALSEsubmitte

Arellano Espinar, Francisco Alfonso

Azor Martinez, Gerardo

Barge Gil, Andres

Cerdá Tena, Emilio Jaime

Di Meglio Berg, Gisela

Jerez Mendez, Miguel

Perez Asurmendi, Patrizia

Sartarelli, Marcello

Sotoca López, Sonia

Topan, Ligia Elena

Docta Complutense

Proyecto de InnovaciónConvocatoria: 2020/2021Nº de proyecto: 272Evaluación Continua, Trabajo en Equipo y Aprendizaje Presencial u Online (ECTEAPO)Responsable del proyecto: Marcello SartarelliFacultad de Ciencias Económicas y EmpresarialesDepartamento: Análisis Económico y Economía Cuantitativa1 Objetivos propuestos en la presentación del proyectoEl proyecto ECTEAPO consta de dos objetivos generales. El primero se centra en cuantificar elpapel de la evaluación continua de alta frecuencia, entendida como la realización de pruebas deevaluación semanales o bisemanales, en el aprendizaje y en la calificación final obtenida por losalumnos en la asignatura de Econometrı́a. Esta asignatura tiene caracter obligatorio y se imparte enel tercer curso de los Grados de Administración y Dirección de Empresas (ADE), Economı́a, ADEe Ingenierı́a Informática y en el cuarto curso del Grado en Economı́a, Matemáticas y Estadı́stica.El segundo consiste en medir el papel que el trabajo en equipo de los alumnos juega a la horade preparar y estudiar los contenidos de las asignaturas. Para este iniciar dicho análisis resultanecesario recoger información sobre la formación de redes informales de estudio entre alumnospara una o más asignaturas.Nuestro proyecto extiende de manera ostensible el proyecto “Implementación de Pruebas Individ-uales Periódicas para la Evaluación Continua en Métodos Cuantitativos (IPIPEC)” de la convocatoriaINNOVA 2019/20 de la UCM (https://eprints.ucm.es/61262/) en distintas vertientes. En el as-pecto metodológico cabe destacar que en el proyecto ECTEAPO se ha planificado la implementaciónde la evaluación continua de alta frecuencia siguiendo los estándares en la literatura relacionada conel papel de la evaluación continua en el desempeño de los estudiantes. Además, el equipo de miem-bros del proyecto se ha ampliado con el objetivo de tener acceso a una mayor información sobreel efecto de la EC en la calificación final de los estudiantes de Econometrı́a. Sin embargo, en esteproyecto se ha mantenido ciertos aspectos del proyecto anterior como el uso de la retroalimentaciónen cada una de las pruebas. En concreto, los estudiantes han tenido acceso a una extensa retroal-imentación sobre los errores cometidos en cada prueba y sobre la manera correcta de resolver losejercicios inmediatamente después de la realización de la mismas.2 Objetivos alcanzadosDurante la duración del proyecto se ha trabajado en la consecución de los objetivos generales através de los hitos que se detallan a continuación:1. Se ha cuantificado el impacto de la evaluación continua de alta frecuencia en la calificación finalde los alumnos de la asignatura de econometrı́a por medio de un análisis comparativo entrelos resultados obtenidos por los alumnos que han pertenecido a grupos donde la frecuenciade las pruebas ha sido muy elevada y los correspondientes a estudiantes en grupos dondela frecuencia ha sido menor. Aunque como explicamos con mayor detalle en la sección 5, espronto para tener resultados concluyentes, el efecto que hemos encontrado es el esperado enel caso de los grupos del Grado en Administración y Dirección de Empresas. No sucede lomismo en el caso de los grupos del Grado en Economı́a.2. Adicionalmente, se ha estudiado la diversidad de los resultados controlando factores como elsexo del individuo y el Grado en el que está matriculado. Los resultados concretos se detallanen la sección 5.3. Con respecto al segundo objetivo del proyecto, se ha iniciado la recogida de información paraevaluar el efecto de las redes informales de estudio en el desempeño de los estudiantes. En1ese sentido se ha determinado cómo recoger dicha información y cómo clasificarla. Dada laescasez actual de datos, el análisis cuantitativo no ha sido posible por el momento.El grado de satisfacción con los objetivos alcanzados por parte de los miembros del proyecto eselevado dado que se ha conseguido implantar una metodologı́a que en los próximos cursos darálugar a una gran cantidad de información con la que poder contrastar de forma fiable el papel dela evaluación continua de alta frecuencia en el desempeño de los alumnos ası́ como de las redesinformales de estudio.3 Metodologı́a empleada en el proyectoEl desarrollo del proyecto ha implicado el uso de técnicas estadı́sticas, econométricas e informáticas.Seguidamente, se detalla con mayor profundidad cada una de ellas:1. Se ha diseñado un cuestionario, siguiendo la métodos estadı́sticos, para obtener informaciónsobre el sexo de los estudiantes, el Grado en el que están matriculados y su participación enredes informales de estudio. A su vez, se ha elaborado una base de datos, donde ademásde la información recogida en el cuestionario se ha incluido la calificación en el examen finalde la asignatura. Dicha base de datos cuenta con 360 observaciones que corresponden atodos aquellos estudiantes que realizaron el examen final de Econometrı́a en la convocatoriaordinaria del curso 20-21. También se han empleado técnicas descriptivas para evaluar lainformación ası́ como contrastes de hipótesis para cuantificar el papel de la evaluación continuade alta frecuencia en la calificación final en la asignatura.2. Se han utilizado modelos econométricos, estimados por medio de Mı́nimos Cuadrados Ordi-narios, para extraer conclusiones sobre la información obtenida. Cabe destacar que en lasestimaciones que se presentan en la sección 5 se han excluido a los estudiantes del DobleGrado en Economı́a, Matemáticas y Estadı́stica, dado que la habilidad de dichos estudiantesno es comparable a la del resto, teniendo en cuenta tanto su calificación en la prueba de ac-ceso a la universidad como sus calificaciones en el grado. La estimación de dichos modelos ysu análisis se ha realizado por medio del programa Stata.3. Se ha implementado el banco de preguntas para la evaluación continua en el entorno Moodlea través de un trabajo intensivo en latex. De esta manera, se ofrece la posibilidad a todoslos miembros del proyecto de utilizar un banco común de preguntas en un entorno conocido,accesible y que permite la realización de pruebas muy frecuentes con un coste limitado parael docente. Esto supone una clara mejora con respecto al uso del programa AMC que seutilizó en el proyecto IPIPEC, para realizar las pruebas de evaluación continua, dado que soloestaba disponible en las distribuciones de Linux y en Apple. Los grupos donde se han realizadopruebas de evaluación continua de alta frecuencia han sido ADE-D, ADE-Informática, ECO-By ECO-E. A pesar de lo anterior, no se ha abandonado el uso de AMC en su totalidad yaque se utilizó para realizar la corrección automática de los exámenes finales de los miembrosdel grupo. Gracias a AMC, se obtuvo información relevante sobre el desempeño de cadaestudiante en cada pregunta del cuestionario final. Dicha información ha quedado archivadade cara a identificar cuáles son las preguntas que por su contenido resultan más difı́ciles a2los estudiantes y que hipotéticamente deberı́an verse más afectadas de manera positiva por laevaluación continua de alta frecuencia.4 Recursos humanosEl equipo docente e investigador implicado en este proyecto está compuesto por los siguientes miem-bros del Departamento de Análisis Económico y Economı́a Cuantitativa de la Facultad de CienciasEconómicas y Empresariales de la UCM:• Francisco Alfonso Arellano Espinar (alfonso.arellano@pdi.ucm.es)• Gerardo Azor Martı́nez (gazor@ucm.es)• Andrés Barge Gil (abarge@ucm.es)• Gisela Di Meglio Berg (gdimeglio@ccee.ucm.es)• Miguel Jerez Mendez (mjerez@ccee.ucm.es)• Patrizia Pérez Asurmendi (patrizip@ucm.es)• Marcello Sartarelli (msartare@ucm.es)• Sonia Sotoca López (sotoca@ccee.ucm.es)• Ligia Elena Topan (ligiatop@ucm.es).Todos los miembros han colaborado con el proceso de recogida de los datos. El diseño de loscuestionarios, de la base de datos, el análisis econométrico, el trabajo en Moodle y la escritura de lamemoria han sido realizados porn Andrés Barge Gil, Patrizia Pérez Asurmendi y Marcello Sartarelli.5 Desarrollo de las actividadesA lo largo del proyecto se han desarrollado las siguientes actividades:1. Se han implementado dos modalidades de evaluación continua en los grupos correspondientesa los miembros del proyecto, de manera que en algunos grupos se ha realizado una evaluacióncontinua de alta frecuencia mientras que en otros, ha sido de baja frecuencia.2. Para facilitar la realización de las pruebas y para que el contenido de las mismas fuese com-parable independientemente del grupo en el que se realizaran, se ha hecho más accesible elbanco de preguntas del proyecto IPIPEC al ser implementado no solo por medio del programaAMC (disponible en las distribuciones de Linux y en el sistema operativo de Apple) sino tambiénpor medio de Moodle.3. Se ha diseñado un cuestionario distribuido a los alumnos en la convocatoria ordinaria pararecoger información sobre algunas caracterı́sticas de los individuos como el sexo, el grado enel que están matriculados y su participación en redes informales de estudio.34. Se ha implementado la corrección automática en el examen final de la convocatoria ordinariapara recoger información sobre la nota final de cada alumno y también sobre las calificacionesen cada una de las preguntas que componen dicho examen.5. Se ha creado una base de datos donde se ha agrupado la información recogida en el cues-tionario referido en el punto 3 de este listado y la proporcionada por la corrección automáticade examen final de la convocatoria ordinaria del curso 20-21.6. Con la información disponible se ha contrastado si una alta frecuencia en la realización depruebas de evaluación conlleva una mejor calificación en el examen final. El supuesto quesubyace en la hipótesis anterior es que la realización de pruebas de manera frecuente induceun estudio continuado por parte de los alumnos a lo largo de la asignatura, que se materializaen un mejor aprendizaje y por consiguiente en una calificación final más alta. El resultado dedicho contraste y el análisis descriptivo de la información obtenida se ofrece a continuación.La Figura 1 muestra que la calificación final en los grupos de ADE que han realizado pruebasde la evaluación continua con alta frecuencia (en adelante ECAF) supera a la de los grupos de ADEque han realizado pruebas de la evaluación continua con baja frecuencia (en adelante ECBF). Sinembargo, observamos lo opuesto se observa para los estudiantes del grado en ECO.Para cuantificar el efecto de la ECAF en la calificación en el examen final, se contrasta en primerlugar si en conjunto la ECAF está asociada a una calificación más alta en el examen final y, segundo,si se observan diferencias en el efecto de la ECAF por sexo o por grado.Figura 1: Calificaciones medias en el examen final para estudiantes en grupos con alta y baja fre-cuencia en la evaluación continua (EC)0246810Calificación media en el examen finalEC baja frec. EC alta frec.ADE ECOLa Tabla 1 refleja estadı́sticas descriptivas para las variables en la base de datos, obtenidasusando la totalidad de la muestra de 360 estudiantes y segregando en función de la frecuencia delas pruebas de evaluación continua. Observamos que la calificación en el examen final es superiorpara los grupos que han realizado ECAF y que la diferencia es significativa al 9%. Cabe destacar4que no hay diferencias significativas por género en la composición de los grupos; sin embargo, losgrupos de ADE aparecen infrarepresentados en el grupo ECAF.Tabla 1: Estadı́sticas descriptivasAll Evaluación continuaBaja frec. Alta frec. p-val dif.alta-baja frec.Calif. exam. final 6.26 6.08 6.48 0.09S.d. 0.11 0.14 0.19Mujer (M) 0.38 0.36 0.41 0.35ADE 0.47 0.53 0.39 0.01N 360 203 157La Tabla 2 agrupa distintas estimaciones de regresiones MCO para evaluar el efecto de la ECAFen la calificación en el examen final. ECAF es una variable ficticia binaria que toma valor 1 para estu-diantes en grupos que han realizado pruebas de evaluación continua semanales o bisemanales y 0para el resto. En la columna (1) el efecto es positivo pero el coeficiente estimado solo es significativoal 10%. Además, cuando se añaden controles en la regresión el coeficiente pierde significatividad.El tamaño del coeficiente es aproximadamente el 6% de la media de la calificación final para el grupode control (ECBF) o el doble de la desviación estándar para el mismo grupo (véase las estadı́sticasdescriptivas en la Figura 1). Adicionalmente, en la columna (3) se observa que no hay diferenciaspor sexo en el efecto de la ECAF, al ser el coeficiente de la interacción entre la variable ECAF y laficticia para las mujeres (ECAF*M) pequeño y no significativo. Las columnas (4)–(6) muestran quelas estimaciones son robustas cuando se agrupan los errores estándar por grupo de docencia paraabsorber aquella parte de la variación en la calificación final potencialmente debida a que distintosgrupos tienen distintos profesores.Tabla 2: Regresiones MCO de la calificación final sobre la dummy ECAF permitiendo heterogeneidadpor genero(1) (2) (3) (4) (5) (6)EC Alta Frec. (ECAF) 0.400∗ 0.335 0.327 0.400 0.335 0.327(0.233) (0.233) (0.295) (0.535) (0.456) (0.459)Mujer (M) 0.055 0.046 0.055 0.046(0.237) (0.301) (0.188) (0.170)ADE -0.472∗∗ -0.472∗∗ -0.472 -0.472(0.226) (0.226) (0.398) (0.398)ECAF*M 0.020 0.020(0.482) (0.325)Constant 6.081∗∗∗ 6.310∗∗∗ 6.313∗∗∗ 6.081∗∗∗ 6.310∗∗∗ 6.313∗∗∗(0.140) (0.193) (0.202) (0.164) (0.186) (0.210)N 360 360 360 360 360 360Errores rob. 1 1 1 0 0 0Errores clu. grupo 0 0 0 1 1 1Errores estándar en parentesis. ∗ p < 0.10, ∗∗ p < 0.05, ∗∗∗ p < 0.01La columna (3) de la Tabla 3 muestra que, cuando permitimos que el efecto de la ECAF sea5distinto para los estudiantes del Grado en ADE y para los del Grado en Economı́a, dicho efecto espositivo aunque no significativo. A su vez, la diferencia en el efecto de la ECAF para el grado enADE es negativa y el coeficiente (ECAF*ADE) en valor absoluto es parecido al del efecto para elgrado en Economı́a pero no es significativo a niveles convencionales. Las estimaciones no varı́ansi los errores estándar se agrupan por grupo de docencia, como muestran las columnas (4)–(6).Interpretamos la heterogeneidad del tamaño del efecto de la ECAF en función de las diferencias enla habilidad cognitiva de estudiantes en distintos grados, usando como proxy la calificación de laselectividad.Tabla 3: Regresiones MCO de la calificación final sobre la ficticia ECAF permitiendo heterogeneidadpor grado(1) (2) (3) (4) (5) (6)EC Alta Frec. (ECAF) 0.400∗ 0.335 0.562∗ 0.400 0.335 0.562(0.233) (0.233) (0.321) (0.535) (0.456) (0.793)Mujer (M) 0.055 0.051 0.055 0.051(0.237) (0.237) (0.188) (0.183)ADE -0.472∗∗ -0.257 -0.472 -0.257(0.226) (0.282) (0.398) (0.281)ECAF*ADE -0.502 -0.502(0.463) (0.850)Constant 6.081∗∗∗ 6.310∗∗∗ 6.199∗∗∗ 6.081∗∗∗ 6.310∗∗∗ 6.199∗∗∗(0.140) (0.193) (0.212) (0.164) (0.186) (0.065)N 360 360 360 360 360 360Errores rob. 1 1 1 0 0 0Errores clu. grupo 0 0 0 1 1 1Errores estándar en parentesis. ∗ p < 0.10, ∗∗ p < 0.05, ∗∗∗ p < 0.01Finalmente, queremos incidir en que los resultados que se han presentado en esta memoriason eminente descriptivos. Para identificar el efecto de la ECAF con mayor precisión se requierendatos de distintos años académicos, para aumentar la potencia del contraste y, además, permitirabsorber los efecto efectos fijos por profesor. A priori podrı́an beneficiar más de la ECAF estudiantescon menor habilidad, sustituyendo ECAF la menor habilidad innata de cara a la calificación en elexamen final, o los con mayor habilidad, complementando ECAF su elevada habilidad. Para poderser más precisos sobre el papel de la habilidad innata para mejor entender el efecto ECAF, estamosenriqueciendo la base de datos usada en el análisis con información sobre la selectividad de losestudiantes.6

Spanish

Evaluación Continua, Trabajo en Equipo y Aprendizaje Presencial u Online (ECTEAPO)

https://docta.ucm.es/bitstreams/d09769c1-9551-4860-9d86-f007d99b14bf/download

Evaluación Continua, Trabajo en Equipo y Aprendizaje Presencial u Online (ECTEAPO)

Abstract

Similar works

Full text

Available Versions

Docta Complutense