Factores asociados al rendimiento y a la eficacia escolar: un estudio basado en métodos mixtos a partir de PISA 2015

[ES] El estudio de la eficacia escolar tiene un largo recorrido dentro del campo de la investigación educativa, aunque en las últimas dos décadas se ha visto aumentado debido al surgimiento de las evaluaciones de rendimiento a gran escala como PISA. Estas evaluaciones proporcionan a los investigadores una gran cantidad de variables de contexto (p. ej. género, nivel socioeconómico, estatus migratorio), de proceso (p. ej. liderazgo, prácticas educativas, gestión del currículo) y de producto (rendimiento en diversas competencias básicas como lectura, matemáticas o ciencia), las cuales permiten una gran profundización en el estudio del rendimiento académico y sus determinantes. Esta investigación hace uso de los métodos mixtos, concretamente de un método mixto secuencial explicativo con predominancia cuantitativa, para tratar de determinar dos cuestiones fundamentales. En primer lugar se lleva a cabo un análisis multinivel de las tres competencias principales evaluadas por PISA (lectura, matemáticas y ciencias) para estudiar el impacto de variables contextuales de estudiantes y de centros en el nivel competencial presentado por los alumnos participantes en la prueba. A partir de dichos análisis, se estima el nivel de eficacia de cada centro, definido como la diferencia entre la puntuación esperada en función de sus características contextuales y su puntuación real. Los centros se ordenan en función de esta variable para seleccionar aquellos con niveles más altos y bajos de eficacia, a partir de los cuales se realiza la siguiente fase de estudio. Dicha fase consiste en la estimación de la relación entre los factores de proceso de los estudiantes y los centros recogidos por los cuestionarios de contexto de PISA y el nivel de eficacia presentado por los centros. Por último, se desarrolla también un estudio cualitativo de casos en un centro de alta eficacia y uno de baja eficacia localizados en la Comunidad Autónoma de Castilla y León. A través de grupos de discusión con los docentes y equipos directivos de ambos centros se pretende profundizar en el estudio de los determinantes escolares de la eficacia. Los resultados de la fase cuantitativa muestran la relevancia del impacto sobre el rendimiento que tienen factores como el género, el nivel socioeconómico (a nivel de estudiante y de centro), el ser inmigrante de 1ª generación, la repetición de curso, o los cambios de centro a lo largo del historial académico del alumno. El análisis cuantitativo de los factores de proceso relacionados con la eficacia arroja resultados inconcluyentes, ya que las variables escolares no muestran relaciones significativas con la eficacia, y las variables de los estudiantes presentan algunas relaciones incongruentes, como el comportamiento dispar de variables aparentemente relacionadas (adaptación a la instrucción y apoyo del profesorado o apoyo emocional familiar). Por último, los resultados del estudio de casos a través de técnicas cualitativas coinciden en algunos factores de eficacia (o ineficacia) con la literatura existente, aunque se considera necesaria la ampliación de la muestra de centros. En la sección de discusión y conclusiones se exploran las implicaciones de los resultados tanto para los centros como para el sistema educativo, así como las limitaciones de los estudios y las futuras líneas de investigación planteadas, como el empleo de nuevas metodologías o la búsqueda de fuentes alternativas de datos.The study of school effectiveness has a long history within the field of educational research, although it has been enhanced in the past two decades due to the emergence of large-scale performance assessments such as PISA. These assessments provide the researchers with lots of different variables, such as context (e.g. gender, socioeconomic level, migration status), process (e.g. leadership, educational practices, curriculum management), or product variables (reading, mathematics and science performance), which enable a deep research into academic performance and its determinants. This research work uses mixed methods, specifically a sequential explanatory mixed method with quantitative predominance, in order to determine two key questions. Firstly, a multilevel analysis of the thee competences measured by PISA (reading, math and science) is carried out in order to study the impact of student and school context variables on the performance of students. Based on these analyses, the level of effectiveness of each school is determined, and it is defined as the difference between the expected PISA score according to the school’s context characteristics and its actual score. The schools are then ordered by this variable and the ones with the highest and lowest effectiveness scores are selected for the next study phase. This phase intends to find significant relationships between the process variables measured by PISA and school effectiveness. Lastly, a qualitative case study is conducted in a high-effectiveness and a low-effectiveness school within the Autonomous Community of Castilla y León. Through the use of discussion groups with teachers and management teams, we intend to delve into the study of the school-level determinants of effectiveness. The results from the quantitative phase show the relevance of the impact on performance of factors such as gender, socioeconomic level (both at student and school level), being a 1st generation immigrant, grade repetition or changing schools. The quantitative analysis of the process factors related to the schools’ level of effectiveness yields inconclusive results, given that the school-level variables do not show any significant relationships and the student-level variables show some incongruences, such as the disparate behavior of seemingly related variables (adaptation of instruction and teacher support or parental emotional support). Lastly, the qualitative case study yields some results that coincide with the existing literature, although there is a need to extend the school sample in order to obtain more significant results. The discussion and conclusions section explores the implications of the results both for schools and for the education system, as well as the limitations of the studies and the future research lines proposed, such as the employment of new methodologies or the use of alternative data sources