The use of external evaluative information with formative means: the case of chilean educative establisments participants of the SEPA

En el presente trabajo se desarrolla una investigación que indaga sobre las diversas formas en que se puede utilizar información evaluativa acerca del aprendizaje de los alumnos, y los factores que facilitan y dificultan su uso, en un grupo de establecimientos educacionales que participan del Sistema de Evaluación de Progresos del Aprendizaje (SEPA), desarrollado e implementado por el Centro de Medición MIDE UC de la Pontificia Universidad Católica de Chile. Basada en nuestra experiencia previa y la literatura anticipamos dificultades de comprensión y de uso de la información SEPA por parte de los establecimientos participantes. Se conduce una investigación exploratorio-descriptiva mediante entrevistas semi-estructuradas a 14 directivos y profesores pertenecientes a siete establecimientos educacionales adheridos a SEPA. Tal como esperabamos, se observa una comprensión parcial de los indicadores introducidos, particularmente de aquellos más complejos (valor agregado). Se constata que la relación que los actores establecen con la información evaluativa depende de las características de la organización y de sus protagonistas. Se detectan diversos tipos de uso de la información, los cuales se clasifican como instrumental, legitimante, persuasivo, simbolico y conceptual. Nuestros hallazgos comprueban investigaciones previas que la introducción de información evaluativa es solamente el primer paso en el proceso complejo necesario para influir el mejoramiento escola

El efecto de las características de los pares en el aprendizaje de estudiantes chilenos de enseñanza media

Se enfoca en el efecto de la diversidad social y de rendimiento de los pares en el aprendizaje de estudiantes chilenos de enseñanza media. La metodología de análisis considera una serie de modelos de regresión multinivel de tres niveles (estudiante, curso y escuela). Los datos utilizados corresponden a la prueba SIMCE para los años 2004 y 2006, cuando los mismos estudiantes de 8vo básico fueron examinados por segunda vez en segundo año medio. Se trabajó con datos longitudinales de 112,591 estudiantes distribuidos en 5,830 cursos en 1,792 establecimientos. Los resultados muestran que sobre todo el efecto de la diversidad social a nivel sala de clase tiene un efecto positivo sobre el aprendizaje. Este resultado es particularmente robusto en matemática, especialmente en establecimientos de dependencia municipal y particular subvencionado. El paper analiza interacciones interesantes entre las variables composicionales a nivel curso y variables a nivel individual

Was tun? Perspektiven für eine Unterrichtsqualitätsforschung der Zukunft

Die Unterrichtsqualitätsforschung hat in den vergangenen Jahrzehnten viel zum Verständnis der Merkmale beitragen, die einen qualitätsvollen Unterricht auszeichnen. Sie hat einflussreiche Modelle hervorgebracht, die eine gemeinsame Grundlage für die Erforschung des Unterrichts bereitstellen. Gleichzeitig bringen gesellschaftliche Veränderungsprozesse eine Neuorientierung des schulischen Unterrichts mit sich, und es lässt sich fragen, ob die Unterrichtsqualitätsforschung mit ihren bisherigen Ansätzen in der Lage ist, in Zukunft zum Gelingen von Unterricht beizutragen. Im Rahmen einer Zukunftswerkstatt hat das Leibniz-Netzwerk Unterrichtsforschung daher einen längerfristig angelegten Prozess gestartet, um sich mit dem Unterricht der Zukunft zu beschäftigen und zu versuchen, drängende Fragen und Handlungsfelder für die Unterrichtsqualitätsforschung zu identifizieren. Der vorliegende Beitrag stellt die Ergebnisse dieses initialen Austauschs dar. Zudem wird ein Einblick in die gegenwärtige Arbeit im Netzwerk gegeben, die aufbauend auf den Ergebnissen der Zukunftswerkstatt eine Weiterentwicklung der Unterrichtsqualitätsforschung anstrebt

El Uso de Información Evaluativa Externa con Fines Formativos: El Caso de Establecimientos Educacionales Chilenos Participantes de SEPA

The present research addresses the diverse ways in which student assessment information can be used, exploring factors that facilitate or impede their use, in a group of schools that participate in the Sistema de Evaluación de Progresos del Aprendizaje (SEPA) [Learning Progress Assessment System], developed and implemented by the Measurement Center MIDE UC of the Pontificia Universidad Católica de Chile (www.sepauc.cl). Based on our own experiences and the literature, we anticipated that schools would have difficulties understanding and using the assessment information provided by SEPA. We conducted a descriptive exploratory study applying semi-structured interviews to 14 school managers and teachers pertaining to seven SEPA schools. As expected, we observed partial understanding of the introduced information, particularly of the more complex value-added indicators. The relationship that school staff establish with the evaluative information depends on the characteristics of the organization and its members. We identified different types of evaluation use that can be categorized as instrumental, legitimative, symbolic, persuasive or conceptual. Our findings are in line with previous research regarding the fact that the introduction of evaluative information is only the first step in the complex process necessary to influence school improvementO presente trabalho se desenvolve uma investigação que indaga sobre as diversas formas em que se pode utilizar informação evaluativa a respeito da aprendizagem dos alunos, e os fatores que facilitam e dificultam seu uso, num grupo de estabelecimentos educacionais que participam do Sistema de Avaliação de Progressos da Aprendizagem (SEPA), desenvolvido e implementado pelo Centro de Medição MEDE UC da Pontifícia Universidade Católica de Chile. Baseada em nossa experiência prévia e a literatura antecipamos dificuldades de entendimento e de uso da informação SAIBA por parte dos estabelecimentos participantes. Conduz-se uma investigação exploratorio-descritiva mediante entrevistas semi-estruturadas a 14 diretores e professores pertencentes a sete estabelecimentos educacionais aderidos a SEPA. Tal como esperabamos, observa-se um entendimento parcial dos indicadores introduzidos, particularmente daqueles mais complexos (valor agregado). Constata-se do que a relação do que os atores estabelecem com a informação evaluativa depende das características da organização e de seus protagonistas. Detectam-se diversos tipos de uso da informação, os quais se classificam como instrumental, legitimante, persuasivo, simbolico e conceitual. Nossos achados comprovam investigações prévias que a introdução de informação evaluativa é somente o primeiro passo no processo complexo necessário para influir o melhoramento escolar.En el presente trabajo se desarrolla una investigación que indaga sobre las diversas formas en que se puede utilizar información evaluativa acerca del aprendizaje de los alumnos, y los factores que facilitan y dificultan su uso, en un grupo de establecimientos educacionales que participan del Sistema de Evaluación de Progresos del Aprendizaje (SEPA), desarrollado e implementado por el Centro de Medición MIDE UC de la Pontificia Universidad Católica de Chile. Basada en nuestra experiencia previa y la literatura anticipamos dificultades de comprensión y de uso de la información SEPA por parte de los establecimientos participantes. Se conduce una investigación exploratorio-descriptiva mediante entrevistas semi-estructuradas a 14 directivos y profesores pertenecientes a siete establecimientos educacionales adheridos a SEPA. Tal como esperabamos, se observa una comprensión parcial de los indicadores introducidos, particularmente de aquellos más complejos (valor agregado). Se constata que la relación que los actores establecen con la información evaluativa depende de las características de la organización y de sus protagonistas. Se detectan diversos tipos de uso de la información, los cuales se clasifican como instrumental, legitimante, persuasivo, simbolico y conceptual. Nuestros hallazgos comprueban investigaciones previas que la introducción de información evaluativa es solamente el primer paso en el proceso complejo necesario para influir el mejoramiento escola

Interpretaciones no intencionadas e intencionadas y usos de los resultados de PISA: Una perspectiva de validez consecuencial

Este artículo explora la relevancia de considerar las consecuencias de las pruebas como parte de las discusiones acerca de la validez, la investigación sobre validación, en el contexto del Programa Internacional para la Evaluación de Estudiantes de la OCDE, PISA. Lo primero que describe la concepción moderna de validez como un aspecto fundamental de la calidad de los ensayos y sistemas de pruebas, es que evoluciona en torno a las interpretaciones propuestas y usos de las puntuaciones de las pruebas: "La validez se refiere al grado en el cual la evidencia y la teoría apoyan las interpretaciones de las puntuaciones de las pruebas sobre las propuestas de su uso en los test. La validez es, por tanto, la consideración más fundamental en el desarrollo y evaluación de las pruebas. " (AERA, APA & SNEM, 2014, p. 11). En particular, nos centramos en el papel que han jugado sus consecuencias en la literatura sobre validez de la prueba y validación. Así como a continuación, introducimos PISA y sus interpretaciones y usos previstos como base para el examen de su validez. Esto es seguido por un resumen de los estudios empíricos existentes sobre los usos y consecuencias de PISA. Finalmente, el documento presenta piezas que faltan en la evidencia de validez en relación con las consecuencias y se analiza la importancia de una agenda pro-activa en estos temas por parte de los grupos de interés de PISA a nivel internacional y nacional.This paper explores the relevance of considering the consequences of testing as part of discussions about the validity, and validation research, in the context of the OECD Programme for International Student Asssessment, PISA. We first describe the modern conception of validity as a core aspect of quality of tests and testing systems, evolving around the proposed interpretations and uses of test scores: “Validity refers to the degree to which evidence and theory support the interpretations of test scores for proposed uses of tests. Validity is, therefore, the most fundamental consideration in developing tests and evaluating tests.” (AERA, APA & NCME, 2014, p. 11). In particular, we focus on the role that consequences have played in the literature on test validity and validation. We then introduce PISA and its intended interpretations and uses as the basis for examining its validity. This is followed by summarizing existing empirical studies on the uses and consequences of PISA. Finally, the paper presents missing pieces in the validity evidence related to consequences and discusses the importance of a pro-active agenda on these topics by the PISA stakeholders at international and national levels

Validez consecuencial del programa de asignación de excelencia pedagógica en Chile

Se presenta el resultado de una investigación realizada entre 2008 y 2010 con docentes y directivos de 30 establecimientos educacionales de dependencia municipal y particular subvencionada en la Región Metropolitana. Empleando metodologías cualitativas, el objetivo del estudio era evaluar la validez consecuencial del programa Asignación de Excelencia Pedagógica, vale decir, verificar empíricamente la Teoría de Acción subyacente e identificar efectos emergentes. Los principales resultados revelan que los acreditados experimentan mayor autoestima profesional, pero se sienten poco reconocidos por sus pares, directivos y sostenedores. La falta de reconocimientos de la comunidad local influiría en que a nivel de establecimiento la expectativa de diseminar las buenas prácticas de los acreditados no se cumpla. El recurso docente certificado es pobremente utilizado en la gestión pedagógica que realizan los directores y sostenedores. En las conclusiones se discuten algunos hallazgos y se formulan recomendaciones para favorecer los efectos intencionados por el programa

Consecuencias a Nivel Local de un Sistema de Evaluación de Profesores: El Caso de Chile

Este artículo presenta un estudio sobre las consecuencias del sistema nacional de evaluación de profesores basado en estándares de desempeño profesional, implementado en forma obligatoria en Chile desde el año 2005. El foco de la investigación se encuentra en las consecuencias tanto esperadas como no esperadas de la evaluación a nivel municipal, en la que se esperaba que ésta informara la contratación y despido de profesores, el desarrollo profesional docente y las acciones de reconocimiento. Las consecuencias fueron examinadas por medio de entrevistas a diecinueve autoridades comunales del área educacional en diez comunas. Los resultados indican que la evaluación ha alcanzado parcialmente la mayoría de sus objetivos, principalmente como insumo para el reconocimiento de los docentes mejor evaluados, la entrega de apoyo para aquellos que presentan debilidades, el uso de resultados en la toma de decisiones a nivel local y la promoción de colaboración entre pares. Se reportan también importantes consecuencias no esperadas, tales como el cuestionamiento de la legitimidad del sistema de evaluación y la resistencia de los profesores a participar en la evaluación

Evaluating school and parent reports of the national student achievement testing system (SIMCE) in Chile: Access, comprehension, and use

This evaluation examined school and parent reports of the national student achievement testing system (SIMCE) in Chile regarding three dimensions: access, comprehension, and use. We conducted phone surveys with a representative sample of directors (N=375), teachers (N=1145) and parents (N=625), and we collected more in-depth data through interviews and focus groups in 16 of these schools. The results indicate that access to the reports is not an obstacle to use for school actors, but it is for parents. While summative ratings of the reports in terms of their clarity and utility were generally very positive, the actual recall and interpretation of even basic information (assessed through case scenarios) was incorrect for a majority of teachers and parents, and reported uses of the information were both intended and unintended in nature. We also found some statistically significant differences regarding comprehension and use among subgroups of our sample. Our findings are especially relevant given the expectations attached to the use of the reports for school improvement on the one hand, and parents' behavior as critical consumers of education on the other hand.Evaluation Reporting School and parent reports National student achievement testing system Chile