High-Stakes Testing and Student Achievement: Problems for the No Child Left Behind Act

Under the federal No Child Left Behind Act of 2001 (NCLB), standardized test scores are the indicator used to hold schools and school districts accountable for student achievement. Each state is responsible for constructing an accountability system, attaching consequences -- or stakes -- for student performance. The theory of action implied by this accountability program is that the pressure of high-stakes testing will increase student achievement. But this study finds that pressure created by high-stakes testing has had almost no important influence on student academic performance

Reflexões sobre problemas associados à avaliação de professores em um momento de medições

The Scylla and Charybdis in this discussion of teacher evaluation are standardized achievement test data on the one hand, and classroom observational systems on the other. These are the two most common methods used to judge teachers’ competency.  Both have serious flaws: the former primarily with validity, the latter primarily with reliability. At most these evaluation strategies provide teachers’ and their supervisors information about which to converse. But these two methods have such serious flaws that they should never be used as the primary grounds for rewarding, punishing, or firing teachers.  When both methods of evaluation are used to judge teacher competency, the correlation between achievement tests and observational data is quite low. When two methods claiming to assess the same construct do not correlate well, either one or both methods are failing to assess the intended construct.  There are two alternatives for navigating between Scylla and Charybdis: “Duties Based Teacher Evaluation” and “Performance Measures.”  These methods have much to recommend them, though like all methods of personnel evaluation, reliability and validity issues remain problematic.En esta discusión de la evaluación de los maestros Escila y Caribdis representan, por un lado, las pruebas estandarizadas de desempeño y, por el otro, los sistemas de observación de clase. Estos son los dos métodos más comunes para juzgar la competencia de los maestros. Ambos tienen serias deficiencias; el primero con su validez, el segundo básicamente con su confiabilidad. En el mejor de los casos, estas estrategias de evaluación ofrecen a los maestros y sus supervisores temas de conversación; pero ambos tienen serias deficiencias y no deberían usarse en ningún caso como fundamentos para premiar, castigar o despedir a los maestros. Cuando ambos métodos se usan para juzgar la competencia de los maestros, la correlación entre pruebas de desempeño y datos derivados de la observación es muy baja. Cuando los dos métodos aseguran evaluar el mismo constructo, no se correlacionan bien; uno o ambos fracasan al evaluar el constructo pretendido. Hay dos alternativas para navegar entre Escila y Caribdis: la “Evaluación basada en las obligaciones de los maestros” y las “medidas de desempeño”. Estos métodos son muy recomendables, aunque como todo método de evaluación personal, la confiabilidad y la validez siguen siendo asuntos de discusión muy problemáticos.Nesta discussão da avaliação dos professores Scylla e Charybdis, eles representam, por um lado, os testes de desempenho padronizados e, por outro, os sistemas de observação de classe. Estes são os dois métodos mais comuns para julgar a competência dos professores. Ambos têm sérias deficiências; o primeiro com sua validade, o segundo basicamente com sua confiabilidade. Na melhor das hipóteses, essas estratégias de avaliação oferecem aos professores e seus supervisores tópicos de conversação; mas ambos têm sérias deficiências e não devem ser usados em nenhum caso como base para recompensar, punir ou demitir professores. Quando ambos os métodos são usados para julgar a competência dos professores, a correlação entre os testes de desempenho e os dados derivados da observação é muito baixa. Quando os dois métodos afirmam avaliar o mesmo constructo, eles não se correlacionam bem; um ou ambos falham em avaliar a construção pretendida. Existem duas alternativas para navegar entre Scylla e Charybdis: a “Avaliação baseada nas obrigações dos professores” e as “medidas de desempenho”. Esses métodos são altamente recomendados, embora, como qualquer método de avaliação pessoal, confiabilidade e validade, ainda sejam questões muito problemáticas de discussão

Educational Reform in an Era of Disinformation

Data which suggest the failure of America's schools to educate its youth well do not survive careful scrutiny. School reforms based on these questionable data are wrongheaded and potentially distructive of quality education. Reforms of the kind proposed by those who have started from an assumption that America's schools have failed will exacerbate the differences between the "have" and the "have-not" school districts

Respondente a desafiadores políticos com evidencia de pesquisa: Introdução o dossiê especial

In a policy climate where various actors claim to have solutions for the enduring challenges of teacher education, policy deliberations sideline certain voices and omit important perspectives. This special issue brings together scholars who attend to the voices, perspectives, and issues overlooked by teacher education policy debates dominated by market logic and accountability pressures. It highlights debates surrounding teacher performance assessments, teacher candidate selection, value-added assessments, as well as teacher preparation for linguistically diverse learners. The introduction to the special issue explores different dimensions of the relationship between research and practice urging teacher educators to become more proactive in policy debates.En un clima político en el que varios actores afirman tener soluciones para los desafíos permanentes de la formación del profesorado, las deliberaciones sobre políticas dejan de lado ciertas voces y omiten perspectivas importantes. Este número especial reúne a académicos que atienden las voces, perspectivas y problemas que pasan por alto los debates sobre políticas de educación docente dominados por la lógica del mercado y las presiones de rendición de cuentas. Destaca los debates en torno a las evaluaciones del rendimiento docente, la selección de candidatos docentes, las evaluaciones de valor agregado, así como la preparación del docente para alumnos lingüísticamente diversos. La introducción al número especial explora diferentes dimensiones de la relación entre la investigación y la práctica instando a los formadores de docentes a ser más proactivos en los debates sobre políticas.Em um clima político no qual vários actores afirman ter soluções para os desafíos permanentes da formação do profecio, as deliberações sobre políticas do lado do ceu desejado. Este número especial reúne-se a academicos que atienden as voces, perspectivas e problemas que passam por alto os debates sobre políticas de educação docente dominados pela lógica do mercado e as presidências de rendição de contas. Destaca os debates em torno das avaliações do desempenho, a escolha de candidatos, as avaliações de valor agregado, assim como a preparação do docente para alunos multilinguados diversos. A introdução o dossiê especial explora diferentes dimensões da relação entre a pesquisa e a prática instando os formadores de documentos no ser mais proativos nos debates sobre políticas

Navegando no terreno disputado da política e prática da formação de professores: Introdução à edição especial

In the policy climate where various actors claim to have the solutions for the enduring challenges of teacher education, policy deliberations sideline certain voices. This introduction to the special issue explores policy contestations surrounding teacher education and highlights some of the perspectives overlooked by policy debates. It lays out new priorities for the teacher education community to ensure that the profession’s collective voice would be heard by policy-makers and by the public at large.En el clima político en el que varios agentes aseguran tener las soluciones para los desafíos que persisten en la formación del profesorado, las deliberaciones sobre políticas dejan atrás ciertas voces. Esta introducción al número especial explora los conflictos de políticas que rodean la educación de docentes y resalta algunas de las perspectivas que pasan por alto los debates sobre políticas. Establece nuevas prioridades para la comunidad de formación docente para garantizar que la voz colectiva de la profesión sea escuchada por los responsables políticos y por el público en general.No clima político em que vários agentes afirmam ter soluções para os desafios que persistem na formação de professores, as deliberações políticas deixam certas vozes. Esta introdução à questão especial explora os conflitos políticos em torno da formação de professores e destaca algumas das perspectivas que ignoram os debates políticos. Estabelece novas prioridades para a comunidade de formação de professores para garantir que a voz coletiva da profissão seja ouvida pelos decisores políticos e pelo público em geral

Engano no primeiro, segundo e terceiro grau: as respostas dos professores às avaliações com conseqüências graves

Educators are under tremendous pressure to ensure that their students perform well on tests. Unfortunately, this pressure has caused some educators to cheat. The purpose of this study was to investigate the types of, and degrees to which, a sample of teachers in Arizona were aware of, or had themselves engaged in test-related cheating practices as a function of the high-stakes testing policies of No Child Left Behind. A near census sample of teachers was surveyed, with valid responses obtained from about 5 percent, totaling just over 3,000 teachers. In addition, one small convenience sample of teachers was interviewed, and another participated in a focus group. Data revealed that cheating occurs and that educators can be quite clever when doing so. But how one defines cheating makes it difficult to quantify the frequency with which educators engage in such practices. Our analysis thus required us to think about a taxonomy of cheating based on the definitions of 1st, 2nd, and 3rd degree offenses in the field of law. These categories were analyzed to help educators better define, and be more aware of others' and their own cheating practices, in an attempt to inform local testing policies and procedures.Los educadores estn siendo fuertemente presionados para asegurar que sus estudiantes obtengan buenos resultados en las pruebas de rendimiento. Desafortunadamente, esas presiones hacen que algunos educadores hagan trampas. El objetivo de este estudio fue investigar los tipos y grados de conocimiento que educadores en el estado de Arizona tenan sobre o que haban participado directamente en prcticas fraudulentas en relacin a las polticas de evaluacin de desempeo relacionadas con la ley No Child Left Behind. Una muestra cuasi-censal de profesores con un total de 5% de respuestas vlidas y poco ms de 3.000 profesores fue investigada. Adems, un grupo pequeo (muestra de conveniencia) de los profesores fue entrevistado, mientras que otro grupo participo en un grupo focal. Los datos revelan que existe el fraude y los educadores actan de manera muy inteligente cuando los resultados. Sin embargo como uno define el fraude dificulta medir cuantitativamente la frecuencia con la cual los profesores tienen este comportamiento. Por esa razn, nuestro anlisis requiere pensar en una taxonoma de falsificacin basada en las definiciones de 1, 2 e 3 niveles de infracciones legales. Estas categoras se analizaron para ayudar a los educadores a definir con ms precisin y ser ms conscientes de los casos de fraude cometidos por otros maestros y por s mismos, en un intento de reflexionar sobre las polticas y procesos de evaluacin.Educadores esto sob presso para garantir que seus alunos obtenham timos resultados nos testes de desempenho. Infelizmente, tal presso abre precedentes para que educadores falsifiquem os resultados. O objetivo deste estudo foi investigar os tipos, alm das variaes, de uma amostra de professores do estado do Arizona que percebiam ou que estiveram envolvidos em prticas fraudulentas em funo das polticas de avaliao de desempenho do programa No Child Left Behind. Uma amostra dos professores foi investigada, com as respostas vlidas obtidas a partir de cerca de 5%, totalizando pouco mais de 3.000 professores. Alm disso, uma pequena amostra de convenincia de professores foi entrevistada, enquanto outra amostra participou de um grupo focal. Os dados revelaram que as fraudes ocorrem e que os educadores agem de forma inteligente quando falsificam os resultados. Porm, a maneira como cada um define fraude dificulta a possibilidade de mensurar a freqncia com que educadores se envolvem em tais prticas. Nossa anlise, portanto, exige pensar sobre uma classificao de falsificao baseada nas definies de 1, 2 e 3 graus de infraes nos domnios da lei. Tais categorias foram analisadas para ajudar os educadores a definir de forma mais precisa e estar mais conscientes das prticas de fraude realizadas por outros professores e por eles mesmos, em uma tentativa de informar as polticas e procedimentos de avaliao local

High-Stakes Testing and Student Achievement: Does Accountability Pressure Increase Student Learning?

This study examined the relationship between high-stakes testing pressure and student achievement across 25 states. Standardized portfolios were created for each study state. Each portfolio contained a range of documents that told the “story” of accountability implementation and impact in that state. Using the “law of comparative judgments,” over 300 graduate-level education students reviewed one pair of portfolios and made independent evaluations as to which of the two states’ portfolios reflected a greater degree of accountability pressure. Participants’ judgments yielded a matrix that was converted into a single rating system that arranged all 25 states on a continuum of accountability “pressure” from high to low. Using this accountability pressure rating we conducted a series of regression and correlation analyses. We found no relationship between earlier pressure and later cohort achievement for math at the fourth- and eighth-grade levels on the National Assessment of Educational Progress tests. Further, no relationship was found between testing pressure and reading achievement on the National Assessment of Education Progress tests at any grade level or for any ethnic student subgroup. Data do suggest, however, that a case could be made for a causal relationship between high-stakes testing pressure and subsequent achievement on the national assessment tests—but only for fourth grade, non-cohort achievement and for some ethnic subgroups. Implications and directions for future studies are discussed