Bildungsstandards - Verfahren und Kriterien bei der Entwicklung von Messinstrumenten

Der Beitrag möchte... Anregungen geben, welche Arbeiten bei der Entwicklung und Operationalisierung von Bildungsstandards nötig sind, um empirisch gesicherte Kompetenzmodelle zu etablieren und mit Hilfe der generierten Testinstrumente die Erreichung der Standards zu überprüfen. ... Begonnen werden soll mit dem Versuch (2.), das Beziehungsgefüge zwischen Bildungsstandards, Kompetenzen und wissenschaftlichen Konstrukten zu klären. Anschließend (3.) soll am Beispiel der KMK-Standards für das Fach Englisch am Ende der Sekundarstufe I erläutert werden, unter welchen Voraussetzungen Standards als Instrumente der Qualitätssicherung geeignet sind, aber auch, unter welchen Umständen sie Ziele formulieren, die sich der Messung dadurch entziehen, dass die Kompetenzen selbst theoretisch zu unpräzise bzw. zu breit gefasst sind. Danach soll kurz auf die Setzung von Niveaustufen (Standard-Setting) eingegangen und deutlich gemacht werden, dass die Setzung solcher Stufen ein auf die Erzeugung von Konsens zielender, aber kein theoretisch fundierter Akt ist. Abschließend (4.) werden drei Schlussfolgerungen für die Erarbeitung von Standards, Kompetenzmodellen und Messinstrumenten gegeben. (DIPF/Orig.

What Works in School? Expert and Novice Teachers’ Beliefs about School Effectiveness

In 2009, John Hattie first published his extensive metasynthesis concerning determinants of student achievement. It provides an answer to the question: “What works in school?” The present study examines how this question is answered by pre- and in-service teachers, how their beliefs correspond to the current state of research and whether they differ according to the teachers' level of expertise. Thus, it takes on a novel approach as it draws on data from two sources in the field of education -- empirical research and teachers’ beliefs -- and examines their similarities and differences. The teachers’ beliefs were elicited by asking N = 729 participants to estimate the effect sizes of several determinants of student achievement. Those were compared to the empirical effect sizes found by Hattie (2009). Profile correlations showed that expert teachers’ beliefs are more congruent with current research findings than those of novice teachers. We further examined where expert and novice teachers’ beliefs differ substantially from each other by using confirmatory factor analysis (CFA) and comparing group means in latent variables. Our findings suggest that teachers’ beliefs about school effectiveness are related to professional experience: Expert teachers showed a stronger overall congruence with empirical evidence, scoring higher in achievement-related variables and lower in variables concerning surface- and infrastructural conditions of schooling as well as student-internal factors. Results are discussed with regard to teacher-education practices that emphasize research findings and challenge existing beliefs of (prospective) teachers

Do Graph Readers Prefer the Graph Type Most Suited to a Given Task? Insights from Eye Tracking

Research on graph comprehension suggests that point differences are easier to read in bar graphs, while trends are easier to read in line graphs. But are graph readers able to detect and use the most suited graph type for a given task? In this study, we applied a dual repre-sentation paradigm and eye tracking methodology to determine graph readers’ preferential processing of bar and line graphs while solving both point difference and trend tasks. Data were analyzed using linear mixed-effects models. Results show that participants shifted their graph preference depending on the task type and refined their preference over the course of the graph task. Implications for future research are discussed

Is a Long Essay Always a Good Essay? The Effect of Text Length on Writing Assessment

The assessment of text quality is a transdisciplinary issue concerning the research areas of educational assessment, language technology, and classroom instruction. Text length has been found to strongly influence human judgment of text quality. The question of whether text length is a construct-relevant aspect of writing competence or a source of judgment bias has been discussed controversially. This paper used both a correlational and an experimental approach to investigate this question. Secondary analyses were performed on a large-scale dataset with highly trained raters, showing an effect of text length beyond language proficiency. Furthermore, an experimental study found that pre-service teachers tended to undervalue text length when compared to professional ratings. The findings are discussed with respect to the role of training and context in writing assessment

Are students in teacher training interested in educational-scientific contents? A longitudinal study covering the first four semesters

Lehramtsstudierende interessieren sich zu Beginn ihres Studiums häufig stark für pädagogische Inhalte. Ob dieses hohe Interesse allerdings im Studienverlauf stabil ist, wurde bisher unzureichend empirisch untersucht. In der vorliegenden Studie wurde an N = 1169 Lehramtsstudierenden überprüft, wie sich das Interesse an bildungswissenschaftlichen Inhalten über vier Semester entwickelt. Zusätzlich wurden Eingangsmerkmale der Studierenden als Prädiktoren zur Erklärung interindividueller Unterschiede einbezogen. Ein zentrales Ergebnis latenter Wachstumskurvenmodelle ist, dass das Interesse an den Bildungswissenschaften zwar im Mittel über die Zeit stabil bleibt, sich aber bedeutsame Varianz im Veränderungswert zeigt. Diese kann durch die Sicherheit der Studienwahl und das angestrebte Lehramt erklärt werden, und zwar in die Richtung, dass Studierende mit hoher Entscheidungssicherheit sowie Studierende eines gymnasialen Lehramts tendenziell an Interesse dazugewinnen. (DIPF/Orig.)At the beginning of their studies, students in teacher training are often strongly interested in pedagogical contents. However, whether this strong interest remains stable throughout the course of studies has as yet hardly been examined empirically. On the basis of a sample of N = 1169 students enrolled in teacher training, the present study investigates how the interest in educational-scientific contents develops over a period of four semesters. In addition, enrollment characteristics of students are included as predictors for the explanation of inter-individual differences. A key result of latent growth curve models is that, on average, the interest in educational sciences remains stable over time, however, significant variance is revealed in the change value. This can be explained by the certainty of the choice of studies and the type of teaching post aimed at, namely, it can be shown that students who are to a high degree sure that they made the right choice and students choosing an academic track program tend to build up interest. (DIPF/Orig.

Educational challenges of home learning

Im vorliegenden Beitrag wird herausgearbeitet, welche Faktoren auf Seiten der Eltern, der Lehrkräfte und der digitalen Infrastruktur dazu beitragen, häusliches Lernen im Sinne eines erfolgreichen Wissens- und Kompetenzaufbaus zu gestalten. Dazu wird die einschlägige Literatur zu Effekten von Hausaufgaben aufgearbeitet. Die Autoren zeigen, wie wichtig die Ansprechbarkeit der Eltern und ihre Strukturierungshilfen sind. Sie verweisen auf die regelmäßige Erteilung von nicht zu umfangreichen Arbeitsaufträgen durch die Lehrkräfte, die gekoppelt sein müssen mit zeitnahen Rückmeldungen an die Schüler*innen, und deuten die großen Potenziale an, die mit digitalen Lernhilfen verbunden sind. Abgeschlossen wird mit ganz konkreten Hinweisen für die Praxis. (DIPF/Orig.)In this paper, the authors identify the factors on the part of parents, teachers, and the digital infrastructure that contribute to the successful development of knowledge and skills in home learning. To this end, the relevant literature on the effects of homework is reviewed. They show how important the responsiveness of parents and their structuring aids are. They refer to the issue of not too extensive work assignments by teachers, which must be combined with timely feedback to the students, and indicate the great potential that is associated with digital learning aids. They then conclude with very concrete suggestions for educational practice. (DIPF/Orig.

Herausforderungen bei der Schätzung von Trends in Schulleistungsstudien. Eine Skalierung der deutschen PISA-Daten

Internationale Schulleistungsstudien wie das Programme for International Student Assessment (PISA) dienen den teilnehmenden Ländern zur Feststellung der Leistungsfähigkeit ihrer Schulsysteme. In PISA wird die Zielpopulation (15-jährige Schülerinnen und Schüler) alle 3 Jahre getestet. Von besonderer Bedeutung sind dabei die Trendinformationen, die für die Zielpopulation ausweisen, ob sich ihre Leistungen gegenüber denen aus früheren Erhebungen verändert haben. Um solche Trends valide interpretieren zu können, sollten die PISA-Erhebungen unter möglichst vergleichbaren Bedingungen durchgeführt und die verwendeten statistischen Verfahren vergleichbar bleiben. In PISA 2015 wurde erstmalig computerbasiert getestet; zuvor mittels Papier-und-Bleistift-Tests. Es wurde das Skalierungsmodell verändert und in den Naturwissenschaften wurden neue Aufgabenformate eingesetzt. Im vorliegenden Beitrag gehen wir anhand der nationalen PISA-Stichproben von 2000 bis 2015 der Frage nach, inwiefern der Wechsel des Testmodus und der Wechsel des Skalierungsmodells die Interpretation der Trendschätzungen beeinflussen. Die Analysen belegen, dass die Veränderung von Papier-und-Bleistift-Tests auf Computertestung die Trendschätzung für Deutschland verzerrt haben könnte. (DIPF/Orig.)International large-scale assessments, for instance, the Programme for International Student Assessment (PISA), are conducted to provide information on the effectiveness of educational systems. In PISA, the target population of 15-year-old students is assessed every 3 years. Trends show whether competencies have changed for the target population between PISA cycles. To ensure valid trend information, it is necessary to keep the test conditions and statistical methods in all PISA cycles as constant as possible. In PISA 2015, however, several changes were established; the test model changed from paper pencil to computer tests, scaling methods were changed, and new types of tasks were used in science. In this article, we investigate the effects of these changes on trend estimation in PISA using German data from all PISA cycles (2000 - 2015). Findings suggest that the change from paper pencil to computer tests could have biased the trend estimation. (DIPF/Orig.