Bildungsstandards - Verfahren und Kriterien bei der Entwicklung von Messinstrumenten

Der Beitrag möchte... Anregungen geben, welche Arbeiten bei der Entwicklung und Operationalisierung von Bildungsstandards nötig sind, um empirisch gesicherte Kompetenzmodelle zu etablieren und mit Hilfe der generierten Testinstrumente die Erreichung der Standards zu überprüfen. ... Begonnen werden soll mit dem Versuch (2.), das Beziehungsgefüge zwischen Bildungsstandards, Kompetenzen und wissenschaftlichen Konstrukten zu klären. Anschließend (3.) soll am Beispiel der KMK-Standards für das Fach Englisch am Ende der Sekundarstufe I erläutert werden, unter welchen Voraussetzungen Standards als Instrumente der Qualitätssicherung geeignet sind, aber auch, unter welchen Umständen sie Ziele formulieren, die sich der Messung dadurch entziehen, dass die Kompetenzen selbst theoretisch zu unpräzise bzw. zu breit gefasst sind. Danach soll kurz auf die Setzung von Niveaustufen (Standard-Setting) eingegangen und deutlich gemacht werden, dass die Setzung solcher Stufen ein auf die Erzeugung von Konsens zielender, aber kein theoretisch fundierter Akt ist. Abschließend (4.) werden drei Schlussfolgerungen für die Erarbeitung von Standards, Kompetenzmodellen und Messinstrumenten gegeben. (DIPF/Orig.

Lieber oft als viel: Hausaufgaben und die Entwicklung von Leistung und Interesse im Mathematik-Unterricht der 7. Jahrgangsstufe

Hausaufgaben sind ein fester Bestandteil des Unterrichts in deutschen Schulen, obwohl empirische Arbeiten in Deutschland bislang kaum Belege für ihre Nützlichkeit erbrachten. Um die Effizienz der Hausaufgaben systematisch zu untersuchen, wurde in (dieser) Arbeit ein Teildatensatz aus der Studie "Bildungsprozesse und psychosoziale Entwicklung im Jugend- und jungen Erwachsenenalter" (BIJU) analysiert. In Mehrebenenanalysen mit 2123 Schülerinnen und Schülern aus 132 Klassen der 7. Jahrgangsstufe zeigte sich, dass regelmäßige Hausaufgaben einen förderlichen Einfluss auf die Leistung ausübten. Lange Hausaufgaben hatten einen gegenteiligen Effekt, führten jedoch zu einer Reduzierung der Leistungsvarianz innerhalb einer Klasse. Keine Belege ließen sich für die oftmals vertretene Ansicht finden, dass Kinder mit höherem sozio-ökonomischen Hintergrund in besonderem Maße von Hausaufgaben profitieren. Eine Beaufsichtigung der Hausaufgaben durch Eltern oder andere Familienangehörige erwies sich als kontraproduktiv. Im Hinblick auf die Entwicklung von Interesse am Fach Mathematik zeigte sich unter anderem, dass sich das Interesse derjenigen Schüler einer Klasse, die am längsten für die Hausaufgaben brauchten, am ungünstigsten entwickelte. (DIPF/Orig.)Homework is usually a fixed out-of-school extension of the regular instruction, although previous studies in German classrooms have provided weak evidence for its effectiveness. To investigate the impact of homework more systematically, we analyzed a subsample of the study "Learning Processes, Educational Careers, and Psychosocial Development in Adolescence and Young Adulthood" (BIJU). Multi-level analyses based on 2123 7th graders in 132 classes revealed that the frequency of homework (how often homework was assigned) had a positive effect on math achievement, while the length of homework had a negative effect but reduced the achievement variance between students within classes. There was no support for the assumption that students with higher socio-economic background had greater benefits from homework. The achievement gains of students who reported parental monitoring of homework completion were comparably low. Regarding the development of interest, the findings suggest that students who needed a long time to finish their homework had a stronger decline in math interest during one school year than students who needed less time to finish their assignments. (DIPF/Orig.

A Semiparametric Approach for Modeling Not-Reached Items

Tests administered in studies of student achievement often have a certain amount of not-reached items (NRIs). The propensity for NRIs may depend on the proficiency measured by the test and on additional covariates. This article proposes a semiparametric model to study such relationships. Our model extends Glas and Pimentel's item response theory model for NRIs by (1) including a semiparametric representation of the distribution of the onset of NRIs, (2) modeling the relationships of NRIs with proficiency via a flexible multinomial logit regression, and (3) including additional covariates to predict NRIs. We show that Glas and Pimentel's and our model have close connections to event history analysis, thereby making it possible to apply tools developed in this context to the analysis of NRIs. Our model was applied to a timed low-stakes test of mathematics achievement. Our model fitted the data better than Glas and Pimentel's model, and allowed for a more fine-grained assessment of the onset of NRIs. The results of a simulation study showed that our model accurately recovered the relationships of proficiency and covariates with the onset of NRIs, and reduced bias in the estimates of item parameters, proficiency distributions, and covariate effects on proficiency

What Works in School? Expert and Novice Teachers’ Beliefs about School Effectiveness

In 2009, John Hattie first published his extensive metasynthesis concerning determinants of student achievement. It provides an answer to the question: “What works in school?” The present study examines how this question is answered by pre- and in-service teachers, how their beliefs correspond to the current state of research and whether they differ according to the teachers' level of expertise. Thus, it takes on a novel approach as it draws on data from two sources in the field of education -- empirical research and teachers’ beliefs -- and examines their similarities and differences. The teachers’ beliefs were elicited by asking N = 729 participants to estimate the effect sizes of several determinants of student achievement. Those were compared to the empirical effect sizes found by Hattie (2009). Profile correlations showed that expert teachers’ beliefs are more congruent with current research findings than those of novice teachers. We further examined where expert and novice teachers’ beliefs differ substantially from each other by using confirmatory factor analysis (CFA) and comparing group means in latent variables. Our findings suggest that teachers’ beliefs about school effectiveness are related to professional experience: Expert teachers showed a stronger overall congruence with empirical evidence, scoring higher in achievement-related variables and lower in variables concerning surface- and infrastructural conditions of schooling as well as student-internal factors. Results are discussed with regard to teacher-education practices that emphasize research findings and challenge existing beliefs of (prospective) teachers

Evaluating with TIMS-instruments. Study of five eighth grades in German comprehensive schools

In Diskussionen zu Ergebnissen der TIMS-Studie wird oft behauptet, dass die Gesamtschule im Vergleich schlecht abschneide. Das sollte an fünf hessischen Gesamtschulen widerlegt werden. Mit Hilfe der internationalen Testverfahren wurden die Leistungen der Schüler an diesen Schulen gemessen. Es gelang, den hessischen Schulen, günstige Wissenserwerbsprozesse zu unterstützen - trotz vieler zeitintensiver pädagogischer Zusatzangebote. Am Beispiel von zwei Schulen werden die Befunde illustriert und Daten gedeutet. Dabei wird insbesondere gezeigt, wie spezifische Gegebenheiten einer Schule so berücksichtigt werden können, dass ein umfassendes, faires Bild entsteht. (DIPF/Sch.)It has been claimed repeatedly in the discussions on the results of the TIMMs study that comprehensive schools are not as successful as others. Five Hessian comprehensive schools wanted to get to the heart of the matter: With the aid of international test procedures student achievement has been measured. The results have shown that these five schools obviously know how to support students knowledge acquisition, even though their students spend a good deal of instruction time on extra-curricular activities. Two of the five schools are focused on in greater detail to illustrate the findings which are further illuminated with additional data. (DIPF/Orig.

Do Graph Readers Prefer the Graph Type Most Suited to a Given Task? Insights from Eye Tracking

Research on graph comprehension suggests that point differences are easier to read in bar graphs, while trends are easier to read in line graphs. But are graph readers able to detect and use the most suited graph type for a given task? In this study, we applied a dual repre-sentation paradigm and eye tracking methodology to determine graph readers’ preferential processing of bar and line graphs while solving both point difference and trend tasks. Data were analyzed using linear mixed-effects models. Results show that participants shifted their graph preference depending on the task type and refined their preference over the course of the graph task. Implications for future research are discussed

Is a Long Essay Always a Good Essay? The Effect of Text Length on Writing Assessment

The assessment of text quality is a transdisciplinary issue concerning the research areas of educational assessment, language technology, and classroom instruction. Text length has been found to strongly influence human judgment of text quality. The question of whether text length is a construct-relevant aspect of writing competence or a source of judgment bias has been discussed controversially. This paper used both a correlational and an experimental approach to investigate this question. Secondary analyses were performed on a large-scale dataset with highly trained raters, showing an effect of text length beyond language proficiency. Furthermore, an experimental study found that pre-service teachers tended to undervalue text length when compared to professional ratings. The findings are discussed with respect to the role of training and context in writing assessment

Are students in teacher training interested in educational-scientific contents? A longitudinal study covering the first four semesters

Lehramtsstudierende interessieren sich zu Beginn ihres Studiums häufig stark für pädagogische Inhalte. Ob dieses hohe Interesse allerdings im Studienverlauf stabil ist, wurde bisher unzureichend empirisch untersucht. In der vorliegenden Studie wurde an N = 1169 Lehramtsstudierenden überprüft, wie sich das Interesse an bildungswissenschaftlichen Inhalten über vier Semester entwickelt. Zusätzlich wurden Eingangsmerkmale der Studierenden als Prädiktoren zur Erklärung interindividueller Unterschiede einbezogen. Ein zentrales Ergebnis latenter Wachstumskurvenmodelle ist, dass das Interesse an den Bildungswissenschaften zwar im Mittel über die Zeit stabil bleibt, sich aber bedeutsame Varianz im Veränderungswert zeigt. Diese kann durch die Sicherheit der Studienwahl und das angestrebte Lehramt erklärt werden, und zwar in die Richtung, dass Studierende mit hoher Entscheidungssicherheit sowie Studierende eines gymnasialen Lehramts tendenziell an Interesse dazugewinnen. (DIPF/Orig.)At the beginning of their studies, students in teacher training are often strongly interested in pedagogical contents. However, whether this strong interest remains stable throughout the course of studies has as yet hardly been examined empirically. On the basis of a sample of N = 1169 students enrolled in teacher training, the present study investigates how the interest in educational-scientific contents develops over a period of four semesters. In addition, enrollment characteristics of students are included as predictors for the explanation of inter-individual differences. A key result of latent growth curve models is that, on average, the interest in educational sciences remains stable over time, however, significant variance is revealed in the change value. This can be explained by the certainty of the choice of studies and the type of teaching post aimed at, namely, it can be shown that students who are to a high degree sure that they made the right choice and students choosing an academic track program tend to build up interest. (DIPF/Orig.

Educational challenges of home learning

Im vorliegenden Beitrag wird herausgearbeitet, welche Faktoren auf Seiten der Eltern, der Lehrkräfte und der digitalen Infrastruktur dazu beitragen, häusliches Lernen im Sinne eines erfolgreichen Wissens- und Kompetenzaufbaus zu gestalten. Dazu wird die einschlägige Literatur zu Effekten von Hausaufgaben aufgearbeitet. Die Autoren zeigen, wie wichtig die Ansprechbarkeit der Eltern und ihre Strukturierungshilfen sind. Sie verweisen auf die regelmäßige Erteilung von nicht zu umfangreichen Arbeitsaufträgen durch die Lehrkräfte, die gekoppelt sein müssen mit zeitnahen Rückmeldungen an die Schüler*innen, und deuten die großen Potenziale an, die mit digitalen Lernhilfen verbunden sind. Abgeschlossen wird mit ganz konkreten Hinweisen für die Praxis. (DIPF/Orig.)In this paper, the authors identify the factors on the part of parents, teachers, and the digital infrastructure that contribute to the successful development of knowledge and skills in home learning. To this end, the relevant literature on the effects of homework is reviewed. They show how important the responsiveness of parents and their structuring aids are. They refer to the issue of not too extensive work assignments by teachers, which must be combined with timely feedback to the students, and indicate the great potential that is associated with digital learning aids. They then conclude with very concrete suggestions for educational practice. (DIPF/Orig.