Feedback on teachers' text assessment: Does it foster assessment accuracy and motivation?

Teachers' assessment of students' performance on complex tasks, such as writing, is important both for their teaching and for students' learning. Teachers must be able and motivated to assess texts correctly. According to theoretical assumptions, feedback can help promote the diagnostic competencies required to assess texts correctly, but, up until now, no empirical studies have examined the effects of accuracy feedback on teachers' assessments. We conducted an experimental study comparing the effects of two feedback interventions with a practice-only control group on teachers' assessment accuracy and motivation. Student teachers (n = 181) and experienced teachers (n = 114) assessed 10 students' texts in all groups. The feedback in both of the feedback groups showed the teachers a comparison between their own assessments and correct assessments. We varied the feedback presentation between one single presentation after five texts and single presentations after each of the first five texts. We measured assessment accuracy and situational interest, which conceptualizes motivation, to assess the next five texts. The results showed that feedback promoted situational interest but not assessment accuracy. We discuss why teachers found feedback interesting and under what circumstances training interventions could be useful.Die Beurteilungen von Lehrkräften zu den schriftlichen Leistungen ihrer Schülerinnen und Schüler spielen eine wichtige Rolle für die Unterrichtsgestaltung und das Lernen. Daher sollen für die Aus- und Weiterbildung von Lehrkräften Trainingsmöglichkeiten geschaffen werden, welche die Kompetenz und Motivation der Lehrkräfte zur korrekten Beurteilung erhöhen. Es ist anzunehmen, dass Feedback diagnostische Kompetenzen fördern kann, aber momentan fehlt es an empirischen Studien, die die Effektivität von Feedback im Vergleich zu Beurteilungsübungen ohne Feedback untersuchen. Der vorliegende Artikel stellt eine experimentelle Studie vor, in der die Effekte von zwei Feedback-Interventionen auf die Beurteilungsgenauigkeit und Motivation der Lehrkräfte mit einer Kontrollgruppe, in der Texte ohne Feedback beurteilt wurden, verglichen wurden. Lehramtsstudierende (n = 181) und erfahrene Lehrkräfte (n = 114) bewerteten in allen Gruppen zehn Schülertexte. In beiden Feedbackbedingungen wurde den Lehrkräften ein Vergleich der eigenen Bewertung mit der Bewertung des Textes durch Expert:innen gezeigt. Zwischen den Gruppen variierte die Feedback-Präsentation zwischen einer einmaligen Präsentation nach fünf Texten und mehrmaliger Präsentation nach jedem der ersten fünf Texte. Danach wurde die Motivation weitere Texte zu beurteilen, sowie die Beurteilungsgenauigkeit bei der Beurteilung der zweiten fünf Texte gemessen. Die Ergebnisse zeigten, dass beide Feedbackbedingungen im Vergleich zur Kontrollgruppe das situative Interesse an der Beurteilung förderten, aber nicht die Genauigkeit. Es wird diskutiert, warum Lehrkräfte die Beurteilung mit Feedback interessanter fanden und unter welchen Umständen Trainingsinterventionen nützlich sein können.Peer Reviewe

IQB-Bildungstrend 2016

Im Skalenhandbuch werden die Erhebungsinstrumente dokumentiert, die im IQB-Bildungstrend 2016 in den Fächern Deutsch und Mathematik in der Primarstufe eingesetzt wurden. Die Bildungstrend-Studien des IQB sind Teil der Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring. Sie werden regelmäßig durchgeführt, um zu überprüfen, inwieweit die Schülerinnen und Schüler in den einzelnen Ländern in der Bundesrepublik Deutschland die in den länderübergreifend verbindlichen Bildungsstandards formulierten Kompetenzziele erreicht haben. Mit dem IQB-Bildungstrend 2016 war es erstmalig möglich, für das Erreichen der Standards in den Fächern Deutsch und Mathematik in der 4. Jahrgangsstufe Trends zu berichten (Vergleich der Erhebungsjahre 2011 und 2016)

BEFKI GC-K: eine Kurzskala zur Messung kristalliner Intelligenz

"In aktuellen Intelligenzstrukturmodellen gehört kristalline Intelligenz (gc) zu den am besten etablierten Fähigkeitsfaktoren. Dabei spiegelt gc die Einflüsse von Lernen und Akkulturation wider und umfasst somit alles Wissen, das Menschen im Laufe ihres Lebens erwerben und zum Problemlösen einsetzen. In diesem Beitrag beschreiben wir die Entwicklung einer Kurzskala zur Messung kristalliner Intelligenz mit fünfminütiger Bearbeitungszeit, die auf deklarativen Wissensfragen aus den Natur-, Geistes- und Sozialwissenschaften beruht. Aus einem umfangreichen Itempool wurde ein 32 Fragen umfassender Wissenstest zusammengestellt und einer bundesweit repräsentativen Stichprobe von 1.134 Erwachsenen vorgelegt. Anhand psychometrischer Kennwerte und der Beziehungen zu Kovariaten erfolgte eine Auswahl von 12 Items für die Kurzskala. Ein eindimensionales Messmodell für diese Itemauswahl wies eine gute Passung und eine hohe Reliabilität des latenten Faktors auf. In der Zielpopulation der erwachsenen deutschen Bevölkerung wurden keine substanziellen Boden- oder Deckeneffekte beobachtet. Übereinstimmend mit der Langversion zeigten sich für die Kurzskala hohe Beziehungen zum Bildungsabschluss (ISCED-97) und sozioökonomischen Status (ISEI) sowie erwartungskonforme Korrelationen mit selbstberichtetem Wissen und den fünf Hauptdimensionen der Persönlichkeit (Big Five). Die Kurzskala ermöglicht folglich eine effiziente, reliable und valide Erfassung kristalliner Intelligenz im Rahmen der Umfrageforschung." (Autorenreferat)"Crystallized intelligence (gc) is a well-established cognitive ability factor that has been conceptualized as reflecting influences of learning, education, and acculturation. In this article, we describe the development of a short knowledge scale for the meas¬urement of gc in five minutes administration time using declarative knowledge items from the sciences, the humanities, and civics. Based on a large item pool we compiled a 32-item knowledge test that was subsequently presented to a nationally representative sample of 1,134 German adults. In the next step, this data were used to derive a short 12-item knowledge scale. A unidimensional measurement model had satisfactory model fit and showed high reliability of the latent factor. There were no substantial floor or ceiling effects in the adult German population. Similar to the full scale, the short scale correlated highly positively with education (ISCED-97) and socio-economic status (ISEI) and was meaningfully related to self-reported knowledge and the Big Five personality traits. Therefore, the short knowledge scale allows for an efficient and valid measurement of crystallized intelligence in survey research." (author's abstract

IQB-Bildungstrend 2018

Im Skalenhandbuch werden die Erhebungsinstrumente dokumentiert, die im IQB-Bildungstrend 2018 in den Fächern Mathematik, Biologie, Chemie und Physik in der Sekundarstufe I eingesetzt wurden. Die Bildungstrend-Studien des IQB sind Teil der Gesamtstrategie der Kultusministerkonferenz zum Bildungsmonitoring. Sie werden regelmäßig durchgeführt, um zu überprüfen, inwieweit die Schülerinnen und Schüler in den einzelnen Ländern in der Bundesrepublik Deutschland die in den länderübergreifend verbindlichen Bildungsstandards formulierten Kompetenzziele erreicht haben. Mit dem IQB-Bildungstrend 2018 war es erstmalig möglich, für das Erreichen der Standards im Fach Mathematik und in den naturwissenschaftlichen Fächern in der 9. Jahrgangsstufe Trends zu berichten (Vergleich der Erhebungsjahre 2012 und 2018)

Die Bedeutung von Bildungsressourcen für die Arbeitsmarktintegration Geflüchteter am Beispiel syrischer Asylsuchender in Deutschland

The relevance of education for migrants’ integration in the labor market is well documented. However, the migration conditions of refugees and their educational resources are different from those of other migrants, as they must often interrupt their educational careers and cannot ensure the suitability of their educational degrees in the receiving country’s labor market. It is thus unclear which educational resources refugees have and to what extent these resources are relevant for their labor market integration. This paper examines (a) which educational resources Syrian refugees possess at their arrival in Germany and (b) how their educational resources relate to their labor market integration. We use data on Syrian refugees in Bavaria covering a comprehensive set of indicators for educational resources, including educational degrees and a test of respondents’ scientific knowledge. A large proportion (65%) of Syrian refugees report interrupted educational careers. Nevertheless, their educational degrees correspond to their scientific knowledge in a similar way as that observed in a German comparison sample. Educational resources are pivotal in explaining labor market placement. Notably, the scientific knowledge test is found to be a better predictor than educational degrees. We conclude that education and particularly the quality of education, as indicated by the scientific knowledge test, is a notable resource for refugees’ labor market integration. (DIPF/Orig.)Die Relevanz von Bildung für die Arbeitsmarktintegration von Migranten ist gut belegt. Die Migrationsbedingungen von Geflüchteten und ihre Bildungsressourcen weichen jedoch von denen anderer Migranten ab, da sie ihre Bildungslaufbahn häufig unterbrechen müssen und die Passung ihrer Abschlüsse für den Arbeitsmarkt des Ziellandes nicht sicherstellen können. Daher ist unklar, mit welchen Bildungsressourcen Geflüchtete ankommen und inwiefern diese Ressourcen ihre Arbeitsmarktintegration begünstigen. Der vorliegende Beitrag untersucht (a) welche Bildungsressourcen syrische Geflüchtete bei ihrer Ankunft in Deutschland besitzen und (b) wie diese Ressourcen mit ihrer Arbeitsmarktintegration zusammenhängen. Als Datengrundlage dienen Angaben syrischer Geflüchteter in Bayern, für die ein umfangreiches Set an Bildungsindikatoren erhoben wurde, unter anderem Bildungsabschlüsse und ein Test naturwissenschaftlichen Wissens. Ein großer Anteil (65%) der Befragten berichtet, ihre Bildungslaufbahn unterbrochen zu haben. Trotzdem sind ihre Bildungsabschlüsse mit dem naturwissenschaftlichen Wissen in ähnlicher Weise assoziiert wie in einer deutschen Vergleichsstichprobe. Multivariate Analysen zeigen zudem, dass Bildungsressourcen auch für Geflüchtete zentral für die Arbeitsmarktplatzierung sind. Beachtenswert ist dabei, dass das naturwissenschaftliche Wissen ein besserer Prädiktor ist als die Bildungsabschlüsse. Folglich stellt Bildung und insbesondere deren Qualität, wie durch den naturwissenschaftlichen Wissenstest indiziert, eine wichtige Ressource für die Arbeitsmarktintegration Geflüchteter dar. (DIPF/Orig.

Mathematische und naturwissenschaftliche Kompetenzen von Jugendlichen mit Fluchtbiografie am Ende der Sekundarstufe I

Reliable information on the integration of refugee students in the German educational system is scarce. In this paper, we examine refugee students’ proficiency in mathematics, biology, chemistry, and physics in comparison to other students with and without an immigrant background, including non-refugee foreign-born students. We analyzed test data from 44,882 ninth-grade students, including 939 refugees, who participated in a national educational monitoring study in Germany (IQB Trends in Student Achievement 2018). In a series of regression models, we estimated the extent to which differences in students’ language proficiency and their families’ social background account for disparities in mathematics and science achievement. Compared to students without an immigrant background, refugee students’ achievement scores were on average 15 to 17 points lower (on a scale with SD = 10 for all ninth-grade students in Germany). Refugees also scored substantially lower than non-refugee foreign-born students (difference of 7 to 10 points). Taking social background and language proficiency into account substantially reduced refugees’ achievement disadvantage to 2 to 5 points compared to students without an immigrant background and to 1 to 5 points compared to non-refugee foreign-born students, with language proficiency explaining the largest proportion of variance. The remaining disparities correspond to a learning gain of roughly one school year in Germany. The results emphasize the importance of providing effective support aimed at fostering refugees’ proficiency in the language of instruction. (DIPF/Orig.)Bisher liegen kaum belastbare Informationen zur Integration junger Geflüchteter im deutschen Schulsystem vor. In diesem Beitrag untersuchen wir die Kompetenzen geflüchteter Jugendlicher in den Fächern Mathematik, Biologie, Chemie und Physik im Vergleich zu anderen Heranwachsenden mit und ohne Zuwanderungshintergrund, einschließlich Jugendlichen der ersten Zuwanderergeneration ohne Fluchtbiografie. Analysiert wurden Testdaten von 44.882 Neuntklässlerinnen und Neuntklässlern, darunter 939 Geflüchtete, die an einer Studie zum nationalen Bildungsmonitoring (IQB-Bildungstrend 2018) teilgenommen haben. Mit Regressionsanalysen prüften wir, inwieweit Disparitäten in den Kompetenzen auf Unterschiede in den Sprachkenntnissen und im sozialen Hintergrund der Familien zurückgeführt werden können. Verglichen mit Jugendlichen ohne Zuwanderungshintergrund erzielten geflüchtete Jugendliche im Durchschnitt um 15 bis 17 Punkte niedrigere Kompetenzwerte (auf einer Skala mit SD = 10 für alle Neuntklässlerinnen und Neuntklässler in Deutschland). Auch die Differenz zu Jugendlichen der ersten Zuwanderergeneration ohne Fluchtbiografie war mit 7 bis 10 Punkten substanziell. Unter Berücksichtigung der Sprachkenntnisse und des sozialen Hintergrunds fielen die Disparitäten mit 2 bis 5 Punkten im Vergleich zu Heranwachsenden ohne Zuwanderungshintergrund bzw. 1 bis 5 Punkten im Vergleich zu Jugendlichen der ersten Zuwanderergeneration ohne Fluchtbiografie erheblich geringer aus, wobei Sprachkenntnisse die größte Varianzaufklärung leisteten. Die verbleibenden Unterschiede in den mathematisch-naturwissenschaftlichen Kompetenzen entsprechen dem Lernzuwachs, der in deutschen Schulen ungefähr in einem Schuljahr erreicht wird. Die Ergebnisse unterstreichen die Bedeutung effektiver Sprachförderung für geflüchtete Kinder und Jugendliche. (DIPF/Orig.

Definition und Messung von Lesekompetenz. PISA und die Bildungsstandards

Im Rahmen von PISA wird die Lesekompetenz von Fünfzehnjährigen in Deutschland seit dem Jahr 2000 im dreijährigen Rhythmus getestet und im internationalen Vergleich berichtet. Auch in den Ländervergleichen auf Basis der Bildungsstandards der KMK im Fach Deutsch für den Mittleren Schulabschluss wird die Lesekompetenz von Schülerinnen und Schülern erfasst. Die Studien verwendeten für ihre Testung allerdings jeweils einen eigenen Lesetest und testen unterschiedliche Populationen von Schülerinnen und Schülern. Der vorliegende Artikel geht der Frage nach, welche Beziehung zwischen den in beiden Studien gemessenen Lesekompetenzkonstrukten besteht und inwieweit die auf den Testergebnissen der Studien basierenden Kompetenzverteilungen der Schülerinnen und Schüler in Deutschland empirisch vergleichbar sind. (DIPF/Autor

Sprachliche Fähigkeiten und Intelligenz

Im vorliegenden Beitrag beleuchten wir zum einen die Rolle der Sprache in Intelligenztheorien und -tests, zum anderen sollen die Zusammenhänge zwischen Konstrukten aus der Intelligenzforschung und der empirischen Bildungsforschung diskutiert werden. Im ersten Teil des Beitrags gehen wir auf die Rolle sprachlicher Fähigkeiten in etablierten Intelligenztheorien ein. Dabei wird herausgearbeitet, dass alle Strukturtheorien sprachliche Fähigkeiten berücksichtigen, jedoch mit unterschiedlicher Gewichtung. Im zweiten Teil fassen wir empirische Befunde zu den Beziehungen zwischen etablierten Faktoren der Intelligenzforschung und sprachgebundenen Denkleistungen, wie sie in großen Schulleistungsstudien im Bildungsbereich untersucht werden, zusammen. Im dritten Abschnitt thematisieren wir schließ- lich die Rolle der Sprache bei der Entwicklung, Anwendung und Auswertung von Intelligenztests. Aus dieser Zusammenschau wird deutlich, dass kein psychologisches Testverfahren vollends sprach- und kulturunabhängig ist. Abschließend gehen wir auf die Messung der kognitiven Leistungsfähigkeit in sprachlich und kulturell heterogenen Populationen ein

Pitfalls and challenges in constructing short forms of cognitive ability measures

Especially in survey research and large-scale assessment there is a growing interest in short scales for the cost-efficient measurement of psychological constructs. However, only relatively few standardized short forms are available for the measurement of cognitive abilities. In this article we point out pitfalls and challenges typically encountered in the construction of cognitive short forms. First we discuss item selection strategies, the analysis of binary response data, the problem of floor and ceiling effects, and issues related to measurement precision and validity. We subsequently illustrate these challenges and how to deal with them based on an empirical example, the development of short forms for the measurement of crystallized intelligence. Scale shortening had only small effects on associations with covariates. Even for an ultra-short six-item scale, a unidimensional measurement model showed excellent fit and yielded acceptable reliability. However, measurement precision on the individual level was very low and the short forms were more likely to produce skewed score distributions in ability-restricted subpopulations. We conclude that short scales may serve as proxies for cognitive abilities in typical research settings, but their use for decisions on the individual level should be discouraged in most cases

A comparison of different psychometric approaches to modeling testlet structures : an example with c-tests

C-tests are a specific variant of cloze tests that are considered time-efficient, valid indicators of general language proficiency. They are commonly analyzed with models of item response theory assuming local item independence. In this article we estimated local interdependencies for 12 C-tests and compared the changes in item difficulties, reliability estimates, and person parameter estimates for different modeling approaches: (a) Rasch, (b) testlet, (c) partial credit, and (d) copula models. The results are complemented with findings of a simulation study in which sample size, number of testlets, and strength of residual correlations between items were systematically manipulated. Results are discussed with regard to the pivotal question whether residual dependencies between items are an artifact or part of the construct