Paper- or computer-based achievement tests? A generalizability study on mode effects in Germany in the context of TIMSS 2019

Die zunehmende Digitalisierung in Deutschland ist insbesondere in den Lernumwelten von Schüler:innen zu beobachten. So haben auch Schulvergleichsuntersuchungen zuletzt von papier- auf computerbasierte Tests umgestellt. In TIMSS 2019 wurde diese Umstellung durch eine Moduseffektstudie begleitet. An dieser Studie nahmen 2 Jahre vor der Haupterhebung 847 Viertklässler:innen teil und bearbeiteten nach dem Zufallsprinzip entweder zuerst den papier- oder den computerbasierten Kompetenztest in Mathematik und den Naturwissenschaften. Der Beitrag geht der Frage nach, inwieweit der Lösungserfolg bei der Aufgabenbearbeitung vom Erhebungsmodus abhängt. Die Verfasser*innen führen dazu erstens eine Generalisierbarkeitsstudie durch und bestimmen den Anteil der Varianz in den Schüler:innenantworten, der auf Moduseffekte zurückgeht. Zweitens wird untersucht, ob die Zusammenhänge zwischen schwierigkeitsgenerierenden Merkmalen der Testaufgaben und dem Lösungserfolg der Schüler:innen von Moduseffekten betroffen sind. Die Ergebnisse zeigen, dass die Erfassung der Schüler:innenkompetenzen in beiden Domänen mit kleinen Moduseffekten einhergeht. Der Lösungserfolg ist in den computerbasierten Leistungstests etwas niedriger (Mathematik: OR = 0.87, p = .006; Naturwissenschaften: OR = 0.86, p = .006). In Mathematik gilt dies besonders für Aufgaben in den Bereichen Daten und Problemlösen, für die Naturwissenschaften lässt sich keine entsprechende Aussage treffen. Die Bedeutsamkeit dieser Befunde für Schulvergleichsuntersuchungen und die unterrichtliche Praxis in Deutschland wird im Beitrag kritisch diskutiert. (DIPF/Orig.)The increasing digitization in Germany can be observed particularly in students’ learning environments. Large-scale assessments have also recently switched from paper-based to computer-based tests. In TIMSS 2019, this change was accompanied by a mode effect study 2 years before the main survey. In this study, 847 fourth-graders were randomly assigned to take either the paper-based or the computer-based achievement test in mathematics and science first. In this paper, we address the question to what extent student achievement depends on the survey mode. We firstly conduct a generalizability study to assess the amount of variance in item responses that is explained by mode effects. Secondly, we investigate how much the relations between difficulty-generating characteristics of the test items and student achievement differ by mode. The results show that the assessment of student achievement in both domains is affected by small mode effects. In the computer-based tests, student achievement is estimated to be slightly lower (mathematics: OR = 0.87, p = .006; science: OR = 0.86, p = .006). In mathematics, this holds true for items addressing data and problem-solving in particular. For science, we cannot make a similar claim. In the paper, the relevance of these findings for large-scale assessments and educational practice in Germany is critically discussed. (DIPF/Orig.

TIMSS 2019. Skalenhandbuch zur Dokumentation der Erhebungsinstrumente und Arbeit mit den Datensätzen

Die Studie TIMSS (Trends in International Mathematics and Science Study) ist eine international vergleichende Schulleistungsuntersuchung, die von der International Association for the Evaluation of Educational Achievement (IEA) – einem unabhängigen, internationalen Zusammenschluss von Forschungseinrichtungen, Wissenschaftler:innen sowie Regierungsstellen – durchgeführt wird. Das Kernanliegen der Studie ist es, langfristige Entwicklungen in den Bildungssystemen der teilnehmenden Staaten und Regionen zu untersuchen. Im Fokus stehen mathematische und naturwissenschaftliche Kompetenzen von Viertklässler:innen. Mit dem vorliegenden Handbuch werden die im Rahmen von TIMSS 2019 in Deutschland eingesetzten Befragungsinstrumente dokumentiert. Das Handbuch umfasst damit die Instrumente, die Teil der internationalen Berichterstattung sind, und nationale Ergänzungen dieser Instrumente, die in Deutschland vorgenommen wurden. Um die Arbeit mit den Datensätzen der Studie zu ermöglichen, werden zudem System-, Organisations- und Linkingvariablen sowie nachträglich generierte Indizes dokumentiert. Deskriptive Statistiken und Skalenkennwerte ermöglichen eine Einschätzung der Verteilungen der eingesetzten Variablen sowie der Datenqualität. Die Dokumentation der Erhebungsinstrumente ist in der Reihenfolge der Administration und nach den befragten Personengruppen gegliedert. Ferner ermöglichen Verzeichnisse und Übersichtstabellen einen inhaltlichen Zugang. (DIPF/Orig.