Lernen von Null-Effekten. Eine Analyse von unerwarteten Effekten einer Interventionsstudie in inklusiven Klassen

This paper presents an additional, more detailed, analysis of the null results and unexpected outcome of a published intervention study. Pfister, Stöckli et al. (2015) report the results of an intervention study in mathematics in inclusive classrooms. In that study the general education teacher implemented an intervention aimed at supporting low achievers in mathematics lessons in 58 inclusive classrooms with 888 third grade students. Two experimental groups (n = 37 teachers) worked with the program, the third group (groupCONTROL; n = 21 teachers) continued to teach ‘as usual’. The experimental groupMAT (n = 16 teachers) was given the program material and the experimental groupMEET (n = 21 teachers) received the material and had two in-service training sessions. Contrary to theory-based predictions, groupMAT outperformed groupMEET. To try to understand this finding, in the present study we investigated the effects of the three treatment conditions on students with different levels of math achievement at t1 by using the data to estimate random slope models with cross-level interactions. Contrary to our expectations, high achieving students in groupMAT had significantly greater learning gains than those in groupMEET. Control variables at the individual and class level could not explain this outcome. The analysis highlighted the methodological challenges of studies conducted in complex inclusive education settings and raised the question of whether targeted support in an inclusive setting, without individual support outside of the classroom, can meet the needs of low achieving students in mathematics. (DIPF/Orig.)In der Publikation von Pfister, Stöckli et al. (2015) wurden unerwartete Ergebnisse und fehlende Effekte einer unterrichtsintegrierten Intervention für rechenschwache Schüler:innen in inklusiven Klassen berichtet. Im vorliegenden Artikel werden zusätzliche und detailliertere Analysen präsentiert, die dazu beitragen, die Ergebnisse zu verstehen und einzuordnen. In der Studie mit (N = 58 inklusive Klassen, N = 888 Drittklässler:innen) wurde eine unterrichtsintegrierte Intervention zur Förderung von rechenschwachen Schüler:innen von den Regellehrkräften durchgeführt. Zwei Experimentalgruppen (n = 37 Lehrkräfte) erhielten die Fördermaterialien, die Lehrkräfte (n = 21) in der Kontrollgruppe (GruppeCONTROL) führte ihren normalen Mathematikunterricht durch. Die Experimentalgruppe GruppeMAT (n = 16 Lehrkräfte) erhielt die Fördermaterialien, die Experimentalgruppe GruppeMEET (n = 21 Lehrkräfte) bekam zusätzlich zu den Materialien ein Fortbildungsangebot (zwei Nachmittage). Entgegen den Erwartungen machten die Lernenden in der GruppeMAT größere Leistungsfortschritte als die GruppeMEET. Um dieses Ergebnis zu verstehen, wurde in der hier präsentierten Studie der Einfluss der unterschiedlichen Interventionsformen auf Schüler:innen mit unterschiedlichen mathematischen Vorkenntnissen untersucht. Berechnet wurden Random Slope Modelle mit Cross-Level Interaktionen. Entgegen den Erwartungen machten Lernende mit hohen Vorkenntnissen in der GruppeMAT signifikant größere Leistungsfortschritte als vergleichbare Lernende in der GruppeMEET. Die Kontrollvariablen auf Individual- und Klassenebene konnten dieses Ergebnis nicht erklären. Dieses Resultat weist erstens darauf hin, dass es sehr herausfordernd ist, inklusiven Unterricht zu untersuchen und die verschiedenen Einflussvariablen zu kontrollieren. Zudem stellt sich die Frage, ob eine rein unterrichtsintegrierte Förderung den Bedürfnissen von rechenschwachen Lernenden gerecht wird und ob diese nicht auch eine individualisiertere Förderung außerhalb des Regelunterrichts benötigen würden. (DIPF/Orig.

Learning from null results: an analysis of the unexpected findings of a mathematical intervention study conducted in inclusive classrooms

This paper presents an additional, more detailed, analysis of the null results and unexpected outcome of a published intervention study. Pfister, Stöckli et al. (2015) report the results of an intervention study in mathematics in inclusive classrooms. In that study the general education teacher implemented an intervention aimed at supporting low achievers in mathematics lessons in 58 inclusive classrooms with 888 third grade students. Two experimental groups (n = 37 teachers) worked with the program, the third group (groupCONTROL; n = 21 teachers) continued to teach ‘as usual’. The experimental groupMAT (n = 16 teachers) was given the program material and the experimental groupMEET (n = 21 teachers) received the material and had two in-service training sessions. Contrary to theory-based predictions, groupMAT outperformed groupMEET. To try to understand this finding, in the present study we investigated the effects of the three treatment conditions on students with different levels of math achievement at t1 by using the data to estimate random slope models with cross-level interactions. Contrary to our expectations, high achieving students in groupMAT had significantly greater learning gains than those in groupMEET. Control variables at the individual and class level could not explain this outcome. The analysis highlighted the methodological challenges of studies conducted in complex inclusive education settings and raised the question of whether targeted support in an inclusive setting, without individual support outside of the classroom, can meet the needs of low achieving students in mathematics

Professionswissen von Studierenden und von Regel- und Förderlehrkräften zu Grundlagen des Leseerwerbs und zur Diagnostik von Leseschwierigkeiten: Entwicklung eines Instruments und Herausforderungen

Leseschwierigkeiten (LS) gehören zu den häufigsten Lernproblemen und es ist wichtig, dass betroffene Schüler:innen im Unterricht angemessen unterstützt werden. Das erfordert entsprechendes Professionswissen von den Lehrkräften und Instrumente, mit denen deren Wissen valide und reliabel erfasst werden kann. Bislang fehlen solche Instrumente. Im Kontext von inklusivem Unterricht stellt sich zudem die Herausforderung, Instrumente zu entwickeln, mit denen das Professionswissen von unterschiedlich ausgebildeten Lehrkräften (Regellehrkräfte, Förderlehrkräfte) erfasst werden kann. Im Artikel wird ein Instrument vorgestellt und hinsichtlich seiner psychometrischen Qualität analysiert, mit dem das Professionswissen zu Grundlagen des Leseerwerbs und zur Diagnostik von LS erfasst werden kann. In Studie 1 nahmen n = 190 Studierende am Ende des Lehramtstudiums Grundschule, n = 139 Studierende am Anfang des Aufbaustudiums Förderpädagogik und n = 114 Studierende am Ende des Aufbaustudiums Förderpädagogik teil. In Studie 2 wurden n = 90 amtierende Grundschullehrkräfte und n = 52 amtierende Förderlehrkräfte mit einer gekürzten Fragebogenversion befragt. In Studie 1 ist es gelungen, ein Instrument mit 18 Items zu entwickeln, das sich für den Einsatz bei Studierenden der Förderpädagogik eignet, für die Studierenden des Lehramtes Grundschule jedoch nur eingeschränkt. In Studie 2 konnte nur für die Förderlehrkräfte eine Skala mit fünf Items und einer knapp akzeptablen Reliabilität konstruiert werden. Das eingesetzte Instrument scheint vor allem Wissen zu erfassen, das während bzw. kurz nach der Ausbildung vorhanden ist. Abschließend erfolgen Überlegungen zu weiteren notwendigen Forschungsbemühungen zur Erfassung des Professionswissens von Lehrkräften zum Thema LS

The development of a tool for assessing how well in-service and student regular and special education teachers understand the acquisition of reading skills and are able to diagnose reading difficulties. Process and challenges

Leseschwierigkeiten (LS) gehören zu den häufigsten Lernproblemen und es ist wichtig, dass betroffene Schüler:innen im Unterricht angemessen unterstützt werden. Das erfordert entsprechendes Professionswissen von den Lehrkräften und Instrumente, mit denen deren Wissen valide und reliabel erfasst werden kann. Bislang fehlen solche Instrumente. Im Kontext von inklusivem Unterricht stellt sich zudem die Herausforderung, Instrumente zu entwickeln, mit denen das Professionswissen von unterschiedlich ausgebildeten Lehrkräften (Regellehrkräfte, Förderlehrkräfte) erfasst werden kann. Im Artikel wird ein Instrument vorgestellt und hinsichtlich seiner psychometrischen Qualität analysiert, mit dem das Professionswissen zu Grundlagen des Leseerwerbs und zur Diagnostik von LS erfasst werden kann. In Studie 1 nahmen n = 190 Studierende am Ende des Lehramtstudiums Grundschule, n = 139 Studierende am Anfang des Aufbaustudiums Förderpädagogik und n = 114 Studierende am Ende des Aufbaustudiums Förderpädagogik teil. In Studie 2 wurden n = 90 amtierende Grundschullehrkräfte und n = 52 amtierende Förderlehrkräfte mit einer gekürzten Fragebogenversion befragt. In Studie 1 ist es gelungen, ein Instrument mit 18 Items zu entwickeln, das sich für den Einsatz bei Studierenden der Förderpädagogik eignet, für die Studierenden des Lehramtes Grundschule jedoch nur eingeschränkt. In Studie 2 konnte nur für die Förderlehrkräfte eine Skala mit fünf Items und einer knapp akzeptablen Reliabilität konstruiert werden. Das eingesetzte Instrument scheint vor allem Wissen zu erfassen, das während bzw. kurz nach der Ausbildung vorhanden ist. Abschließend erfolgen Überlegungen zu weiteren notwendigen Forschungsbemühungen zur Erfassung des Professionswissens von Lehrkräften zum Thema LS. (DIPF/Orig.)Reading difficulties (RD) is a common learning problem and it is important that teachers have the skills to support affected students. Valid and reliable assessment instruments can ensure that teachers possess the requisite knowledge. But, there are none. For an instrument to be valid for inclusive education, it also needs to be able to assess the professional knowledge of both general education teachers (GET) and special education teachers (SET). This paper analyzes the psychometric quality of a questionnaire that has been designed to assess the professional knowledge of GET and SET on reading acquisition and the diagnosis of RD. Study 1 included n = 190 student GET at the end of their training, n = 139 student SET at the beginning of their training and n = 114 student SET at the end of their training. In study 2, n = 90 GET and n = 52 SET completed an abbreviated version of the questionnaire. Study 1 resulted in the successful development of an instrument with 18 items suitable for assessing the professional knowledge of SET students, but the instrument had limited validity when assessing GET students. In study 2 a five-item scale with just about acceptable reliability could only be constructed for SET. The instrument seems to primarily capture knowledge related to the (SET) training courses. Finally, reflections on future research into measuring the professional knowledge of teachers on the topic of RD are discussed. (DIPF/Orig.

Der Einfluss der pandemiebedingten Schulschließung auf den Leistungszuwachs von Grundschülerinnen und -schülern in inklusiven Klassen der Schweiz – eine Längsschnittstudie

In der vorliegenden Studie wurde untersucht, ob die achtwöchige Schulschließung in der Schweiz einen Effekt auf den Leistungszuwachs von Grundschüler*innen in inklusiven Klassen in Mathematik und Lesen hatte. Dafür wurde der Leistungszuwachs von zwei Kohorten innerhalb eines Schuljahres verglichen. In Kohorte 1 (n = 728) erfolgte die Leistungsmessung im Schuljahr 2019/20 einige Monate vor und wenige Wochen nach der Schulschließung, in Kohorte 2 (n = 688) erfolgte sie im Schuljahr 2020/2021 vier und zwölf Monate nach der Schulschließung. Es wurde analysiert, ob sich Unterschiede zwischen jüngeren und älteren Lernenden, zwischen Jungen und Mädchen, zwischen Klassen an Schulen mit niedrigem und hohem Sozialindex sowie zwischen Lernenden mit unterschiedlichem Leistungsniveau zeigen. Außerdem wurde untersucht, ob die Wahrnehmung der familiären Lernunterstützung während der Schulschließung sowie die Umsetzung des Distanzunterrichts einen Einfluss auf den Leistungszuwachs hatten. Die Schulschließung hatte einen kleinen negativen Effekt auf die Mathematikleistung der Lernenden der Kohorte 1. Dieser Effekt war in Klassen mit hoher sozialer Belastung größer. Ein stärkerer Einfluss der Schulschließung auf jüngere, auf leistungsschwächere Kinder oder auf Jungen konnte nicht festgestellt werden. Auf die Leseleistung hatte die Schulschließung keinen nachweisbaren Effekt, jedoch hatten Lernende, die während der Schulschließung gut zu Hause lernen konnten, einen größeren Leistungszuwachs im Lesen

How the achievement gain of primary school pupils in inclusive classrooms may have been affected by pandemic school closures in Switzerland - a longitudinal study

In der vorliegenden Studie wurde untersucht, ob die achtwöchige Schulschließung in der Schweiz einen Effekt auf den Leistungszuwachs von Grundschüler*innen in inklusiven Klassen in Mathematik und Lesen hatte. Dafür wurde der Leistungszuwachs von zwei Kohorten innerhalb eines Schuljahres verglichen. In Kohorte 1 (n = 728) erfolgte die Leistungsmessung im Schuljahr 2019/20 einige Monate vor und wenige Wochen nach der Schulschließung, in Kohorte 2 (n = 688) erfolgte sie im Schuljahr 2020/2021 vier und zwölf Monate nach der Schulschließung. Es wurde analysiert, ob sich Unterschiede zwischen jüngeren und älteren Lernenden, zwischen Jungen und Mädchen, zwischen Klassen an Schulen mit niedrigem und hohem Sozialindex sowie zwischen Lernenden mit unterschiedlichem Leistungsniveau zeigen. Außerdem wurde untersucht, ob die Wahrnehmung der familiären Lernunterstützung während der Schulschließung sowie die Umsetzung des Distanzunterrichts einen Einfluss auf den Leistungszuwachs hatten. Die Schulschließung hatte einen kleinen negativen Effekt auf die Mathematikleistung der Lernenden der Kohorte 1. Dieser Effekt war in Klassen mit hoher sozialer Belastung größer. Ein stärkerer Einfluss der Schulschließung auf jüngere, auf leistungsschwächere Kinder oder auf Jungen konnte nicht festgestellt werden. Auf die Leseleistung hatte die Schulschließung keinen nachweisbaren Effekt, jedoch hatten Lernende, die während der Schulschließung gut zu Hause lernen konnten, einen größeren Leistungszuwachs im Lesen. (DIPF/Orig.)This study investigates whether the school closures had an effect on the achievement gains in maths and reading of primary school pupils in inclusive classes. The sample comprised two cohorts. The first cohort (n = 728) participated in the study during the school year 2019/2020, when schools were closed for 8 weeks. The second cohort (n = 688 pupils) participated in 2020/2021, when schools were open. Differences between younger and older pupils, between boys and girls, between classes with low and high social indexes, and between learners with different achievement levels were analysed. We also examined whether the perceived presence of learning support from their family during the closures or the implementation of distance learning had an impact. The results of multi-level analyses revealed a small negative effect of the school closures on the mathematical achievement gain of pupils in the first cohort. The effect was larger in classes with more disadvantaged pupils. No stronger effect of school closures on younger children, on lower-performing children, or on boys could be found. School closures had no measurable effect on achievement gains in reading. Pupils who were able to learn well at home during school closures had larger achievement gains in reading. (DIPF/Orig.

Inklusiven Mathematikunterricht erforschen: Herausforderungen und erste Ergebnisse aus einer Längsschnittstudie

Am Beispiel einer Interventionsstudie (zwei Experimentalgruppen, eine Kontrollgruppe) im inklusiven Mathematikunterricht im dritten Schuljahr der Grundschule werden anhand erster Ergebnisse Herausforderungen diskutiert, die sich bei der Erforschung von inklusivem Unterricht zeigen. Untersucht wurde einerseits die Effektivität von unterrichtsintegrierten Fördermaßnahmen, andererseits die Rolle der adaptiven Lernbegleitung durch die Lehrkräfte. 34 videografierte Mathematikstunden wurden mit einem hoch-inferenten Rating analysiert. Mehrebenenanalysen zeigen, dass die Intervention bezogen auf die Leistungsentwicklung der Gesamtstichprobe nur in einer Experimentalgruppe effektiv war. Die Interpretation dieses Ergebnisses erweist sich als komplex, u. a. weil der videografierte Unterricht in 13 Klassen von zwei Lehrkräften (Klassenlehrkraft, Förderlehrkraft usw.) durchgeführt worden ist. Insgesamt zeigt sich, dass die große Heterogenität inklusiver Klassen, unterschiedliche Rahmenbedingungen und die Beteiligung von mehreren Lehrkräften am Unterrichtsgeschehen forschungsmethodisch große Herausforderungen beinhalten

Inclusive mathematics instruction: a conceptual framework and selected research results of a video study

This paper discusses the aims and challenges of inclusive mathematics instruction and presents data from a video study of 34 inclusive classrooms. Criteria for inclusive mathematics instruction are identified, and a conceptual framework is presented with a particular focus on very heterogeneous groups of learners that include students with intellectual disabilities. Key issues with the inclusive approach are the need to adapt learning goals (differentiation) and to manage joint learning settings. Data from the study show a rather limited use of differentiated learning goals in general and for students with intellectual disabilities in particular during inclusive mathematics instruction. Correlation analyses reveal that, in the classrooms studied, there was either a focus on differentiated learning goals or a focus on joint learning situations. The simultaneous implementation of both differentiated learning goals and joint learning settings seems to be very challenging in inclusive teaching settings. Therefore, teachers must be given specific support aimed at enabling them to meet this challenge