The longitudinal measurement of reasoning abilities in students with special educational needs

Students with special educational needs in the area of learning (SEN-L) have learning disabilities that can lead to academic difficulties in regular schools. In Germany, these students are frequently enrolled in special schools providing specific training and support for these students. Because of their cognitive difficulties, it is unclear whether standard achievement tests that are typically administered in educational large-scale assessments (LSA) are suitable of students with SEN-L. The present study evaluated the psychometric properties of a short instrument for the assessment of reasoning abilities that was administered as part of a longitudinal LSA to German students from special schools (N = 324) and basic secondary schools (N = 338) twice within 6 years. Item response modeling demonstrated an essentially unidimensional scale for both school types. Few items exhibited systematic differential item functioning (DIF) between students with and without SEN-L, allowing for valid cross-group comparisons. However, change analyses across the two time points needed to account for longitudinal DIF among students with SEN-L. Overall, the cognitive test allowed for a valid measurement of reasoning abilities in students with SEN-L and comparative analyses regarding students without SEN-L. These results demonstrate the feasibility of incorporating students with SEN-L into educational LSAs. (DIPF/Orig.

Out-of-Level Cognitive Testing of Children with Special Educational Needs

Children with special educational needs in the area of learning (SEN-L) have severe learning disabilities and often exhibit substantial cognitive impairments. Therefore, standard assessment instruments of basic cognitive abilities designed for regular school children are frequently too complex for them and, thus, unable to provide reliable proficiency estimates. The present study evaluated whether out-of-level testing with the German version of the Cognitive Abilities Test using test versions developed for younger age groups might suit the needs of these children. Therefore, N = 511 children with SEN-L and N = 573 low achieving children without SEN-L attending fifth grades in Germany were administered four tests measuring reasoning and verbal comprehension that were designed for fourth graders. The results showed that children with SEN-L exhibited significantly more missing responses than children without SEN-L. Moreover, three of the four tests were still too difficult for them. Importantly, no substantial differential response functioning was found for children with and without SEN-L. Thus, out-of-level testing might represent a feasible strategy to assess basic cognitive functioning in children with SEN-L. However, comparative interpretations would require additional norms or linked test versions that place results from out-of-level tests on a common metric

Valide und vergleichbare Erfassung bildungsrelevanter Konstrukte bei Schülerinnen und Schülern mit sonderpädagogischem Förderbedarf Lernen

Zunehmend werden auch Schülerinnen und Schüler mit einem sonderpädagogischen Förderbedarf Lernen (SPF-L) in Large-Scale-Assessments einbezogen. Hierbei stellt die valide und vergleichbare Erfassung bildungsrelevanter Konstrukte eine besondere Herausforderung dar. Die vorliegende Arbeit gliedert sich in drei Teile. Zunächst wird in einer theoretischen Einbettung die Zielgruppe der Schülerschaft mit SPF-L näher beschrieben. Zur Erklärung der Herausforderungen, die sich für eine valide Erfassung bildungsrelevanter Konstrukte abzeichnen, werden zwei kognitive Modelle herangezogen: Das Modell in Anlehnung an die Prinzipien des dynamischen Testens nach Carlson und Wiedl (1992), welches die Probleme einer suboptimalen Anwendung der tatsächlichen Kompetenz und der daraus resultierenden Testperformanz aufgreift sowie das Modell der Accessibilty Theory (Beddow et al., 2013), welches die Testsituation als eine Interaktion zwischen Charakteristiken einer Testperson und den Anforderungen eines Tests rahmt. Zudem wird das Modell nach Tourangeau, Rips und Rasinksi (2000), welches die kognitiven Prozessschritte, die ein/e Befragte/r bei der Beantwortung von Fragebogenitems durchläuft, aufgegriffen. Die Ausgangslage der SchülerInnen mit SPF-L wird den theoretischen Modellen gegenübergestellt und somit die Herausforderungen bei der Bearbeitung von Fragebögen oder Tests und die Implikationen für Large-Scale-Studien herausgearbeitet. Anschließend werden die übergeordneten Forschungsfragen dieser Arbeit und die zugrundeliegenden Schriften vorgestellt. Die Ergebnisse werden in Bezug auf die dargelegten Forschungsfragen diskutiert und entsprechend der theoretischen Einbettung eingeordnet, bevor abschließend die Grenzen dieser Arbeit und die Implikationen für Large-Scale-Assessments unter Einbezug von SchülerInnen mit SPF-L dargelegt werden

School settings and cross-curricular competencies in inclusive classes

Neben akademischen Basiskompetenzen wird bei Jugendlichen mit Blick auf Übergänge und die spätere berufliche Ausbildung immer wieder die Bedeutung überfachlicher Kompetenzen betont. Die Entwicklung überfachlicher Kompetenzen wird neben individuellen Merkmalen der Schüler*innen auch durch verschiedene innerschulische Sozialisationsprozesse mitbestimmt. Dabei gibt es Hinweise, dass Schüler*innen mit sonderpädagogischen Unterstützungsbedarfen (SPU) im Mittel über geringere überfachliche Kompetenzen verfügen als Schüler*innen ohne SPU und dass dies auch mit dem Schulkontext zusammenhängen kann. Der vorliegende Beitrag untersucht die Frage, inwiefern individuelle Merkmale und inklusionsorientierte schulische Rahmenbedingungen in Anlehnung an den Index für Inklusion mit den überfachlichen Kompetenzen von Schüler*innen mit und ohne SPU in der Sekundarstufe I zusammenhängen. Datengrundlage bildet eine Analysestichprobe aus der Erhebung in 6. Klassen an allgemeinen Schulen der Studie „Inklusion in der Sekundarstufe I in Deutschland – INSIDE“ (N = 3.447 Schüler*innen, davon N = 390 mit SPU). Die Analysen zeigen, dass Schüler*innen mit SPU geringere überfachliche Kompetenzen aufweisen als Schüler*innen ohne SPU. Schulische Lernumgebungen, die gezielt auf inklusive Bildung ausgerichtet sind, gehen für alle Schüler*innen überwiegend mit höheren überfachlichen Kompetenzen einher, teilweise bestehen aber auch Unterschiede zwischen den Gruppen. Die Befunde bieten Grundlagen, um die Verbesserung überfachlicher Kompetenzen bei Schüler*innen mit und ohne SPU zu stärken. (DIPF/Orig.)Next to domain-specific competencies, the importance of cross-curricular competencies for students is often emphasized. The development of cross-curricular competencies is determined by individual characteristics of the students, but also by the various socialization processes within the school. Findings indicate that students with special educational needs (SEN) have on average lower cross-curricular competencies than students without SEN and that this may also be related to the school context. This paper examines the question which individual characteristics and inclusion-oriented school characteristics correspond to the cross-curricular competencies of students with and without SEN in lower secondary school. The data is based on the study “Inklusion in der Sekundarstufe I in Deutschland - INSIDE”, a survey of 6th graders at general schools (N = 3,447 students, N = 390 with SEN). The analyses confirm that SEN-students show lower cross-curricular competencies than students without SEN. School learning environments that are designed for inclusive education are predominantly associated with higher cross-curricular competencies. However, there are also differences between students with and without SEN. The findings provide a basis to strengthen the development of cross-curricular competencies for students with and without SEN. (DIPF/Orig.

The Longitudinal Measurement of Reasoning Abilities in Students With Special Educational Needs

Students with special educational needs in the area of learning (SEN-L) have learning disabilities that can lead to academic difficulties in regular schools. In Germany, these students are frequently enrolled in special schools providing specific training and support for these students. Because of their cognitive difficulties, it is unclear whether standard achievement tests that are typically administered in educational large-scale assessments (LSA) are suitable of students with SEN-L. The present study evaluated the psychometric properties of a short instrument for the assessment of reasoning abilities that was administered as part of a longitudinal LSA to German students from special schools (N = 324) and basic secondary schools (N = 338) twice within 6 years. Item response modeling demonstrated an essentially unidimensional scale for both school types. Few items exhibited systematic differential item functioning (DIF) between students with and without SEN-L, allowing for valid cross-group comparisons. However, change analyses across the two time points needed to account for longitudinal DIF among students with SEN-L. Overall, the cognitive test allowed for a valid measurement of reasoning abilities in students with SEN-L and comparative analyses regarding students without SEN-L. These results demonstrate the feasibility of incorporating students with SEN-L into educational LSAs

How do parents and pedagogical staff in the day care centers perceive their children’s competences?

Untersuchungen haben gezeigt, dass die Fähigkeit zur genauen Einschätzung von Personenmerkmalen sehr unterschiedlich ausgeprägt sein kann. Insbesondere im Vorschulbereich sind adäquate Einschätzungen von Kompetenzen wichtig, da die frühe Bildung Grundstein für die weitere Entwicklung von Kindern darstellt. In unserem Beitrag gehen wir deshalb auf Basis von Daten der Startkohorte 2 des Nationalen Bildungspanels (NEPS) der Frage nach, wie Eltern und pädagogische Fachkräfte in Kindertageseinrichtungen die Kompetenzen von Kindern einschätzen. Es zeigt sich, dass sowohl Eltern als auch pädagogische Fachkräfte die sprachlichen und mathematischen Kompetenzen der Kinder überschätzen, wobei die Elterneinschätzungen deutlicher vom objektiv erhobenen Maß abweichen. Weiterhin weisen unsere Befunde zum einen darauf hin, dass die Eltern Kompetenzunterschiede zwischen Kindern mit unterschiedlichen Merkmalen für den Bereich Sprache erkennen, während dies für den Bereich Mathematik weniger gelingt. Zum anderen nehmen die pädagogischen Fachkräfte den Zusammenhang zwischen Kompetenzen und Geschlecht und Alter korrekt wahr, während sie herkunftsbedingte Unterschiede je nach Kompetenz über- oder unterschätzen.Studies over the last decades have shown that the ability to assess a person’s characteristics varies. Particularly in preschool, proper assessment accuracy of competences are desirable since early education is the foundation for further development and competence acquisition of children. This paper addresses the question of how accurately parents and pedagogical staff in the day care centers can assess children’s competences under consideration of certain child-related characteristics using data from starting cohort 2 (kindergarten) of the German “National Educational Panel Study” (NEPS). Both, parents and pedagogical staff overestimate children’s mathematical and language competences. Parents’ estimates vary significantly from the objectively assessed competences. Furthermore, our results indicate that parents recognize child-related differences for language competence quite accurately while they do not recognize these for mathematical competence. The pedagogical staff in the day care centers correctly recognize the correlation between competences and sex as well as age. Though, they partly underestimate and partly overestimate differences in children’s competence depending on their social origins

Gemeinsam lernen, miteinander teilen – Zusammenhänge zwischen dem Besuch eines inklusiven Bildungsettings und dem sozialen Verhalten von SchülerInnen ohne sonderpädagogischen Förderbedarf

Kinder erlernen soziales Verhalten u. a. im schulischen Kontext indem sie mit anderen SchülerInnen interagieren. Insbesondere vor dem Hintergrund der Ratifizierung der UN-Behindertenrechtskonvention stellt sich die Frage, ob sich SchülerInnen ohne sonderpädagogischen Förderbedarf (SPF) innerhalb inklusiver Klassen sozial anders verhalten als innerhalb von Klassen ohne SchülerInnen mit SPF. Mit Daten des Nationalen Bildungspanels (NEPS) zeigt sich in mehrebenanalytischer Betrachtung, dass SchülerInnen ohne SPF in inklusiven Klassen nicht von höherem prosozialem Verhalten berichten, aber von höherem Problemverhalten im Umgang mit Gleichaltrigen als ihre Peers in nicht-inklusiven Klassen. Darüber hinaus fällt ihr Problemverhalten im Umgang mit Gleichaltrigen umso höher aus, je inklusiver die Klassenkomposition gestaltet ist. Dies lässt sich über die sozioökonomische Klassenkomposition erklären, indem in inklusiven Klassen ein bedeutsam höherer Anteil an SchülerInnen mit niedrigem sozioökonomischen Status zu finden ist als in nicht-inklusiven Klassen. Die ethnische Klassenkomposition kann dagegen nicht als Erklärung herangezogen werden.Children learn social behavior e.g. in school context by interacting with other students. In the light of the ratification of the UN Convention on the Rights of Persons with Disabilities the question arises, whether students without special educational needs (SEN) show different social behavior within inclusive classes than within classes without students with SEN. Multilevel Analyses using data of the National Educational Panel Study (NEPS) show, that students without SEN in inclusive classes don’t report more prosocial behavior, but higher problem behavior with peers than those in non-inclusive classes. Moreover, the more inclusive the class composition is, the higher is their problem behavior when dealing with peers. These effects can be explained through class composition, as the percentage of students with low socioeconomic status is higher in inclusive classes than in regular classes. The ethnic class composition on the other hand can’t be used as an explanation though

Is There an Association Between Attending an Inclusive Educational Setting and the Self-Esteem of Students Without Special Educational Needs?

Vergleiche in sozialen Interaktionen sind zentral für das individuelle Selbstwertgefühl. Inwiefern heterogene Bezugsgruppen hinsichtlich sozialen und ethnischen, aber auch körperlichen, geistigen und kognitiven Merkmalen und Voraussetzungen, wie sie nicht erst seit Ratifizierung der UN-Behindertenrechtskonvention in Klassen des allgemeinen Bildungssystems zu finden sind, das Selbstwertgefühl bedingen, ist noch unzureichend beantwortet. Qualitative Studien zeigen bislang, dass Schüler:innen ohne sonderpädagogischen Förderbedarf (SPF) selbstwertförderliche Erfahrungen machen, sobald sie eine inklusive Umgebung besuchen. Quantitative Arbeiten deuten dagegen auf einen negativen Zusammenhang zwischen inklusivem Lernkontext und individuellem Selbstwertgefühl hin. Allerdings wurden in bisherigen Arbeiten meist nur Merkmale des Lernkontextes oder des Individuums als Prädiktoren herangezogen. Mit Daten des Nationalen Bildungspanels wird daher untersucht, ob Zusammenhänge zwischen dem Besuch einer inklusiven Klasse an Regelschulen und dem Selbstwertgefühl von Schüler:innen ohne SPF unter Kontrolle individueller und kontextueller Merkmale bestehen. Mehrebenenanalysen zeigen, dass Schüler:innen ohne SPF generell und auch bei einer zunehmend inklusiven Klassenkomposition von einem geringeren Selbstwertgefühl berichten als Peers in Klassen ohne Schüler:innen mit SPF. Dieser Zusammenhang besteht nicht mehr, sobald für den besuchten Bildungsgang und die sozioökonomische Klassenkomposition kontrolliert wird.Comparisons in social interactions are central to the individual self-esteem. The extent to which heterogeneous reference groups in terms of social and ethnic, but also physical, mental and cognitive characteristics and prerequisites, as they can be found in classes of the general education system not only since the ratification of the UN Convention on the Rights of Persons with disabilities, determine self-esteem, is still insufficiently answered. Qualitative studies have so far shown that students without special educational needs (SEN) gain self-esteem promoting experiences as soon as they attend inclusive environments. However, quantitative ones indicate a negative association between inclusive learning environment and individual self-esteem. Up to now, mainly either characteristics of the environment or of the individual have been used as predictors. Data of the National Educational Panel Study are used to examine whether there is an association between attending an inclusive class in regular schools and the self-esteem of students without SEN under control of individual and contextual characteristics. Multilevel analyses show, that in general and in terms of an increasingly inclusive class composition students without SEN report lower self-esteem than peers attending classes without students with SEN do. This association no longer exists as soon as course of education and socioeconomic class composition are controlled

Die Einbeziehung von Förderschülern in Large-Scale-Kompetenzerhebungen: Herausforderungen und Vorgehen im Rahmen des Nationalen Bildungspanels (NEPS)

The National Educational Panel Study (NEPS) as a newly set up large-scale assessment study in Germany has accepted the challenge of including students with special educational needs (SEN) into its conceptual design. Particularly, students with SEN in the area of learning (SEN-L) are oversampled within the NEPS. Their educational biographies and relevant context factors will be assessed longitudinally based on interviews and questionnaires given to their parents, teachers, and school principals. However, obtaining data (test data, questionnaires) from the target subjects themselves is by no means a simple, straightforward endeavor but requires careful research strategies. In this article we will briefly discuss problems of specifying the target population of students with SEN-L and present a focused review of research literature relevant to the inclusion of students with SEN-L into large-scale assessments. Specifically, we will focus on challenges relating to the standardized, reliable, and valid testing of competencies of students with SEN-L within large-scale assessments. Additionally, the article outlines the basic design of feasibility studies within the NEPS to test for the structural comparability of competence assessments in special schools with those in regular schools. These studies will further explore the necessity of test accommodations for students with SEN-L and the impact of those accommodations on the validity and comparability of test scores of students with and without SEN-L. (DIPF/Orig.)Das Nationale Bildungspanel (NEPS) als eine Large-Scale-Studie in deren Rahmen ein längsschnittliches Multi-Kohorten-Sequenz-Design zur Erforschung von Bildungsverläufen in Deutschland realisiert wird, bezieht im Kontext eines Oversamplings auch Schülerinnen und Schüler mit sonderpädagogischem Förderbedarf mit in ihr Erhebungsdesign ein. Der Fokus liegt dabei zunächst auf der größten Untergruppe von Schülerinnen und Schülern mit sonderpädagogischem Förderbedarf, nämlich Personen mit Förderbedarf im Bereich Lernen. Durch die Befragungen von Eltern, Lehrern und Schulleitern können deren Bildungswege unter Berücksichtigung relevanter Kontextbedingungen - erstmalig - anhand einer größeren Stichprobe nachgezeichnet und analysiert werden. Eine besondere Herausforderung stellt allerdings die Testung und Befragung der Probanden mit besonderem Förderbedarf im Bereich Lernen selbst dar. Im vorliegenden Beitrag wird ausgehend von einer kurzen Diskussion der Stichprobendefinition ein fokussierter Überblick über Forschungsbefunde gegeben, welche für die Berücksichtigung von Probanden mit dem Förderschwerpunkt Lernen in Large-Scale-Studien besonders relevant sind. Auf dieser Basis werden die Herausforderungen erörtert, die der Einbezug von diesen Schülerinnen und Schülern vor allem mit Blick auf die standardisierte, reliable und valide Messung von bildungsbezogenen Kompetenzen darstellt. Es wird anschließend das Design von Machbarkeitsstudien innerhalb des NEPS skizziert. Diese Studien prüfen gezielt die strukturelle Vergleichbarkeit von Kompetenztestungen an Förderschulen mit jenen an Regelschulen sowie die Notwendigkeit und die Wirkungen von Adaptationen bei den Testungen mit Blick auf die Validität und Vergleichbarkeit von Testergebnissen bei Kindern mit und ohne sonderpädagogischen Förderbedarf im Bereich Lernen. (DIPF/Orig.

Questionnaires for students with special educational needs in the area of learning: Results from multi-group analysis

Dieser Artikel betrachtet die messinvariante Erfassung bildungsrelevanter Konstrukte mit Hilfe schriftlicher Befragungen bei Schülerinnen und Schülern an Förderschulen und Hauptschulen in der 5. Jahrgangsstufe. Um optimale Administrationsbedingungen für Schülerinnen und Schüler mit sonderpädagogischem Förderbedarf Lernen zu erforschen, wurde ein experimentelles Design implementiert. Inwieweit angepasste Erhebungsinstrumente und unterschiedliche Beschulungsformen sowie anzunehmende Kompetenzunterschiede der Befragten eine messäquivalente Erfassung der Lesemotivation und des akademischen Selbstkonzeptes ermöglichen, wird durch Mehrgruppenvergleiche konfirmatorischer Faktorenanalysen untersucht. Die Ergebnisse deuten darauf hin, dass vergleichende Analysen zwischen Schülergruppen an Förderschulen und Hauptschulen für bestimmte Konstrukte und Faktoren sinnvoll interpretierbar sind. (DIPF/Orig.)This article focuses on measurement invariance of the assessment of educationally relevant constructs via written questionnaires for students at special schools and at low track schools attending 5th grade. To examine optimal conditions of administration for students with special educational needs in the area of learning an experimental design was implemented. If accommodated questionnaires, different school enrollments as well as competence differences allow equivalent assessment of reading motivation and academic self-concepts will be investigated with multi-group comparison of confirmatory factor analysis. The results indicate that comparisons between groups of students at special schools and low track schools are meaningful for certain constructs. (DIPF/Orig.