Skalierung und Definition von Kompetenzniveaus

Der Beitrag beschreibt die Skalierung der Leistungstestdaten und das Vorgehen bei der Definition der Kompetenzniveaus in der DESI-Studie (Deutsch Englisch Schülerleistungen International). Die Erfassung der Sprachkompetenzen in Deutsch und Englisch erfolgt in DESI im Rahmen eines multidimensionalen Ansatzes, für beide Sprachen werden verschiedene Teilbereiche der jeweiligen Sprachkompetenz mit separaten Tests erfasst. Die Skalierung der DESI-Daten erfolgte auf Grundlage eines generalisierten Rasch-Modells, welches in der Analysesoftware ConQuest implementiert ist und das die simultane Berücksichtigung dichotomer und mehrstufiger Auswertungsformate erlaubt. Die Kompetenzniveaus in DESI dienen dazu, eine kriterienorientierte Beschreibung der konkreten sprachlichen Kompetenzen von Schülern in bestimmten Leistungsbereichen vorzunehmen. Bei der Definition der Kompetenzniveaus wurden anforderungsrelevante Aufgabenmerkmale herangezogen, die für jeden Test separat definiert worden waren. In Regressionsanalysen wurden diese Merkmale verwendet, um die bei der Raschskalierung ermittelten Schwierigkeiten vorherzusagen. Als Schwellen zwischen den Kompetenzniveaus wurden die in den Regressionsmodellen ermittelten erwarteten Schwierigkeiten für Aufgaben mit bestimmten Merkmalskombinationen verwendet. Dabei wurden Merkmalskombinationen verwendet, die (a) in mehreren Aufgaben im Test realisiert waren und für die (b) die erwarteten Schwierigkeiten nahe an den empirisch beobachteten Schwierigkeiten dieser Aufgaben lag. (DIPF/Autor

Modellierung von Kompetenzen mit mehrdimensionalen IRT-Modellen. Projekt MIRT

Der vorliegende Artikel skizziert zunächst kurz die Zielsetzung des DFG-Projekts ... Im darauf folgenden Abschnitt werden zwei wesentliche Charakteristika zur Unterscheidung von MIRT-Modellen sowie deren inhaltliche Implikationen fuhr die Modellierung von Kompetenzen dargestellt. Die zentrale Fragestellung des DFG-Projekts … ist, inwieweit sich sprachliche Kompetenzen, die mit demselben Aufgabenmaterial erfasst wurden, auf unterschiedliche Weise modellieren lassen und welche diagnostischen Aussagen aus den verschiedenen Auswertungen resultieren. Insbesondere interessiert, inwieweit komplexere mehrdimensionale Modelle gegenüber eindimensionalen Modellen (z.B. dem eindimensionalen Raschmodell) einen Zugewinn an diagnostischer Information liefern. (DIPF/Orig.

The impact of ignoring the partially compensatory relation between ability dimensions on norm-referenced test scores

The IRT models most commonly employed to estimate within-item multidimensionality are compensatory and suggest that some dimensions (e.g., traits or abilities) can make up for a lack in others. However, many assessment frameworks in educational large-scale assessments suggest partially compensatory relations among dimensions. In two Monte-Carlo simulation studies we varied the loading pattern, the latent correlation between dimensions and the ability distribution to evaluate the impact on test scores when a compensatory model is incorrectly applied onto partially compensatory data. Findings imply only negligible effects when true abilities are bivariate normal. Assuming a uniform distribution, however, analyses of differences in test scores demonstrated systematic effects for specific patterns of true ability: High abilities are largely underestimated when the other ability required to solve some of the items was low. These findings highlight the necessity of applying the partially compensatory model under data conditions likely to occur in educational large-scale assessments. (DIPF/Orig.

Methodische Grundlagen der Messung und Erklärung sprachlicher Kompetenzen

Die Analyse der komplexen und umfangreichen Daten, wie sie aus Large-Scale-Assessments wie DESI resultieren, ist mit einer Reihe methodischer Herausforderungen verbunden. Verschiedene statistische Analyseverfahren, die dem aktuellen Stand der Forschungsmethodik entsprechen, kommen zum Einsatz, um eine möglichst gesicherte Interpretation der Ergebnisse zu gewährleisten. Das vorliegende Kapitel gibt einen Überblick über die verschiedenen methodischen Anforderungen, die bei der Analyse der DESI-Daten zu berücksichtigen waren, und zugleich wird darüber informiert, mit welchen Verfahren gearbeitet wurde. Der erste Abschnitt des Kapitels befasst sich mit der Messung der sprachlichen Kompetenzen, d.h. mit der Auswertung der Daten aus den Leistungstests. Hier werden kurz die verwendeten Skalierungsmodelle skizziert sowie die Schätzung der Kompetenzwerte und deren Aufbereitung für eine anschauliche Ergebnisdarstellung behandelt. Im zweiten Teil des Kapitels geht es um Fragen, die bei den weiteren Auswertungsschritten zu berücksichtigen waren, in erster Linie bei der Untersuchung von Zusammenhängen der Kompetenzen mit weiteren Schüler-, Unterrichts- und Schulvariablen. Das Kapitel gibt einen Überblick über die Verfahrenslogik der eingesetzten Techniken und verweist auf vertiefende Literatur. (DIPF/Orig.

Detecting instruction effects. Deciding between covariance analytical and change-score approach

The article focuses on estimating effects in nonrandomized studies with two outcome measurement occasions and one predictor variable. Given such a design, the analysis approach can be to include the measurement at the previous time point as a predictor in the regression model (ANCOVA), or to predict the change-score of the outcome variable (CHANGE). Researchers demonstrated that both approaches can result in different conclusions regarding the reported effect. Current recommendations on when to apply which approach are, in part, contradictory. In addition, they lack direct reference to the educational and instructional research contexts, since they do not consider latent variable models in which variables are measured without measurement error. This contribution assists researchers in making decisions regarding their analysis model. Using an underlying hypothetical data-generating model, we identify for which kind of data-generating scenario (i.e., under which assumptions) the defined true effect equals the estimated regression coefficients of the ANCOVA and the CHANGE approach. We give empirical examples from instructional research and discuss which approach is more appropriate, respectively. (DIPF/Orig.

Experimental investigation of an annular diffuser for axial flow fan configurations at different inflow profiles

Axial fans are used in power plants for fresh air supply and flue gas transport. A typical configuration consists of an axial fan and annular diffuser which connects the fan to the following piping. In order to achieve a high efficiency of the con-figuration not only the components have to be optimized but also their interac-tion. The present study focuses on the diffuser of the configuration. Experiments are performed on a diffuser-piping configuration in order to investigate the influ-ence of the velocity profile of the fan outlet on the pressure recovery of the con-figuration. Two different diffuser inlet profiles are generated, a homogeneous profile and a profile with the typical outlet characteristics of a fan. The latter is generated by the superposition of screens in the inlet zone. The tests are conduct-ed at a high Reynolds number (Re≈4∙10^5). Mean velocity profiles and wall shear stresses are measured with hydraulic methods (Prandtl and Preston tubes). The results show that there is a lack of momentum at the outer wall of the diffuser and high shear stresses at the inner wall in case of the homogeneous inflow pro-file. For the typical fan outlet profile it can be shown that there is an opposite ef-fect with high wall shear stresses at the outer wall while the boundary layer of the inner wall lacks momentum. The pressure recovery of the configuration is in good agreement with previous studies

Separating cognitive and content domains in mathematical competence

The present study investigates the empirical separability of mathematical (a) content domains, (b) cognitive domains, and (c) content-specific cognitive domains. There were 122 items representing two content domains (linear equations vs. theorem of Pythagoras) combined with two cognitive domains (modeling competence vs. technical competence) administered in a study with 1,570 German ninth graders. A unidimensional item response theory model, two two-dimensional multidimensional item response theory (MIRT) models (dimensions: content domains and cognitive domains, respectively), and a four-dimensional MIRT model (dimensions: content-specific cognitive domains) were compared with regard to model fit and latent correlations. Results indicate that the two content and the two cognitive domains can each be empirically separated. Content domains are better separable than cognitive domains. A differentiation of content-specific cognitive domains shows the best fit to the empirical data. Differential gender effects mostly confirm that the separated dimensions have different psychological meaning. Potential explanations, practical implications, and possible directions for future research are discussed. (DIPF/Orig.

Schulentwicklung im Verlauf eines Jahrzehnts. Erste Ergebnisse des PISA-Schulpanels

Die Autoren stellen in ihrem Beitrag erste Ergebnisse zur Schulentwicklung im Verlauf eines Jahrzehnts dar. Dazu nutzen sie Daten einer an PISA 2009 anschließenden, nationalen Panelstudie, in der Schulen, die an PISA 2000 teilgenommen hatten, im Jahr 2009 erneut getestet wurden. In ihren Analysen betrachten sie Faktoren der Schulorganisation, die Bedeutung von interner Evaluation als Schulentwicklungsmaßnahme sowie spezifischer Förderangebote auf Schulebene für die Unterschiede in der Entwicklung zwischen den Schulen. Erstmals wird für Deutschland empirisch nachgewiesen, dass interne Evaluierung sich sowohl auf den Leistungsstand als auch auf das Schulklima positiv auswirkt. (DIPF/Orig.