Investigating CDMs: Blending theory with practicality

Im Zusammenhang mit immer stärkerer Ergebnisorientierung der Bildungspolitik werden die Anforderungen nach detaillierten Informationen über Schülerleistungen größer. Zunächst wird in der Arbeit beschrieben warum und in welcher Form die statistische Modellklasse der kognitiv diagnostischen Modelle (Cognitive diagnosis models; CDMs) diese Forderung erfüllen kann. Nach der Einordnung in den bildungswissenschaftlichen Kontext werden die methodisch-statistischen Grundlagen beschrieben und die Modelle mit artverwandten statistischen Modellklassen verglichen. Grob umrissen werden mit CDMs Schülerleistungen auf Kompetenzniveau gemessen. Dazu wird eine allgemeine Fähigkeit (z.B. Mathematik) durch Fachexperten in mehrere Grundfähigkeiten (Kompetenzen) aufgegliedert (z.B. Zahlen, Funktionen, Geometrie, Statistik) und anhand dieser Grundfähigkeiten die Schülerleistungen bewertet. In das statistische CDM gehen nicht nur Vorstellungen über die Anzahl und Art dieser Grundfähigkeiten ein, sondern es können auch Informationen über Zusammenhänge zwischen den Fähigkeiten mit modelliert werden (z.B. Grundfähigkeit A ist eine Voraussetzung für Grundfähigkeit B). In einem nächsten Schritt wird in der Dissertation das eigen entwickelte R Paket CDM vorgestellt. Dieses ermöglicht die unproblematische Schätzung von CDMs bei großen Datensätzen (z.B. 80000 Schüler und 8 Skills) und enthält gleichzeitig einige eigenentwickelte weiterführende Methoden wie z.B. einen multiple group Ansatz. Mit Hilfe der vorgestellten Software werden Anwendungsmöglichkeiten von CDMs praxisnah erläutert: Die Beispiele kommen zum einen aus dem Gebiet der Mathematik (hier wurden die Daten der Bildungsstandardstestung in Mathematik auf der 8ten Schulstufe in Österreich ausgewertet) und zum anderen aus dem Gebiet Lesen (hier ist eine Ergänzungsstudie zu IGLU die Datengrundlage). In den Beispielen werden weiterführende methodische Ansätze wie unter anderem multiple-group Modelle oder hierarchische Modellierungsansätze für Kompetenzmodelle eingeführt. Dabei wird jeweils der Mehrwert für die Praxis erläutert

Österreichs Integrationsklassen: Kompetenzdefi zite durch soziale Benachteiligung? Ein Vergleich zwischen Integrations- und Regelklassen

Im Rahmen des vorliegenden Kapitels wurde anhand der österreichischen Bildungsstandardüberprüfungen im Fach Deutsch für Schüler/innen der vierten und achten Schulstufe untersucht, inwiefern sich Regel- und Integrationsklassen voneinander unterscheiden. Zum einen zeigen die Ergebnisse, dass in Integrationsklassen (d. h. Klassen, in denen auch Schüler/innen mit sonderpädagogischem Förderbedarf unterrichtet werden) eine stärkere soziale Benachteiligung vorherrscht als in Regelklassen. Zum anderen zeigt sich, dass leistungsschwache Schüler/innen eher Integrationsklassen besuchen. Ein Ausblick auf die Fragestellungen für das Fach Mathematik zeigt, dass die berichteten Hauptergebnisse, wenn auch in leicht veränderter Form, übertragbar sind. Basierend auf den Analysen werden für Regelschüler/innen die Auswirkungen von Heterogenität im Zusammenhang mit Klassenkompositionseffekten als Gelingensbedingung von Integrationsklassen zur Diskussion gestellt. (DIPF/Orig.

The R package CDM for cognitive diagnosis models

This paper introduces the R package CDM for cognitive diagnosis models (CDMs). The package implements parameter estimation procedures for two general CDM frameworks, the generalized-deterministic input noisy-and-gate (G-DINA) and the general diagnostic model (GDM). It contains additional functions for analyzing data under these frameworks, like tools for simulating and plotting data, or for evaluating global model and item fit. The paper describes the theoretical aspects of implemented CDM frameworks and it illustrates the usage of the package with empirical data of the common fraction subtraction test by Tatsuoka (1984)

Schulleitungen und evidenzbasierte Bildungsreform im Schulwesen School leaders and evidence-based reform policies in education

In den deutschsprachigen Schulsystemen sind in den letzten Jahren neue, sog. „outputorientierte“ oder „evidenzbasierte“ Steuerungskonzepte eingeführt bzw. akzentuiert worden, die mit veränderten Arbeitsanforderungen für Schulleitungen verbunden sind. An einem Sample von österreichischen Schulleitungen wird untersucht, ob es relevante Gruppen von Leitungspersonen gibt, die diese Steuerungsvorstellungen teilen, und ob entsprechende Einstellungen auch mit vermehrter Entwicklungsaktivität und einem veränderten Führungsverständnis zusammenhängen. Mittels Clusteranalyse konnten drei in Hinblick auf konkurrierende Steuerungsvorstellungen gut interpretierbare Gruppen identifiziert werden. Schulleitungen mit „outputorientierten Einstellungen“ berichten über mehr (unterrichtsbezogene) Entwicklungsaktivitäten und verstehen sich eher als Manager eines pädagogischen Betriebs.German speaking countries have seen major changes in the governance of their school systems towards an output-oriented or evidence-based type of governance. As a consequence, rights, responsibilities, and tasks for school leaders have changed considerably. Based on a sample of Austrian principals we investigated whether there are distinctive groups of school leaders with respect to their governance-related attitudes and if there is a correlation between these attitudes and development activities and their conception of school leadership. A cluster analysis identified three different groups of principals. Those school leaders who are particularly positive about output-oriented governance report more (teaching-related) development activities and interpret their role as managers of an educational enterprise.(VLID)329201

Eine Diskussionsgrundlage zur Weiterentwicklung von Rückmeldungen aus standardisierten Kompetenzmessungen am Beispiel Mathematik

Weil die Ergebnisrückmeldungen für das System und an Lehrer/innen über ihre Unterrichtsgruppen unterschiedliche Ziele verfolgen, unterscheiden sich auch die Anforderungen an die Rückmeldungen auf diesen beiden Ebenen. Basierend auf dieser Annahme werden im vorliegenden Kapitel Entwicklungsdesiderate in der Rückmeldung von Mathematikkompetenzen auf Unterrichtsgruppenebene herausgestellt und ein Vorschlag für eine Weiterentwicklung der Rückmeldungen eingebracht. Das Kapitel schließt mit einer Diskussion der Vor- und Nachteile der aktuellen Rückmeldeform im Vergleich zu der neu vorgeschlagenen. (DIPF/Orig.

Predicting school transition rates in Austria with classification trees

Möller AC, George AC, Gross J. Predicting school transition rates in Austria with classification trees. International Journal of Research & Method in Education . 2022.Methods based on machine learning have become increasingly popular in many areas as they allow models to be fitted in a highly-data driven fashion and often show comparable or even increased performance in comparison to classical methods. However, in the area of educational sciences, the application of machine learning is still quite uncommon. This work investigates the benefit of using classification trees for analysing data from educational sciences. An application to data on school transition rates in Austria indicates different aspects of interest in the context of educational sciences: (i) the trees select variables for predicting school transition rates in a data-driven fashion which are well in accordance with existing confirmatory theories from educational sciences, (ii) trees can be employed for performing variable selection for regression models, and (iii) the classification performance of trees is comparable to that of binary regression models. These results indicate that trees and possibly other machine-learning methods may also be helpful to explore high-dimensional educational data sets, especially where no confirmatory theories have been developed yet

Fünf Jahre flächendeckende Bildungsstandardüberprüfungen in Österreich

Mit den in Österreich als Vollerhebungen durchgeführten Bildungsstandardüberprüfungen werden in periodischen Abständen Kompetenzen gemessen, welche österreichische Schüler/innen in der Regel am Ende eines Schulabschnitts (d. h. am Ende der vierten und der achten Schulstufe) beherrschen sollten. Die Kompetenzen wurden aus den Lehrplänen der jeweiligen Stufen und der jeweiligen Fächer (d. h. Deutsch, Mathematik und Englisch) abgeleitet und sind in den österreichischen Bildungsstandards festgelegt. Der erste Zyklus beinhaltet die Bildungsstandardüberprüfungen in Mathematik für die 8. Schulstufe 2012, in Mathematik für die 4. Schulstufe 2013, in Englisch für die 8. Schulstufe 2013, in Deutsch für die 4. Schulstufe 2015 und in Deutsch für die 8. Schulstufe 2016. Das Kernziel der Bildungsstandardüberprüfungen ist es, Daten zu generieren, zu analysieren und aufzuarbeiten, die zu einer gezielten Entwicklung des Schulsystems, der Schulstandorte und des Unterrichts genutzt werden. Der Sammelband „Fünf Jahre flächendeckende Bildungsstandardüberprüfungen in Österreich: vertiefende Analysen zum Zyklus 2012 bis 2016“ greift einige bildungspolitisch relevante Themen auf und präsentiert diese erstmals in der Zusammenschau über den gesamten Zyklus