Separating cognitive and content domains in mathematical competence

The present study investigates the empirical separability of mathematical (a) content domains, (b) cognitive domains, and (c) content-specific cognitive domains. There were 122 items representing two content domains (linear equations vs. theorem of Pythagoras) combined with two cognitive domains (modeling competence vs. technical competence) administered in a study with 1,570 German ninth graders. A unidimensional item response theory model, two two-dimensional multidimensional item response theory (MIRT) models (dimensions: content domains and cognitive domains, respectively), and a four-dimensional MIRT model (dimensions: content-specific cognitive domains) were compared with regard to model fit and latent correlations. Results indicate that the two content and the two cognitive domains can each be empirically separated. Content domains are better separable than cognitive domains. A differentiation of content-specific cognitive domains shows the best fit to the empirical data. Differential gender effects mostly confirm that the separated dimensions have different psychological meaning. Potential explanations, practical implications, and possible directions for future research are discussed. (DIPF/Orig.

Zur curricularen Validität der DESI-Aufgaben: Ergebnisse eines Expertenratings

Die Konstruktion der DESI-Leistungstests orientierte sich eng an den Inhalten der Lehrpläne für die neunte Jahrgangsstufe der Sekundarstufe I und basierte auf detaillierten Lehrplananalysen (Beck/Klieme, 2007). Mit Hilfe von Expertenratings wurde der Frage nachgegangen, ob dieser Anspruch der curricularen Validität von unabhängigen Fachleuten gestützt wird. Dazu wurden Experten aus den Fachkommissionen der Kultusministerkonferenz (KMK) zur Erarbeitung der Bildungsstandards für die Fächer Deutsch und Englisch um eine Bewertung der DESI-Aufgaben gebeten. (DIPF/Orig.

Leistungsbeurteilung und Kompetenzmodellierung im Mathematikunterricht. Projekt Co2CA

Das Forschungsprojekt „Conditions and Consequences of Classroom Assessment (Co2CA)“ untersucht, in welchem Verhältnis Leistungsmessung, -bewertung und beurteilung zum Unterricht und zum Lernprozess der Schüler stehen. Die alltägliche Praxis der Leistungsbeurteilung – von der informellen Fehlerdiagnose im Unterrichtsgespräch bis zu Kriterien und Verfahrensweisen der Notengebung – spiegelt einerseits die Ziele und Prozessqualitäten des Unterrichts, andererseits wirkt sie sich ihrerseits auf das Unterrichtsgeschehen sowie die kognitive und motivationale Entwicklung der Lernenden aus. In diese Praxis greifen neuerdings extern entwickelte Tests und Vergleichsarbeiten ein, die sich auf Bildungsstandards beziehen. In diesem Kontext untersucht das Projekt, wie verschiedene Formen des Assessments genutzt werden und welche Wirkung sie entfalten. Es konzentriert sich dabei auf den Mathematikunterricht in mittleren Bildungsgängen der neunten Jahrgangsstufe. (DIPF/Orig.

Dokumentation der Befragungsinstrumente des Laborexperimentes im Projekt "Conditions and Consequences of Classroom Assessment" (Co²CA)

Das Projekt Conditions and Consequences of Classroom Assessment wird im Rahmen des DFG-Schwerpunktprogramms „Kompetenzmodelle“ durchgeführt und soll der Frage nachgehen, wie diagnostische Information durch schulische Akteure genutzt wird. Das übergeordnete Ziel des Projekts besteht darin zu untersuchen, wie formative Leistungsmessung im Mathematikunterricht gestaltet werden sollte, um sowohl eine präzise und detaillierte Leistungsmessung zu ermöglichen als auch positive Wirkungen auf den auf die Leistungsmessung folgenden Lernprozess von Schülerinnen und Schülern zu erreichen. Dazu wurde u.a. ein Laborexperiment durchgeführt, in welchem die Wirkung unterschiedlicher Arten von Feedback (kriteriales, sozialvergleichendes, prozessbezogenes) auf motivationale und (meta-) kognitive Merkmale von Realschüler(inne)n (N=330) untersucht wurde. Das vorliegende Skalenhandbuch beinhaltet die Dokumentation der eingesetzten Befragungsinstrumente. Motivationale und metakognitive Variablen wurden durch insgesamt vier Schülerfragebögen erhoben; in einem Lehrerfragebogen wurde darüber hinaus die im Mathematikunterricht realisierte Leistungsbeurteilungs- und Rückmeldepraxis der Mathematiklehrkräfte (N=41) erfasst. (Autor

Dokumentation der Befragungsinstrumente der Interventionsstudie im Projekt “Conditions and Consequences of Classroom Assessment” (Co²CA)

Das im Rahmen des DFG-Schwerpunktprogramms „Kompetenzmodelle“ durchgeführte Projekt „Conditions and Consequences of Classroom Assessment“ (Co²CA) geht in vier Teilstudien der Frage nach, wie formatives Assessment im Unterricht gestaltet werden kann, um sowohl eine präzise Leistungsmessung zu ermöglichen als auch positive Wirkungen auf den Lehr-Lernprozess zu erreichen. Das Project Co²CA leistet damit einen wichtigen Beitrag zur Erforschung zweier Kernelemente formativen Assessments – der detaillierten Diagnose von Schülerleistungen und der Nutzung der gewonnenen Informationen in Form lernförderlichen Feedbacks. Zentrale Idee von formativem Assessment (Lernbegleitende Leistungsbeurteilung und –rückmeldung) ist es mit Hilfe von Leistungsmessungen Informationen über den Lernstand der Schülerinnen und Schüler zu gewinnen und diese Informationen für die Gestaltung des weiteren Lehr- und Lernprozess zu nutzen. Den Lernenden kann auf Basis der Leistungsbeurteilung lernförderliches Feedback gegeben werden, um so die Diskrepanz zwischen Lernstand und Lernziel zu verringern. Die Kernelemente formativem Assessments bestehen also aus einer detaillierten Diagnose des Lernstandes und der Nutzung der gewonnen Informationen – z.B. in Form von Feedback. [...] Das vorliegende Skalenhandbuch dokumentiert die in der Unterrichtsstudie eingesetzten Befragungsinstrumente für Schülerinnen und Schüler sowie für Lehrkräfte. (DIPF/Autor

Separating Cognitive and Content Domains in Mathematical Competence

The present study investigates the empirical separability of mathematical (a) content domains, (b) cognitive domains, and (c) content-specific cognitive domains. There were 122 items representing two content domains (linear equations vs. theorem of Pythagoras) combined with two cognitive domains (modeling competence vs. technical competence) administered in a study with 1,570 German ninth graders. A unidimensional item response theory model, two two-dimensional multidimensional item response theory (MIRT) models (dimensions: content domains and cognitive domains, respectively), and a four-dimensional MIRT model (dimensions: content-specific cognitive domains) were compared with regard to model fit and latent correlations. Results indicate that the two content and the two cognitive domains can each be empirically separated. Content domains are better separable than cognitive domains. A differentiation of content-specific cognitive domains shows the best fit to the empirical data. Differential gender effects mostly confirm that the separated dimensions have different psychological meaning. Potential explanations, practical implications, and possible directions for future research are discussed. (DIPF/Orig.