Bruder, Regina

Leuders, Timo

Naccarella, Dominik

Wirtz, Markus

Eldorado - Ressourcen aus und für Lehre, Studium und Forschung

Dominik NACCARELLA, Timo LEUDERS, Markus WIRTZ, Freiburg & Regina BRUDER, Darmstadt Empiriegestützte Itemanalyse für die Kompetenzmodellie-rung funktionalen Denkens mit Graph, Tabelle und Situation 1.  Ziele des Projektes Im Rahmen des DFG-Schwerpunktprogrammes „Kompetenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bil-dungsprozessen“ werden im Projekt HEUREKO1 Möglichkeiten der mehr-dimensionalen Erfassung von Kompetenzen des Problemlösens mit funkti-onalen Repräsentationen untersucht. Im Mittelpunkt der zweiten Phase stand die Weiterentwicklung des in der ersten Phase entwickelten Instru-mentes zur Erfassung von „funktionalem Denken. Dazu wurde eine Itemanalyse durchgeführt, bei der qualitative und quantitative Verfahren miteinander verknüpft wurden, mit dem Ziel der Optimierung und Validie-rung des Itempools. Hiermit sind die langfristigen Ziele verknüpft, ein für die Schulpraxis nützliches Instrumentarium bereitzustellen, das sowohl zur Diagnostik, als auch zur Bestimmung von Förderbedarf genutzt werden kann.  2.  Theoretischer Hintergrund Funktionales Denken ist durch eine Vielzahl von Aspekten geprägt (Voll-rath, 1989). Insbesondere lassen sich Anforderungen im Rahmen von Auf-gaben unter dem Aspekt von Grundvorstellungen und als Modellierungstä-tigkeiten, d.h. als Übersetzung zwischen Situationen und mathematischen Modellen beschreiben. Daneben lassen sich die postulierten kognitiven Prozesse nach der Art der verwendeten Repräsentationen und des Wechsels zwischen ihnen unterscheiden (Swan, 1985; Blum, 2002; Leuders, 2005). Im Projekt wurden die Repräsentationen und der Wechsel zwischen ihnen zur Grundlage von postulierten Dimensionen eines Kompetenzmodells ge-wählt. Die Grundvorstellungstheorie und die Theorie zum Modellieren bil-deten daneben die leitenden Ideen für eine möglichst breite und varianten-reiche Konstruktion der einzelnen Items innerhalb der jeweiligen Kompe-tenzdimensionen. Dies geschah in der Annahme, dass sich Präferenzen und Kompetenzprofile hinsichtlich der externalen Repräsentation vermutlich                                            1 Diese Veröffentlichung wurde ermöglicht durch eine Sachbeihilfe der Deutschen For-schungsgemeinschaft (Kennzeichen: LE 2335/1-1) im Schwerpunktprogramm „Kompe-tenzmodelle zur Erfassung individueller Lernergebnisse und zur Bilanzierung von Bil-dungsprozessen“ (SPP 1293). leichter psychometrisch erfassen lassen, als internale und komplexe Verar-beitungsprozesse.  3.  Ausgangspunkt: Ergebnisse der ersten Projektphase In der ersten Projektphase (2007-2009) wurde ein Testinstrument zum „funktionalen Denken“ entwickelt und empirisch überprüft. Das Kompe-tenzstrukturmodell, welches die vier Bereiche:  ─ Mathematisieren und interpretieren – zwischen situativer und graphi-scher Repräsentation (SG) ─ Mathematisieren und interpretieren – zwischen situativer und numeri-scher Repräsentation (SN) ─ Verarbeiten innerhalb der graphischen Darstellung (G) ─ Verarbeiten innerhalb der numerischen Darstellung (N), als eigenständige Dimensionen annimmt, wies die beste Datenpassung auf. Leider ist die Qualität der entwickelten Skalen, die EAV/PV-Reliabilität liegt zwischen .52 und .72, für den diagnostischen Einsatz noch nicht aus-reichend (siehe Bayerhuber et al, 2010). Trotz der validierten dimensiona-len Struktur muss also eine weitere Optimierung und Schärfung der Itemgruppen erfolgen. 4.  Ziele der empiriegestützen Itemanalyse Die grundsätzlichen Ziele der Aufgabenanalyse und Überarbeitung lagen somit in der Erhöhung der Kohärenz der einzelnen Konstrukte. Messtech-nisch sollte dies über eine Erhöhung der Reliabilität, also eine Stärkung der internen Konsistenz der einzelnen Skalen erfolgen. Dazu wurden verschie-dene Heuristiken zur Aufgabenüberarbeitung und -analyse eingesetzt und miteinander kombiniert. Hierbei wurden in einer empiriegestützten Itemenanalyse quantitative und qualitative Verfahren miteinander ver-knüpft. Der Zweck der einzelnen Analysen ist nicht die Prüfung spezifi-scher Hypothesen, sondern die Bereitstellung von Informationen als empi-rische Grundlage für itembasierte Entscheidungen. Es wurden einerseits die Leistungsdaten der ersten Projektphase mithilfe eines mehrdimensionalen zweiparametrigen logistischen Modells reanalysiert. Andererseits wurden ausgewählte Items mittels einer qualitativen Videostudie einer kognitiven Analyse unterzogen. Auf Grundlage dieser beiden Untersuchungen und mit besonderem Augenmerk auf die intendierte Erhöhung der Reliabilität zwi-schen den Teildimensionen wurden zusätzliche Items entwickelt und pilo-tiert. Im Folgenden wird ausschließlich über die Ergebnisse der quantitati-ven Reanalyse der Leistungsdaten berichtet. 5.  Reanalyse der Daten auf Basis des Birnbaum-Modells Die Analyse der Daten der ersten Phase erfolgte über ein (mehrdimensiona-les) Rasch-Modell, in dem sich die einzelnen Items nur in ihrer Schwierig-keit voneinander unterscheiden. Wird die Lösungswahrscheinlichkeit für ein Item in Abhängigkeit von der Personenfähigkeit aufgetragen so sind die einzelnen Itemfunktionen zueinander identisch und nur bzgl. der Abszisse verschoben (vgl. Abb. 1). Es wird somit davon ausgegangen, dass alle Items einer Skala gleich gut zwischen Personen mit hoher und mit niedriger Fähigkeit unterscheiden können - anders ausgedrückt, besitzen alle Items im Rasch-Modell dieselbe Trennschärfe. In zwei-parametrigen IRT-Modellen (Birnbaum-Modell, 2-pl-Modellen) wird diese Einschränkung nicht gemacht. Hier wird für jedes Item ein zusätzlicher Parameter ge-schätzt, der den (stärksten) Anstieg der Itemfunktion beschreibt (vgl. Abb. 2) (Rost, 2004; Reckase, 2009).  Abb. 1: Rasch-Model parallele Itemfunktionen von drei Items mit versch. SchwierigkeitAbb. 2: Birnbaum-Model - drei Itemfunktionen mit versch. Schwierigkeit und TrennschärfenDie über das Birnbaum-Modell aus den Daten ermittelten Trennschärfen-kennwerte der Items wurden genutzt, um eine theoretische Itemanalyse durchzuführen. Dabei wurden die Items auf der Basis ihrer Trennschärfen mit Experten analysiert und bzgl. ihrer Skalenpassung diskutiert und insbe-sondere hinsichtlich der (vermuteten) kognitiven Prozesse die beim Lösen der Items genutzt werden können interpretativ bewertet. So konnten Itemgruppen identifiziert und beschrieben werden, die gemeinsame Merk-male aufwiesen, aber nicht mit dem eigentlich gewünschten Konstrukt harmonieren. Drei besonders problematische Gruppen waren:  ─ Items mit zu sehr ausgeprägten situativem Kontext innerhalb innerma-thematischer Dimensionen (N und G) ─ „Wissensitems“, die Begriffswissen über Funktionstypen nicht genü-gend von Übersetzungsfähigkeiten trennen.  ─ „Kalkül orientierte Items“, bei denen repräsentationsabhängige und funktionale Aspekte durch den Einsatz eines dominanten Kalküls (z. B. Dreisatz) verdrängt wurden. Die Skala schien hier durch modell-fremde Kompetenzaspekte dominiert. Bei der Optimierung des Itempools wurden diese Items hinsichtlich dieser Aspekte überarbeitet bzw. ersetzt. 6.  Zusammenfassung und Ausblick Über die Verbindung der quantitativen Analyse von Itemkonsistenzen mit der qualitativen Analyse der (vermuteten) kognitiven Qualität einzelner Items bzw. Itemgruppen, konnte der Itempool systematisch auf der Basis von empirischen Daten grundlegend überarbeitet werden. Die bisherigen, vorläufigen Analysen der zweiten Erhebung (Herbst 2010) deuten bereits an, dass es gelungen ist das dimensionale Auflösungsvermögen und die Qualität der einzelnen Skalen zu erhöhen. Literatur Bayrhuber, M., Leuders, T., Bruder, R. & Wirtz, M. (2010). Erfassung und Modellie-rung mathematischer Kompetenz: Aufdeckung kognitiver Strukturen anhand des Wechsels von Darstellungs- und Repräsentationsform. In: Klieme, E. Leutner, D. & Kenk, M.: Kompetenzmodellierung. Zwischenbilanz des DFG-SPP und Perspektiven des Forschungsansatzes. 56. Beiheft der ZfP, Weinheim u. a.: Beltz.  Blum, W. (2002). On the role of „Grundvorstellungen“ for reality-related proofs – examples and reflections. In: M. A. Mariotti (Ed.), CERME-3 – Proceedings of the Third Conference of the European Society for Research in Mathematics Education. Università di Pisa. Leuders, Timo / Prediger, Susanne (2005). Funktioniert`s? – Denken in Funktionen. In: PM 2, Jahrgang 47, 1-7. Reckase, M.D. (2009). Multidimensional Item Response Theory. Dordrecht u. a.: Springer. Rost, J. (1996). Lehrbuch Testtheorie - Testkonstruktion. Bern: Verlag Hans Huber. Swan, M. (1985). The Language of Functions and Graphs. Nottingham, UK: Shell Cen-tre for Mathematical Education.  Vollrath, H.J. (1989). Funktionales Denken. Journal für Mathematikdidaktik, (10), 3-37. 

Empiriegestützte Itemanalyse für die Kompetenzmodellierung funktionalen Denkens mit Graph, Tabelle und Situation

https://eldorado.tu-dortmund.de/bitstream/2003/32205/1/145.pdf

Empiriegestützte Itemanalyse für die Kompetenzmodellierung funktionalen Denkens mit Graph, Tabelle und Situation

Abstract

Similar works

Full text

Available Versions

Eldorado - Ressourcen aus und für Lehre, Studium und Forschung