Podlogar, Herbert

Eldorado - Ressourcen aus und für Lehre, Studium und Forschung

HERBERT PODLOGAR, Universität Münster Das Projekt Mathe-Meister: Entwicklung eines effizienten Tests zur Erfassung mathematischer Basisanforderungen ver-schiedener Berufsgruppen 1. Einführung Qualifizierte Mitarbeiter werden für Betriebe in Zukunft die wichtigste Ressource im internationalen Wettbewerb sein. Trotzdem weisen viele In-teressierte an Meisterlehrgängen vor Lehrgangsbeginn starke Defizite im Bereich der Schulmathematik auf, obwohl mathematische Grundkenntnisse unverzichtbare Voraussetzungen in allen Bereichen der Meisterqualifizie-rung sind. Das vom BMBF geförderte Projekt Mathe-Meister entwickelt für verschiedene Berufsfelder internetbasierte Tests, mit deren Hilfe sich Interessenten an Meisterlehrgängen effizient prüfen können, ob sie die be-nötigten Basiskenntnisse in Mathematik besitzen.  Die Entwicklung der Tests verläuft in mehreren Phasen. Diese Phasen kön-nen durch Arbeitspakete und darin erarbeitete Meilensteine wiedergegeben werden. Abbildung 1 stellt den Entwicklungsprozess schematisch dar. Im Folgenden werden die einzelnen Entwicklungsphasen näher erläutert und durch zugehörige Resultate veranschaulicht. Abbildung 1: Phasen‐Meilensteindiagramm zur Testentwicklung 2. Aufgabenentwicklung und Datenerhebung Ausbildungsgänge mit dem Ziel eines Industrie- bzw. Handwerksmeisters sind in verschiedene Lernfelder gegliedert, die zum einen fachspezifische und zum anderen betriebswirtschaftliche Inhalte umfassen. In diesen Lern-feldern werden an vielen Stellen mathematische Methoden verwendet, die den Teilnehmern bereits in der Schule und der Ausbildung vermittelt wur-den; sie werden daher von Ausbildern in der Regel vorausgesetzt. Um die mathematischen Anforderungen zu Beginn eines Meisterkurses zu extrahieren, müssen die dazugehörigen Lehrinhalte untersucht werden. Hierzu haben wir zunächst die einzelnen Rahmenlehrpläne analysiert. Hier wurden diejenigen Lernfelder extrahiert, in denen mathematische Kennt-nisse zur Bearbeitung benötigt werden. Anschließend wurden die Inhalte dieser Lernfelder anhand von Standardlehrwerken näher untersucht; hier konnten nun konkrete Aufgaben extrahiert werden. Die Aufgaben wurden anschließend zusammen mit Ausbildern zugehöriger Gewerke überprüft; hierzu wurden Interviews sowie eine Onlineumfrage durchgeführt. Im Rahmen der Analysen haben wir eine Sammlung von 228 Items zu den Oberthemen Arithmetik, Algebra, Geometrie, Bruchrechnung sowie Drei-satz und Prozentrechnung entwickelt. Um die Eignung der einzelnen Items zu überprüfen, wurden Rohwerte von Probanden der Zielgruppe benötigt. Hierzu haben wir die Items zunächst in 3 Papiertests zusammengefasst, die dann von insgesamt 454 Meisterschülern bearbeitet wurden. Die Analyse der durchgeführten Tests, die Selektion besonders aussagekräftiger Aufga-ben und die testtheoretische Validierung werden in den folgenden zwei Ab-schnitten beschrieben. 3. Aufgabenselektion Mithilfe statistischer Analysen sollten homogene Itemgruppen identifiziert werden. Hier liegt die Annahme zu Grunde, dass zur Bearbeitung dieser homogenen Items jeweils eine spezielle latente Variable ausschlaggebend ist. Des Weiteren sollten Aufgaben identifiziert werden, die besonders gut eine solche latente Variable repräsentieren. Diese Aufgaben werden im Folgenden auch Indikatoraufgaben genannt. Zur Identifizierung homogener Items und der Indikatoraufgaben wurde das Verfahren der Faktorenanalyse eingesetzt. Mithilfe dieses Verfahrens konnten Items eines Oberthemas in homogene Gruppen untergliedert werden (vgl. Bühner 2006, S. 180); die Items dieser Gruppen lassen sich jeweils auf eine latente Variable zurück-führen, die mehr inhaltliche Details enthalten als durch die Oberthemen vorgegeben. Durch die Faktorenanalyse können zudem Aufgaben identifi-ziert werden, die zu allen weiteren Aufgaben nur gering korrelieren und deshalb gesondert betrachtet werden müssen (vgl. Bühner 2006, S. 196). Die beschriebene Vorgehensweise erläutern wir im Folgenden an Aufgaben des Oberthemas Bruchrechnung. Tabelle 1 enthält Items zur Bruchrech-nung samt den zugehörigen Lösungsquoten; die Items stammen aus einem der drei Papiertests. Die Lösungsquoten liegen zwischen 31 und 65 Pro-zent. Die Faktorenanalyse liefert für die Aufgabenzusammenstellung 2 ho-mogene Aufgabengruppen, die zudem inhaltlich sehr gut übereinstimmen. Das Verfahren identifiziert hoch korrelierende Aufgaben zur Addition und Subtraktion – diese bilden den ersten Faktor. Den zweiten Faktor bilden die Items zur Multiplikation und Division mit Brüchen. Tabelle 1 gibt in den letzten beiden Spalten die Ladungen der Items auf den beiden Faktoren wieder. Als Indikatoraufgaben bieten sich aufgrund der Faktorenanalyse diejenigen Items an, die besonders hoch auf dem jeweiligen Faktor laden. Die Extraktion der Faktoren wurde mithilfe der Hauptkomponentenanalyse durchgeführt; zur Rotation der Faktoren wurde die Varimax-Methode ver-wendet (vgl. Bühner 2006, s. 194 ff) Tabelle 1: Phasen‐Meilensteindiagramm zur Testentwicklung Aufgabe  Nicht bearbeitet Falsch gelöst Richtig gelöst Faktor 1 Faktor 222,7% 16,6% 60,7% ,927  -,117    30,7% 28,2% 41,1% ,808 ,019    33,1% 19,6% 47,2% ,802 ,114    28,2% 7,4% 64,4% ,727 ,069    33,1% 20,9% 46,0% ,062 ,831    41,1% 16,6% 42,3% -,090 ,908    50,3% 18,4% 31,3% ,073 ,790  In Tabelle 2 werden die Kommunalitäten aufgeführt. Diese geben die durch alle extrahierten Faktoren aufgeklärte Varianz wieder (vgl. Bühner 2006, S. 186). Sie geben also an, wie gut die Faktoren das jeweilige Item erklären. Alle Items besitzen hohe Werte, werden also gut durch die Faktoren erklärt. Die aufgeklärte Varianz durch die beiden Faktoren liegt bei sehr hohen 70,89 %. Die beiden Faktoren repräsentieren somit hinreichend alle Items. Tabelle 2: Kommunalitäten der Items zur Bruchrechnung   Anfänglich Extraktion  1,000 ,742 1,000 ,671 1,000 ,767 1,000 ,594 1,000 ,756 1,000 ,734 1,000 ,69847 2+ =1 23 52 + =6 27 5− =143− =8 36 2⋅ =9 310 5: =311 : 2 =47 2+ =1 23 52 + =6 27 5− =143− =8 36 2⋅ =9 310 5: =311 : 2 =4. Aufgabenvalidierung Zur Validierung der identifizierten Aufgabenblöcke wurde das Rasch-Modell der Item Response Theory verwendet. Die Item Response Theory setzt das Antwortverhalten von Personen und die dahinterliegenden laten-ten Variablen in Beziehung (vgl. Rost 2004, S. 133). Das Rasch-Modell stellt diese Verbindung wie folgt her: Zur Lösung einer Aufgabe ist ein be-stimmtes Persönlichkeitsmerkmal (Personenparameter) nötig, dessen indi-viduelle Ausprägung die Lösungswahrscheinlichkeit für eine spezielle Aufgabe festlegt; die Schwierigkeit einer Aufgabe wird durch einen Itemparameter angegeben. Gilt das Rasch-Modell, können sowohl Items als auch Personen auf einer Skala dargestellt werden. Um eine Person auf der Skala einzuordnen, müssen vorher einige Aufgaben, die dem Raschmodell genügen, bearbeitet worden sein, so dass für die Person ein Personenpara-meter berechnet werden kann. Je höher die Zahl der bearbeiteten Items die-ser Person ist, desto genauer ist der Personenparameter. Ob das Rasch-Modell zutrifft, kann mit globalen sowie itemspezifischen Modelltests festgestellt werden – dabei werden gleichzeitig diverse Güte-kriterien wie Skalierbarkeit, Eindimensionalität sowie die Item- und Perso-nenhomogenität überprüft (Moosbrugger & Kelava 2007, S. 255). Für die Items zur Bruchrechnung ist der globale Pearson-χ2-Test signifikant. Zu-dem sind mit dem Q-Index keine lokalen Modellverletzungen feststellbar. Die Items sind somit Rasch-skalierbar (vgl. Bühner 2006, S. 346 ff). Das Rasch-Modell haben wir auf die einzelnen Oberthemen angewendet. Bearbeitet ein Teilnehmer eine Auswahl von Indikatoraufgaben eines Oberthemas, erlaubt das erzielte Ergebnis eine Aussage über die Fähigkei-ten auf dem Oberthema, ohne das alle Items bearbeitet wurden. 5. Fazit In den vorangegangen Abschnitten wurde das Vorgehen zur Entwicklung eines effizienten Tests zur Beurteilung von mathematischen Basiskompe-tenzen im Bereich der beruflichen Ausbildung vorgestellt. Mit der Fakto-renanalyse und dem Rasch-Modell kamen zwei mächtige Methoden der Testtheorie zum Einsatz, die in unserem Fall gut einander ergänzen. Literatur Bühner, M. (2006). Einführung in die Test- und Fragebogenkonstruktion. München: Pearson Studium. Moosbrugger, H., Kelava, A. (2007). Testtheorie und Fragebogenkonstruktion. Heidel-berg: Springer Verlag. Rost, J. (2004). Lehrbuch Testtheorie - Testkonstruktion. Göttingen: Verlag Huber. 

Das Projekt Mathe-Meister: Entwicklung eines effizienten Tests zur Erfassung mathematischer Basisanforderungen verschiedener Berufsgruppen

https://eldorado.tu-dortmund.de/bitstream/2003/31986/1/159.pdf

Das Projekt Mathe-Meister: Entwicklung eines effizienten Tests zur Erfassung mathematischer Basisanforderungen verschiedener Berufsgruppen

Abstract

Similar works

Full text

Available Versions

Eldorado - Ressourcen aus und für Lehre, Studium und Forschung