Kallweit, Michael

Eldorado - Repository of the TU Dortmund

Michael KALLWEIT, BochumDer Computer als Tutor - technikbasierte Diagnostik mit FreitextaufgabenViele Lernplattformen ermöglichen inzwischen offene Formate für Mathe-matikaufgaben mit automatischer Auswertung. Die Software STACK bietetdarüber hinaus intelligente Optionen für individuelles Feedback, das Ler-nenden und Lehrenden spezifische  Rückmeldung über  Fehlvorstellungenund Lernerfolge liefert. Erste Erfahrungen mit STACK-Aufgaben und ihrenFeedback-Bäumen  dienen  zur  Pilotierung  einer  Untersuchung  über  dieWirksamkeit und Nachhaltigkeit dieses Formates in verschiedenen Kontex-ten.EinleitungTechnische Systeme, die für die Mathematik geeignete offene Aufgabenfor-mate bereitstellen finden zur Zeit eine immer stärkere Verbreitung (siehez. B. Buchsteiner, Kallweit, 2015). Das Assessmentsystem STACK (Sang-win, 2013) bietet vielfältige Möglichkeiten zur Konstruktion von digitalenMathematikaufgaben mit automatischer Bewertung durch ein Computeral-gebrasystem und individuell  generiertem Feedback (siehe auch Kallweit.2015). Der Einsatz von STACK als Bestandteil regulärer Veranstaltungen wurdean der Ruhr-Universität Bochum (RUB) im WS 2015/2016 in zwei Szena-rien erprobt und ausgewertet.Einsatz im EingangstestIn zwei Präsenzvorkursen für Mathematik wurde ein freiwilliger digitalerEingangstest durchgeführt an dem insgesamt 146 Studienanfänger teilge-nommen haben (48 aus dem Vorkurs für Mathematiker und Physiker, 98aus dem Vorkurs für  Ingenieure).  Basis  für  die Aufgaben war ein  Ein-gangstest der Westfälischen Wilhelms-Universität Münster (WWU), der imdortigen Vorkurs von 191 Teilnehmer durchgeführt wurde (vgl. Neugebauer2013). Dieser Test bestand aus 25 MultipleChoice-Aufgaben, deren Dis-traktoren auf empirisch ermittelten Falschantworten und dahinterliegendenFehlerkonzepten beruhen (Neugebauer & Winter, 2014). Pro Frage gab esmindestens 5, im Mittel 6,5 und maximal 9 verschiedene Antwortmöglich-keiten, womit sich insgesamt 145 Distraktoren ergaben. Hinzu kam zu jederAufgabe die Auswahlmöglichkeit „Meine Antwort ist nicht dabei“, welchevon allen Testeingaben aber nur 69 (1,6%) mal ausgewählt wurde.In Institut für Mathematik und Informatik Heidelberg (Hrsg.), Beiträge zum Mathema-tikunterricht 2016 (S. x–y). Münster: WTM-VerlagFür die Variante an der RUB wurden 23 der insgesamt 25 Aufgaben in dasoffene Aufgabenformat mit STACK überführt und die Auswertungs-/Feed-backbäume  anhand  der  MultipleChoice-Distraktoren  konstruiert.  Durch-schnittlich wurden hier 15 verschiedene Eingaben pro Aufgabe erfasst, wassich insgesamt zu 347 summierte. Ein Extrembeispiel zeigt eine Aufgabezu Termumformungen: Hier wurden 9 verschiedene Distraktoren hinterlegt,aber 41 unterschiedliche Lösungsterme von den Teilnehmern eingegeben.Test mit MultipleChoice (WWU) Test mit STACK (RUB)Ø 6 Distraktoren Ø 15 vers. Eingabenmax. 9 Distraktoren max. 41 vers. Eingabeninsg. 145 Distraktoren insg. 347 vers. Eingaben1,6% der Auswahlen sind „meine Lösung ist nicht dabei„>60% der Eingaben sind neue Ein-gaben(Tabelle 1: Vergleich der Auswahlen bzw. Eingaben des Eingabetests)Einsatz in den wöchentlichen ÜbungsaufgabenAls zweites Szenario wurden digitale Aufgaben mit STACK als Teil der re-gulären wöchentlichen Übungsaufgaben der Veranstaltung Lineare AlgebraI gestellt. Pro Übungsblatt gab es 3 auf Papier zu lösende Aufgaben undeine digitale Aufgabe in der eLearning-Plattform Moodle. Für die Bearbei-tung beider Aufgabentypen hatten die Studierenden eine Woche Zeit. Fürkorrekte Lösungen gab es einen Bonus für die Modulpunkte. Der Großteilder Hörer nahm an den Übungen teil und bearbeitete Aufgaben. Die Anzahlder Abgaben sank (von 299 Studierende anfangs auf ca. 150 am Ende) überden Verlauf des Semesters (siehe Abbildung 2), wobei die elektronischenAufgaben generell (bis auf die erste Woche) häufiger bearbeitet wurden,was die  Akzeptanz  dieses  Aufgabenformats  bei  den Studierenden unter-streicht.  Erfahrungsberichte  zeigen,  dass  anfängliche  Probleme  mit  demtechnischen System, wie z. B. das Erlernen der Eingabesyntax, nach kurzerZeit nur noch in sehr seltenen Fällen auftraten. In einem Fall musste eineAufgabe durch Fehler bei der Konstruktion nochmals nachgebessert wer-den. Dies war aber ohne weitere Interaktion mit den Studierenden möglich,da STACK das nochmalige Auswerten aller Aufgaben unterstützt.(Abbildung 2: Abgabezahlen nach Aufgabentyp)Als Aufgaben wurden klassische Fragestellungen als Grundlage herangezo-gen, hierbei aber versucht die neuen Möglichkeiten des offenen Formatsauszuschöpfen. So wurde u. a. die Generierung von Beispielen eines ma-thematischen Sachverhalts abgefragt (siehe Abbildung 3). STACK ermög-licht einen Wechsel des Auswertungsparadigmas von „Welcher Fehler wur-de gemacht“ (Distraktoren bei MultipleChoice) zu „Was wurde richtig ge-macht“.(Abbildung 3: Vergleich Papieraufgabe und STACK-Aufgabe)Setzt man die erreichten Punktzahlen bei den Papier- und den STACK-Auf-gaben zueinander und zum erreichten Klausurergebnis in Beziehung, erge-ben sich signifikante Korrelationen (Tabelle 4).Blatt 01 Blatt 02 Blatt 03 Blatt 04 Blatt 05 Blatt 06 Blatt 07 Blatt 08 Blatt 09 Blatt 10 Blatt 11 Blatt 120 50 100 150 200 250 300 350Schriftliche Abgaben STACK AbgabenPapier ↔ STACK r=0,902 p<0,0001Papier ↔ Klausur r=0,556 p<0,0001STACK ↔ Klausur r=0,625 p<0,0001(Tabelle 4: Korrelationen nach Pearson)FazitDer offene mit STACK umgesetzte Aufgabentyp bietet im mathematischenKontext  eine  Bereicherung  der  Überprüfungsmöglichkeiten  von  Wissenund Kompetenzen. Schwierigkeiten in der Nutzung durch Studierenden tre-ten nur beim ersten Kontakt mit den Tools auf. Die Akzeptanz im prakti-schen Einsatz ist auf Seite der Studierenden und Lehrenden gleichermaßenhoch. Die Fokussierung auf die Überprüfung mathematischer Eigenschaf-ten einer Eingabe durch den Nutzer bei der Erstellung der Aufgaben, er-möglicht zudem kürzere Entwicklungsprozesse, da nicht zwingend sämtli-che möglichen Fehler im Vorfeld überlegt werden müssen. Dennoch lassensich gerade durch das offene Format weitere Daten für eine didaktischeAnalyse  sammeln.  Der  Einsatz  von  STACK  in  diagnostischen  Tests  inKombination mit diesen vorher ermittelten Fehleraufklärungen ist ein viel-versprechender Ansatz, der in Zukunft weiter erforscht werden soll.LiteraturBuchsteiner, J. , Kallweit, M. (2015): Professionalisierung des Helpdesk Mathematik. InH. Linneweber-Lammerskitten (Hrsg.), Beiträge zum Mathematikunterricht 2015, 220-223. Münster: WTM.Kallweit, M. (2015). Mathematik-Kompetenzen überprüfen und fördern – Automatisiert Lehren und Lernen mit STACK. Workshop der ASIM/GI-Fachgruppen, Argesim Report AR 50.Neugebauer, C., Winter, K. (2014): Fehleranalysen bei Studienanfängern als Basis zur individuellen Förderung in Mathematik. In: Roth, J., Ames, J. (Hrsg.) (2014):  Beiträge zum Mathematikunterricht, Münster: WTM-Verlag, S. 851-854.Neugebauer, C. 2013:  Online - Test zum Self-Assessment im Themenfeld "Studierfähigkeit in Mathematik": Zur Entwicklung von Multiple-Choice-Items. In: Hoppenbrock, A., Schreiber, S., et al. (2013): Mathematik im Übergang Schule/Hochschule und im ersten Studienjahr.Sangwin, C. J. (2013). Computer Aided Assessment of Mathematics. Oxford University Press

Der Computer als Tutor - technikbasierte Diagnostik mit Freitextaufgaben

https://eldorado.tu-dortmund.de/bitstream/2003/35548/1/BzMU16%20KALLWEIT%20Diagnostik.pdf

Der Computer als Tutor - technikbasierte Diagnostik mit Freitextaufgaben

Abstract

Similar works

Full text

Available Versions

Eldorado - Repository of the TU Dortmund