Formen der Adaption in einem computergestützten Lehrsystem: Entwicklung und Evaluation eines partiell adaptiven Programms für Reha-Patienten

keine Zusammenfassung vorhande

Entwicklung und Evaluation von fehlerspezifischem informativem tutoriellem Feedback (ITF) für die schriftliche Subtraktion

Obwohl das Angebot von Feedback in Lehr-Lernsituationen eine wichtige instruktionale Maßnahme darstellt,um Lernende in ihrem Lernprozess zu unterstützen, wird dessen Potenzial in multimedialen Lernumgebungen nur selten optimal genutzt. Feedback, welches in aller Regel im Anschluss an die Bearbeitung von Lernaufgaben bereitgestellt wird und den Lerner über die Qualität seiner Aufgabenbearbeitung informiert, beschränkt sich häufig auf die Bereitstellung einer richtig/falsch Rückmeldung mit einem sich anschließenden, zusätzlichen Lösungsversuch bzw. der Präsentation der richtigen Lösung. Als prototypisch für diese Art der Feedbackgestaltung erweist sich das in mathematischer Grundschulsoftware implementierte Feedback. Der Lerner erhält weder Informationen zu dem Ort und der Art des Fehlers noch einen Hinweis auf die korrekte Lösungsstrategie. Vor diesem Hintergrund bestand ein zentrales Ziel der vorliegenden Arbeit in der Entwicklung von fehlerspezifischem informativem tutoriellem Feedback (ITF) für die schriftliche Subtraktion auf der Grundlage des heuristischen Feedbackmodells von Narciss (2004) und der aus diesem Modell abgeleiteten Gestaltungsprinzipien für ITF. Obwohl allgemein erwartet wird, dass informatives Feedback lernwirksamer ist als Feedback, welches nur die richtige Lösung präsentiert, konnte diese Annahme durch die Ergebnisse der empirischen Feedbackforschung bisher nicht bestätigt werden. So ist die Feedbackforschung durch eine inkonsistente Befundlage gekennzeichnet. Vor diesem empirischen Hintergrund bestand ein weiteres zentrales Ziel der vorliegenden Arbeit in der Überprüfung der Effektivität des entwickelten fehlerspezifischen ITFs hinsichtlich verschiedener Lern- und motivationaler Parameter. Fehlerspezifisches ITF zeichnet sich dadurch aus, dass bei fehlerhaften Aufgabenlösungen Informationen angeboten werden, die auf der Grundlage einer kognitiven Anforderungs- und Fehleranalyse als korrekturrelevant identifiziert worden waren. Diese korrekturrelevanten Informationen werden dem Lernenden ohne Bekanntgabe der korrekten Lösung präsentiert, so dass sich dieser dazu aufgefordert sieht, die bereitgestellten strategischen Informationen in einem erneuten Lösungsversuch unmittelbar anzuwenden. In zwei Studien mit Viertklässlern wurde dieses computergestützte ITF im Hinblick auf seine Lern- und motivationale Wirksamkeit evaluiert. In der ersten Studie (N = 30) erfolgte diese Evaluation gegen eine Feedbackbedingung, welche das üblicherweise in mathematischer Lernsoftware realisierte Knowledge of Response und Knowledge of Correct Response (KR-KCR) Feedback präsentierte. In der zweiten Studie (N = 105) wurden zwei zusätzliche Feedbackbedingungen "Knowledge about Mistake (KR-KM) und Knowledge on How to proceed (KR-KH)" aufgenommen. Diese sind in ihrem Informationsgehalt zwischen dem ITF und dem KR-KCR Feedbackalgorithmus anzusiedeln. Die Ergebnisse beider Studien bestätigen die postulierte Lern- und motivationale Wirksamkeit des fehlerspezifischen ITFs für die schriftliche Subtraktion. Besonders im Vergleich zu der wenig informativen KR-KCR Feedbackbedingung konnten in beiden Studien signifikante Wirksamkeitsunterschiede nachgewiesen werden. Auch im Vergleich zu den komplexeren Feedbackformen Knowledge about mistake (KR-KM) und Knowledge on how to proceed (KR-KH) konnten für die Schüler der ITF Bedingung bessere Leistungen beobachtet werden, auch wenn diese Unterschiede nur partiell signifikant wurden. Die Ergebnisse der vorliegenden Untersuchungen zeigen, dass es möglich ist, auf der Grundlage des von Narciss (2004) vorgestellten Feedbackmodells und der aus diesem Feedbackmodell abgeleiteten Gestaltungsprinzipien lern- und motivationsförderliches ITF zu entwickeln. So liefern die Ergebnisse beider Studien erste empirische Belege für die Annahme, dass informatives Feedback nicht nur den Lernprozess unterstützt, sondern auch motivationsförderlich wirkt.Feedback is considered to be an important factor to promote learning and motivation with computer-based training tools. However the findings of studies on the effectiveness of feedback are rather inconsistent. One reason for these inconsistent findings might be that the implementation of feedback is more based on intuition than on well-founded design principles. Therefore the aims of the present work was (1) to develop theoretical well-founded elaborated feedback forms for a procedural skill like the written subtraction, (2) to implement them in an adaptive feedback algorithm that induces the mindful processing of feedback, and (3) to evaluate this elaborated feedback regarding his impact on learning and motivation. Using results from prior feedback research and from cognitive task and error analysis of written subtraction tasks, information relevant to the correction of typical systematic errors (e.g. location of error, source of error, type of error and hints to the correct solution strategy) were selected. This information was used to design different types of bug-related feedback messages. These different feedback messages were arranged in an adaptive bug-related algorithm presenting three levels of feedback with increasing informational value to support the learner in finding the correct solution on his own. Because the developed feedback allows assisted multiple response attempts for an item by providing relevant information for error correction, but no immediate Knowledge of Correct Response (KCR) feedback, and by encouraging the learner to apply the corrective information to a further attempt, this kind of feedback was called bug-related "informative tutoring feedback (ITF)". In two computer-based learning experiments cognitive and motivational effects of this bug-related ITF were evaluated with forth-grade students with difficulties in written subtraction. In the first study (N=30) the bug-related ITF was compared to the effects of a standard Knowledge of Result-Knowledge of Correct Response feedback (KR-KCR) algorithm. In the second study (N=105) two additional feedback algorithms - Knowledge about Mistake (KR-KM) und Knowledge on How to proceed (KR-KH) - were implemented. These both feedback algorithms range between the bug-related ITF and the simple KR-KCR feedback regarding to their amount of information. In both studies significant positive effects of the bug-related ITF compared to the KR-KCR feedback could be found. Regarding to the more informative KR-KM and KR-KH feedback a positive effect of the bug-related ITF could be showed sporadic. These results are discussed in detail

Adaptivität von hypermedialen Lernsystemen : Ein Vorgehensmodell für die Konzeption einer Benutzermodellierungskomponente unter Berücksichtigung kulturbedingter Benutzereigenschaften

Im Mittelpunkt dieser Arbeit steht ein Benutzermodellierungsansatz, der kulturbedingte Benutzerei-genschaften als einen determinierenden Faktor bei der Entwicklung von adaptiven hypermedialen Lernanwendungen betrachtet. Besondere Berücksichtigung finden dabei mehrere der von Kulturan-thropologen definierten Kulturdimensionen, die kulturspezifischen Merkmale verschiedener wissen-schaftlicher Stile und Diskursstrukturen sowie die Einflüsse kultureller Werte auf Konventionen des Designs von grafischen Benutzerschnittstellen. Ausgehend von der Annahme, dass das jeweilige kul-turspezifische Bildungssystem zur Herausbildung des Lernstils eines Einzelnen beiträgt und sich somit auch auf die Akzeptanz und Effektivität der genutzten Software auswirkt, wird diese Analyse auf den Bereich der Didaktik ausgeweitet. Diese kulturorientierte Adaptationsstrategie sieht zunächst den Einsatz von zwei Erhebungsmethoden vor. Das Ziel der Evaluation von Lernprogrammen aus verschiedenen Kulturen in den Bereichen Lay-out und multimediale Gestaltung, Interaktion und Navigation, Inhaltspräsentation und Didaktik besteht in der Ermittlung von kulturbedingten Designmerkmalen. In der hier betrachteten Fallstudie erfolgt ein Vergleich von britischen und deutschen Lernprogrammen. Die Durchführung einer kulturvergleichen-den Lernstilanalyse im Rahmen einer Befragung von potentiellen Benutzern aus den gewählten Kultu-ren dient der Vertiefung der Evaluationsergebnisse. Die Integration eines Lernstiltests in das adaptive System bietet an dieser Stelle eine noch genauere Möglichkeit der individuellen Erfassung des Benut-zerlernstils. Auf Basis der Ergebnisse dieser Vorstudie werden kultur- und lernstilspezifische Lernpro-gramm-Profile konstruiert. Das Vorgehensmodell sieht die Festlegung unterschiedlicher Grade der Wiederverwendbarkeit von Elementen eines Ausgangslernprogramms vor. Neben dem reinen Aus-tausch von bestehenden Programmteilen erfolgt die Konzeption kulturspezifischer Varianten, ggf. auch die Entwicklung neuer Elemente. Die Lernprogramm-Profile dienen wiederum als Vorlage für den Aufbau von Stereotypen, deren Zuordnung zu einem Benutzer den Ausgangspunkt des Adaptati-onsprozesses bildet. Auf der Grundlage des kontinuierlichen Monitoring des Navigationspfades sowie der systemseitigen Befragung des Benutzers nach dessen Zustimmung zu einer Anpassungsmaßnahme wird der Adaptationsprozess fortgeführt und das Benutzermodell laufend aktualisiert. Zusätzlich zu der Definition von Lernprogramm-Profilen ist zuvor die kulturorientierte Zusammenstellung von Methoden und Techniken der adaptiven Inhaltspräsentation und Navigationsunterstützung erforderlich. Der Benutzermodellierungsansatz wird im Rahmen von Usability-Tests unter Beteiligung von Benut-zern aus Großbritannien und Irland überprüft. Die Zufriedenheit der Probanden mit dem getesteten Lernsystem wird zunächst als eine Bestätigung für das dem Designkonzept zugrunde liegende Vorge-hensmodell betrachtet. Die Testergebnisse zeigen die bei der Lernprogrammevaluation bereits ermit-telte Dominanz der englischen Diskursregeln über Werte, die durch Kulturdimensionen erfasst werden. Darüber hinaus kann festgestellt werden, dass sich der Einfluss der Diskursnormen sowohl auf die Inhaltspräsentation als auch auf die Bereiche Navigation und Didaktik erstreckt. Dies verdeutlicht die Notwendigkeit einer Adaptationsstrategie, die über traditionelle Lokalisierungsansätze hinausgeht.This thesis presents a user modeling approach which views culture-bound user characteristics as a crucial factor of the design of adaptive hypermedia learning systems. Several dimensions of culture defined by cultural anthropologists are examined as well as the cultural variables in intellectual styles and discourse structures, and the effects of cultural value orientations on GUI design conventions. This analysis is extended to the field of didactics - based on the assumption that the culturally specific edu-cational environment affects the learning style of an individual and therefore the acceptance and effec-tiveness of educational software. This culture oriented adaptation strategy is put in concrete terms by first applying two research meth-ods: the evaluation of educational software from different cultures in the areas of layout and multime-dia, interaction and navigation, content presentation and didactics, and a questioning of target audience members on their learning styles. The purpose of the evaluation is to investigate culturally specific design principles. In the case study described in this thesis the characteristics of British and German systems are compared. The questioning aims at deepening the results of the evaluation by performing a cross-cultural learning style analysis. With the learning style inventory being part of the adaptive system an even more precise way of determining the individual learning style of the user is provided. According to the results of this preliminary study culture and learning style based profiles of system design features are constructed. The central idea of this personalization strategy is to determine which elements of an existing e-learning application can be reused and which need to be modified when adapting the system to the characteristics of users from a chosen target culture. This includes the de-sign of variations, and if required the development of new elements. The design profiles are supposed to serve as patterns for the construction of stereotypes. The assignment of stereotypes to an individual user forms a starting-point for the adaptation process. This process continues by updating the user model on the basis of the monitoring of the navigational path and a questioning whether the user agrees with the adaptation the system is about to perform. In addition to the definition of design profiles a culture oriented set of adaptive methods and techniques of content presentation and navigational support has to be assembled. The user modeling approach is being examined in usability tests with users from Great Britain and Ireland. The results show acceptance of the tested learning system which is seen as a confirmation of the adaptation strategy employed. They indicate a dominance of discourse principles over the values described by the dimensions of culture which already has been detected in the context of the evalua-tion. The testing also shows that discourse norms not only influence user preferences in the area of content presentation but also have an impact on expectations concerning navigation and didactics. These findings point out the necessity of an adaptation approach which goes beyond a conventional localization strategy

PromisD

Gegenstand der Arbeit ist zunächst eine Analyse der didaktischen Anforderungen an Sprachlernsysteme, die sich zum Teil aus dem Fremdsprachenunterricht ergeben. Daraus ergibt sich ein Übungstyp, der vom Lerner eine frei gestaltete Eingabe erfordert und damit insbesondere die kommunikative Kompetenz fördert, der aber auch mit Hilfe computerlinguistischer Methoden realisiert werden kann. Anschließend wird zur Auswahl einer geeigneten Grammatiktheorie insbesondere die Lexical Functional Grammar (LFG) näher betrachtet. Die Theorie muss sich aus computerlinguistischer Sicht für eine Implementierung im Rahmen eines Sprachlernprogramms eignen und es ist von zusätzlichem Vorteil, wenn die verwendeten Konzepte denen in Lernergrammatiken ähneln, um so die Generierung von Rückmeldungen zu vereinfachen. Im darauf folgenden Abschnitt wird kurz das eigentliche Programm PromisD (Projekt mediengestütztes interaktives Sprachenlernen - Deutsch) vorgestellt, wie es sich auch dem Nutzer präsentiert. Schließlich wird ein so genanntes antizipationsfreies Verfahren entwickelt, bei dem weder in der Grammatik noch im Lexikon Informationen zur Fehleridentifizierung enthalten sind. Die Fehlererkennung wird dabei auf die Bereiche eingeschränkt, in denen sich in einem Lernerkorpus häufig Fehler zeigen, um einerseits wesentliche Fehlertypen abzudecken und andererseits eine größere Effizienz bei der Analyse von realen Eingaben zu erreichen. Die Vorstellung des Verfahrens unterteilt sich entsprechend den grundlegenden Struktureinheiten der LFG in zwei Bereiche: die Konstituentenstruktur mit einer modifizierten Form des Earley-Algorithmus zur Integration von Fehlerhypothesen in die Chart und die Feature-Struktur mit einer veränderten Unifikationstrategie zur Behandlung und Speicherung von sich widersprechenden Werten in F-Strukturen. Zum Abschluss erfolgt die Evaluation und es werden die Möglichkeiten zur Gestaltung einer Rückmeldung an den Lerner diskutiert.The dissertation starts with an analysis of the requirements for Intelligent Computer-Assisted Language Learning systems (ICALL), which partially depend on didactic aspects of foreign language teaching. Based on this a type of exercise can be identified, that on the one hand allows the learner to enter free formed input supporting the so called communicative competence as a major didactic goal and on the other hand may be realised with advanced computational linguistics'' methods. In the following chapter a look at grammar theories and especially Lexical Functional Grammar (LFG) is taken. The grammar theory needs to be tractable in an implementation and it is of a further advantage if the concepts of the theory are similar to the concepts in learner grammars in order to simplify the generation of feedback. Subsequently the user interface of the actual program is presented with a focus on error messages. The implementation is named PromisD, which stands for "Projekt mediengestütztes interaktives Sprachenlernen - Deutsch". Finally an anticipation-free parsing method is developed using neither information from the lexicon nor the grammar in order to identify grammar errors. The recognition is restricted to those areas where errors occur frequently in a learner corpus in order to allow for a greater efficiency parsing authentic data. Along the two structural levels in LFG the presentation of the algorithm follows: the constituent-structure with a modified Early-algorithm integrating error hypotheses into the chart and the feature-structure with a new unification-strategie storing information about clashing values in the f-structure. The dissertation closes with an evaluation and an outlook on the generation of error messages

Simplifying Authoring of Adaptive Hypermedia Structures in an eLearning Context

Full version unavailable due to 3rd party copyright restrictions.In an eLearning context, Adaptive Hypermedia Systems have been developed to improve learning success by increasing learner satisfaction, learning speed, and educational effectiveness. However, creating adaptive eLearning content and structures is still a time consuming and complicated task, in particular if individual lecturers are the intended authors. The way of thinking that is needed to create adaptive structures as well as the workflows is one that lecturers are unaccustomed to. The aim of this research project is to develop a concept that helps authors create adaptive eLearning content and structures, which focuses on its applicability for lecturers as intended authors. The research is targeted at the sequencing of content, which is one of the main aspects of adaptive eLearning. To achieve this aim the problem has been viewed from the author’s side. First, in terms of complexity of thoughts and threads, explanations about content structures have been found in storytelling theory. It also provides insights into how authors work, how story worlds are created, story lines intertwined, and how they are all merged together into one content. This helps us understand how non technical authors create content that is understandable and interesting for recipients. Second, the linear structure of learning content has been investigated to extract all the information that can be used for sequencing purposes. This investigation led to an approach that combines existing models to ease the authoring process for adaptive learning content by relating linear content from different authors and therefore defining interdependencies that delinearise the content structure. The technical feasibility of the authoring methods for adaptive learning content has been proven by the implementation of the essential parts in a research prototype and by authoring content from real life lectures with the prototype’s editor. The content and its adaptive structure obtained by using the concept of this research have been tested with the prototype’s player and monitor. Additionally, authoring aspects of the concept have been shown along with practical examples and workflows. Lastly, the interviewees who took part in expert interviews have agreed that the concept significantly reduces authoring complexity and potentially increases the amount of lecturers that are able to create adaptive content. The concept represents the common and traditional authoring process for linear content to a large extent. Compared to existing approaches the additional work needed is limited, and authors do not need to delve into adaptive structures or other authors’ content structures and didactic approaches