Predicting and Manipulating the Difficulty of Text-Completion Exercises for Language Learning

The increasing levels of international communication in all aspects of life lead to a growing demand of language skills. Traditional language courses compete nowadays with a wide range of online offerings that promise higher flexibility. However, most platforms provide rather static educational content and do not yet incorporate the recent progress in educational natural language processing. In the last years, many researchers developed new methods for automatic exercise generation, but the generated output is often either too easy or too difficult to be used with real learners. In this thesis, we address the task of predicting and manipulating the difficulty of text-completion exercises based on measurable linguistic properties to bridge the gap between technical ambition and educational needs. The main contribution consists of a theoretical model and a computational implementation for exercise difficulty prediction on the item level. This is the first automatic approach that reaches human performance levels and is applicable to various languages and exercise types. The exercises in this thesis differ with respect to the exercise content and the exercise format. As theoretical basis for the thesis, we develop a new difficulty model that combines content and format factors and further distinguishes the dimensions of text difficulty, word difficulty, candidate ambiguity, and item dependency. It is targeted at text-completion exercises that are a common method for fast language proficiency tests. The empirical basis for the thesis consists of five difficulty datasets containing exercises annotated with learner performance data. The difficulty is expressed as the ratio of learners who fail to solve the exercise. In order to predict the difficulty for unseen exercises, we implement the four dimensions of the model as computational measures. For each dimension, the thesis contains the discussion and implementation of existing measures, the development of new approaches, and an experimental evaluation on sub-tasks. In particular, we developed new approaches for the tasks of cognate production, spelling difficulty prediction, and candidate ambiguity evaluation. For the main experiments, the individual measures are combined into an machine learning approach to predict the difficulty of C-tests, X-tests and cloze tests in English, German, and French. The performance of human experts on the same task is determined by conducting an annotation study to provide a basis for comparison. The quality of the automatic prediction reaches the levels of human accuracy for the largest datasets. If we can predict the difficulty of exercises, we are able to manipulate the difficulty. We develop a new approach for exercise generation and selection that is based on the prediction model. It reaches high acceptance ratings by human users and can be directly integrated into real-world scenarios. In addition, the measures for word difficulty and candidate ambiguity are used to improve the tasks of content and distractor manipulation. Previous work for exercise difficulty was commonly limited to manual correlation analyses using learner results. The computational approach of this thesis makes it possible to predict the difficulty of text-completion exercises in advance. This is an important contribution towards the goal of completely automated exercise generation for language learning

Gamification macht Schule? Elemente digitaler Spiele im Deutschunterricht

"[Dem] hohen Stellenwert der Orthographie bei der Bewertung und Beurteilung sprachlicher Kompetenzen allgemein steht andererseits gegenüber, dass Orthographie meist ein eher ungeliebter Lerngegenstand ist" (Becker 2019, S. 277). Betrachtet man die Aussage von Becker, stellt sich unweigerlich die Frage, ob und wie sich die beschriebenen Einstellungen gegenüber einem solchen Lerngegenstand verändern ließen. Die vergangenen Jahrzehnte zeichnen sich in der Deutschdidaktik unter anderem durch unterschiedlichste Reformbewegungen aus, die sowohl Methodik als auch Vermittlungsprozesse betreffen und mittlerweile stärker die Motivation von Schülerinnen und Schülern in den Vordergrund rücken. Entsprechend ist es ratsam, dieser Entwicklung Rechnung zu tragen und sie mit Anmerkungen wie solchen von Becker zu verbinden. Doch wie lässt sich Orthographieunterricht motivierender gestalten? Eine Antwort auf diese Frage kann Gamification bilden. Diesem Konzept wurde in der Vergangenheit bereits eine positive Wirkung auf die Motivation von Rezipierenden attestiert und die Erkenntnisse teilweise auf das schulische Lernen sowie den Orthographieunterricht übertragen. Problematisch erscheint hier vor allem, dass bislang eine übergeordnete Systematik zur Implementierung von Spielelementen in den Schulunterricht fehlt, was die Einstiegshürde erhöht und ein tieferes Verständnis für die Materie seitens der Lehrkräfte stark erschwert. Die vorliegende Arbeit hat entsprechend die Konstruktion einer theoriegeleiteten Gesamtsystematik zum Ziel, die erstmalig in Anknüpfung an bisherige Befunde die Grundlage für die Implementierung von Gamification in Lehr- und Lernkontexte im Allgemeinen und in den Orthographieunterricht im Speziellen erleichtern soll. Darüber hinaus soll ermöglicht werden, bei bereits vorhandenen Programmen und Konzepten Fragen hinsichtlich der Wirksamkeit genutzter Elemente zu stellen. Um das Verständnis zu erleichtern und eine niedrige Einstiegshürde zu gewährleisten, wird die konzipierte Gesamtsystematik im Anschluss auf zwei unterschiedliche Programme angewendet sowie dazu genutzt, ein im analogen Bereich bereits etabliertes Rechtschreibförderprogramm auf theoretischer Ebene zu digitalisieren und zu gamifizieren