Automated free text marking with Paperless School

The Paperless School automarking system utilises a number of novel approaches to address the challenge of providing both summative and formative assessments with little or no human intervention. The Paperless School system is designed primarily for day-to-day, low stakes testing of essay and short-text student inputs. It intentionally sacrifices some degree of accuracy to achieve ease of set up, but nevertheless provides an accurate view of the abilities of each student by averaging marks over a number of essays. The system is designed to function as a back-end service to an Learning Management System (LMS), thus facilitating the marking of large numbers of texts. This should enable considerable teacher resources to be freed up for other teaching tasks. In this paper we will discuss some of the issues involved in bringing computational linguistics to bear in the educational context. We will cover • how Blooms Taxonomy (the pedagogical model underlying most formal grading schemes) can be represented in software. • an overview of the steps required to derive a grade that will sufficiently closely predict the grade a human marker would give. • extending the system to include formative assessment, via intelligent comment banks

Functional use of multilingualism in assessment : opportunities and challenges

A

A community-based approach to new medium integration in South African education : a combination of ICT4D process approach and ethnographic action research techniques

Includes bibliographical references.Our initial study indicates that successful integration of new communication medium into South African schools is not only challenging from the financial point of view, but also in terms of designing tools that fit within educational goals, as well as the training and support of relevant personnel in order to use the new medium effectively. Training and support effort, however, are often seen as top-down or outside-in approach that many teachers and past integration efforts have identified as being one of the contributing factors to integration failure. By looking at past integration efforts, as well as through our own initial study and in the field, we recognise similar results and challenges in efforts to introduce information and communication technologies into developing communities. Work done by Heeks et al. (Heeks & Molla, 2009) (Walton & Heeks, 2011) identified the Process approach as a contributing factor towards successful Information and communication technologies for development projects. We developed a novel approach to medium integration in education by combining the Process approach with Ethnographical Action Research techniques as well as taking into account recommendations made by past medium integration in education. To evaluate our approach we implemented the Process approach at an Ethnographical Action Research site with the researcher as one of the teachers with the objective of integrating the mobile medium into the school

Distributed adaptive e-assessment in a higher education environment

The rapid growth of Information Communication Technology (ICT) has promoted the development of paperless assessment. Most of the e-Assessment systems available nowadays, whether as an independent system or as a built-in module of a Virtual Learning Environment (VLE), are fixed-form e-Assessment systems based on the Classical Test Theory (CTT). In the meantime, the development of psychometrics has also proven the potential for e-Assessment systems to benefit from adaptive assessment theories. This research focuses on the applicability of adaptive e-Assessment in daily teaching and attempts to create an extensible web-based framework to accommodate different adaptive assessment strategies for future research. Real-data simulation and Monte Carlo simulation were adopted in the study to examine the performance of adaptive e-Assessment in a real environment and an ideal environment respectively. The proposed framework employs a management service as the core module which manages the connection from distributed test services to coordinate the assessment. The results of this study indicate that adaptive e-Assessment can reduce test length compared to fixed-form e-Assessment, while maintaining the consistency of the psychometric properties of the test. However, for a precise ability measurement, even a simple adaptive assessment model would demand a sizable question bank with ideally over 200 questions on a single latent trait. The requirements of the two categories of stakeholders (pedagogical researchers and educational application developers), as well as the variety and complexity of adaptive models, call for a framework with good accessibility for users, considerable extensibility and flexibility for implementing different assessment models, and the ability to deliver excessive computational power in extreme cases. The designed framework employs a distributed architecture with cross-language support based on the Apache Thrift framework to allow flexible collaboration of users with different programming language skills. The framework also allows different functional components to be deployed distributedly and to collaborate over a networ

Der Hannover Concordancer und das Hannover Advanced Academic Writing Corpus: Eine korpuslinguistische Software mit dem dazugehörigen Dissertationskorpus für den Einsatz in Schreibberatungen

Bildungseinrichtungen funktionieren, trotz aller romantischen Bildungsideale, nach wirtschaftlichen Prinzipien. Eine höhere Bildungseinrichtung wie eine Universität oder Fachhochschule wird in Fakultäten unterteilt und diese in Institute. An diesen Instituten arbeiten Professor_innen und ein akademischer Mittelbau. Zusätzlich unterstützen Mitarbeiter_innen den Lehrbetrieb in Technik und Verwaltung. Sowohl das Personal als auch die Infrastruktur kosten Geld. Das bedeutet, dass mit begrenzten finanziellen Mitteln eine gewisse Anzahl an Studienplätzen realisiert werden kann. Da vielfach die Anzahl an Studieninteressierten größer ist als die Anzahl an Studienplätzen, werden nur die erfolgversprechendsten Bewerber_innen akzeptiert. Manche Studiengänge nutzen die ersten Semester, um die Anzahl der Studierenden weiter zu reduzieren. Im Verlauf des Studiums versucht die Bildungseinrichtung durch weitere Angebote wie Schreibzentren, Studierende zu ihrem Abschluss zu führen, um die aufgewendeten Ressourcen sinnvoll eingesetzt zu haben. Auch wenn diese Beschreibung überspitzt und gleichzeitig simplifiziert ist, so entspricht sie doch in Grundzügen einer wirtschaftlichen Betrachtung von höherer Bildung. Viele Studiengänge befassen sich in ihren ersten Semestern vor allem mit den für das Fachgebiet notwendigen Grundlagen. Akademisches Schreiben gehört außerhalb der Geisteswissenschaften häufig nicht dazu. So kommt es vor, dass vor allem in ingenieur- und naturwissenschaftlichen Studiengängen erst in den letzten beiden Semestern wissenschaftliche Aufsätze geschrieben werden müssen. Um Komplikationen beim wissenschaftlichen Schreiben von Abschlussarbeiten zu vermeiden und damit die von den Bildungseinrichtungen eingesetzten Mittel zu bewahren, haben viele größere Universitäten und Fachhochschulen Schreibzentren eingerichtet. Diese Schreibzentren sollen Studierende in ihren Schreibprozessen begleiten und damit die Wahrscheinlichkeit einer erfolgreichen wissenschaftlichen Arbeit erhöhen. Schreibzentren stehen vor der Herausforderung, dass das Personal, welches sie rekrutieren, vor allem aus Geisteswissenschaftler_innen besteht. Diese kennen sich zwar mit dem Schreiben im Allgemeinen und im Speziellen mit dem Schreiben in geisteswissenschaftlichen Disziplinen aus, sind jedoch häufig mit Studierenden aus anderen akademischen Traditionen konfrontiert. Vor allem, wenn die Studierenden ihre Arbeiten in einer Fremdsprache verfassen müssen, ergeben sich zusätzliche Herausforderungen. In dieser Situation reichen allgemeine Hinweise zu Herangehensweisen an akademisches Schreiben und die Vermittlung von unterschiedlichen Zitierweisen nicht aus. Wenn innerhalb der Schreibberatung auf einzelne Absätze und Formulierungen in Abschlussarbeiten eingegangen werden soll, stellt sich die Frage, mit welchen Mitteln die Erfahrungslücken zwischen den akademischen Traditionen der Schreibberater_innen und der Studierenden zu überbrücken sind. Zwar gibt es für einzelne akademische Disziplinen fachspezifische Handbücher, Nachschlagewerke und Wörterbücher, jedoch sind diese in der Breite unzureichend vorhanden und in der Tiefe teils unbrauchbar, um Schreibberater_innen dabei zu unterstützen, sich sprachlich in die Thematik ihrer Studierenden einzudenken. Studierende wissen sehr wohl, was die von ihnen verwendeten Fachbegriffe bedeuten. Es fehlen ihnen oftmals jedoch die Mittel, diese sinnvoll in den Kontext eines akademischen Aufsatzes einzubetten. Korpuslinguistik würde hier Abhilfe schaffen. Mittels Korpora und einer entsprechenden Software ließe sich die Verwendung von Begriffen in ihrem Kontext betrachten und danach in eigenen Texten nachahmen. Wenn die Software und die Kenntnisse der Nutzer_innen es hergeben, ließe sich die Verwendung eines Suchbegriffs quantifizieren und damit feststellen, ob die einzelne Verwendung eine Ausnahme oder doch die Regel ist. Allerdings sind bisherige Werkzeuge vor allem auf die Bedürfnisse von Linguist_innen ausgerichtet oder aber basieren auf Textgrundlagen, die zu allgemein für Schreibberatungen sind. Aus diesem Grund haben sich korpuslinguistische Werkzeuge wie AntConc oder WordSmithTools bisher  vielfach nicht durchgesetzt. Die dieser Arbeit zu Grunde liegende Software soll eine Unterstützung für Schreibberatungen sein, um den Mangel an adäquaten Hilfsmitteln zu reduzieren. Mit HanConc soll es Schreibberater_innen ermöglicht werden, fachspezifische Textsammlungen anzulegen, zu durchsuchen und die Ergebnisse adressatengerecht aufzubereiten. Damit wird die Beratung über wissenschaftliche Disziplinen hinweg vereinfacht und somit die Erfolgswahrscheinlichkeit von Schreibberatung für Studierende erhöht. Die Arbeit ist wie folgt gegliedert: Zunächst wird der inhaltliche Rahmen abgesteckt. Anschließend wird die Zusammenarbeit von Schreibberater_innen und Studierenden innerhalb des akademischen Schreibprozesses analysiert. Am Beispiel der HanConc werden die universitären Anforderungen an Schreibberatung ermittelt und mit dem tatsächlichen Aufwand eines Schreibberaters, d.h. in diesem Fall des Autors, verglichen. Mit Hilfe einer Umfrage wird überprüft, ob sich die Ergebnisse des Vergleichs mit den Erfahrungen anderer Schreibzentren an anderen deutschen Bildungseinrichtungen decken. Um die Anforderungen von Schreibberatungen an HanConc zu erfüllen, wurde ein Korpus bestehend aus allen Dissertationen der HanConc erstellt. Dieses Korpus wird eingehend beschrieben und auf die Homogenität innerhalb und Heterogenität außerhalb der Fakultätsgrenzen überprüft. Abschließend wird HanConc im Vergleich zu bestehenden Werkzeugen als Antwort auf die skizzierten Anforderungen vorgestellt. Der Quellcode inklusive ausführlicher Dokumentation befindet sich in einem gesonderten Repositorium