Evaluation von E-Learning: Checklisten, Kriterienkataloge oder Evaluationskonzepte? Zum Stand der Bewertungsverfahren für E-Learning-Arrangements

Qualität in Bildungsmaßnahmen - als Legitimation oder aus wissenschaftlichem Interesse - ist ein Thema von hoher Bedeutung, auch - und gerade - im E-Learning. E-Learning, als eine noch relativ junge, nicht völlig etablierte, aber - so stellt sich immer häufiger heraus – kostenintensive Bildungsform, muss sich immer wieder der kritischen Frage nach der Qualität stellen, zumeist assoziiert mit Lernerfolg. Vielfältige Instrumente, um die Qualität zu überprüfen oder zu entwickeln, begleitend oder im Nachhinein, sind bislang konzipiert worden (vgl. Ehlers/Pawlowski/Goertz 2003). Der Artikel gibt einen Überblick zum derzeitigen Stand der Dinge in Bezug auf zwei dieser Verfahrensweisen: zum einen geht es dabei um die Beurteilungen anhand von Kriterienkatalogen bzw. Checklisten und zum anderen um Evaluationsverfahren. Obwohl vielfach bereits umfassendere Managementsysteme zum Einsatz kommen, die die Qualität bei Anbietern kontinuierlich verbessern sollen, haben beide Verfahren eine steigende Bedeutung - da auch Managementverfahren immer wieder auf Kriterien oder Evaluationsverfahren zurückgreifen

E-Learning in der ALLGEMEINmedizinischen Aus-, Fort- und Weiterbildung : Erfahrungen aus der Allgemeinmedizin

Kurzfassung Vortrag: Fächerübergreifende Lehre und verpflichtende Fortbildung (CME) für Ärzte erfordern innovative Lernmethoden. Eine Lösung wird teilweise in der Nutzung elektronischer Medien gesehen. Unklar ist jedoch, wie konkret eine Umsetzung in der Aus-, Fort- und Weiterbildung im Fach Allgemeinmedizin bisher erfolgte, welche Chancen und Möglichkeiten es gibt und wie die weitere Entwicklung aussehen kann. Um einen Überblick über die aktuellen E-Learning-Aktivitäten zu erhalten, formierte sich eine universitäts- und bundesländerübergreifende Initiative. In drei Phasen soll die Grundlage für die Entwicklung einer Strategie für die effektive Nutzung elektronischer Lehr- und Lernmedien für das Fach Allgemeinmedizin geschaffen werden: Phase 1 - Nationales Expertentreffen (Juli 2005 in Frankfurt): Diskussion von Erfahrungen, Problemen und Möglichkeiten des Einsatzes elektronischer Medien in der Allgemeinmedizin. Phase 2 - Gründung eines Netzwerks: Zusammenarbeit, Koordination und gegenseitige Unterstützung bei der Entwicklung von E-Learning-Modulen. Phase 3 - Evaluation von E-Learning in der Allgemeinmedizin: systematische qualitative und quantitative Untersuchungen. Im Rahmen eines Workshops sollen die Erfahrungen aus dem Expertentreffen mit Lehrenden und Fortbildenden aus anderen Fachbereichen diskutiert werden. Kooperationen über die Allgemeinmedizin hinaus können weitere Synergien schaffen. Der Workshop dient dem Austausch über Chancen und Limitationen entsprechender Angebote

Konzept zur Evaluation von E-Learning Angeboten im Rahmen von VISU (Virtuelle Saar-Universität)

Der Bericht stellt ein Konzept zur Evaluation von e-Learning Projekten vor, das auf bisher nur wenig beachtete Aspekte und Fragestellungen besonderes Gewicht legt. Dazu gehören Fragen wie die nach der grundlegenden oder konkreten Akzeptanz dieser Angebote durch die Nutzer, nach den institutionellen und organisatorischen Konsequenzen, die diese neuen Formen des Lehrens und Lernens mit sich bringen oder nach der tatsächlichen Realisierung des so genannten 'Mehrwerts' des e-Learnings gegenüber klassischen Lehr-Lern-Formen. Berücksichtigung findet ebenso die Tatsache, dass e-Learning-Angebote meist im Rahmen von Forschungs- oder Entwicklungsprogrammen und -projekten entstehen und somit Ergebnis bzw. Ziel dynamischer und mehr oder weniger komplexer Entwicklungsprozesse sind. Entwickelt wird das Evaluationskonzept vom Centrum für Evaluation an der Universität des Saarlandes auf der Grundlage umfangreicher Erfahrungen mit der Evaluation von Programmen und Projekten in anderen Themengebieten (z.B. im Umweltbereich, im Bereich der allgemeinen und beruflichen Bildung oder im Bereich der Entwicklungszusammenarbeit). Im ersten Schritt werden zunächst einige grundlegende Informationen zu Formen, Funktionen und Aufgaben von Evaluation gegeben. Im Anschluss hieran werden die theoretischen Grundlagen des Evaluationskonzepts, seine konkreten Inhalte sowie die bei seiner praktischen Umsetzung anzuwendenden Evaluationsmethoden dargestellt. [Zitat: ICG2

Konzeption, Implementation und Evaluation von Online-Seminaren in der universitären, erziehungswissenschaftlichen Ausbildung

Eine Vielzahl von Gründen sprechen für den Einsatz von Online-Seminaren in der universitären Lehre: Beispielsweise ermöglichen Online-Seminare eine Erweiterung des Veranstaltungsspektrums, eine Ausweitung der Wissensvermittlung sowie temporäre und örtliche Flexibilität. Daneben sollte darauf geachtet werden, dass die Didaktik, die diesen Seminaren zu Grunde liegt, einen Schwerpunkt im Entwicklungsprozess bildet. Im diesem Beitrag werden exemplarisch zwei Seminare aus dem Hochschulbereich dargestellt, die diesen Anforderungen in ihrem konzeptionellen Aufbau gerecht werden wollen und hinsichtlich ihrer Akzeptanz überprüft wurden

Vom Wissen zum Wandel. Evaluation im E-Learning zur kontinuierlichen Verbesserung des didaktischen Designs

Lehrevaluationen gehören zum Alltag an Hochschulen und Universitäten. Die Herausforderung besteht jedoch darin, die daraus gewonnenen Erfahrungen auch für eine konkrete Verbesserung der Lehre wirksam werden zu lassen. Am Beispiel der Evaluation eines Blended-Learning-Kurses wird gezeigt, wie das didaktische Design einer Lehrveranstaltung mit einem Drei-Stufen-Modell überprüft und fortlaufend optimiert werden kann. (DIPF/ Orig.

Selbstevaluation als Ansatz der Qualitätsverbesserung von E-Learning-Angeboten

Self-evaluation is one of the most popular approaches to quality improvement in the domain of e-learning. Here, the evaluation is carried out by the same indi-viduals or institutions who are also responsible for planning, realizing or imple-menting the evaluated e-learning product. Our paper reviews typical constella-tions and scenarios where self-evaluations are applied in the context of e-learning and discusses goals and questions which are often pursued with self-evaluations. A case example is used to propose a general procedure for using self-evaluations to improve the quality of e-learning products. Three potential problems in self-evaluations are credibility, evaluation competence, and re-sources and motivation. These problems are discussed in depth together with possible solutions for alleviation. Concluding, we present a practical tool for planning self-evaluation projects and discuss the future potential for the self-evaluation of e-learning.Selbstevaluation ist eine der am weitesten verbreiteten Varianten der Qualitäts-verbesserung im Bereich des E-Learning. Die Evaluation wird dabei von den-selben Personen oder Institutionen geplant und durchgeführt, die auch für das Design, die Realisierung oder die Implementierung des evaluierten E-Learning-Angebots verantwortlich sind. Der Artikel gibt einen Überblick über typische Konstellationen und Szenarien, in denen Selbstevaluation im Bereich E-Learning zum Einsatz kommt und zeigt, welche Zielsetzungen und Fragestel-lungen dabei verfolgt werden. Auf Basis eines Fallbeispiels wird ein allgemeines Vorgehen vorgestellt, wie Selbstevaluation für die Qualitätsverbesserung von E-Learning-Angeboten eingesetzt werden kann. Die drei möglichen Problembe-reiche Glaubwürdigkeit, Evaluationskompetenz sowie Ressourcen und Motiva-tion zur Selbstevaluation werden dabei gesondert betrachtet und gemeinsam mit möglichen Lösungsansätzen diskutiert. Abschließend wird ein Fragenkata-log zur Planung eigener Selbstevaluationsprojekte präsentiert und ein Ausblick auf das zukünftige Potenzial der Selbstevaluation im Bereich E-Learning gege-ben

Studienwahl mit Verstand : mit Self-Assessment online die Eignung testen

Die Erwartungen von Studieninteressierten weichen häufig beträchtlich von den tatsächlichen Studieninhalten und Anforderungen ab. Ein Grund dafür ist, dass viele sich nicht genügend Klarheit verschaffen, welche eigenen Stärken und Schwächen für den Erfolg in Studium und Beruf »tatsächlich« relevant sind. So könnte zum Beispiel ein Abiturient mit guten Noten in Mathematik und Physik und mäßigen Zensuren in Deutsch und Englisch noch schlussfolgern, dass ihm »das Naturwissenschaftliche mehr liegt«. Ob das naturwissenschaftliche Verständnis für ein erfolgreiches Studium der Informatik jedoch gut genug ausgeprägt ist, lässt sich nicht so leicht erschließen. Noch schwieriger ist es für Studieninteressierte einzuschätzen, wie ihre »Soft Skills« ausgeprägt sind – also die Persönlichkeitsmerkmale, die in der Schule nicht systematisch beurteilt werden, jedoch hochgradig aussagekräftig für langfristigen Erfolg in Studium und Beruf sind. Ein Wechsel des Studienfaches zu Beginn des Studiums führt häufig zu einer Verlängerung der Studiendauer. Auch wenn eine derartige »Orientierungsphase« oftmals als normal und wichtig eingeschätzt wird, zeigt die praktische Erfahrung, dass Studierende mit kurzer Studiendauer jenen, die länger studiert haben, bei der Stellenvergabe tendenziell vorgezogen werden. Eine längere Studiendauer wird von Arbeitgebern häufig als Zeichen mangelnder Zielstrebigkeit oder fehlender Berufsmotivation interpretiert und kann sich so Chancen mindernd für Berufseinsteiger auswirken. Ebenso ist es im Interesse der Universitäten, die Zahl der Studienfachwechsel und -abbrüche so gering wie möglich zu halten – nicht zuletzt aus wirtschaftlichen Gründen. Deshalb bietet die Universität Frankfurt Studieninteressierten – zunächst in den Fächern Informatik und Psychologie – mit dem Self-Assessment konkrete Entscheidungshilfen an. Der verfolgte Ansatz zielt darauf ab, Abiturientinnen und Abiturienten möglichst frühzeitig und mit vertretbarem Aufwand die Möglichkeit zu bieten, selbst zu überprüfen, inwieweit ihre Erwartungen an einen Studiengang mit den tatsächlichen Inhalten und Anforderungen übereinstimmen. Das Konzept zur Erstellung eines Self-Assessments, das hier beispielhaft für den Studiengang Informatik vorgestellt wird, entstand nicht umsonst in enger Kooperation mit dem Institut für Psychologie (Prof. Dr. Helfried Moosbrugger, Dr. Siegbert Reiß, Ewa Jonkisz). Denn neben der fachlichen Qualifikation entscheiden über den Studienerfolg auch persönliche Eigenschaften wie Leistungsbereitschaft und Hartnäckigkeit. Die Auswertung des anonym durchgeführten Self-Assessments deckt außerdem Wissenslücken bei den Studieninteressierten auf, so dass eine gezielte Vorbereitung auf das Studium möglich wird. Zum Beispiel bietet der Fachbereich Mathematik und Informatik gezielte Vorbereitungskurse für Studienanfänger an, und zwar in Programmierung und Mathematik. Auch werden in den Semesterferien Repetitorien und Vorbereitungskurse angeboten – alles aus Studienbeiträgen finanziert. Auf diese Weise kann es zu einem homogeneren Kenntnisstand speziell bei den Studierenden im ersten Semester kommen. Ziel ist es, dadurch auch den »Erstsemesterschock « zu mildern. Das Online-Beratungsangebot trägt damit zu einer direkten Verbesserung der Lern- und Lehrsituation bei

Evaluation eines innovativen E-Learning-Schulungskonzepts in der betrieblichen Weiterbildung eines Pharmaunternehmen

This report describes the evaluation of an innovative e-learning training conception, that was used in a pharmaceutic company to train the sales representatives. The training conception comprises self guided learning phases in a problem-based web-based-training and moderated virtual sessions on a learning platform. The evaluation concentrates on the framework during the training, the assessment of the learning environment and on the learning outcome. 117 sales representatives participate the study. All the examined aspects were predominantly judged positive by the participants of the study.Dieser Bericht beschreibt die Evaluation eines innovativen E-Learning-Schulungskonzepts, das in einem Pharmaunternehmen zur Schulung der Außendienstmitarbeiter verwendet wurde. Das Schulungskonzept umfasst Selbstlernphasen in einem problemorientiert gestalteten Web-Based-Training und moderierte virtuelle Sitzungen auf einer Lernplattform.Im Fokus der Evaluation standen die Erfassung der Rahmenbedingungen während der Schulung, der Einschätzung der Lernumgebung und des Learning-Outcomes. Teilnehmer der Evaluation waren 117 Außendienstmitarbeiter des Pharmaunternehmens. Als Hauptergebnis der Evaluation kann festgehalten werden, dass die Rahmenbedingungen, die Lernumgebung und der Learning Outcome überwiegend sehr positiv oder positiv von den Teilnehmern eingeschätzt wurden

Academic Analytics: Zur Bedeutung von (Big) Data Analytics in der Evaluation

Im Kontext der Hochschul- und Bildungsforschung wird Evaluation in ihrer Gesamtheit als Steuerungs- und Controlling-Instrument eingesetzt, um unter anderem Aussagen zur Qualität von Lehre, Forschung und Administration zu liefern. Auch wenn der Qualitätsbegriff an den Hochschulen bislang noch immer sehr unterschiedlich geführt wird, verfolgen die Beteiligten ein einheitliches Ziel – die Evaluation als zuverlässiges (internes) Präventions- und VorhersageInstrument in den Hochschulalltag zu integrieren. Dass dieses übergeordnete Ziel mit einigen Hürden verbunden ist, liegt auf der Hand und wird in der Literatur bereits vielfältig diskutiert (Benneworth & Zomer 2011; Kromrey 2001; Stockmann & Meyer 2014; Wittmann 2013). Die Evaluationsforschung bietet einen interdisziplinären Forschungszugang. Instrumente und Methoden aus unterschiedlichen (sozialwissenschaftlichen) Disziplinen, die sowohl qualitativer als auch quantitativer Natur sein können, kommen zum Einsatz. Mixed Method/Multi Data–Ansätze gelten dabei – trotz des unstreitbar höheren Erhebungs- und Verwertungsaufwandes – als besonders einschlägig in ihrer Aussagekraft (Döring 2016; Hewson 2007). Allerdings finden (Big) Data Analytics, Echtzeit- und Interaktionsanalysen nur sehr langsam einen Zugang zum nationalen Hochschul- und Bildungssystem. Der vorliegende Beitrag befasst sich mit der Bedeutung von (Big) Data Analytics in der Evaluation. Zum einen werden Herausforderungen und Potentiale aufgezeigt – zum anderen wird der Frage nachgegangen, wie es gelingen kann, (soziale) Daten (automatisiert) auf unterschiedlichen Aggregationsebenen zu erheben und auszuwerten. Es werden am Fallbeispiel der Evaluation von E-Learning in der Hochschullehre geeignete Erhebungsmethoden, Analyseinstrumente und Handlungsfelder vorgestellt. Die Fallstudie wird dabei in den Kontext der Computational Social Science (CSS) überführt, um einen Beitrag zur Entwicklung der Evaluationsforschung im Zeitalter von Big Data und sozialen Netzwerken zu leisten

Learning Success: A Comparative Analysis of a Digital Game-Based Approach and a Face-to-Face Approach

This study compares traditional face-to-face learning with digital game-based learning. A student group has to learn aspects of internet search in a face-to-face learning environment that combines lecture and tutorial and a further group has to learn the same aspects within a serious game. The comparison focuses on learning success. Measuring learning success is difficult and therefore the study includes questions to assess knowledge, motivation, fun and satisfaction in a pre- and post-tests. The results of the study show that the students evaluate game-based learning better in all surveyed categories