Impact Evaluation by Using Relational Approaches in Web Surveys

Web surveys in higher education are particularly important for evaluating the quality of academic teaching and learning. Traditionally, mainly quantitative data is used for quality assessment. Increasingly, questions are being raised about the impact of attitudes of individuals involved. Therefore, especially the analysis of open-ended text responses in web surveys offers the potential for impact evaluation. Despite the fact that qualitative text mining, sentiment analysis, and network analytics are being introduced in other research areas, these instruments are still slowly gaining access to evaluation research. On the one hand, there is a lack of methodological expertise to deal with large numbers of text responses (e.g. via semantic analysis, linguistically supported coding, etc.). On the other hand, deficiencies in interdisciplinary expertise are identified in order to be able to contextualize the results. The contribution contributes to the field of impact evaluation and reveals methodological implications for the development of text mining, sentiment analysis, and network analytics in evaluation processes

Impact Evaluation by Using Text Mining and Sentiment Analysis

Web surveys in higher education are particularly important for assessing the quality of academic teaching and learning. Traditionally, mainly quantitative data is used for quality assessment. Increasingly, questions are being raised about the impact of attitudes of the individuals involved. Therefore, especially the analysis of open-ended text responses in web surveys offers the potential for impact evaluation. Despite the fact that qualitative text mining and sentiment analysis are being introduced in other research areas, these instruments are still slowly gaining access to evaluation research. On the one hand, there is a lack of methodological expertise to deal with large numbers of text responses (e.g. via semantic analysis, linguistically supported coding, etc.). On the other hand, deficiencies in interdisciplinary expertise are identified in order to be able to contextualize the results. The following contribution aims to address these issues. The presentation will contribute to the field of impact evaluation and reveals methodological implications for the development of text mining and sentiment analysis in evaluation processes

Selbstreguliertes Lernen hoch 2: Neue Herausforderungen und mögliche Handlungsstrategien

Dass sich die Rahmenbedingungen für ein Studium im Zuge der Corona-Pandemie maßgeblich geändert haben, wurde in den vergangenen Monaten sowohl in den Massenmedien als auch aus der Fachwissenschaft heraus mehrfach thematisiert. Beispielsweise überlagern sich durch die teils vollständige Digitalisierung des Studiums zunehmend private Lebenswelt und Studienarbeiten. Im Rahmen der wissenschaftlichen Begleitung der durch die Corona-Pandemie bedingten Umstellung auf virtuelle Lehre an der TU Dresden im Sommersemester 2020, wurde so ebenfalls schon konstatiert, dass Studierende diese Entgrenzung als besondere Herausforderung eines nahezu ausschließlich digitalen Studiums wahrnehmen. Entgrenzung findet dabei nicht nur hinsichtlich des Schauplatzes digitaler Lehre statt, indem beispielsweise die WG-Küche zum neuen Studienort wird, sondern auch auf zeitlicher Ebene. Losgelöst von festen Präsenzterminen und ausgestattet mit zahlreichen Selbstlernmaterialien, gilt es nun gehäuft, selbst festzulegen, wann dem Studium nachgegangen wird und wann Familie, Freunden, Ehrenamt, Hobbies und Erholung Raum gegeben wird. Was so gelesen von Manchem vielleicht als neu gewonnene Freiheit empfunden wird, stellt Andere vor große Herausforderungen. Sich auf Studienaufgaben zu fokussieren, ist unter diesen neuen Gegebenheiten nämlich nicht nur eine Frage des Zeitmanagements, sondern auch der Motivation. In diesem Zusammenhang stellt sich daher die Frage: Wie können Studierende mit Blick auf ihre bestehenden Fähigkeiten und Kompetenzen sowie ggf. vorhandene Defizite in einem digitalen Lehr- und Lernsetting bei der Erreichung von Lehr- und Lernzielen unterstützt werden? Dabei sollen insbesondere Aspekte von SRL in den Fokus genommen werden. Hierzu werden einige ausgewählte Ergebnisse aus den ersten beiden vom Zentrum für Qualitätsanalyse (ZQA) durchgeführten Studien zum Thema der virtuellen Lehre in Zeiten von Corona herangezogen

Zur Leistungsfähigkeit von Blended Learning im Zeitalter der Digitalisierung

Vor dem Hintergrund rasanter technologischer Entwicklungen im Digitalisierungsprozess und der Frage nach Gelingensbedingungen für die organisatorische, didaktische und technische Implementierung digitaler Medien in der Hochschulbildung wird im vorliegenden Beitrag begonnen, die Leistungsfähigkeit digitaler Bildung in der Hochschullehre zu elaborieren. Dazu werden bildungswissenschaftliche Erkenntnisse mit aktuellen Ergebnissen der Hochschulforschung näher zusammengeführt und unter Einsatz informationstheoretischer Methoden beforscht. Die empirischen Untersuchungen dazu zielen auf die Bestandsaufnahme der Bedarfe Studierender und Lehrender an (ausgewählten) sächsischen Hochschulen. In diesem Beitrag werden erste Ergebnisse aus Sekundärdatenanalysen aus den Studierenden- und Lehrendenbefragungen der TU Dresden – durchgeführt am Zentrum für Qualitätsanalyse – sowie Ergebnisse aus ausgewählten Fallstudien vorgestellt, um Handlungsfelder und Weiterentwicklungspotentiale offenzulegen

Learning und Academic Analytics in Lernmanagementsystemen (LMS): Herausforderungen und Handlungsfelder im nationalen Hochschulkontext

Der Einsatz digitaler Medien hat in der nationalen Hochschullehre Tradition. Lernmanagementsysteme (LMS), E-Learning, Blended Learning, etc. sind Schlagwörter im Hochschulalltag. Allerdings stellt sich die Frage, was LMS und Blended Learning im Zeitalter digitaler Vernetzung und der herangewachsenen Generation der “Digital Natives” leisten (können bzw. sollen)? Die Verbreitung neuer Technologien im Zusammenhang mit neuen Lehr- und Lernkonzepten wie OER, MOOCS, etc. macht zudem die Entwicklung von Analytics-Instrumenten erforderlich. Das ist auch im nationalen Diskurs von großem Interesse und legt neue Handlungsfelder für Hochschulen offen. Doch es stellt sich die Frage, warum Learning Analytics (LA) bzw. Academic Analytics (AA) bisher nur in einem geringfügigen Maße an deutschen Hochschulen erfolgreich zum Einsatz kommen und warum eine Nutzung insbesondere in LMS, wie zum Beispiel OPAL, nicht ohne Weiteres realisierbar erscheint. Hierzu sollen Einflussfaktoren, die die Implementierung von LA- und AA-Instrumenten hemmen, identifiziert und diskutiert werden. Aufbauend darauf werden erste Handlungsfelder vorgestellt, deren Beachtung eine verstärkte Einbettung von LA- und AA Instrumenten in LMS möglich machen soll

Zwischen „Was am meisten fehlt, ist Zeit.” und „Danke, dass ein Studium möglich gemacht wird.”: Befragung von Lehrenden und Studierenden zur coronabedingten Umstellung auf virtuelle Lehre im Sommersemester 2020

Der Coronavirus SARS-CoV-2 hat die TU Dresden im Sommersemester 2020 gezwungen, innerhalb von ca. einem Monat fast die gesamte Lehre in den virtuellen Raum zu verlegen. Diese spezielle Situation an der TU Dresden wurde wissenschaftlich durch das Zentrum für Qualitätsanalyse begleitet. Um den Veränderungsprozess auch über einen gewissen Zeitraum begleiten zu können, wurden alle Lehrenden und Studierenden insgesamt drei Mal im Sommersemester 2020 befragt. Die erste Befragung fand nach zwei Wochen Lehrveranstaltungsbetrieb, die zweite ca. in der 10. Woche des Lehrveranstaltungsbetriebs und die dritte kurz nach Beginn der Prüfungszeit statt. Im vorliegenden Bericht werden die Ergebnisse der ersten Befragung vorgestellt. Die Forschungsstudie wurde konzipiert und durchgeführt in enger Zusammenarbeit mit dem Prorektorat für Bildung und Internationales (Dr. Rainer Schaffer) und dem Zentrum für interdisziplinäres Lernen und Lehren (Henriette Greulich). Wir danken für die Unterstützung durch die Mitarbeiterinnen des Forschungsprojektes „tech4comp - Personalisierte Kompetenzentwicklung durch skalierbare Mentoringprozesse“, gefördert vom Bundesministerium für Bildung und Forschung (BMBF) – FKZ: 16DHB2103.:Verzeichnis der Tabellen Verzeichnis der Abbildungen 1. Ziel der Studie und erste zentrale Erkenntnisse 2. Aktuelle Pandemiesituation und Stand der Umstellung auf virtuelle Lehre 3. Von den Lehrenden verwendete Tools und den Studierenden angebotene Formate 4. Arbeits- und Studiensituation im Notbetrieb/Homeoffice 5. Kompetenzen im Bereich digitaler Lehre und Unterstützung durch die TU Dresden 6. Gesamteinschätzung der Umstellung zur digitalen Lehre Anhang Anhang 1: Zielgruppe und methodischer Zugang Anhang 2: Startseite und Datenschutzerklärung Anhang 3: Fragebogen Lehrende Anhang 4: Fragebogen Studierend

Bedarfserhebung zur Digitalisierung an Hochschulen: tech4comp – Studierendenbefragung (Dokumentation): tech4comp - student survey (documentation)

Wie Künstliche Intelligenz (KI) das Lernen begleiten kann, wird im BMBF-Verbundprojekt „Personalisierte Kompetenzentwicklung durch skalierbare Mentoringprozesse – tech4comp“ erforscht. Um sich dabei zunächst der Frage, was digital-gestütztes Mentoring leisten kann und soll, zu nähern, erfolgt eine Bedarfs- und Leistungsanalyse durch die Erhebung und Auswertung lernbezogener Daten in technologie-gestützten Bildungsräumen auf mehreren Ebenen. Es wird das Verhalten von Lernenden untersucht, um Erkenntnisse über die Leistungsfähigkeit von Mentoring innerhalb adaptiver Bildungsräume zu erhalten und Einflussfaktoren und Gelingensbedingungen zu identifizieren. Dazu wird die Expertise aus verschiedenen Disziplinen (Bildungswissenschaften, Informatik, Organisations- und Sozialwissenschaften) herangezogen

Ménage à trois. Zur Beziehung von Künstlicher Intelligenz, Hochschulbildung und Digitalität

Der Einsatz innovativer Technologien im Kontext des Lehrens und Lernens an Hochschulen gilt bildungs- und hochschulpolitisch als Hoffnungsträger. Hierbei soll insbesondere die Implementierung von Künstlicher Intelligenz (KI) im Lehr- und Lernkontext zur Verbesserung der Hochschulbildung beitragen. Um allerdings Innovationspotentiale von intelligenten und disruptiven Systemen vollumfänglich nutzen zu können, müssen neben Fragen zur technischen Implementierung auch didaktische und organisationale Aspekte sowie ethisch-rechtliche Rahmenbedingungen in den Blick genommen werden. Hier setzt der vorliegende Beitrag an und versucht, sich der Frage zu nähern, inwieweit transdisziplinäre Ansätze und methodische Zugänge zur Bewertung einer potentiell wirksamen und nachhaltigen Implementierung von KI in der Hochschulbildung beitragen können. (DIPF/Orig.)The use of innovative technologies in the context of teaching and learning at universities is seen as a beacon of hope in education policy. In particular, the implementation of artificial intelligence (AI) in the teaching and learning context is expected to contribute to the improvement of higher education. However, in order to fully exploit the innovation potential of intelligent and disruptive systems, in addition to questions of technical implementation, didactic and organizational aspects as well as ethical-legal conditions must be taken into account. Thus, this paper attempts to address the question of which transdisciplinary approaches and methodological aspects can contribute to the evaluation of a potentially effective and sustainable implementation of AI in higher education. (DIPF/Orig.

Dritte Sächsische Studierendenbefragung

Ziel der großangelegten Onlinebefragung, bei welcher jede/r vierte sächsische Studierende befragt wurde, war die Erhebung der Studiensituation an sächsischen Hochschulen aus Sicht der Studierenden. Insbesondere durch die Umsetzung der Studienreform im Zuge des Bologna-Prozesses hat das Studium in Sachsen vielfältige Veränderungen erfahren. Eine systematische Bestandsaufnahme der Studiensituation und Studienqualität aus Sicht der Studierenden ist daher von hoher Wichtigkeit. Sie soll helfen, Stärken und Schwächen der Hochschulausbildung in Sachsen ausfindig zu machen und wichtige Informationen für die zukünftige Gestaltung der sächsischen Hochschullandschaft liefern. Dafür wurde bereits 2005 ein Erhebungsinstrument entwickelt und nunmehr aktualisiert, das auch auf die Erfahrungen des Konstanzer Studierendensurvey sowie der vom Hochschul-Informations-System (HIS) durchgeführten Studierendenbefragungen zurückgreift und somit Vergleichsmöglichkeiten offeriert. Die Studiensituation ist ein komplexes Konstrukt, welches sich aus mehreren Aspekten zusammensetzt. Der Fragebogen beinhaltet 10 Teilbereiche (u.a. zur Lehrqualität, persönlichen Belastungen oder Rahmenbedingungen des Studiums). Finanziert wurde diese Empirische Untersuchung durch das Sächsische Staatsministerium für Wissenschaft und Kunst

Selbstreguliertes Lernen hoch 2: Neue Herausforderungen und mögliche Handlungsstrategien

Dass sich die Rahmenbedingungen für ein Studium im Zuge der Corona-Pandemie maßgeblich geändert haben, wurde in den vergangenen Monaten sowohl in den Massenmedien als auch aus der Fachwissenschaft heraus mehrfach thematisiert. Beispielsweise überlagern sich durch die teils vollständige Digitalisierung des Studiums zunehmend private Lebenswelt und Studienarbeiten. Im Rahmen der wissenschaftlichen Begleitung der durch die Corona-Pandemie bedingten Umstellung auf virtuelle Lehre an der TU Dresden im Sommersemester 2020, wurde so ebenfalls schon konstatiert, dass Studierende diese Entgrenzung als besondere Herausforderung eines nahezu ausschließlich digitalen Studiums wahrnehmen. Entgrenzung findet dabei nicht nur hinsichtlich des Schauplatzes digitaler Lehre statt, indem beispielsweise die WG-Küche zum neuen Studienort wird, sondern auch auf zeitlicher Ebene. Losgelöst von festen Präsenzterminen und ausgestattet mit zahlreichen Selbstlernmaterialien, gilt es nun gehäuft, selbst festzulegen, wann dem Studium nachgegangen wird und wann Familie, Freunden, Ehrenamt, Hobbies und Erholung Raum gegeben wird. Was so gelesen von Manchem vielleicht als neu gewonnene Freiheit empfunden wird, stellt Andere vor große Herausforderungen. Sich auf Studienaufgaben zu fokussieren, ist unter diesen neuen Gegebenheiten nämlich nicht nur eine Frage des Zeitmanagements, sondern auch der Motivation. In diesem Zusammenhang stellt sich daher die Frage: Wie können Studierende mit Blick auf ihre bestehenden Fähigkeiten und Kompetenzen sowie ggf. vorhandene Defizite in einem digitalen Lehr- und Lernsetting bei der Erreichung von Lehr- und Lernzielen unterstützt werden? Dabei sollen insbesondere Aspekte von SRL in den Fokus genommen werden. Hierzu werden einige ausgewählte Ergebnisse aus den ersten beiden vom Zentrum für Qualitätsanalyse (ZQA) durchgeführten Studien zum Thema der virtuellen Lehre in Zeiten von Corona herangezogen