Analysing eCollaboration: Prioritisation of Monitoring Criteria for Learning Analytics in the Virtual Classroom

Purpose – This paper is part of an extensive action research project on learning analytics and focuses on the analysis criteria in Virtual Collaborative Learning (VCL) settings. We analyse how the efficiency of virtual learning facilitation can be increased by (semi-) automated learning analytics. Monitoring items are the starting point that enable the learning facilitator to identify learning problems and deduce adequate actions of intervention. However, the sophisticated media-based learning environment does not allow monitoring of vast amounts of items and appreciate the learning processes simultaneously. Design/methodology/approach – This paper fulfils the sub-goal of selecting and prioritising monitoring items for e-collaboration. The procedure is split into two Research Questions (RQ). A specification of the monitoring items will be compiled by a comparison and a consolidation of the already existing monitoring sheets. Therefore, we interviewed the responsible docents on differences and similarities. Additionally, we coded each monitoring item inductively due to their monitoring objective. As a result, we reduced the monitoring sheets to 40 final monitoring items (RQ1). In order to prioritise them, the learning facilitators scored the relevance and the complexity of the collection and assessment of data using a questionnaire. The analysis focused on differences in understanding of relevance and complexity. Further, we identified the highest scored monitoring items as well as scores with leverage potential. Afterwards we prioritised the items based on the applied analysis (RQ2). Originality/value – While previous studies on learning analytics were mostly driven by the educational data mining field and as a consequence had a technological focus. This paper is based on an existing pedagogical concept of VCL and therefore prioritises monitoring items to be implemented as selected learning analytics. Hence, it is guaranteed that the analysis is related directly to the learning content. Practical implications – This research paper achieved two outcomes: Firstly, a courseindependent standardised monitoring sheet. Thus, the reduction of the monitoring items should simplify and objectify the observation and clarify the performance review. Secondly, an insight into the relevance of each monitoring item had been delivered to the facilitators and provides significance on the quality of e-collaboration. Furthermore, the complexity score shows the necessary effort for data collection and assessment while the combination of relevance and complexity scores leads to the prioritisation of the needs of (semi-) automated learning analytics to support the learning facilitation

eCollaboration in der Hochschullehre: Bewertung mittels Learning Analytics

Wissen bekommt in unserer Gesellschaft eine immer stärkere Bedeutung und stellt Individuen und Organisationen vor verschiedenste Herausforderungen. Der gesamtwirtschaftliche Anteil materieller Güter wird gegenüber wissensintensiven Dienstleistungen zurückgehen, d.h. es bedarf zukünftig immer stärker gut aus- und weitergebildeter Experten, die miteinander die Innovationskraft von Organisationen steigern und kundenspezifische Lösungen entwickeln. Ausgehend von den für Experten benötigten Kompetenzen sogenannter Wissensarbeiter fokussiert diese Arbeit die Begleitung und Bewertung von kollaborativer Teamarbeit. Als Forschungsobjekt dienen Virtual Collaborative Learning-Veranstaltungen, in denen die zukünftigen Experten als Lernende teilnehmen. Sie werden in virtuellen Klassenräumen von Lernbegleitern beobachtet und bewertet, um sie bei der Entwicklung neuer Kompetenzen zu unterstützen und so die Erreichung der Lernziele zu gewährleisten. Da die Lernbegleitung bislang manuell durchgeführt wird, ist eine zeitnahe Beurteilung und Intervention nicht möglich. Mit Learning Analytics sollen Lösungen vorgeschlagen werden, die die Lernbegleiter in ihrer Arbeit unterstützen und den Aufwand reduzieren. Hierzu thematisiert diese Dissertation in sechs kumulativen Beiträgen, wie die zugrundeliegenden Daten verfügbar gemacht werden können und welche Beobachtungen anhand welcher Kriterien mittels ausgewählter Methoden der Learning Analytics durchgeführt werden sollten. Im Rahmen des Design Science Paradigmas werden verschiedene qualitative und quantitative Forschungsmethoden zur Datenerhebung und -auswertung angewendet. Im Ergebnis entsteht ein beispielhafter Katalog von Learning Analytics Methoden, die sich auf spezifische Erkenntnisziele der Beobachtungen von kollaborativer Gruppenarbeit beziehen. Ebenso wird der Einsatz einer ausgewählten Methode evaluiert. Die gewonnenen Erkenntnisse können zukünftig auf vergleichbare kollaborative Lehrangebote in der Ausbildung von Wissensarbeitern, aber auch zur Analyse und Unterstützung der virtuellen Zusammenarbeit im geschäftlichen Umfeld transferiert werden

Wissensmanagement im Kontext öffentlich-rechtlicher Rahmenbedingungen: Praktische Erfahrungen aus einem Wasserverband

Das vorgestellte Projekt zeigt anhand des Wissensmanagement-Modells von, welche Bausteine vor dem Hintergrund der zeitkritischen Rahmenbedingung des demografischen Wandels für einen Wasserverband priorisiert werden sollten. Der Praxispartner wird hierzu in die Vorgehensweise eingeordnet und es werden zwei Maßnahmen der Kodifizierung erläutert. Abschließend zeigt ein Fallbeispiel den bereits erzielten Nutzen

Recommendations for the Selection of Methods for the Analysis of eCollaboration based on a Systematic Literature Review

Learning Analytics plays an increasing role in the analysis of virtual learning activities. This article addresses the gap between educational needs and technical supply. By means of a Systematic Literature Review of the LAK conferences the authors extracted observations, methods and tools which represent potential solutions for a given eCollaboration scenario. Based on three prioritised examples of an observation sheet, methods are derived and recommendations for the use of Learning Analytics tools are given. The result is a catalogue that enable users to select suitable methods and tools for an implementation. The (semi-) automation can increase the efficiency of Community Managers in monitoring the participants and hence make real-time intervention feasible

Die Katastrophe im Blick – Navigation durch die (Informations-) Flut

Soziale Netzwerke, wie Facebook, dienen im Kampf gegen Naturkatastrophen als wichtige Kommunikationskanäle. Neben der Mobilisierung und Koordination freiwilliger Helfer konnte Facebook beim Elbehochwasser 2013, im Vergleich zu konventionellen Medien und Kommunikationskanälen, zu einer höheren Aktualität von Informationen, sowie einer breiteren Informationsreichweite beitragen. Allerdings führte die Kommunikation über Facebook auch zu Ordnungsproblemen an einzelnen, vom Hochwasser betroffenen Standorten. [... aus dem Text

Analysing eCollaboration: Prioritisation of Monitoring Criteria for Learning Analytics in the Virtual Classroom

Purpose – This paper is part of an extensive action research project on learning analytics and focuses on the analysis criteria in Virtual Collaborative Learning (VCL) settings. We analyse how the efficiency of virtual learning facilitation can be increased by (semi-) automated learning analytics. Monitoring items are the starting point that enable the learning facilitator to identify learning problems and deduce adequate actions of intervention. However, the sophisticated media-based learning environment does not allow monitoring of vast amounts of items and appreciate the learning processes simultaneously. Design/methodology/approach – This paper fulfils the sub-goal of selecting and prioritising monitoring items for e-collaboration. The procedure is split into two Research Questions (RQ). A specification of the monitoring items will be compiled by a comparison and a consolidation of the already existing monitoring sheets. Therefore, we interviewed the responsible docents on differences and similarities. Additionally, we coded each monitoring item inductively due to their monitoring objective. As a result, we reduced the monitoring sheets to 40 final monitoring items (RQ1). In order to prioritise them, the learning facilitators scored the relevance and the complexity of the collection and assessment of data using a questionnaire. The analysis focused on differences in understanding of relevance and complexity. Further, we identified the highest scored monitoring items as well as scores with leverage potential. Afterwards we prioritised the items based on the applied analysis (RQ2). Originality/value – While previous studies on learning analytics were mostly driven by the educational data mining field and as a consequence had a technological focus. This paper is based on an existing pedagogical concept of VCL and therefore prioritises monitoring items to be implemented as selected learning analytics. Hence, it is guaranteed that the analysis is related directly to the learning content. Practical implications – This research paper achieved two outcomes: Firstly, a courseindependent standardised monitoring sheet. Thus, the reduction of the monitoring items should simplify and objectify the observation and clarify the performance review. Secondly, an insight into the relevance of each monitoring item had been delivered to the facilitators and provides significance on the quality of e-collaboration. Furthermore, the complexity score shows the necessary effort for data collection and assessment while the combination of relevance and complexity scores leads to the prioritisation of the needs of (semi-) automated learning analytics to support the learning facilitation

eCollaboration in der Hochschullehre: Bewertung mittels Learning Analytics

Wissen bekommt in unserer Gesellschaft eine immer stärkere Bedeutung und stellt Individuen und Organisationen vor verschiedenste Herausforderungen. Der gesamtwirtschaftliche Anteil materieller Güter wird gegenüber wissensintensiven Dienstleistungen zurückgehen, d.h. es bedarf zukünftig immer stärker gut aus- und weitergebildeter Experten, die miteinander die Innovationskraft von Organisationen steigern und kundenspezifische Lösungen entwickeln. Ausgehend von den für Experten benötigten Kompetenzen sogenannter Wissensarbeiter fokussiert diese Arbeit die Begleitung und Bewertung von kollaborativer Teamarbeit. Als Forschungsobjekt dienen Virtual Collaborative Learning-Veranstaltungen, in denen die zukünftigen Experten als Lernende teilnehmen. Sie werden in virtuellen Klassenräumen von Lernbegleitern beobachtet und bewertet, um sie bei der Entwicklung neuer Kompetenzen zu unterstützen und so die Erreichung der Lernziele zu gewährleisten. Da die Lernbegleitung bislang manuell durchgeführt wird, ist eine zeitnahe Beurteilung und Intervention nicht möglich. Mit Learning Analytics sollen Lösungen vorgeschlagen werden, die die Lernbegleiter in ihrer Arbeit unterstützen und den Aufwand reduzieren. Hierzu thematisiert diese Dissertation in sechs kumulativen Beiträgen, wie die zugrundeliegenden Daten verfügbar gemacht werden können und welche Beobachtungen anhand welcher Kriterien mittels ausgewählter Methoden der Learning Analytics durchgeführt werden sollten. Im Rahmen des Design Science Paradigmas werden verschiedene qualitative und quantitative Forschungsmethoden zur Datenerhebung und -auswertung angewendet. Im Ergebnis entsteht ein beispielhafter Katalog von Learning Analytics Methoden, die sich auf spezifische Erkenntnisziele der Beobachtungen von kollaborativer Gruppenarbeit beziehen. Ebenso wird der Einsatz einer ausgewählten Methode evaluiert. Die gewonnenen Erkenntnisse können zukünftig auf vergleichbare kollaborative Lehrangebote in der Ausbildung von Wissensarbeitern, aber auch zur Analyse und Unterstützung der virtuellen Zusammenarbeit im geschäftlichen Umfeld transferiert werden

Wissensmanagement im Kontext öffentlich-rechtlicher Rahmenbedingungen: Praktische Erfahrungen aus einem Wasserverband

Das vorgestellte Projekt zeigt anhand des Wissensmanagement-Modells von, welche Bausteine vor dem Hintergrund der zeitkritischen Rahmenbedingung des demografischen Wandels für einen Wasserverband priorisiert werden sollten. Der Praxispartner wird hierzu in die Vorgehensweise eingeordnet und es werden zwei Maßnahmen der Kodifizierung erläutert. Abschließend zeigt ein Fallbeispiel den bereits erzielten Nutzen

Wissensmanagement im Kontext öffentlich-rechtlicher Rahmenbedingungen: Praktische Erfahrungen aus einem Wasserverband

Das vorgestellte Projekt zeigt anhand des Wissensmanagement-Modells von, welche Bausteine vor dem Hintergrund der zeitkritischen Rahmenbedingung des demografischen Wandels für einen Wasserverband priorisiert werden sollten. Der Praxispartner wird hierzu in die Vorgehensweise eingeordnet und es werden zwei Maßnahmen der Kodifizierung erläutert. Abschließend zeigt ein Fallbeispiel den bereits erzielten Nutzen

Recommendations for the Selection of Methods for the Analysis of eCollaboration based on a Systematic Literature Review

Learning Analytics plays an increasing role in the analysis of virtual learning activities. This article addresses the gap between educational needs and technical supply. By means of a Systematic Literature Review of the LAK conferences the authors extracted observations, methods and tools which represent potential solutions for a given eCollaboration scenario. Based on three prioritised examples of an observation sheet, methods are derived and recommendations for the use of Learning Analytics tools are given. The result is a catalogue that enable users to select suitable methods and tools for an implementation. The (semi-) automation can increase the efficiency of Community Managers in monitoring the participants and hence make real-time intervention feasible