Characterising Learners in Online Communities Based on Actor-Artefact Relations

Online communities are of huge interest in terms of learning and knowledge creation because of the potential to distribute knowledge among possibly large audience independently from time and place. In this context, various forms of online learning have developed over time ranging from small learning groups to massive open online courses (MOOCs) with thousands of participants. In order to support learning in those settings an increased understanding of specific characteristics of learners in online communities is necessary. Thus, dedicated means to gather valuable information from data produced in online learning environments have to be developed. This cumulative dissertation includes five publications aiming to make progress in this direction with a particular focus on the advancement of methods to analyse activity and interaction data of learners. The methodological foundation of the work is (social) network analysis, which provides a well-grounded set of methods for structural analysis of relational data. Network analysis is especially suited since the collected data about actors (in this thesis mostly learners) who create and consume digital content (artefacts) can be modelled as actor-artefact networks. Those actor-artefact networks denote the starting point of all analyses presented in this dissertation, which target different aspects of learning in online communities, in particular the usage of learning resources, emergence of interest profiles, and information exchange between learners. In the course of this work, stable artefacts that are not assumed to have changing content over time are distinguished from time-evolving dynamic artefacts (typically user generated content). In the case of stable artefacts, affiliations of learners to learning resources in online courses are analysed by identifying mixed clusters of learners and resources using network clustering algorithms. The evolution of these learner-resource clusters over time is investigated in detail leading to discoveries of typical resource access patterns that characterise learners regarding their interests in provided learning materials. The approach is further extended and combined with content analysis techniques to analyse thematic development in discussion forums. Discussion forums are also the subject of two other studies investigating information exchange between learners in MOOCs. The evolving discussion threads are considered as dynamically evolving artefacts that are used to extract social networks reflecting information exchange between forum users. These networks are analysed to uncover different roles of forum users with respect to their positions in the network. For this task different approaches are described that are capable of modelling structural characteristics of the information exchange network over time and further take discussion topics as additional information into account.Online-Gemeinschaften sind aufgrund der Möglichkeiten Wissen zeit- und ortsunabhängig unter einer großen Menge von Adressaten zu verbreiten von großem Interesse bezüglich Lernens und Wissenskonstruktion. In diesem Kontext haben sich über die Zeit verschiedene Formen des Online-Lernens entwickelt, von kleinen Lerngruppen bis zu “Massive Open Online Courses” (MOOCs) mit tausenden von Teilnehmern. Um das Lernen in diesen Bereichen zu unterstützen, ist ein besseres Verständnis spezifischer Charakteristiken von Lernenden in Online-Gemeinschaften notwendig. Um nützliche Informationen aus Daten zu gewinnen, die in Online-Umgebungen anfallen, sind dezidierte Methoden wichtig. Diese kumulative Dissertation beinhaltet Publikationen die auf Fortschritte in diesem Bereich abzielen. Ein besonderer Fokus liegt dabei auf der Weiterentwicklung von Methoden zur Analyse von Aktivitäts- und Interaktionsdaten von Lernern in Online-Gemeinschaften. Das methodische Fundament ist dabei die (Soziale) Netzwerkanalyse, welche fundierte Methoden zur strukturellen Analyse von relationalen Daten bereitstellt. Netzwerkanalyse ist besonders geeignet, da Daten über Akteure (hier meistens Lernende), die digitale Inhalte (Artefakte) erstellen und konsumieren, als Akteur-Artefakt-Netzwerk modelliert werden können. Solche Akteur-Artefakt-Netzwerke sind der Ausgangspunkt aller in dieser Dissertation vorgestellten Analysen, die auf verschiedene Aspekte des Lernens in Online-Gemeinschaften abzielen, insbesondere die Nutzung von Lernressourcen, die Entwicklung von Interessensprofilen und Wissensaustausch zwischen Lernenden. Im Verlauf dieser Arbeit wird zwischen stabilen Artefakten, die sich über die Zeit nicht verändern und sich über die Zeit entwickelnden dynamischen Artefakten (typischerweise Nutzergenerierte Inhalte) unterschieden. Im Fall von statischen Artefakten werden Affiliationen von Lernenden zu Lernressourcen in Online-Kursen untersucht, indem gemischte Cluster aus Lernenden und Lernressourcen mittels Netzwerk-Clusteringalgorithmen identifiziert werden. Die Evolution dieser Lerner-Ressourcen-Cluster wird eingehend untersucht, woraus Erkenntnisse über typische Ressourcennutzungsmuster gewonnen werden, die die Lernenden in Online-Gemeinschaften bezüglich ihrer Präferenzen zu Lernmaterialien charakterisieren. Dieser Ansatz wird zudem weiterentwickelt und mit Techniken der Inhaltsanalyse kombiniert, um thematische Entwicklungen in Diskussionsforen zu analysieren. Diskussionsforen sind auch Gegenstand zweier weiterer Studien, die den Austausch von Informationen zwischen Lernenden in MOOCs zu untersuchen. Die einzelnen Diskussionsstränge werden dabei als dynamische Artefakte angesehen, die dann dazu genutzt werden um soziale Netzwerke zu extrahieren, die den Informationsaustausch zwischen Lernenden abbilden. Diese Netzwerke werden dahingehend analysiert, unterschiedliche Rollen von Forumsnutzern bezüglich ihrer Position in dem Netzwerk zu identifizieren. Dazu werden verschiedene Ansätze vorgestellt, die die strukturellen Charakteristiken des Informationsaustauschnetzwerks über die Zeit darstellen, sowie Diskussionsthemen als zusätzliche Informationen berücksichtigen

Development of Visualization Tools for Dynamic Networks and Evaluation of Visual Stability Characteristics

Das dynamische Graphenzeichnen ist das Mittel der Wahl, wenn es um die Analyse und Visualisierung dynamischer Netzwerke geht. Diese Zeichnungen werden oft durch Festhalten aufeinanderfolgender Datenreihen oder “Snapshots” des untersuchten Netzwerkes erzeugt. Für jede von diesen Zeichnungen wird mit Hilfe des ausgewählten Algorithmus eine unabhängige Graphenzeichnung berechnet und die resultierende Sequenz wird dem Benutzer in einer vorbestimmten Reihenfolge präsentiert. Trotz der Einfachheit dieser Methode tauchen bei der dynamischen Graphenzeichnung mit der vorher genannten Strategie Probleme auf. Teilnehmer, Verbindungen und Muster können während der Untersuchung des dynamischen Netzwerkes ihre Position auf der Darstellung verändern. Außerdem neigen dynamische Graphenzeichnungen dazu, fortlaufend Elemente ohne vorhergehende Information hinzuzufügen und zu entfernen. Als Konsequenz ergibt sich die Schwierigkeit, die Entwicklung der Mitglieder des Netzwerkes zu beobachten. Es wurden verschiedene Techniken zur Anpassung von Layouts entwickelt, welche das Ziel haben, die Änderungen der dynamischen Graphenzeichnung zu minimieren. Einige von ihnen schlagen vor, dass die Grundstruktur der Zeichnung jederzeit beibehalten werden muss. Andere wiederum, dass jeder Teilnehmer und jede Beziehung einer fixen Position im Euklidischen Raum zugeordnet werden soll. Eine neu entwickelte Technik schlägt eine Alternative vor: Mehrere Teilnehmer können gleichzeitig einen Knotenpunkt im Euklidischen Raum beanspruchen, solange sie nicht zum selben Zeitpunkt erscheinen. Mehrere Beziehungen können unter den vorgenannten Bedingungen dementsprechend denselben Eckpunkt im Euklidischen Raum beanspruchen. Daraus folgt, dass die dynamische Graphenzeichnung ihre Veränderungen minimiert bis hin zu einem Zustand, in dem es als "visuell stabil" angesehen werden kann. Diese Arbeit zeigt inwieweit die visuelle Stabilität einer dynamischen Graphenzeichnung die Benutzererfahrung und die Effektivität der visuellen Suche beim Verfolgen der Mitglieder oder Netzwerkeigenschaften beeinflusst. Zu diesem Zweck wurde ein Framework zur Unterstützung flexibler Visualisierungstechniken entwickelt. Es diente als Plattform, um existierende Techniken zu bewerten. Solche Bewertungen kombinieren den Gebrauch von Fragebögen, um Informationen über die Nutzererfahrung zu sammeln, ein Eye-Tracking System, um die Augenbewegungen zu erfassen sowie ein neues mathematisches Modell zur Quantifizierung der visuellen Stabilität einer dynamischen Graphenzeichnung. Die daraus folgenden Resultate ergeben, dass es einen Zielkonflikt zwischen der Benutzererfahrung und der Effizienz der visuellen Suche gibt, welche von der visuellen Stabilität der dynamischen Graphenzeichnung abhängt. Einerseits bieten dynamische Graphenzeichnungen mit einem höheren Niveau an visueller Stabilität eine bessere Benutzererfahrung bei Verfolgungsaufgaben, aber eine schlechtere Effizienz bei der visuellen Suche. Andererseits bieten dynamische Graphenzeichnungen mit einer geringeren visuellen Stabilität eine nicht zufriedenstellende Benutzererfahrung, jedoch im Austausch eine Verbesserung der Effizienz der visuellen Suche. Dieses Ergebnis wird genutzt, um visuell stabile Beschreibungen zu entwickeln, die darauf abzielen, die Netzwerkeigenschaften über einen gewissen Zeitraum zu untersuchen. Solche Beschreibungen und Empfehlungen bedienen sich Merkmalen wie Skalierung und Hervorhebung, um die Effizienz der visuellen Suche zu verbessern.Dynamic graph drawings are the metaphor of choice when it comes to the analysis and visualization of dynamic networks. These drawings are often created by capturing a successive sequence of states or “snapshots” from the network under study. Then, for each one of them, a graph drawing is independently computed with the layout algorithm of preference and the resulting sequence is presented to the user in a predefined order. Despite the simplicity of the method, dynamic graph drawings created with the pre- vious strategy possess some problems. Actors, relations or patterns can change their position on the canvas as the dynamic network is explored. Furthermore, dynamic graph drawings tend to constantly add and remove elements without prior information. As a consequence, it is very difficult to observe how the members of the network evolve over time. The scientific community has developed a series of layout adjustment techniques, which aim at minimizing the changes in a dynamic graph drawing. Some of them suggest that the “shape” of the drawing must be maintained at all time. Others that every actor and relation must be assigned to a fixed position in the Euclidean Space. However, a recently developed technique proposes an alternative. Multiple actors can occupy the same node position in the Euclidean Space, as long as they do not appear at the same point in time. Likewise, multiple relations can occupy the same edge position in the Euclidean Space following the principle aforementioned. As the result, a dynamic graph drawing minimizes its changes to a point where it can be perceived as visually stable. This thesis presents how the visual stability of a dynamic graph drawing affects the user experience and the efficiency of the visual search when tracking actors or network attributes over time. For this purpose, a framework to support flexible visualization techniques was developed. It served as the platform to evaluate existing layout ad- justment techniques. Such an evaluation combined the use of questionnaires to gather information about the user experience; an eye-tracking device to record the eye move- ments and a new mathematical model to appropriately quantify the visual stability of dynamic graph drawings. The results obtained suggest that there is a trade-off between the user experience and the efficiency of the visual search, which depends on the visual stability of a dynamic graph drawing. On the one hand, dynamic graph drawings with higher levels of visual stability provide a satisfying user experience in tracking tasks. Nonetheless, they are inefficient in terms of the visual search. On the other hand, dynamic graph drawings with lower levels of visual stability, do not provide a satisfying user experience in tracking tasks but considerably improve the efficiency of the visual search. These findings were used to develop visually stable metaphors, aiming at exploring network attributes over time. Such metaphors rely on features like scaling or highlighting to improve the efficiency of the visual search