ANALYZING SOCIAL MEDIA CONTENTS

Ph.DDOCTOR OF PHILOSOPH

A Survey on Visual Analytics of Social Media Data

The unprecedented availability of social media data offers substantial opportunities for data owners, system operators, solution providers, and end users to explore and understand social dynamics. However, the exponential growth in the volume, velocity, and variability of social media data prevents people from fully utilizing such data. Visual analytics, which is an emerging research direction, ha..

Context-Preserving Visual Analytics of Multi-Scale Spatial Aggregation.

Spatial datasets (i.e., location-based social media, crime incident reports, and demographic data) often exhibit varied distribution patterns at multiple spatial scales. Examining these patterns across different scales enhances the understanding from global to local perspectives and offers new insights into the nature of various spatial phenomena. Conventional navigation techniques in such multi-scale data-rich spaces are often inefficient, require users to choose between an overview or detailed information, and do not support identifying spatial patterns at varying scales. In this work, we present a context-preserving visual analytics technique that aggregates spatial datasets into hierarchical clusters and visualizes the multi-scale aggregates in a single visual space. We design a boundary distortion algorithm to minimize the visual clutter caused by overlapping aggregates and explore visual encoding strategies including color, transparency, shading, and shapes, in order to illustrate the hierarchical and statistical patterns of the multi-scale aggregates. We also propose a transparency-based technique that maintains a smooth visual transition as the users navigate across adjacent scales. To further support effective semantic exploration in the multi-scale space, we design a set of text-based encoding and layout methods that draw textual labels along the boundary or filled within the aggregates. The text itself not only summarizes the semantics at each scale, but also indicates the spatial coverage of the aggregates and their hierarchical relationships. We demonstrate the effectiveness of the proposed approaches through real-world application examples and user studies

Text-based Spatial and Temporal Visualizations and their Applications in Visual Analytics

Textual labels are an essential part of most visualizations used in practice. However, these textual labels are mainly used to annotate other visualizations rather than being a central part of the visualization. Visualization researchers in areas like cartography and geovisualization have studied the combination of graphical features and textual labels to generate map based visualizations, but textual labels alone are not the primary focus in these representations. The idea of using symbols in visual representations and their interpretation as a quantity is gaining more traction. These types of representations are not only aesthetically appealing but also present new possibilities of encoding data. Such scenarios regularly arise while designing visual representations, where designers have to investigate feasibility of encoding information using symbols alone especially textual labels but the lack of readily available automated tools, and design guidelines makes it prohibitively expensive to experiment with such visualization designs. In order to address such challenges, this thesis presents the design and development of visual representations consisting entirely of text. These visual representations open up the possibility of encoding different types of spatial and temporal datasets. We report our results through two novel visualizations: typographic maps and text-based TextRiver visualization. Typographic maps merge text and spatial data into a visual representation where text alone forms the graphical features, mimicking the practices of human map makers. We also introduce methods to combine our automatic typographic maps technique with spatial datasets to generate thema-typographic maps where the properties of individual characters in the map are modified based on the underlying spatial data. Our TextRiver visualization is composed of collection of stream-like shapes consisting entirely of text where each stream represents thematic strength variations over time within a corpus. Such visualization enables additional ways to encode information contained in temporal datasets by modifying text attributes. We also conducted a usability evaluation to assess the potential value of our text-based TextRiver design

Visual Text Analysis in Digital Humanities

In 2005, Franco Moretti introduced Distant Reading to analyse entire literary text collections. This was a rather revolutionary idea compared to the traditional Close Reading, which focuses on the thorough interpretation of an individual work. Both reading techniques are the prior means of Visual Text Analysis. We present an overview of the research conducted since 2005 on supporting text analysis tasks with close and distant reading visualizations in the digital humanities. Therefore, we classify the observed papers according to a taxonomy of text analysis tasks, categorize applied close and distant reading techniques to support the investigation of these tasks and illustrate approaches that combine both reading techniques in order to provide a multi-faceted view of the textual data. In addition, we take a look at the used text sources and at the typical data transformation steps required for the proposed visualizations. Finally, we summarize collaboration experiences when developing visualizations for close and distant reading, and we give an outlook on future challenges in that research area

Methods and visualization tools for the analysis of medical, political and scientific concepts in Genealogies of Knowledge

An approach to establishing requirements and developing visualization tools for scholarly work is presented which involves, iteratively: reviewing published methodology, in situ observation of scholars at work, software prototyping, analysis of scholarly output produced with the support of text visualization software, and interviews with users. This approach is embodied by the software co-designed by researchers working on the Genealogies of Knowledge project. This paper describes our co-design methodology and the resulting software, presenting case studies demonstrating its use in test analyses, and discussing methodological implications in the context of the Genealogies of Knowledge corpus-based approach to the study of medical, scientific, and political concepts

Assessing the perceived environment through crowdsourced spatial photo content for application to the fields of landscape and urban planning

Assessing information on aspects of identification, perception, emotion, and social interaction with respect to the environment is of particular importance to the fields of natural resource management. Our ability to visualize this type of information has rapidly improved with the proliferation of social media sites throughout the Internet in recent years. While many methods to extract information on human behavior from crowdsourced geodata already exist, this work focuses on visualizing landscape perception for application to the fields of landscape and urban planning. Visualization of people’s perceptual responses to landscape is demonstrated with crowdsourced photo geodata from Flickr, a popular photo sharing community. A basic, general method to map, visualize and evaluate perception and perceptual values is proposed. The approach utilizes common tools for spatial knowledge discovery and builds on existing research, but is specifically designed for implementation within the context of landscape perception analysis and particularly suited as a base for further evaluation in multiple scenarios. To demonstrate the process in application, three novel types of visualizations are presented: the mapping of lines of sight in Yosemite Valley, the assessment of landscape change in the area surrounding the High Line in Manhattan, and individual location analysis for Coit Tower in San Francisco. The results suggest that analyzing crowdsourced data may contribute to a more balanced assessment of the perceived landscape, which provides a basis for a better integration of public values into planning processes.:Contents 3 1 Introduction 7 1.1 Motivation 7 1.2 Literature review and conceptual scope 9 1.3 Terminology 11 1.4 Related research 12 1.5 Objectives 14 1.6 Methodology 16 1.7 Formal conventions 21 I. Part I: Conceptual framework 23 1.1 Visual perception 23 1.2 Theory and practice in landscape perception assessment 27 1.2.1 Expert valuation versus participation 27 1.2.2 Photography-based landscape perception assessment 32 1.2.2.1. Photo-based surveys 32 1.2.2.2. Photo-based Internet surveys 35 1.2.2.3. Photo-interviewing and participant photography 37 1.2.3 Conclusions 40 1.3 Conceptual approach 42 1.3.1 A framing theory: Distributed cognition 42 1.3.2 Description of the approach 46 1.3.3 Choosing the right data source 48 1.3.3.1. Availability of crowdsourced and georeferenced photo data 48 1.3.3.2. Suitability for analyzing human behavior and perception 51 1.3.4 Relations between data and the phenomenon under observation 55 1.3.4.1. Photo taking and landscape perception 55 1.3.4.2. User motivation in the context of photo sharing in communities 61 1.3.4.3. Describing and tagging photos: Forms of attributing meaning 66 1.3.5 Considerations for measuring and weighting data 70 1.3.6 Conclusions 77 II. Part II: Application example – Flickr photo analysis and evaluation of results 80 2.1 Software architecture 80 2.2 Materials and methods 86 2.2.1 Data retrieval, initial data structure and overall quantification 86 2.2.2 Global data bias 89 2.2.3 Basic techniques for filtering and classifying data 94 2.2.3.1. Where: photo locations 94 2.2.3.2. Who: user origin 96 2.2.3.3. When: time of photo taking 102 2.2.3.4. What: tag frequency 108   2.2.4 Methods for aggregating data 113 2.2.4.1. Clustering of photo locations 113 2.2.4.2. Clustering of tag locations 115 2.3 Application to planning: techniques for visualizing data 118 2.3.1 Introduction 118 2.3.2 Tag maps 121 2.3.2.1. Description of technique 121 2.3.2.2. Results: San Francisco and Berkeley waterfront 126 2.3.2.3. Results: Berkeley downtown and university campus 129 2.3.2.4. Results: Dresden and the Elbe Valley 132 2.3.2.5. Results: Greater Toronto Area and City of Toronto 136 2.3.2.6. Results: Baden-Württemberg 143 2.3.2.7. Summary 156 2.3.3 Temporal comparison for assessing landscape change 158 2.3.3.1. Description of technique 158 2.3.3.2. Results: The High Line, NY 159 2.3.3.3. Summary 160 2.3.4 Determining lines of sight and important visual connections 161 2.3.4.1. Description of technique 161 2.3.4.2. Results: Yosemite Valley 162 2.3.4.3. Results: Golden Gate and Bay Bridge 167 2.3.4.4. Results: CN Tower, Toronto 168 2.3.4.5. Summary 170 2.3.5 Individual location analysis 171 2.3.5.1. Description of technique 171 2.3.5.2. Results: Coit Tower, San Francisco 171 2.3.5.3. Results: CN Tower, Toronto 172 2.3.5.4. Summary 173 2.4 Quality and accuracy of results 175 2.4.1 Methodology 175 2.4.2 Accuracy of data 175 2.4.3 Validity and reliability of visualizations 178 2.4.3.1. Reliability 178 2.4.3.2. Validity 180 2.5 Implementation example: the London View Framework 181 2.5.1 Description 181 2.5.2 Evaluation methodology 183 2.5.3 Analysis 184 2.5.3.1. Landmarks 184 2.5.3.2. Views 192 2.5.4 Summary 199 III. Discussion 203 3.1 Application of the framework from a wider perspective 203 3.2 Significance of results 204 3.3 Further research 205   3.4 Discussion of workshop results and further feedback 206 3.4.1 Workshops at University of Waterloo and University of Toronto, Canada 206 3.4.2 Workshop at University of Technology Dresden, Germany 209 3.4.3 Feedback from presentations, discussions, exhibitions: second thoughts 210 IV. Conclusions 212 V. References 213 5.1 Literature 213 5.2 List of web references 228 5.3 List of figures 230 5.4 List of tables 234 5.5 List of maps 235 5.6 List of appendices 236 VI. Appendices 237  Als Wahrnehmung wird der Bewusstseinsprozess des subjektiven Verstehens der Umwelt bezeichnet. Grundlage für diesen Prozess ist die Gewinnung von Informationen über die Sinne, also aus visuellen, olfaktorischen, akustischen und anderen Reizen. Die Wahrnehmung ist aber auch wesentlich durch interne Prozesse beeinflusst. Das menschliche Gehirn ist fortlaufend damit beschäftigt, sowohl bewusst als auch unbewusst Sinneswahrnehmungen mit Erinnerungen abzugleichen, zu vereinfachen, zu assoziieren, vorherzusagen oder zu vergleichen. Aus diesem Grund ist es schwierig, die Wahrnehmung von Orten und Landschaften in Planungsprozessen zu berücksichtigen. Jedoch wird genau dies von der Europäischen Landschaftskonvention gefordert, die Landschaft als einen bestimmten Bereich definiert, so wie er von Besuchern und Einwohnern wahrgenommen wird (“as a zone or area as perceived by local people or visitors”, ELC Art. 1, Abs. 38). Während viele Fortschritte und Erkenntnisse, zum Beispiel aus den Kognitionswissenschaften, heute helfen, die Wahrnehmung einzelner Menschen zu verstehen, konnte die Stadt- und Landschaftsplanung kaum profitieren. Es fehlt an Kenntnissen über das Zusammenwirken der Wahrnehmung vieler Menschen. Schon Stadtplaner Kevin Lynch beschäftigte dieses gemeinsame, kollektive ‚Bild‘ der menschlichen Umwelt ("generalized mental picture", Lynch, 1960, p. 4). Seitdem wurden kaum nennenswerte Fortschritte bei der Erfassung der allgemeinen, öffentlichen Wahrnehmung von Stadt- und Landschaft erzielt. Dies war Anlass und Motivation für die vorliegende Arbeit. Eine bisher in der Planung ungenutzte Informationsquelle für die Erfassung der Wahrnehmung vieler Menschen bietet sich in Form von crowdsourced Daten (auch ‚Big Data‘), also großen Mengen an Daten die von vielen Menschen im Internet zusammengetragen werden. Im Vergleich zu konventionellen Daten, zum Beispiel solchen die durch Experten erhoben werden und durch öffentliche Träger zur Verfügung stehen, eröffnet sich durch crowdsourced Daten eine bisher nicht verfügbare Quelle für Informationen, um die komplexen Zusammenhänge zwischen Raum, Identität und subjektiver Wahrnehmung zu verstehen. Dabei enthalten crowdsourced Daten lediglich Spuren menschlicher Entscheidungen. Aufgrund der Menge ist es aber möglich, wesentliche Informationen über die Wahrnehmung derer, die diese Daten zusammengetragen haben, zu gewinnen. Dies ermöglicht es Planern zu verstehen, wie Menschen ihre unmittelbare Umgebung wahrnehmen und mit ihr interagieren. Darüber hinaus wird es immer wichtiger, die Ansichten Vieler in Planungsprozessen zu berücksichtigen (Lynam, De Jong, Sheil, Kusumanto, & Evans, 2007; Brody, 2004). Der Wunsch nach öffentlicher Beteiligung sowie die Anzahl an beteiligten Stakeholdern nehmen dabei konstant zu. Durch das Nutzen dieser neuen Informationsquelle bietet sich eine Alternative zu herkömmlichen Ansätzen wie Umfragen, die genutzt werden um beispielsweise Meinungen, Positionen, Werte, Normen oder Vorlieben von bestimmten sozialen Gruppen zu messen. Indem es crowdsourced Daten erleichtern, solch soziokulturelle Werte zu bestimmen, können die Ergebnisse vor allem bei der schwierigen Gewichtung gegensätzlicher Interessen und Ansichten helfen. Es wird die Ansicht geteilt, dass die Nutzung von crowdsourced Daten, indem Einschätzungen von Experten ergänzt werden, letztendlich zu einer faireren, ausgeglichenen Berücksichtigung der Allgemeinheit in Entscheidungsprozessen führen kann (Erickson, 2011, p.1). Eine große Anzahl an Methoden ist bereits verfügbar, um aus dieser Datenquelle wichtige landschaftsbezogene Informationen auszulesen. Beispiele sind die Bewertung der Attraktivität von Landschaften, die Bestimmung der Bedeutung von Sehenswürdigkeiten oder Wahrzeichen, oder die Einschätzung von Reisevorlieben von Nutzergruppen. Viele der bisherigen Methoden wurden jedoch als ungenügend empfunden, um die speziellen Bedürfnisse und das breite Spektrum an Fragestellungen zur Landschaftswahrnehmung in Stadt- und Landschaftsplanung zu berücksichtigen. Das Ziel der vorliegenden Arbeit ist es, praxisrelevantes Wissen zu vermitteln, welches es Planern erlaubt, selbstständig Daten zu erforschen, zu visualisieren und zu interpretieren. Der Schlüssel für eine erfolgreiche Umsetzung wird dabei in der Synthese von Wissen aus drei Kategorien gesehen, theoretische Grundlagen (1), technisches Wissen zur Datenverarbeitung (2) sowie Kenntnisse zur grafischen Visualisierungen (3). Die theoretischen Grundlagen werden im ersten Teil der Arbeit (Part I) präsentiert. In diesem Teil werden zunächst Schwachpunkte aktueller Verfahren diskutiert, um anschließend einen neuen, konzeptionell-technischen Ansatz vorzuschlagen der gezielt auf die Ergänzung bereits vorhandener Methoden zielt. Im zweiten Teil der Arbeit (Part II) wird anhand eines Datenbeispiels die Anwendung des Ansatzes exemplarisch demonstriert. Fragestellungen die angesprochen werden reichen von der Datenabfrage, Verarbeitung, Analyse, Visualisierung, bis zur Interpretation von Grafiken in Planungsprozessen. Als Basis dient dabei ein Datenset mit 147 Millionen georeferenzierte Foto-Daten und 882 Millionen Tags der Fotoaustauschplatform Flickr, welches in den Jahren 2007 bis 2015 von 1,3 Millionen Nutzern zusammengetragen wurde. Anhand dieser Daten wird die Entwicklung neuer Visualisierungstechniken exemplarisch vorgestellt. Beispiele umfassen Spatio-temporal Tag Clouds, eine experimentelle Technik zur Generierung von wahrnehmungsgewichteten Karten, die Visualisierung von wahrgenommenem Landschaftswandel, das Abbilden von wahrnehmungsgewichteten Sichtlinien, sowie die Auswertung von individueller Wahrnehmung von und an bestimmten Orten. Die Anwendung dieser Techniken wird anhand verschiedener Testregionen in den USA, Kanada und Deutschland für alle Maßstabsebenen geprüft und diskutiert. Dies umfasst beispielsweise die Erfassung und Bewertung von Sichtlinien und visuellen Bezügen in Yosemite Valley, das Monitoring von wahrgenommenen Veränderungen im Bereich der High Line in New York, die Auswertung von individueller Wahrnehmung für Coit Tower in San Francisco, oder die Beurteilung von regional wahrgenommenen identitätsstiftenden Landschaftswerten für Baden-Württemberg und die Greater Toronto Area (GTA). Anschließend werden Ansätze vorgestellt, um die Qualität und Validität von Visualisierungen einzuschätzen. Abschließend wird anhand eines konkreten Planungsbeispiels, des London View Management Frameworks (LVMF), eine spezifische Implementation des Ansatzes und der Visualisierungen kurz aufgezeigt und diskutiert. Mit der Arbeit wird vor allem das breite Potential betont, welches die Nutzung von crowdsourced Daten für die Bewertung von Landschaftswahrnehmung in Stadt- und Landschaftsplanung bereithält. Insbesondere crowdsourced Fotodaten werden als wichtige zusätzliche Informationsquelle gesehen, da sie eine bisher nicht verfügbare Perspektive auf die allgemeine, öffentliche Wahrnehmung der Umwelt ermöglichen. Während der breiteren Anwendung noch einige Grenzen gesetzt sind, können die vorgestellten experimentellen Methoden und Techniken schon wichtige Aufschlüsse über eine ganze Reihe von wahrgenommenen Landschaftswerten geben. Auf konzeptioneller Ebene stellt die Arbeit eine erste Grundlage für weitere Forschung dar. Bevor jedoch eine breite Anwendung in der Praxis möglich ist, müssen entscheidende Fragen gelöst werden, beispielsweise zum Copyright, zur Definition von ethischen Standards innerhalb der Profession, sowie zum Schutz der Privatsphäre Beteiligter. Längerfristig wird nicht nur die Nutzung der Daten als wichtig angesehen, sondern auch die Erschließung der essentiellen Möglichkeiten dieser Entwicklung zur besseren Kommunikation mit Auftraggebern, Beteiligten und der Öffentlichkeit in Planungs- und Entscheidungsprozessen.:Contents 3 1 Introduction 7 1.1 Motivation 7 1.2 Literature review and conceptual scope 9 1.3 Terminology 11 1.4 Related research 12 1.5 Objectives 14 1.6 Methodology 16 1.7 Formal conventions 21 I. Part I: Conceptual framework 23 1.1 Visual perception 23 1.2 Theory and practice in landscape perception assessment 27 1.2.1 Expert valuation versus participation 27 1.2.2 Photography-based landscape perception assessment 32 1.2.2.1. Photo-based surveys 32 1.2.2.2. Photo-based Internet surveys 35 1.2.2.3. Photo-interviewing and participant photography 37 1.2.3 Conclusions 40 1.3 Conceptual approach 42 1.3.1 A framing theory: Distributed cognition 42 1.3.2 Description of the approach 46 1.3.3 Choosing the right data source 48 1.3.3.1. Availability of crowdsourced and georeferenced photo data 48 1.3.3.2. Suitability for analyzing human behavior and perception 51 1.3.4 Relations between data and the phenomenon under observation 55 1.3.4.1. Photo taking and landscape perception 55 1.3.4.2. User motivation in the context of photo sharing in communities 61 1.3.4.3. Describing and tagging photos: Forms of attributing meaning 66 1.3.5 Considerations for measuring and weighting data 70 1.3.6 Conclusions 77 II. Part II: Application example – Flickr photo analysis and evaluation of results 80 2.1 Software architecture 80 2.2 Materials and methods 86 2.2.1 Data retrieval, initial data structure and overall quantification 86 2.2.2 Global data bias 89 2.2.3 Basic techniques for filtering and classifying data 94 2.2.3.1. Where: photo locations 94 2.2.3.2. Who: user origin 96 2.2.3.3. When: time of photo taking 102 2.2.3.4. What: tag frequency 108   2.2.4 Methods for aggregating data 113 2.2.4.1. Clustering of photo locations 113 2.2.4.2. Clustering of tag locations 115 2.3 Application to planning: techniques for visualizing data 118 2.3.1 Introduction 118 2.3.2 Tag maps 121 2.3.2.1. Description of technique 121 2.3.2.2. Results: San Francisco and Berkeley waterfront 126 2.3.2.3. Results: Berkeley downtown and university campus 129 2.3.2.4. Results: Dresden and the Elbe Valley 132 2.3.2.5. Results: Greater Toronto Area and City of Toronto 136 2.3.2.6. Results: Baden-Württemberg 143 2.3.2.7. Summary 156 2.3.3 Temporal comparison for assessing landscape change 158 2.3.3.1. Description of technique 158 2.3.3.2. Results: The High Line, NY 159 2.3.3.3. Summary 160 2.3.4 Determining lines of sight and important visual connections 161 2.3.4.1. Description of technique 161 2.3.4.2. Results: Yosemite Valley 162 2.3.4.3. Results: Golden Gate and Bay Bridge 167 2.3.4.4. Results: CN Tower, Toronto 168 2.3.4.5. Summary 170 2.3.5 Individual location analysis 171 2.3.5.1. Description of technique 171 2.3.5.2. Results: Coit Tower, San Francisco 171 2.3.5.3. Results: CN Tower, Toronto 172 2.3.5.4. Summary 173 2.4 Quality and accuracy of results 175 2.4.1 Methodology 175 2.4.2 Accuracy of data 175 2.4.3 Validity and reliability of visualizations 178 2.4.3.1. Reliability 178 2.4.3.2. Validity 180 2.5 Implementation example: the London View Framework 181 2.5.1 Description 181 2.5.2 Evaluation methodology 183 2.5.3 Analysis 184 2.5.3.1. Landmarks 184 2.5.3.2. Views 192 2.5.4 Summary 199 III. Discussion 203 3.1 Application of the framework from a wider perspective 203 3.2 Significance of results 204 3.3 Further research 205   3.4 Discussion of workshop results and further feedback 206 3.4.1 Workshops at University of Waterloo and University of Toronto, Canada 206 3.4.2 Workshop at University of Technology Dresden, Germany 209 3.4.3 Feedback from presentations, discussions, exhibitions: second thoughts 210 IV. Conclusions 212 V. References 213 5.1 Literature 213 5.2 List of web references 228 5.3 List of figures 230 5.4 List of tables 234 5.5 List of maps 235 5.6 List of appendices 236 VI. Appendices 237