Assessing the perceived environment through crowdsourced spatial photo content for application to the fields of landscape and urban planning

Assessing information on aspects of identification, perception, emotion, and social interaction with respect to the environment is of particular importance to the fields of natural resource management. Our ability to visualize this type of information has rapidly improved with the proliferation of social media sites throughout the Internet in recent years. While many methods to extract information on human behavior from crowdsourced geodata already exist, this work focuses on visualizing landscape perception for application to the fields of landscape and urban planning. Visualization of people’s perceptual responses to landscape is demonstrated with crowdsourced photo geodata from Flickr, a popular photo sharing community. A basic, general method to map, visualize and evaluate perception and perceptual values is proposed. The approach utilizes common tools for spatial knowledge discovery and builds on existing research, but is specifically designed for implementation within the context of landscape perception analysis and particularly suited as a base for further evaluation in multiple scenarios. To demonstrate the process in application, three novel types of visualizations are presented: the mapping of lines of sight in Yosemite Valley, the assessment of landscape change in the area surrounding the High Line in Manhattan, and individual location analysis for Coit Tower in San Francisco. The results suggest that analyzing crowdsourced data may contribute to a more balanced assessment of the perceived landscape, which provides a basis for a better integration of public values into planning processes.:Contents 3 1 Introduction 7 1.1 Motivation 7 1.2 Literature review and conceptual scope 9 1.3 Terminology 11 1.4 Related research 12 1.5 Objectives 14 1.6 Methodology 16 1.7 Formal conventions 21 I. Part I: Conceptual framework 23 1.1 Visual perception 23 1.2 Theory and practice in landscape perception assessment 27 1.2.1 Expert valuation versus participation 27 1.2.2 Photography-based landscape perception assessment 32 1.2.2.1. Photo-based surveys 32 1.2.2.2. Photo-based Internet surveys 35 1.2.2.3. Photo-interviewing and participant photography 37 1.2.3 Conclusions 40 1.3 Conceptual approach 42 1.3.1 A framing theory: Distributed cognition 42 1.3.2 Description of the approach 46 1.3.3 Choosing the right data source 48 1.3.3.1. Availability of crowdsourced and georeferenced photo data 48 1.3.3.2. Suitability for analyzing human behavior and perception 51 1.3.4 Relations between data and the phenomenon under observation 55 1.3.4.1. Photo taking and landscape perception 55 1.3.4.2. User motivation in the context of photo sharing in communities 61 1.3.4.3. Describing and tagging photos: Forms of attributing meaning 66 1.3.5 Considerations for measuring and weighting data 70 1.3.6 Conclusions 77 II. Part II: Application example – Flickr photo analysis and evaluation of results 80 2.1 Software architecture 80 2.2 Materials and methods 86 2.2.1 Data retrieval, initial data structure and overall quantification 86 2.2.2 Global data bias 89 2.2.3 Basic techniques for filtering and classifying data 94 2.2.3.1. Where: photo locations 94 2.2.3.2. Who: user origin 96 2.2.3.3. When: time of photo taking 102 2.2.3.4. What: tag frequency 108   2.2.4 Methods for aggregating data 113 2.2.4.1. Clustering of photo locations 113 2.2.4.2. Clustering of tag locations 115 2.3 Application to planning: techniques for visualizing data 118 2.3.1 Introduction 118 2.3.2 Tag maps 121 2.3.2.1. Description of technique 121 2.3.2.2. Results: San Francisco and Berkeley waterfront 126 2.3.2.3. Results: Berkeley downtown and university campus 129 2.3.2.4. Results: Dresden and the Elbe Valley 132 2.3.2.5. Results: Greater Toronto Area and City of Toronto 136 2.3.2.6. Results: Baden-Württemberg 143 2.3.2.7. Summary 156 2.3.3 Temporal comparison for assessing landscape change 158 2.3.3.1. Description of technique 158 2.3.3.2. Results: The High Line, NY 159 2.3.3.3. Summary 160 2.3.4 Determining lines of sight and important visual connections 161 2.3.4.1. Description of technique 161 2.3.4.2. Results: Yosemite Valley 162 2.3.4.3. Results: Golden Gate and Bay Bridge 167 2.3.4.4. Results: CN Tower, Toronto 168 2.3.4.5. Summary 170 2.3.5 Individual location analysis 171 2.3.5.1. Description of technique 171 2.3.5.2. Results: Coit Tower, San Francisco 171 2.3.5.3. Results: CN Tower, Toronto 172 2.3.5.4. Summary 173 2.4 Quality and accuracy of results 175 2.4.1 Methodology 175 2.4.2 Accuracy of data 175 2.4.3 Validity and reliability of visualizations 178 2.4.3.1. Reliability 178 2.4.3.2. Validity 180 2.5 Implementation example: the London View Framework 181 2.5.1 Description 181 2.5.2 Evaluation methodology 183 2.5.3 Analysis 184 2.5.3.1. Landmarks 184 2.5.3.2. Views 192 2.5.4 Summary 199 III. Discussion 203 3.1 Application of the framework from a wider perspective 203 3.2 Significance of results 204 3.3 Further research 205   3.4 Discussion of workshop results and further feedback 206 3.4.1 Workshops at University of Waterloo and University of Toronto, Canada 206 3.4.2 Workshop at University of Technology Dresden, Germany 209 3.4.3 Feedback from presentations, discussions, exhibitions: second thoughts 210 IV. Conclusions 212 V. References 213 5.1 Literature 213 5.2 List of web references 228 5.3 List of figures 230 5.4 List of tables 234 5.5 List of maps 235 5.6 List of appendices 236 VI. Appendices 237  Als Wahrnehmung wird der Bewusstseinsprozess des subjektiven Verstehens der Umwelt bezeichnet. Grundlage für diesen Prozess ist die Gewinnung von Informationen über die Sinne, also aus visuellen, olfaktorischen, akustischen und anderen Reizen. Die Wahrnehmung ist aber auch wesentlich durch interne Prozesse beeinflusst. Das menschliche Gehirn ist fortlaufend damit beschäftigt, sowohl bewusst als auch unbewusst Sinneswahrnehmungen mit Erinnerungen abzugleichen, zu vereinfachen, zu assoziieren, vorherzusagen oder zu vergleichen. Aus diesem Grund ist es schwierig, die Wahrnehmung von Orten und Landschaften in Planungsprozessen zu berücksichtigen. Jedoch wird genau dies von der Europäischen Landschaftskonvention gefordert, die Landschaft als einen bestimmten Bereich definiert, so wie er von Besuchern und Einwohnern wahrgenommen wird (“as a zone or area as perceived by local people or visitors”, ELC Art. 1, Abs. 38). Während viele Fortschritte und Erkenntnisse, zum Beispiel aus den Kognitionswissenschaften, heute helfen, die Wahrnehmung einzelner Menschen zu verstehen, konnte die Stadt- und Landschaftsplanung kaum profitieren. Es fehlt an Kenntnissen über das Zusammenwirken der Wahrnehmung vieler Menschen. Schon Stadtplaner Kevin Lynch beschäftigte dieses gemeinsame, kollektive ‚Bild‘ der menschlichen Umwelt ("generalized mental picture", Lynch, 1960, p. 4). Seitdem wurden kaum nennenswerte Fortschritte bei der Erfassung der allgemeinen, öffentlichen Wahrnehmung von Stadt- und Landschaft erzielt. Dies war Anlass und Motivation für die vorliegende Arbeit. Eine bisher in der Planung ungenutzte Informationsquelle für die Erfassung der Wahrnehmung vieler Menschen bietet sich in Form von crowdsourced Daten (auch ‚Big Data‘), also großen Mengen an Daten die von vielen Menschen im Internet zusammengetragen werden. Im Vergleich zu konventionellen Daten, zum Beispiel solchen die durch Experten erhoben werden und durch öffentliche Träger zur Verfügung stehen, eröffnet sich durch crowdsourced Daten eine bisher nicht verfügbare Quelle für Informationen, um die komplexen Zusammenhänge zwischen Raum, Identität und subjektiver Wahrnehmung zu verstehen. Dabei enthalten crowdsourced Daten lediglich Spuren menschlicher Entscheidungen. Aufgrund der Menge ist es aber möglich, wesentliche Informationen über die Wahrnehmung derer, die diese Daten zusammengetragen haben, zu gewinnen. Dies ermöglicht es Planern zu verstehen, wie Menschen ihre unmittelbare Umgebung wahrnehmen und mit ihr interagieren. Darüber hinaus wird es immer wichtiger, die Ansichten Vieler in Planungsprozessen zu berücksichtigen (Lynam, De Jong, Sheil, Kusumanto, & Evans, 2007; Brody, 2004). Der Wunsch nach öffentlicher Beteiligung sowie die Anzahl an beteiligten Stakeholdern nehmen dabei konstant zu. Durch das Nutzen dieser neuen Informationsquelle bietet sich eine Alternative zu herkömmlichen Ansätzen wie Umfragen, die genutzt werden um beispielsweise Meinungen, Positionen, Werte, Normen oder Vorlieben von bestimmten sozialen Gruppen zu messen. Indem es crowdsourced Daten erleichtern, solch soziokulturelle Werte zu bestimmen, können die Ergebnisse vor allem bei der schwierigen Gewichtung gegensätzlicher Interessen und Ansichten helfen. Es wird die Ansicht geteilt, dass die Nutzung von crowdsourced Daten, indem Einschätzungen von Experten ergänzt werden, letztendlich zu einer faireren, ausgeglichenen Berücksichtigung der Allgemeinheit in Entscheidungsprozessen führen kann (Erickson, 2011, p.1). Eine große Anzahl an Methoden ist bereits verfügbar, um aus dieser Datenquelle wichtige landschaftsbezogene Informationen auszulesen. Beispiele sind die Bewertung der Attraktivität von Landschaften, die Bestimmung der Bedeutung von Sehenswürdigkeiten oder Wahrzeichen, oder die Einschätzung von Reisevorlieben von Nutzergruppen. Viele der bisherigen Methoden wurden jedoch als ungenügend empfunden, um die speziellen Bedürfnisse und das breite Spektrum an Fragestellungen zur Landschaftswahrnehmung in Stadt- und Landschaftsplanung zu berücksichtigen. Das Ziel der vorliegenden Arbeit ist es, praxisrelevantes Wissen zu vermitteln, welches es Planern erlaubt, selbstständig Daten zu erforschen, zu visualisieren und zu interpretieren. Der Schlüssel für eine erfolgreiche Umsetzung wird dabei in der Synthese von Wissen aus drei Kategorien gesehen, theoretische Grundlagen (1), technisches Wissen zur Datenverarbeitung (2) sowie Kenntnisse zur grafischen Visualisierungen (3). Die theoretischen Grundlagen werden im ersten Teil der Arbeit (Part I) präsentiert. In diesem Teil werden zunächst Schwachpunkte aktueller Verfahren diskutiert, um anschließend einen neuen, konzeptionell-technischen Ansatz vorzuschlagen der gezielt auf die Ergänzung bereits vorhandener Methoden zielt. Im zweiten Teil der Arbeit (Part II) wird anhand eines Datenbeispiels die Anwendung des Ansatzes exemplarisch demonstriert. Fragestellungen die angesprochen werden reichen von der Datenabfrage, Verarbeitung, Analyse, Visualisierung, bis zur Interpretation von Grafiken in Planungsprozessen. Als Basis dient dabei ein Datenset mit 147 Millionen georeferenzierte Foto-Daten und 882 Millionen Tags der Fotoaustauschplatform Flickr, welches in den Jahren 2007 bis 2015 von 1,3 Millionen Nutzern zusammengetragen wurde. Anhand dieser Daten wird die Entwicklung neuer Visualisierungstechniken exemplarisch vorgestellt. Beispiele umfassen Spatio-temporal Tag Clouds, eine experimentelle Technik zur Generierung von wahrnehmungsgewichteten Karten, die Visualisierung von wahrgenommenem Landschaftswandel, das Abbilden von wahrnehmungsgewichteten Sichtlinien, sowie die Auswertung von individueller Wahrnehmung von und an bestimmten Orten. Die Anwendung dieser Techniken wird anhand verschiedener Testregionen in den USA, Kanada und Deutschland für alle Maßstabsebenen geprüft und diskutiert. Dies umfasst beispielsweise die Erfassung und Bewertung von Sichtlinien und visuellen Bezügen in Yosemite Valley, das Monitoring von wahrgenommenen Veränderungen im Bereich der High Line in New York, die Auswertung von individueller Wahrnehmung für Coit Tower in San Francisco, oder die Beurteilung von regional wahrgenommenen identitätsstiftenden Landschaftswerten für Baden-Württemberg und die Greater Toronto Area (GTA). Anschließend werden Ansätze vorgestellt, um die Qualität und Validität von Visualisierungen einzuschätzen. Abschließend wird anhand eines konkreten Planungsbeispiels, des London View Management Frameworks (LVMF), eine spezifische Implementation des Ansatzes und der Visualisierungen kurz aufgezeigt und diskutiert. Mit der Arbeit wird vor allem das breite Potential betont, welches die Nutzung von crowdsourced Daten für die Bewertung von Landschaftswahrnehmung in Stadt- und Landschaftsplanung bereithält. Insbesondere crowdsourced Fotodaten werden als wichtige zusätzliche Informationsquelle gesehen, da sie eine bisher nicht verfügbare Perspektive auf die allgemeine, öffentliche Wahrnehmung der Umwelt ermöglichen. Während der breiteren Anwendung noch einige Grenzen gesetzt sind, können die vorgestellten experimentellen Methoden und Techniken schon wichtige Aufschlüsse über eine ganze Reihe von wahrgenommenen Landschaftswerten geben. Auf konzeptioneller Ebene stellt die Arbeit eine erste Grundlage für weitere Forschung dar. Bevor jedoch eine breite Anwendung in der Praxis möglich ist, müssen entscheidende Fragen gelöst werden, beispielsweise zum Copyright, zur Definition von ethischen Standards innerhalb der Profession, sowie zum Schutz der Privatsphäre Beteiligter. Längerfristig wird nicht nur die Nutzung der Daten als wichtig angesehen, sondern auch die Erschließung der essentiellen Möglichkeiten dieser Entwicklung zur besseren Kommunikation mit Auftraggebern, Beteiligten und der Öffentlichkeit in Planungs- und Entscheidungsprozessen.:Contents 3 1 Introduction 7 1.1 Motivation 7 1.2 Literature review and conceptual scope 9 1.3 Terminology 11 1.4 Related research 12 1.5 Objectives 14 1.6 Methodology 16 1.7 Formal conventions 21 I. Part I: Conceptual framework 23 1.1 Visual perception 23 1.2 Theory and practice in landscape perception assessment 27 1.2.1 Expert valuation versus participation 27 1.2.2 Photography-based landscape perception assessment 32 1.2.2.1. Photo-based surveys 32 1.2.2.2. Photo-based Internet surveys 35 1.2.2.3. Photo-interviewing and participant photography 37 1.2.3 Conclusions 40 1.3 Conceptual approach 42 1.3.1 A framing theory: Distributed cognition 42 1.3.2 Description of the approach 46 1.3.3 Choosing the right data source 48 1.3.3.1. Availability of crowdsourced and georeferenced photo data 48 1.3.3.2. Suitability for analyzing human behavior and perception 51 1.3.4 Relations between data and the phenomenon under observation 55 1.3.4.1. Photo taking and landscape perception 55 1.3.4.2. User motivation in the context of photo sharing in communities 61 1.3.4.3. Describing and tagging photos: Forms of attributing meaning 66 1.3.5 Considerations for measuring and weighting data 70 1.3.6 Conclusions 77 II. Part II: Application example – Flickr photo analysis and evaluation of results 80 2.1 Software architecture 80 2.2 Materials and methods 86 2.2.1 Data retrieval, initial data structure and overall quantification 86 2.2.2 Global data bias 89 2.2.3 Basic techniques for filtering and classifying data 94 2.2.3.1. Where: photo locations 94 2.2.3.2. Who: user origin 96 2.2.3.3. When: time of photo taking 102 2.2.3.4. What: tag frequency 108   2.2.4 Methods for aggregating data 113 2.2.4.1. Clustering of photo locations 113 2.2.4.2. Clustering of tag locations 115 2.3 Application to planning: techniques for visualizing data 118 2.3.1 Introduction 118 2.3.2 Tag maps 121 2.3.2.1. Description of technique 121 2.3.2.2. Results: San Francisco and Berkeley waterfront 126 2.3.2.3. Results: Berkeley downtown and university campus 129 2.3.2.4. Results: Dresden and the Elbe Valley 132 2.3.2.5. Results: Greater Toronto Area and City of Toronto 136 2.3.2.6. Results: Baden-Württemberg 143 2.3.2.7. Summary 156 2.3.3 Temporal comparison for assessing landscape change 158 2.3.3.1. Description of technique 158 2.3.3.2. Results: The High Line, NY 159 2.3.3.3. Summary 160 2.3.4 Determining lines of sight and important visual connections 161 2.3.4.1. Description of technique 161 2.3.4.2. Results: Yosemite Valley 162 2.3.4.3. Results: Golden Gate and Bay Bridge 167 2.3.4.4. Results: CN Tower, Toronto 168 2.3.4.5. Summary 170 2.3.5 Individual location analysis 171 2.3.5.1. Description of technique 171 2.3.5.2. Results: Coit Tower, San Francisco 171 2.3.5.3. Results: CN Tower, Toronto 172 2.3.5.4. Summary 173 2.4 Quality and accuracy of results 175 2.4.1 Methodology 175 2.4.2 Accuracy of data 175 2.4.3 Validity and reliability of visualizations 178 2.4.3.1. Reliability 178 2.4.3.2. Validity 180 2.5 Implementation example: the London View Framework 181 2.5.1 Description 181 2.5.2 Evaluation methodology 183 2.5.3 Analysis 184 2.5.3.1. Landmarks 184 2.5.3.2. Views 192 2.5.4 Summary 199 III. Discussion 203 3.1 Application of the framework from a wider perspective 203 3.2 Significance of results 204 3.3 Further research 205   3.4 Discussion of workshop results and further feedback 206 3.4.1 Workshops at University of Waterloo and University of Toronto, Canada 206 3.4.2 Workshop at University of Technology Dresden, Germany 209 3.4.3 Feedback from presentations, discussions, exhibitions: second thoughts 210 IV. Conclusions 212 V. References 213 5.1 Literature 213 5.2 List of web references 228 5.3 List of figures 230 5.4 List of tables 234 5.5 List of maps 235 5.6 List of appendices 236 VI. Appendices 237

Exploring human mobility patterns based on geotagged Flickr photos

Predicting human mobility behaviour has long been a topic of scientific interest. Such studies generally rely on tracking human movements through a range of data collection methodologies such as using GPS trackers, cellular network data etc. Some of this data may be confidential or hard to acquire. This thesis explores if existing publicly available data on online photo sharing platforms can be used to determine human mobility patterns with reasonable accuracy. We choose the Flickr website as the data collection medium as it has an extensive user base actively sharing photos many of which, have geo tags embedded in them which are preserved by Flickr. Our analysis reveals that while the data from Flickr is sparse and discontinuous making it unsuitable for reliable mobility prediction, typical human mobility trends based on time of day, day of week and month of the year can still be extracted. Such interesting patterns could be potentially used in traffic engineering domains or for user profiling purposes. More specifically, we describe how to obtain a subset of frequent active users and their information from Flickr, and the sliding window mechanism to filter the active periods of the users. Later we explain the various statistical methods applied on the filtered subset of data to identify the categories in which users could be classified, mainly short distance travellers and long distance travellers. The short distance travellers are considered for mobility trends prediction

Digital traces and urban research : Barcelona through social media data

Most of the world’s population now resides in urban areas, and it is expected that almost all of the planet’s growth will be concentrated in them for the next 30 years, making the improvement of the quality of life in the cities one of the big challenges of this century. To that end, it is crucial to have information on how people use the spaces in the city, and allows urban planning to successfully respond to their needs. This dissertation proposes using data shared voluntarily by the millions of users that make up social network’s communities as a valuable tool for the study of the complexity of the city, because of its capacity of providing an unprecedented volume of urban information, with geographic, temporal, semantic and multimedia components. However, the volume and variety of data raises important challenges regarding its retrieval, manipulation, analysis and representation, requiring the adoption of the best practices in data science, using a multi-faceted approach in the field of urban studies with a strong emphasis in the reproducibility of the developed methodologies. This research focuses in the case of study of the city of Barcelona, using the public data collected from Panoramio, Flickr, Twitter and Instagram. After a literature review, the methods to access the different services are discussed, along with their available data and limitations. Next, the retrieved data is analyzed at different spatial and temporal scales. The first approximation to data focuses on the origins of users who took geotagged pictures of Barcelona, geocoding the hometowns that appear in their Flickr public profiles, allowing the identification of the regions, countries and cities with the largest influx of visitors, and relating the results with multiple indicators at a global scale. The next scale of analysis discusses the city as a whole, developing methodologies for the representation of the spatial distribution of the collected locations, avoiding the artifacts produced by overplotting. To this end, locations are aggregated in regular tessellations, whose size is determined empirically from their spatial distribution. Two spatial statistics techniques (Moran’s I and Getis-Ord’s G*) are used to visualize the local spatial autocorrelation of the areas with exceptionally high or low densities, under a statistical significance framework. Finally, the kernel density estimation is introduced as a non-parametric alternative. The third level of detail follows the official administrative division of Barcelona in 73 neighborhoods and 12 districts, which obeys to historical, morphological and functional criteria. Micromaps are introduced as a representation technique capable of providing a geographical context to commonly used statistical graphics, along with a methodology to produce these micromaps automatically. This technique is compared to annotated scatterplots to relate picture intensity with different urban indicators at a neighborhood scale. The hypothesis of spatial homogeneity is abandoned at the most detailed scale, focusing the analysis on the street network. Two techniques to assign events to road segments in the street graph are presented (direct by shortest distance or by proxy through the postal addresses), as well as the generalization of the kernel density estimation from the Euclidean space to a network topology. Beyond the spatial domain, the interactions of three temporal cycles are further analyzed using the timestamps available in the picture metadata: daytime/nighttime (daily cycle), work/leisure (weekly cycle) and seasonal (yearly cycle).La major part de la població mundial resideix actualment en àrees urbanes, i es preveu que pràcticament tot el creixement del planeta es concentri en elles en els propers 30 anys, convertint la millora de la qualitat de vida a les ciutats en un dels grans reptes del present segle. És per tant imprescindible disposar d'informació sobre les activitats que les persones desenvolupen en elles, que permetin al planejament donar resposta a les seves necessitats. Aquesta tesi proposa l'ús de dades compartides de manera voluntària pels milions d'usuaris que conformen les comunitats de les xarxes socials com una valuosa eina per a l'estudi de la complexitat de la ciutat, per la seva capacitat de proporcionar un volum d'informació urbana sense precedents, reunint components tant geogràfics, temporals, semàntics i multimèdia. No obstant això, aquest volum i varietat de les dades planteja grans reptes pel que fa a la seva obtenció, tractament, anàlisi i representació, requerint adoptar les millors pràctiques de la ciència de dades, aplicades des de múltiples punts de vista al camp dels estudis urbans, posant sempre l'èmfasi en la reproductibilitat de les metodologies desenvolupades. Aquesta investigació se centra en el cas d'estudi de la ciutat de Barcelona, a partir de les dades públiques obtingudes de Panoramio, Flickr, Twitter i Instagram. Després d'una revisió de l'estat de l'art, es desenvolupa l'operativa d'accés als diferents serveis, revisant les dades disponibles i les seves limitacions. A continuació, s'analitzen les dades obtingudes en diferents escales espacials i temporals. La primera aproximació a les dades es desenvolupa a partir de l'origen dels usuaris que han pres fotografies geolocalitzades de Barcelona, a través de la geocodificació de les ubicacions que apareixen en els seus perfils públics de Flickr, permetent identificar les regions, països i ciutats amb major afluència de visitants i relacionar els resultats amb diferents indicadors a escala global. La següent escala d'anàlisi es centra en la ciutat en el seu conjunt, desenvolupant metodologies per a la representació de la distribució espacial de les localitzacions obtingudes, evitant els artefactes produïts per la superposició de mostres. Per a això s'agreguen les localitzacions en tesselacions regulars, la mida de les quals es determina empíricament a partir de la seva distribució espacial. S'utilitzen dues tècniques d'estadística espacial (I de Moran i G* de Getis-Ord) per a visualitzar l'autocorrelació espacial local dels àmbits amb densitats excepcionalment altes o baixes, seguint un criteri de significança estadística. Finalment s'introdueix com a alternativa no paramètrica l'estimació de la densitat. El tercer nivell de detall coincideix amb la delimitació administrativa oficial de Barcelona en 73 barris i 12 districtes, realitzada a partir de criteris històrics, morfològics i funcionals. S'introdueixen els micromapes com a tècnica de representació capaç d'aportar un context geogràfic a gràfics estadístics d'ús comú, juntament amb una metodologia per produir aquests micromapes de manera automàtica. Es compara aquesta tècnica amb diagrames de dispersió anotats per a relacionar la intensitat de fotografies amb diferents indicadors urbans a escala de barri. En l'escala més detallada s'abandona la hipòtesi d'homogeneïtat espacial i es trasllada l'anàlisi al sistema viari. Es presenten dues tècniques d'atribució de localitzacions a trams de carrer del graf vial (directa per distància o indirecta a través de les adreces postals), així com la generalització de l'estimació de la densitat d'un espai euclidià a una topologia de xarxa. Fora del context espacial, s'analitzen les interaccions de tres cicles temporals a partir de les metadades del moment en què van ser preses les fotografies: diürn/nocturn (cicle diari), treball/oci (cicle setmanal) i estacional (cicle anual).Postprint (published version

Digital traces and urban research : Barcelona through social media data

Most of the world’s population now resides in urban areas, and it is expected that almost all of the planet’s growth will be concentrated in them for the next 30 years, making the improvement of the quality of life in the cities one of the big challenges of this century. To that end, it is crucial to have information on how people use the spaces in the city, and allows urban planning to successfully respond to their needs. This dissertation proposes using data shared voluntarily by the millions of users that make up social network’s communities as a valuable tool for the study of the complexity of the city, because of its capacity of providing an unprecedented volume of urban information, with geographic, temporal, semantic and multimedia components. However, the volume and variety of data raises important challenges regarding its retrieval, manipulation, analysis and representation, requiring the adoption of the best practices in data science, using a multi-faceted approach in the field of urban studies with a strong emphasis in the reproducibility of the developed methodologies. This research focuses in the case of study of the city of Barcelona, using the public data collected from Panoramio, Flickr, Twitter and Instagram. After a literature review, the methods to access the different services are discussed, along with their available data and limitations. Next, the retrieved data is analyzed at different spatial and temporal scales. The first approximation to data focuses on the origins of users who took geotagged pictures of Barcelona, geocoding the hometowns that appear in their Flickr public profiles, allowing the identification of the regions, countries and cities with the largest influx of visitors, and relating the results with multiple indicators at a global scale. The next scale of analysis discusses the city as a whole, developing methodologies for the representation of the spatial distribution of the collected locations, avoiding the artifacts produced by overplotting. To this end, locations are aggregated in regular tessellations, whose size is determined empirically from their spatial distribution. Two spatial statistics techniques (Moran’s I and Getis-Ord’s G*) are used to visualize the local spatial autocorrelation of the areas with exceptionally high or low densities, under a statistical significance framework. Finally, the kernel density estimation is introduced as a non-parametric alternative. The third level of detail follows the official administrative division of Barcelona in 73 neighborhoods and 12 districts, which obeys to historical, morphological and functional criteria. Micromaps are introduced as a representation technique capable of providing a geographical context to commonly used statistical graphics, along with a methodology to produce these micromaps automatically. This technique is compared to annotated scatterplots to relate picture intensity with different urban indicators at a neighborhood scale. The hypothesis of spatial homogeneity is abandoned at the most detailed scale, focusing the analysis on the street network. Two techniques to assign events to road segments in the street graph are presented (direct by shortest distance or by proxy through the postal addresses), as well as the generalization of the kernel density estimation from the Euclidean space to a network topology. Beyond the spatial domain, the interactions of three temporal cycles are further analyzed using the timestamps available in the picture metadata: daytime/nighttime (daily cycle), work/leisure (weekly cycle) and seasonal (yearly cycle).La major part de la població mundial resideix actualment en àrees urbanes, i es preveu que pràcticament tot el creixement del planeta es concentri en elles en els propers 30 anys, convertint la millora de la qualitat de vida a les ciutats en un dels grans reptes del present segle. És per tant imprescindible disposar d'informació sobre les activitats que les persones desenvolupen en elles, que permetin al planejament donar resposta a les seves necessitats. Aquesta tesi proposa l'ús de dades compartides de manera voluntària pels milions d'usuaris que conformen les comunitats de les xarxes socials com una valuosa eina per a l'estudi de la complexitat de la ciutat, per la seva capacitat de proporcionar un volum d'informació urbana sense precedents, reunint components tant geogràfics, temporals, semàntics i multimèdia. No obstant això, aquest volum i varietat de les dades planteja grans reptes pel que fa a la seva obtenció, tractament, anàlisi i representació, requerint adoptar les millors pràctiques de la ciència de dades, aplicades des de múltiples punts de vista al camp dels estudis urbans, posant sempre l'èmfasi en la reproductibilitat de les metodologies desenvolupades. Aquesta investigació se centra en el cas d'estudi de la ciutat de Barcelona, a partir de les dades públiques obtingudes de Panoramio, Flickr, Twitter i Instagram. Després d'una revisió de l'estat de l'art, es desenvolupa l'operativa d'accés als diferents serveis, revisant les dades disponibles i les seves limitacions. A continuació, s'analitzen les dades obtingudes en diferents escales espacials i temporals. La primera aproximació a les dades es desenvolupa a partir de l'origen dels usuaris que han pres fotografies geolocalitzades de Barcelona, a través de la geocodificació de les ubicacions que apareixen en els seus perfils públics de Flickr, permetent identificar les regions, països i ciutats amb major afluència de visitants i relacionar els resultats amb diferents indicadors a escala global. La següent escala d'anàlisi es centra en la ciutat en el seu conjunt, desenvolupant metodologies per a la representació de la distribució espacial de les localitzacions obtingudes, evitant els artefactes produïts per la superposició de mostres. Per a això s'agreguen les localitzacions en tesselacions regulars, la mida de les quals es determina empíricament a partir de la seva distribució espacial. S'utilitzen dues tècniques d'estadística espacial (I de Moran i G* de Getis-Ord) per a visualitzar l'autocorrelació espacial local dels àmbits amb densitats excepcionalment altes o baixes, seguint un criteri de significança estadística. Finalment s'introdueix com a alternativa no paramètrica l'estimació de la densitat. El tercer nivell de detall coincideix amb la delimitació administrativa oficial de Barcelona en 73 barris i 12 districtes, realitzada a partir de criteris històrics, morfològics i funcionals. S'introdueixen els micromapes com a tècnica de representació capaç d'aportar un context geogràfic a gràfics estadístics d'ús comú, juntament amb una metodologia per produir aquests micromapes de manera automàtica. Es compara aquesta tècnica amb diagrames de dispersió anotats per a relacionar la intensitat de fotografies amb diferents indicadors urbans a escala de barri. En l'escala més detallada s'abandona la hipòtesi d'homogeneïtat espacial i es trasllada l'anàlisi al sistema viari. Es presenten dues tècniques d'atribució de localitzacions a trams de carrer del graf vial (directa per distància o indirecta a través de les adreces postals), així com la generalització de l'estimació de la densitat d'un espai euclidià a una topologia de xarxa. Fora del context espacial, s'analitzen les interaccions de tres cicles temporals a partir de les metadades del moment en què van ser preses les fotografies: diürn/nocturn (cicle diari), treball/oci (cicle setmanal) i estacional (cicle anual)

Detection, Modelling and Visualisation of Georeferenced Emotions from User-Generated Content

In recent years emotion-related applications like smartphone apps that document and analyse the emotions of the user, have become very popular. But research also can deal with human emotions in a very technology-driven approach. Thus space-related emotions are of interest as well which can be visualised cartographically and can be captured in different ways. The research project of this dissertation deals with the extraction of georeferenced emotions from the written language in the metadata of Flickr and Panoramio photos, thus from user-generated content, as well as with their modelling and visualisation. Motivation is the integration of an emotional component into location-based services for tourism since only factual information is considered thus far although places have an emotional impact. The metadata of those user-generated photos contain descriptions of the place that is depicted within the respective picture. The words used have affective connotations which are determined with the help of emotional word lists. The emotion that is associated with the particular word in the word list is described on the basis of the two dimensions ‘valence’ and ‘arousal’. Together with the coordinates of the respective photo, the extracted emotion forms a georeferenced emotion. The algorithm that was developed for the extraction of these emotions applies different approaches from the field of computer linguistics and considers grammatical special cases like the amplification or negation of words. The algorithm was applied to a dataset of Flickr and Panoramio photos of Dresden (Germany). The results are an emotional characterisation of space which makes it possible to assess and investigate specific features of georeferenced emotions. These features are especially related to the temporal dependence and the temporal reference of emotions on one hand; on the other hand collectively and individually perceived emotions have to be distinguished. As a consequence, a place does not necessarily have to be connected with merely one emotion but possibly also with several. The analysis was carried out with the help of different cartographic visualisations. The temporal occurrence of georeferenced emotions was examined detailed. Hence the dissertation focuses on fundamental research into the extraction of space-related emotions from georeferenced user-generated content as well as their visualisation. However as an outlook, further research questions and core themes are identified which arose during the investigations. This shows that this subject is far from being exhausted.:Statement of Authorship I Acknowledgements II Abstract III Zusammenfassung V Table of Contents VII List of Figures XI List of Tables XIV List of Abbreviations XV 1 Introduction 1 1.1 Motivation 1 1.2 Research Questions 3 1.3 Thesis Structure 4 1.4 Underlying Publications 4 2 State of the Art 6 2.1 Emotions 6 2.1.1 Definitions and Terms 6 2.1.2 Emotion Theories 7 2.1.2.1 James-Lange Theory 9 2.1.2.2 Two-Factor Theory 9 2.1.3 Structuring Emotions 9 2.1.3.1 Dimensional Approaches 10 2.1.3.2 Basic Emotions 11 2.1.3.3 Empirical Similarity Categories 12 2.1.4 Acquisition of Emotions 14 2.1.4.1 Verbal Procedures 14 2.1.4.2 Non-Verbal Procedures 14 2.1.5 Relation between Emotions and Places 15 2.1.6 Emotions in Language 17 2.1.7 Affect Analysis and Sentiment Analysis 20 2.2 User-Generated Content 22 2.2.1 Definition and Characterisation 22 2.2.2 Advantages and Disadvantages 23 2.2.3 Tagging 24 2.2.4 Inaccuracies 28 2.2.5 Flickr and Panoramio 29 2.2.5.1 Flickr 30 2.2.5.2 Panoramio 31 2.3 Related Work on Georeferenced Emotions 32 2.3.1 Emotional Data Resulting from Biometric Measurements 33 2.3.1.1 Bio Mapping 33 2.3.1.2 EmBaGIS 34 2.3.1.3 Ein emotionales Kiezportrait 35 2.3.2 Emotional Data Resulting from Empirical Surveys 35 2.3.2.1 EmoMap 35 2.3.2.2 WiMo 36 2.3.2.3 ECDESUP 37 2.3.2.4 Map of World Happiness 38 2.3.2.5 Emotional Study of Yeongsan River Basin 39 2.3.3 Emotional Data Resulting from User-Generated Content 40 2.3.3.1 Emography 40 2.3.3.2 Twittermood 40 2.3.3.3 Tweetbeat 42 2.3.3.4 Beautiful picture of an ugly place 42 2.3.4 Visualisation in the Related Work 43 3 Methods 45 3.1 Approach for Extracting Georeferenced Emotions from the Metadata of Flickr and Panoramio Photos 45 3.2 Implemented Algorithm 45 3.3 Grammatical Special Cases 47 3.3.1 Degree Words 48 3.3.2 Negation 52 3.3.2.1 Syntactic Negation in English Language 55 3.3.2.2 Syntactic Negation in German Language 57 3.3.3 Modification of Words Affected by Grammatical Special Cases 60 4 Visualisation and Analysis of Extracted Georeferenced Emotions 62 4.1 Data Basis 62 4.2 Density Maps 67 4.3 Inverse Distance Weight 71 4.4 3D Visualisation 73 4.5 Choropleth Mapping 74 4.6 Point Symbols 78 4.7 Impact of Considering Grammatical Special Cases 80 5 Investigation in Temporal Aspects 85 5.1 Annually Occurrence of Emotions 85 5.2 Periodic Events 87 5.3 Single Events 91 5.4 Dependence of Georeferenced Emotions on Different Periods of Time 93 5.4.1 Seasons 95 5.4.2 Months 96 5.4.3 Weekdays 98 5.4.4 Times of Day 99 5.5 Potentials and Limits of Temporal Analyses 99 6 Discussion 100 6.1 Evaluation 100 6.2 Weaknesses and Problems 102 7 Conclusions and Outlook 105 7.1 Answers to the Research Questions 105 7.2 Outlook and Future Work 107 8 Bibliography 112 Appendices XVIIn den letzten Jahren sind emotionsbezogene Anwendungen, wie Apps, die die Emotionen des Nutzers dokumentieren und analysieren, sehr populär geworden. Ebenfalls in der Forschung sind Emotionen in einem sehr technologiegetriebenen Ansatz ein Thema. So auch ortsbezogene Emotionen, die sich somit kartographisch darstellen lassen und auf verschiedene Art und Weisen gewonnen werden können. Das Forschungsvorhaben der Dissertation befasst sich mit der Extraktion von georeferenzierten Emotionen aus geschriebener Sprache unter Verwendung von Metadaten verorteter Flickr- und Panoramio-Fotos, d.h. aus nutzergenerierten Inhalten, sowie deren Modellierung und Visualisierung. Motivation hierfür ist die Einbindung einer emotionalen Komponente in ortsbasierte touristische Dienste, da diese bisher nur faktische Informationen berücksichtigen, obwohl Orte durchaus eine emotionale Wirkung haben. Die Metadaten dieser nutzergenerierten Inhalte stellen Beschreibungen des auf dem Foto festgehaltenen Ortes dar. Die dafür verwendeten Wörter besitzen affektive Konnotationen, welche mit Hilfe emotionaler Wortlisten ermittelt werden. Die Emotion, die mit dem jeweiligen Wort in der Wortliste assoziiert wird, wird anhand der zwei Dimensionen Valenz und Erregung beschrieben. Die extrahierten Emotionen bilden zusammen mit der geographischen Koordinate des jeweiligen Fotos eine georeferenzierte Emotion. Der zur Extraktion dieser Emotionen entwickelte Algorithmus bringt verschiedene Ansätze aus dem Bereich der Computerlinguistik zum Einsatz und berücksichtigt ebenso grammatikalische Sonderfälle, wie Intensivierung oder Negation von Wörtern. Der Algorithmus wurde auf einen Datensatz von Flickr- und Panoramio-Fotos von Dresden angewendet. Die Ergebnisse stellen eine emotionale Raumcharakterisierung dar und ermöglichen es, spezifische Eigenschaften verorteter Emotionen festzustellen und zu untersuchen. Diese Eigenschaften beziehen sich sowohl auf die zeitliche Abhängigkeit und den zeitlichen Bezug von Emotionen, als auch darauf, dass zwischen kollektiv und individuell wahrgenommenen Emotionen unterschieden werden muss. Das bedeutet, dass ein Ort nicht nur mit einer Emotion verbunden sein muss, sondern möglicherweise auch mit mehreren. Die Auswertung erfolgte mithilfe verschiedener kartographischer Visualisierungen. Eingehender wurde das zeitliche Auftreten der ortsbezogenen Emotionen untersucht. Der Fokus der Dissertation liegt somit auf der Grundlagenforschung zur Extraktion verorteter Emotionen aus georeferenzierten nutzergenerierten Inhalten sowie deren Visualisierung. Im Ausblick werden jedoch weitere Fragestellungen und Schwerpunkte genannt, die sich im Laufe der Untersuchungen ergeben haben, womit gezeigt wird, dass dieses Forschungsgebiet bei Weitem noch nicht ausgeschöpft ist.:Statement of Authorship I Acknowledgements II Abstract III Zusammenfassung V Table of Contents VII List of Figures XI List of Tables XIV List of Abbreviations XV 1 Introduction 1 1.1 Motivation 1 1.2 Research Questions 3 1.3 Thesis Structure 4 1.4 Underlying Publications 4 2 State of the Art 6 2.1 Emotions 6 2.1.1 Definitions and Terms 6 2.1.2 Emotion Theories 7 2.1.2.1 James-Lange Theory 9 2.1.2.2 Two-Factor Theory 9 2.1.3 Structuring Emotions 9 2.1.3.1 Dimensional Approaches 10 2.1.3.2 Basic Emotions 11 2.1.3.3 Empirical Similarity Categories 12 2.1.4 Acquisition of Emotions 14 2.1.4.1 Verbal Procedures 14 2.1.4.2 Non-Verbal Procedures 14 2.1.5 Relation between Emotions and Places 15 2.1.6 Emotions in Language 17 2.1.7 Affect Analysis and Sentiment Analysis 20 2.2 User-Generated Content 22 2.2.1 Definition and Characterisation 22 2.2.2 Advantages and Disadvantages 23 2.2.3 Tagging 24 2.2.4 Inaccuracies 28 2.2.5 Flickr and Panoramio 29 2.2.5.1 Flickr 30 2.2.5.2 Panoramio 31 2.3 Related Work on Georeferenced Emotions 32 2.3.1 Emotional Data Resulting from Biometric Measurements 33 2.3.1.1 Bio Mapping 33 2.3.1.2 EmBaGIS 34 2.3.1.3 Ein emotionales Kiezportrait 35 2.3.2 Emotional Data Resulting from Empirical Surveys 35 2.3.2.1 EmoMap 35 2.3.2.2 WiMo 36 2.3.2.3 ECDESUP 37 2.3.2.4 Map of World Happiness 38 2.3.2.5 Emotional Study of Yeongsan River Basin 39 2.3.3 Emotional Data Resulting from User-Generated Content 40 2.3.3.1 Emography 40 2.3.3.2 Twittermood 40 2.3.3.3 Tweetbeat 42 2.3.3.4 Beautiful picture of an ugly place 42 2.3.4 Visualisation in the Related Work 43 3 Methods 45 3.1 Approach for Extracting Georeferenced Emotions from the Metadata of Flickr and Panoramio Photos 45 3.2 Implemented Algorithm 45 3.3 Grammatical Special Cases 47 3.3.1 Degree Words 48 3.3.2 Negation 52 3.3.2.1 Syntactic Negation in English Language 55 3.3.2.2 Syntactic Negation in German Language 57 3.3.3 Modification of Words Affected by Grammatical Special Cases 60 4 Visualisation and Analysis of Extracted Georeferenced Emotions 62 4.1 Data Basis 62 4.2 Density Maps 67 4.3 Inverse Distance Weight 71 4.4 3D Visualisation 73 4.5 Choropleth Mapping 74 4.6 Point Symbols 78 4.7 Impact of Considering Grammatical Special Cases 80 5 Investigation in Temporal Aspects 85 5.1 Annually Occurrence of Emotions 85 5.2 Periodic Events 87 5.3 Single Events 91 5.4 Dependence of Georeferenced Emotions on Different Periods of Time 93 5.4.1 Seasons 95 5.4.2 Months 96 5.4.3 Weekdays 98 5.4.4 Times of Day 99 5.5 Potentials and Limits of Temporal Analyses 99 6 Discussion 100 6.1 Evaluation 100 6.2 Weaknesses and Problems 102 7 Conclusions and Outlook 105 7.1 Answers to the Research Questions 105 7.2 Outlook and Future Work 107 8 Bibliography 112 Appendices XV

A New Picture of the City: Volunteered Geographic Image Information and the Cities

The urbanisation process continuously influences human life, causing long-term challenges for the planning and management of urban areas. In recent years, with the emergence of new forms of data and advances in techniques, the ways of managing and governing this process have evolved and formed a new research field: urban analytics. A growing number of human behaviours can be traced through quantities of data, which enables attributes of the urban environment to be managed more efficiently, potentially beneficial to complex decision-making processes by stakeholders. As such, how to extract useful information from new data and provide more suitable methods requires careful consideration. The question of how human activity relates to the built environment has been an important topic in the sensing of cities. Existing ways to perceive the city either focus on environmental aspects that cover historical, social, or cultural dimensions of urban space through surveys, interviews, or mobility data (e.g., social media data), or extract visible features from georeferenced images to gain perceptions of the city. However, both approaches are often disconnected and lack dynamic consideration. The main aim of this thesis is to address these challenges and gaps within urban analytics. It develops a methodological framework to leverage user-generated geotagged images and modern analytical techniques to obtain insights. Such framework is designed to mine spatial, temporal and image attributes of the Flickr images, which combines multiple dimensions including spatiotemporal dynamic analysis, computer vision models, summary statistics, and varying machine learning algorithms that allow understanding of human interactions with the built environment. The overall analysis and results enrich our current understanding of how user-generated urban pictures represent but also shape the city. This is especially important given the growing popularity of volunteered geographic information and urban analytics over the last decade. Their rapid growth has facilitated debates worldwide, but there is still a large potential of volunteered geographic information such as geotagged image information which has been underestimated in most circumstances. The findings presented in this thesis offer richer evidence that aims to help the improvement of strategic planning systems, and empowering policymakers to make smarter decisions in terms of urban governance

Hashtag Holocaust: Negotiating Memory in the Age of Social Media

This study examines the representation of Holocaust memory through photographs on the social media platforms of Flickr and Instagram. It looks at how visitors – armed with digital cameras and smartphones – depicted their experiences at the former concentration camps of Auschwitz-Birkenau, Dachau, Sachsenhausen, and Neuengamme. The study’s arguments are twofold: firstly, social media posts about visits to former concentration camps are a form of Holocaust memory, and secondly, social media allows people from all backgrounds the opportunity to share their memories online. Holocaust memory on social media introduces a new, digital kind of memory called “filtered memory.” This study demonstrates that social media was a form of memory. The photo-based platforms of Flickr and Instagram helped better visualize it: the photographs on these sites were literally and figuratively “filtered.” Users had the ability to select a black and white filter, or ones that lightened or darkened the photographs. Digital cameras and smartphones allowed users to take as many photos as they liked and upload the photo(s) they wished. Figuratively speaking, people chose to present certain parts of their visits on social media platforms. They filtered their experiences and chose the part of their story they wanted to tell. Building from the varied fields of memory studies, history of the Holocaust, visual culture, dark tourism, and public history, this study demonstrates that social media is a digital archive that historians must consider when writing about historical memory in the twenty-first century

REAL TIME ASSISTANCE IN PHOTOGRAPHY USING SOCIAL MEDIA

Ph.DDOCTOR OF PHILOSOPH