Spatial Clustering Using Hierarchical SOM

publishersversionpublishe

Challenges and prospects of spatial machine learning

The main objective of this thesis is to improve the usefulness of spatial machine learning for the spatial sciences and to allow its unused potential to be exploited. To achieve this objective, this thesis addresses several important but distinct challenges which spatial machine learning is facing. These are the modeling of spatial autocorrelation and spatial heterogeneity, the selection of an appropriate model for a given spatial problem, and the understanding of complex spatial machine learning models.Das wesentliche Ziel dieser Arbeit ist es, die Nützlichkeit des räumlichen maschinellen Lernens für die Raumwissenschaften zu verbessern und es zu ermöglichen, ungenutztes Potenzial auszuschöpfen. Um dieses Ziel zu erreichen, befasst sich diese Arbeit mit mehreren wichtigen Herausforderungen, denen das räumliche maschinelle Lernen gegenübersteht. Diese sind die Modellierung von räumlicher Autokorrelation und räumlicher Heterogenität, die Auswahl eines geeigneten Modells für ein gegebenes räumliches Problem und das Verständnis komplexer räumlicher maschineller Lernmodelle

Evaluation of clustering techniques for generating household energy consumption patterns in a developing country

This work compares and evaluates clustering techniques for generating representative daily load profiles that are characteristic of residential energy consumers in South Africa. The input data captures two decades of metered household consumption, covering 14 945 household years and 3 295 848 daily load patterns of a population with high variability across temporal, geographic, social and economic dimensions. Different algorithms, normalisation and pre-binning techniques are evaluated to determine the best clustering structure. The study shows that normalisation is essential for producing good clusters. Specifically, unit norm produces more usable and more expressive clusters than the zero-one scaler, which is the most common method of normalisation used in the domain. While pre-binning improves clustering results for the dataset, the choice of pre-binning method does not significantly impact the quality of clusters produced. Data representation and especially the inclusion or removal of zero-valued profiles is an important consideration in relation to the pre-binning approach selected. Like several previous studies, the k-means algorithm produces the best results. Introducing a qualitative evaluation framework facilitated the evaluation process and helped identify a top clustering structure that is significantly more useable than those that would have been selected based on quantitative metrics alone. The approach demonstrates how explicitly defined qualitative evaluation measures can aid in selecting a clustering structure that is more likely to have real world application. To our knowledge this is the first work that uses cluster analysis to generate customer archetypes from representative daily load profiles in a highly variable, developing country contex

Leveraging Artificial Neural Networks for Modeling Hydrogeological Time Series

Bei der Lösung globaler Herausforderungen, wie der nachhaltigen Bewirtschaftung und Nutzung der verfügbaren Grundwasserressourcen, ist die Entwicklung neuer, effizienter und leicht übertragbarer Modellierungsansätze von entscheidender Bedeutung. Hierfür bieten sich vor allem künstliche neuronale Netze (KNN) an, die als Verfahren des maschinellen Lernens selbstständig relevante Zusammenhänge aus größeren Datensätzen geeigneter Parameter lernen und nutzen können. Die vorliegende Arbeit untersucht die Nutzung von KNN zu Modellierung und Vorhersage von hydrogeologischen Zeitreihen. In vier Studien, die den Hauptteil dieser Arbeit bilden, werden verschiedene Fragestellungen entwickelt und deren Lösbarkeit mit Hilfe von KNN demonstriert. Das Clustern von Ganglinien ist eine Möglichkeit räumliche und zeitliche Muster der Grundwasserdynamik zu erkennen. Dies ist wichtig um Aquifere zu charakterisieren, Einflussfaktoren zu identifizieren und effektive Bewirtschaftungsmethoden zu entwickeln. Aus diesen Gründen wird in der ersten Studie auf Basis von Self-Organizing Maps ein Clustering Verfahren entwickelt, mit dessen Hilfe sich in heterogenen Datensätzen von Grundwasserganglinien solche mit ähnlicher Dynamik gruppieren lassen. Das Verfahren nutzt zur Charakterisierung der Grundwasserdynamik sogenannte Features, die auch die Verarbeitung von Ganglinien mit variabler Datenqualität ermöglichen. Anhand eines Datensatzes von ca. 1800 wöchentlichen Ganglinien wird die Anwendung im Oberrheingraben in Deutschland und Frankreich erfolgreich demonstriert. Eine Analyse der Clusterergebnisse zeigt, dass sich externe Einflussfaktoren räumlich und zeitlich komplex überlagern und eine Trennung häufig nicht möglich ist. Dennoch sind einige Cluster eindeutig auf externe Faktoren (z.B. Grundwasserbewirtschaftung) zurückzuführen. Es folgt ein detaillierter Vergleich verschiedener KNN Modelle zur Grundwasserstandsvorhersage. Untersucht werden hierbei Nonlinear Autoregressive Models with Exogenous Inputs (NARX), Long Short-Term Memory Networks (LSTM) und Convolutional Neural Networks (CNN) sowohl jeweils für Einzelwert- als auch Sequenzvorhersagen. Als Eingangsdaten werden nur wenige, aber dafür weithin verfügbare und leicht zu messende meteorologische Parameter verwendet, wodurch die breite Übertragbarkeit des Ansatzes gewährleistet ist. Es zeigt sich, dass alle Modelltypen grundsätzlich gute Prognoseeigenschaften aufweisen und NARX hierbei in der Regel die präzisesten Vorhersagen treffen, dicht gefolgt von CNNs. Für die praktische Anwendbarkeit zeigen CNNs insgesamt das größte Potenzial, da diese eine geringere Abhängigkeit von der pseudorandomisierten Netzinitialisierung als NARX sowie eine vielfach höhere Berechnungsgeschwindigkeit aufweisen als beide rekurrenten Alternativen. Dabei erreichen CNNs dennoch eine hohe Güte und sind gleichzeitig flexibel implementierbar. CNNs bilden daher die Grundlage für weitere untersuchte Fragestellungen. Die nachfolgende Studie untersucht die Entwicklung der Grundwasserstände in Deutschland im Kontext des Klimawandels. Hierfür werden auf Basis von CNNs und anhand von Temperatur und Niederschlag aus drei Klimaszenarien (RCP2.6, 4.5 und 8.5) die zukünftigen Grundwasserstände an 118 ausgewählten Messstellen in Deutschland modelliert und der direkte Einfluss des zukünftigen Klimas abgeschätzt. Wichtige sekundäre Faktoren wie anthropogene Einflüsse, werden jedoch nicht in die Simulationen mit einbezogen. Unter RCP8.5 (pessimistisches Szenario) sind flächenhaft und ausgeprägt fallende Grundwasserstände zu erwarten, mit einem räumlichen Muster von stärkeren Abnahmen vor allem in Nord- und Ostdeutschland. Ebenfalls abnehmende Trends zeigen die Ergebnisse für die optimistischeren Szenarien RCP2.6 und RCP4.5, jedoch mit vergleichsweise wenig signifikanten Veränderungen. Hier wird der positive Einfluss der verminderten Treibhausgasemissionen deutlich, jedoch werden auch noch für das optimistischste Szenario RCP2.6 in einigen Projektionen deutschlandweit abnehmende Grundwasserstände festgestellt. Abschließend stehen Karstquellschüttungen im Fokus der Arbeit. Zur Modellierung werden zum einen die vorhandenen CNN Ansätze herangezogen, zum anderen wird ein ebenfalls auf CNNs basierender 2D-Ansatz entwickelt, der die direkte Verarbeitung von flächenhaften Rasterdaten als Inputs erlaubt. Hierdurch lässt sich vielfach das Problem der ungenügenden Datenverfügbarkeit von meteorologischen Eingabedaten im Einzugsgebiet lösen. Beide Ansätze zeigen in allen Testgebieten sehr gute Ergebnisse und übertreffen teils die Ergebnisse bereits existierender Modelle. Der direkte Vergleich zwischen herkömmlichem und flächenhaftem Modellierungsansatz erlaubt kein abschließendes Urteil zur Überlegenheit einer der beiden Ansätze hinsichtlich der Genauigkeit der Ergebnisse. Die räumliche und zeitliche Vollständigkeit der Eingabedaten ist jedoch ein schwerwiegender Vorteil des flächenhaften Ansatzes. Weiterhin zeigt der flächenhafte Ansatz Potenzial für die Lokalisierung und, bei entsprechender Datenverfügbarkeit und Weiterentwicklung des Ansatzes, auch für die Abgrenzung von Quelleinzugsgebieten im Karst

Exploratory Cluster Analysis from Ubiquitous Data Streams using Self-Organizing Maps

This thesis addresses the use of Self-Organizing Maps (SOM) for exploratory cluster analysis over ubiquitous data streams, where two complementary problems arise: first, to generate (local) SOM models over potentially unbounded multi-dimensional non-stationary data streams; second, to extrapolate these capabilities to ubiquitous environments. Towards this problematic, original contributions are made in terms of algorithms and methodologies. Two different methods are proposed regarding the first problem. By focusing on visual knowledge discovery, these methods fill an existing gap in the panorama of current methods for cluster analysis over data streams. Moreover, the original SOM capabilities in performing both clustering of observations and features are transposed to data streams, characterizing these contributions as versatile compared to existing methods, which target an individual clustering problem. Also, additional methodologies that tackle the ubiquitous aspect of data streams are proposed in respect to the second problem, allowing distributed and collaborative learning strategies. Experimental evaluations attest the effectiveness of the proposed methods and realworld applications are exemplified, namely regarding electric consumption data, air quality monitoring networks and financial data, motivating their practical use. This research study is the first to clearly address the use of the SOM towards ubiquitous data streams and opens several other research opportunities in the future

Weather Extremes in a Warming Climate

Seit der industriellen Revolution haben Menschen durch Verbrennung von fossilen Energieträgern die Treibhausgaskonzentration in der Atmosphäre erhöht. Die daraus folgende Erderwärmung hat weitreichende Folgen für das Klima, unter anderem häufigere und intensivere Wetterextreme. Wegen ihrer gravierenden Auswirkungen auf die Gesellschaft, ist es von allgemeinem Interesse zu verstehen, wie der menschengemachte Klimawandel diese Wetterextreme beeinflusst. In dieser kumulativen Dissertation analysiere ich erst zwei komplexe Wettereignisse, die die Nahrungsmittelproduktion in Europa beeinträchtigen: Frosttage nach dem Beginn der Apfelblüte und Feuchte Frühsommerperioden nach warmen Wintern. In einer dritten Studie untersuche ich wie dynamische Klimaveränderungen in den mittleren Breiten der Nordhalbkugel zu beständigerem Sommerwetter beitragen. Schließlich beschäftige ich mich mit tropischen Stürmen im Nordatlantik und damit, wie sie von der globalen Erwärmung beeinflusst werden. Eine zentrale methodische Herausforderung in diesem Forschungsfeld ist, dass Wetterextreme per Definition selten sind und dass es aufgrund der starken internen Klimavariabilität schwierig ist, die Veränderungen zu quantifizieren, die auf den menschgemachten Klimawandel zurück zu führen sind. In dieser Arbeit verfolge ich zweigegenläufige Ansätze um mit dieser Herausforderung um zu gehen: 1) Ich verwende große Klimasimulationsensembles um den Effekt der internen Klimavariabilität aus zu glätten und dadurch die erzwungenen Veränderungen beim Apfelfrost und in der Persistenz zu ergründen. 2) Mit Methoden, die auf Beobachtungsdaten beruhen, quantifiziere ich den Einfluss der internen Klimavariabilität auf tropische Zyklone um dann einschätzen zu können, in welchem Maß der beobachtete Anstieg der tropischen Zyklonaktivität im Atlantik der internen Klimavariabilität oder erzwungenen Veränderungen zugeschrieben werden kann.Since the industrial revolution, humans have increased the greenhouse gas concentration of the atmosphere by burning fossil fuels. The resulting global warming has far reaching impacts on the climate system including increasingly frequent and intense weather extremes. Due to the severe impacts these weather extremes cause to societies, there is a strong interest in understanding how anthropogenic climate change affects weather extremes. In this cumulative thesis I first study two compound weather extremes that affect food production in Europe: frost days after apple blossom and wet early summers after warm winters. In a third study I quantify how dynamic changes in the climate system contribute to more persistent summer weather extremes in the northern hemispheric mid-latitudes. Finally, I analyze tropical cyclones in the Atlantic basin and changes in tropical cyclone activity as a result of global warming. One central methodological challenge in the research field is that weather extremes are rare by definition and that due to the strong internal climate variability it is difficult to quantify changes that are forced by anthropogenic climate change. In this thesis I explore two divergent approaches to this challenge: 1) Using large ensemble climate simulations I smooth out the effect of internal variability thereby exposing the forced change in apple frost and weather persistence. 2) Using observation based approaches, I quantify the contributions of internal climate variability on tropical cyclones in order to subsequently estimate to which extent the observed increase in tropical cyclone activity in the Atlantic can be attributed to internal climate variability or forced changes

Fine Art Pattern Extraction and Recognition

This is a reprint of articles from the Special Issue published online in the open access journal Journal of Imaging (ISSN 2313-433X) (available at: https://www.mdpi.com/journal/jimaging/special issues/faper2020)

Modelling circulation dynamics in the northern Baltic Sea

Circulation and surface layer dynamics are of significant importance, for example, when considering how hazardous substances or nutrients are transported in the sea. The earliest studies mapping circulation patterns in the northern Baltic Sea were done before the Second World War and were based on lightship observations. Although the number of available observation points was low, these studies showed that there is a cyclonic long-term surface circulation pattern in the northern subbasins. Even today, there are considerable research gaps and uncertainties in knowledge. For example, observational data still has insufficient coverage, descriptions of processes in numerical models need tuning to the conditions of the Baltic Sea and model forcing data can have large uncertainties. With modern analysis methods and new observational datasets, gaps in the current understanding of Baltic Sea circulation patterns can be identified and analyzed. In this thesis, circulation dynamics were investigated in the northern Baltic Sea with numerical hydrodynamic modelling. The complex dynamics of the brackish Baltic Sea put hydrodynamic models to the test. Several different model configurations were applied and developed further, including a high-resolution configuration of the NEMO (Nucleus for European Modelling of the Ocean) model for the Gulf of Finland (GoF). Methods such as machine learning algorithms, new data from automated observational platforms and ensemble forecasting were applied. Circulation patterns in the GoF were investigated with the self-organizing map (SOM) algorithm. The cyclonic circulation pattern visible in earlier studies was not seen in the GoF in the overall means calculated from the model results for the studied periods 2007–2013 and 2012–2014. SOM analysis of currents in the GoF revealed that they are highly variable and complex. There was significant inter-annual and intra-annual variability in the circulation patterns. A connection between wind forcing and the characteristic patterns from the SOM analysis was found. Analysis emphasized the estuary-like nature of the GoF. The results showed that circulation in the GoF changes rapidly between normal estuarine circulation and reverse estuarine circulation. The fact that the dominant wind direction is from the southwest supports this reversal. The cyclonic mean circulation pattern seems to appear only if the normal estuarine circulation is common enough for it to emerge during the averaging period. Small changes to wind direction distribution can have a significant effect on the longterm circulation patterns. Upwelling events on a timescale of days to weeks can also affect long-term circulation patterns. The NEMO model proved to be a suitable tool for the studies of circulation in the northern sub-basins of the Baltic Sea. It quality seems comparable to other models commonly used in the GoF and Bothnian Sea. The GoF is still a challenging environment for circulation modelling. Salinity gradients in the GoF are still not reproduced in a satisfactory manner by the models. More information is required on how well the models reproduce true circulation patterns and, for example, upwelling frequency and intensity. The need for accurate model inputs, especially wind forcing, was demonstrated. The value of observations (especially the better spatial coverage of current measurements) was once again emphasized. Furthermore, the results highlighted that care must be taken to make sure that models and observations represent the same thing when they are compared