Estimation of physical variables from multichannel remotely sensed imagery using a neural network: Application to rainfall estimation

Satellite-based remotely sensed data have the potential to provide hydrologically relevant information about spatially and temporally varying physical variables. A methodology for estimating such variables from multichannel remotely sensed data is presented; the approach is based on a modified counterpropagation neural network (MCPN) and is both effective and efficient at building complex nonlinear input-output function mappings from large amounts of data. An application to high-resolution estimation of the spatial and temporal variation of surface rainfall using geostationary satellite infrared and visible imagery is presented. Test results also indicate that spatially and temporally sparse ground-based observations can be assimilated via an adaptive implementation of the MCPN method, thereby allowing on-line improvement of the estimates

Improved streamflow forecasting using self-organizing radial basis function artificial neural networks

Streamflow forecasting has always been a challenging task for water resources engineers and managers and a major component of water resources system control. In this study, we explore the applicability of a Self Organizing Radial Basis (SORB) function to one-step ahead forecasting of daily streamflow. SORB uses a Gaussian Radial Basis Function architecture in conjunction with the Self-Organizing Feature Map (SOFM) used in data classification. SORB outperforms the two other ANN algorithms, the well known Multi-layer Feedforward Network (MFN) and Self-Organizing Linear Output map (SOLO) neural network for simulation of daily streamflow in the semi-arid Salt River basin. The applicability of the linear regression model was also investigated and concluded that the regression model is not reliable for this study. To generalize the model and derive a robust parameter set, cross-validation is applied and its outcome is compared with the split sample test. Cross-validation justifies the validity of the nonlinear relationship set up between input and output data. © 2004 Elsevier B.V. All rights reserved

spateGAN: spatio‐temporal downscaling of rainfall fields using a cGAN approach

Climate models face limitations in their ability to accurately represent highly variable atmospheric phenomena. To resolve fine-scale physical processes, allowing for local impact assessments, downscaling techniques are essential. We propose spateGAN, a novel approach for spatio-temporal downscaling of precipitation data using conditional generative adversarial networks. Our method is based on a video super-resolution approach and trained on 10 years of country-wide radar observations for Germany. It simultaneously increases the spatial and temporal resolution of coarsened precipitation observations from 32 to 2 km and from 1 hr to 10 min. Our experiments indicate that the ensembles of generated temporally consistent rainfall fields are in high agreement with the observational data. Spatial structures with plausible advection were accurately generated. Compared to trilinear interpolation and a classical convolutional neural network, the generative model reconstructs the resolution-dependent extreme value distribution with high skill. It showed a high fractions skill score of 0.6 (spatio-temporal scale: 32 km and 1 hr) for rainfall intensities over 15 mm h−1 and a low relative bias of 3.35%. A power spectrum analysis confirmed that the probabilistic downscaling ability of our model further increased its skill. We observed that neural network predictions may be interspersed by recurrent structures not related to rainfall climatology, which should be a known issue for future studies. We were able to mitigate them by using an appropriate model architecture and model selection process. Our findings suggest that spateGAN offers the potential to complement and further advance the development of climate model downscaling techniques, due to its performance and computational efficiency

Intelligent energy management system - techniques and methods

ABSTRACT Our environment is an asset to be managed carefully and is not an expendable resource to be taken for granted. The main original contribution of this thesis is in formulating intelligent techniques and simulating case studies to demonstrate the significance of the present approach for achieving a low carbon economy. Energy boosts crop production, drives industry and increases employment. Wise energy use is the first step to ensuring sustainable energy for present and future generations. Energy services are essential for meeting internationally agreed development goals. Energy management system lies at the heart of all infrastructures from communications, economy, and society’s transportation to the society. This has made the system more complex and more interdependent. The increasing number of disturbances occurring in the system has raised the priority of energy management system infrastructure which has been improved with the aid of technology and investment; suitable methods have been presented to optimize the system in this thesis. Since the current system is facing various problems from increasing disturbances, the system is operating on the limit, aging equipments, load change etc, therefore an improvement is essential to minimize these problems. To enhance the current system and resolve the issues that it is facing, smart grid has been proposed as a solution to resolve power problems and to prevent future failures. This thesis argues that smart grid consists of computational intelligence and smart meters to improve the reliability, stability and security of power. In comparison with the current system, it is more intelligent, reliable, stable and secure, and will reduce the number of blackouts and other failures that occur on the power grid system. Also, the thesis has reported that smart metering is technically feasible to improve energy efficiency. In the thesis, a new technique using wavelet transforms, floating point genetic algorithm and artificial neural network based hybrid model for gaining accurate prediction of short-term load forecast has been developed. Adopting the new model is more accuracy than radial basis function network. Actual data has been used to test the proposed new method and it has been demonstrated that this integrated intelligent technique is very effective for the load forecast. Choosing the appropriate algorithm is important to implement the optimization during the daily task in the power system. The potential for application of swarm intelligence to Optimal Reactive Power Dispatch (ORPD) has been shown in this thesis. After making the comparison of the results derived from swarm intelligence, improved genetic algorithm and a conventional gradient-based optimization method, it was concluded that swam intelligence is better in terms of performance and precision in solving optimal reactive power dispatch problems

Including spatial distribution in a data-driven rainfall-runoff model to improve reservoir inflow forecasting in Taiwan

Multi-step ahead inflow forecasting has a critical role to play in reservoir operation and management in Taiwan during typhoons as statutory legislation requires a minimum of 3-hours warning to be issued before any reservoir releases are made. However, the complex spatial and temporal heterogeneity of typhoon rainfall, coupled with a remote and mountainous physiographic context makes the development of real-time rainfall-runoff models that can accurately predict reservoir inflow several hours ahead of time challenging. Consequently, there is an urgent, operational requirement for models that can enhance reservoir inflow prediction at forecast horizons of more than 3-hours. In this paper we develop a novel semi-distributed, data-driven, rainfall-runoff model for the Shihmen catchment, north Taiwan. A suite of Adaptive Network-based Fuzzy Inference System solutions is created using various combinations of auto-regressive, spatially-lumped radar and point-based rain gauge predictors. Different levels of spatially-aggregated radar-derived rainfall data are used to generate 4, 8 and 12 sub-catchment input drivers. In general, the semi-distributed radar rainfall models outperform their less complex counterparts in predictions of reservoir inflow at lead-times greater than 3-hours. Performance is found to be optimal when spatial aggregation is restricted to 4 sub-catchments, with up to 30% improvements in the performance over lumped and point-based models being evident at 5-hour lead times. The potential benefits of applying semi-distributed, data-driven models in reservoir inflow modelling specifically, and hydrological modelling more generally, is thus demonstrated

Application of Higher-Order Neural Networks to Financial Time-Series Prediction

Financial time series data is characterized by non-linearities, discontinuities and high frequency, multi-polynomial components. Not surprisingly, conventional Artificial Neural Networks (ANNs) have difficulty in modelling such complex data. A more appropriate approach is to apply Higher-Order ANNs, which are capable of extracting higher order polynomial coefficients in the data. Moreover, since there is a one-to-one correspondence between network weights and polynomial coefficients, HONNs (unlike ANNs generally) can be considered open-, rather than 'closed box' solutions, and thus hold more appeal to the financial community. After developing Polynomial and Trigonometric HONNs, we introduce the concept of HONN groups. The latter incorporate piecewise continuous activation functions and thresholds, and as a result are capable of modelling discontinuous (piecewise continuous) data, and what's more to any degree of accuracy. Several other PHONN variants are also described. The performance of P(T)HONNs and HONN groups on representative financial time series is described (credit ratings and exchange rates). In short, HONNs offer roughly twice the performance of MLP/BP on financial time series prediction, and HONN groups around 10% further improvement

Landslide Susceptibility Mapping Using the Stacking Ensemble Machine Learning Method in Lushui, Southwest China

Landslide susceptibility mapping is considered to be a prerequisite for landslide prevention and mitigation. However, delineating the spatial occurrence pattern of the landslide remains a challenge. This study investigates the potential application of the stacking ensemble learning technique for landslide susceptibility assessment. In particular, support vector machine (SVM), artificial neural network (ANN), logical regression (LR), and naive Bayes (NB) were selected as base learners for the stacking ensemble method. The resampling scheme and Pearson’s correlation analysis were jointly used to evaluate the importance level of these base learners. A total of 388 landslides and 12 conditioning factors in the Lushui area (Southwest China) were used as the dataset to develop landslide modeling. The landslides were randomly separated into two parts, with 70% used for model training and 30% used for model validation. The models’ performance was evaluated using the area under the receiver operating characteristic (ROC) curve (AUC) and statistical measures. The results showed that the stacking-based ensemble model achieved an improved predictive accuracy as compared to the single algorithms, while the SVM-ANN-NB-LR (SANL) model, the SVM-ANN-NB (SAN) model, and the ANN-NB-LR (ANL) models performed equally well, with AUC values of 0.931, 0.940, and 0.932, respectively, for validation stage. The correlation coefficient between the LR and SVM was the highest for all resampling rounds, with a value of 0.72 on average. This connotes that LR and SVM played an almost equal role when the ensemble of SANL was applied for landslide susceptibility analysis. Therefore, it is feasible to use the SAN model or the ANL model for the study area. The finding from this study suggests that the stacking ensemble machine learning method is promising for landslide susceptibility mapping in the Lushui area and is capable of targeting areas prone to landslides

Assessment of climate change and development of data based prediction models of sediment yields in Upper Indus Basin

Hohe Raten von Sedimentflüssen und ihre Schätzungen in Flusseinzugsgebieten erfordern die Auswahl effizienter Quantifizierungsansätze mit einem besseren Verständnis der dominierten Faktoren, die den Erosionsprozess auf zeitlicher und räumlicher Ebene steuern. Die vorherige Bewertung von Einflussfaktoren wie Abflussvariation, Klima, Landschaft und Fließprozess ist hilfreich, um den geeigneten Modellierungsansatz zur Quantifizierung der Sedimenterträge zu entwickeln. Einer der schwächsten Aspekte bei der Quantifizierung der Sedimentfracht ist die Verwendung traditioneller Beziehung zwischen Strömungsgeschwindigkeit und Bodensatzlöschung (SRC), bei denen die hydrometeorologischen Schwankungen, Abflusserzeugungsprozesse wie Schneedecke, Schneeschmelzen, Eisschmelzen usw. nicht berücksichtigt werden können. In vielen Fällen führt die empirische Q-SSC Beziehung daher zu ungenauen Prognosen. Heute können datenbasierte Modelle mit künstlicher Intelligenz die Sedimentfracht präziser abschätzen. Die datenbasierten Modelle lernen aus den eingespeisten Datensätzen, indem sie bei komplexen Phänomenen wie dem Sedimenttransport die geeignete funktionale Beziehung zwischen dem Output und seinen Input-Variablen herstellen. In diesem Zusammenhang wurden die datenbasierten Modellierungsalgorithmen in der vorliegenden Forschungsarbeit am Lehrstuhl für Wasser- und Flussgebietsmanagement des Karlsruher Instituts für Technologie in Karlsruhe entwickelt, die zur Vorhersage von Sedimenten in oberen unteren Einzugsgebieten des oberen Indusbeckens von Pakistan (UIB) verwendet wurden. Die dieser Arbeit zugrunde liegende Methodik gliedert sich in vier Bearbeitungsschritte: (1) Vergleichende Bewertung der räumlichen Variabilität und der Trends von Abflüssen und Sedimentfrachten unter dem Einfluss des Klimawandels im oberen Indus-Becken (2) Anwendung von Soft-Computing-Modellen mit Eingabevektoren der schneedeckten Fläche zusätzlich zu hydro-klimatischen Daten zur Vorhersage der Sedimentfracht (3) Vorhersage der Sedimentfracht unter Verwendung der NDVI-Datensätze (Hydroclimate and Normalized Difference Vegetation Index) mit Soft-Computing-Modellen (4) Klimasignalisierung bei suspendierten Sedimentausträge aus Gletscher und Schnee dominierten Teileinzugsgebeiten im oberen Indus-Becken (UIB). Diese im UIB durchgeführte Analyse hat es ermöglicht, die dominiertenden Parameter wie Schneedecke und hydrologischen Prozesses besser zu und in eine verbesserte Prognose der Sedimentfrachten einfließen zu lassen. Die Analyse der Bewertung des Klimawandels von Flüssen und Sedimenten in schnee- und gletscherdominierten UIB von 13 Messstationen zeigt, dass sich die jährlichen Flüsse und suspendierten Sedimente am Hauptindus in Besham Qila stromaufwärts des Tarbela-Reservoirs im ausgeglichenen Zustand befinden. Jedoch, die jährlichen Konzentrationen suspendierter Sedimente (SSC) wurden signifikant gesenkt und lagen zwischen 18,56% und 28,20% pro Jahrzehnt in Gilgit an der Alam Bridge (von Schnee und Gletschern dominiertes Becken), Indus in Kachura und Brandu in Daggar (von weniger Niederschlag dominiertes Becken). Während der Sommerperiode war der SSC signifikant reduziert und lag zwischen 18,63% und 27,79% pro Jahrzehnt, zusammen mit den Flüssen in den Regionen Hindukush und West-Karakorum aufgrund von Anomalien des Klimawandels und im unteren Unterbecken mit Regen aufgrund der Niederschlagsreduzierung. Die SSC während der Wintersaison waren jedoch aufgrund der signifikanten Erwärmung der durchschnittlichen Lufttemperatur signifikant erhöht und lagen zwischen 20,08% und 40,72% pro Jahrzehnt. Die datenbasierte Modellierung im schnee und gletscherdominierten Gilgit Teilbecken unter Verwendung eines künstlichen neuronalen Netzwerks (ANN), eines adaptiven Neuro-Fuzzy-Logik-Inferenzsystems mit Gitterpartition (ANFIS-GP) und eines adaptiven Neuro-Fuzzy-Logik-Inferenzsystems mit subtraktivem Clustering (ANFIS) -SC), ein adaptives Neuro-Fuzzy-Logik- Inferenzsystem mit Fuzzy-C-Mittel-Clustering, multiplen adaptiven Regressionssplines (MARS) und Sedimentbewertungskurven (SRC) durchgeführt. Die Ergebnisse von Algorithmen für maschinelles Lernen zeigen, dass die Eingabekombination aus täglichen Abflüssen (Qt), Schneedeckenfläche (SCAt), Temperatur (Tt-1) und Evapotranspiration (Evapt-1) die Leistung der Sedimentvorhersagemodelle verbesserne. Nach dem Vergleich der Gesamtleistung der Modelle schnitt das ANN-Modell besser ab als die übrigen Modelle. Bei der Vorhersage der Sedimentfrachten in Spitzenzeiten lag die Vorhersage der ANN-, ANIS-FCM- und MARS-Modelle näher an den gemessenen Sedimentbelastungen. Das ANIS-FCM-Modell mit einem absoluten Gesamtfehler von 81,31% schnitt bei der Vorhersage der Spitzensedimente besser ab als ANN und MARS mit einem absoluten Gesamtfehler von 80,17% bzw. 80,16%. Die datenbasierte Modellierung der Sedimentfrachten im von Regen dominierten Brandu-Teilbecken wurde unter Verwendung von Datensätzen für Hydroklima und biophysikalische Eingaben durchgeführt, die aus Strömungen, Niederschlag, mittlerer Lufttemperatur und normalisiertem Differenzvegetationsindex (NDVI) bestehen. Die Ergebnisse von vier ANNs (Artificial Neural Networks) und drei ANFIS-Algorithmen (Adaptive Neuro-Fuzzy Logic Inference System) für das Brandu Teilnbecken haben gezeigt, dass der mittels Fernerkundung bestimmte NDVI als biophysikalische Parameter zusätzlich zu den Hydroklima-Parametern die Leistung das Modell nicht verbessert. Der ANFIS-GP schnitt in der Testphase besser ab als andere Modelle mit einer Eingangskombination aus Durchfluss und Niederschlag. ANN, eingebettet in Levenberg-Marquardt (ANN-LM) für den Zeitraum 1981-2010, schnitt jedoch am besten mit Eingabekombinationen aus Strömungen, Niederschlag und mittleren Lufttemperaturen ab. Die Ergebnisgenauigkeit R2 unter Verwendung des ANN-LM-Algorithmus verbesserte sich im Vergleich zur Sedimentbewertungskurve (SRC) um bis zu 28%. Es wurde gezeigt, dass für den unteren Teil der UIB-Flüsse Niederschlag und mittlere Lufttemperatur dominierende Faktoren für die Vorhersage von Sedimenterträgen sind und biophysikalische Parameter (NDVI) eine untergeordnete Rolle spielen. Die Modellierung zur Bewertung der Änderungen des SSC in schnee- und gletschergespeiste Gilgit- und Astore-Teilbecken wurde unter Verwendung des Temp-Index degree day modell durchgeführt. Die Ergebnisse des Mann-Kendall-Trendtests in den Flüssen Gilgit und Astore zeigten, dass der Anstieg des SSC während der Wintersaison auf die Erwärmung der mittleren Lufttemperatur, die Zunahme der Winterniederschläge und die Zunahme der Schneeschmelzen im Winter zurückzuführen ist. Während der Frühjahrssaison haben die Niederschlags- und Schneedeckenanteile im Gilgit-Unterbecken zugenommen, im Gegensatz zu seiner Verringerung im Astore-Unterbecken. Im Gilgit-Unterbecken war der SSC im Sommer aufgrund des kombinierten Effekts der Karakorum-Klimaanomalie und der vergrößerten Schneedecke signifikant reduziert. Die Reduzierung des Sommer-SSC im Gilgit Fluss ist auf die Abkühlung der Sommertemperatur und die Bedeckung der exponierten proglazialen Landschaft zurückzuführen, die auf erhöhten Schnee, verringerte Trümmerflüsse Trümmerflüsse und verringerte Schneeschmelzen von Trümmergletschern zurückzuführen sind. Im Gegensatz zum Gilgit River sind die SSC im Astore River im Sommer erhöht. Der Anstieg des SSC im Astore-Unterbecken ist auf die Verringerung des Frühlingsniederschlags und der Schneedecke, die Erwärmung der mittleren Sommerlufttemperatur und den Anstieg des effektiven Niederschlags zurückzuführen. Die Ergebnisse zeigen ferner eine Verschiebung der Dominanz von Gletscherschmelzen zu Schneeschmelzen im Gilgit-Unterbecken und von Schnee zu Niederschlägen im Astore-Unterbecken bei Sedimenteden Sedimentfrachten in UIB. Die vorliegende Forschungsarbeit zur Bewertung der klimabedingten Veränderungen des SSC und seiner Vorhersage sowohl in den oberen als auch in den unteren Teilbecken des UIB wird nützlich sein, um den Sedimenttransportprozess besser zu verstehen und aufbauen auf dem verbessertenProzessverständnis ein angepasstes Sedimentmanagement und angepasste Planungen der zukünftigen Wasserinfrastrukturen im UIB ableiten zu können