Towards the improvement of machine learning peak runoff forecasting by exploiting ground- and satellite-based precipitation data: A feature engineering approach

La predicción de picos de caudal en sistemas montañosos complejos presenta desafíos en hidrología debido a la falta de datos y las limitaciones de los modelos físicos. El aprendizaje automático (ML) ofrece una solución al permitir la integración de técnicas y productos satelitales de precipitación (SPPs). Sin embargo, se ha debatido sobre la efectividad del ML debido a su naturaleza de "caja negra" que dificulta la mejora del rendimiento y la reproducibilidad de los resultados. Para abordar estas preocupaciones, se han propuesto estrategias de ingeniería de características (FE) para incorporar conocimiento físico en los modelos de ML, mejorando la comprensión y precisión de las predicciones. Esta investigación doctoral tiene como objetivo mejorar la predicción de picos de caudal mediante la integración de conceptos hidrológicos a través de técnicas de FE y el uso de datos de precipitación in-situ y SPPs. Se exploran técnicas y estrategias de ML para mejorar la precisión en sistemas hidrológicos macro y mesoescala. Además, se propone una estrategia de FE para aprovechar la información de SPPs y superar la escasez de datos espaciales y temporales. La integración de técnicas avanzadas de ML y FE representa un avance en hidrología, especialmente para sistemas montañosos complejos con limitada o nula red de monitoreo. Los hallazgos de este estudio serán valiosos para tomadores de decisiones e hidrólogos, facilitando la mitigación de los impactos de los picos de caudal. Además, las metodologías desarrolladas se pueden adaptar a otros sistemas de macro y mesoescala, beneficiando a la comunidad científica en general.Peak runoff forecasting in complex mountain systems poses significant challenges in hydrology due to limitations in traditional physically-based models and data scarcity. However, the integration of machine learning (ML) techniques offers a promising solution by balancing computational efficiency and enabling the incorporation of satellite precipitation products (SPPs). However, debates have emerged regarding the effectiveness of ML in hydrology, as its black-box nature lacks explicit representation of hydrological processes, hindering performance improvement and result reproducibility. To address these concerns, recent studies emphasize the inclusion of FE strategies to incorporate physical knowledge into ML models, enabling a better understanding of the system and improved forecasting accuracy. This doctoral research aims to enhance the effectiveness of ML in peak runoff forecasting by integrating hydrological concepts through FE techniques, utilizing both ground-based and satellite-based precipitation data. For this, we explore ML techniques and strategies to enhance accuracy in complex macro- and mesoscale hydrological systems. Additionally, we propose a FE strategy for a proper utilization of SPP information which is crucial for overcoming spatial and temporal data scarcity. The integration of advanced ML techniques and FE represents a significant advancement in hydrology, particularly for complex mountain systems with limited or inexistent monitoring networks. The findings of this study will provide valuable insights for decision-makers and hydrologists, facilitating effective mitigation of the impacts of peak runoffs. Moreover, the developed methodologies can be adapted to other macro- and meso-scale systems, with necessary adjustments based on available data and system-specific characteristics, thus benefiting the broader scientific community.0000-0002-7683-37680000-0002-6206-075XDoctor (PhD) en Recursos HídricosCuenc

Improving hydrologic modeling of runoff processes using data-driven models

2021 Spring.Includes bibliographical references.Accurate rainfall–runoff simulation is essential for responding to natural disasters, such as floods and droughts, and for proper water resources management in a wide variety of fields, including hydrology, agriculture, and environmental studies. A hydrologic model aims to analyze the nonlinear and complex relationship between rainfall and runoff based on empirical equations and multiple parameters. To obtain reliable results of runoff simulations, it is necessary to consider three tasks, namely, reasonably diagnosing the modeling performance, managing the uncertainties in the modeling outcome, and simulating runoff considering various conditions. Recently, with the advancement of computing systems, technology, resources, and information, data-driven models are widely used in various fields such as language translation, image classification, and time-series analysis. In addition, as spatial and temporal resolutions of observations are improved, the applicability of data-driven models, which require massive amounts of datasets, is rapidly increasing. In hydrology, rainfall–runoff simulation requires various datasets including meteorological, topographical, and soil properties with multiple time steps from sub-hourly to monthly. This research investigates whether data-driven approaches can be effectively applied for runoff analysis. In particular, this research aims to explore if data-driven models can 1) reasonably evaluate hydrologic models, 2) improve the modeling performance, and 3) predict hourly runoff using distributed forcing datasets. The details of these three research aspects are as follows: First, this research developed a hydrologic assessment tool using a hybrid framework, which combines two data-driven models, to evaluate the performance of a hydrologic model for runoff simulation. The National Water Model, which is a fully distributed hydrologic model, was used as the physical-based model. The developed assessment tool aims to provide easy-to-understand performance ratings for the simulated hydrograph components, namely, the rising and recession limbs, as well as for the entire hydrograph, against observed runoff data. In this research, four performance ratings were used. This is the first research that tries to apply data-driven models for evaluating the performance of the National Water Model and the results are expected to reasonably diagnose the model's ability for runoff simulations based on a short-term time step. Second, correction of errors inherent in the predicted runoff is essential for efficient water management. Hydrologic models include various parameters that cannot be measured directly, but they can be adjusted to improve the predictive performance. However, even a calibrated model still has obvious errors in predicting runoff. In this research, a data-driven model was applied to correct errors in the predicted runoff from the National Water Model and improve its predictive performance. The proposed method uses historic errors in runoff to predict new errors as a post-processor. This research shows that data-driven models, which can build algorithms based on the relationships between datasets, have strong potential for correcting errors and improving the predictive performance of hydrologic models. Finally, to simulate rainfall-runoff accurately, it is essential to consider various factors such as precipitation, soil property, and runoff coming from upstream regions. With improvements in observation systems and resources, various types of forcing datasets, including remote-sensing based data and data-assimilation system products, are available for hydrologic analysis. In this research, various data-driven models with distributed forcing datasets were applied to perform hourly runoff predictions. The forcing datasets included different hydrologic factors such as soil moisture, precipitation, land surface temperature, and base flow, which were obtained from a data assimilation system. The predicted results were evaluated in terms of seasonal and event-based performances and compared with those of the National Water Model. The results demonstrated that data-driven models for hourly runoff forecasting are effective and useful for short-term runoff prediction and developing flood warning system during wet season

Modelling weed management effects on soil erosion in rubber plantations in Southwest China

Land use in Xishuangbanna, Southwest China, a typical subtropical rain forest region, has been dramatically changed over the past 30 years. Driven by favorable market opportunities, a rapid expansion of rubber plantations has taken place. This disturbs forests and land occupied by traditional swidden agriculture thus strongly affecting hydrological/erosion processes, and threatening soil fertility and water quality. The presented PhD thesis aimed at assessing farmer acceptable soil conservation strategies in rubber plantations that efficiently control on-site soil loss over an entire rotation time (25 40 years) and off-site sediment yield in the watershed. The study started with field investigations on erosion processes and soil conservation management options in rubber plantations (Chapter 2 and 3). Based on the field data, the physically based model Land Use Change Impact Assessment (LUCIA) was employed to assess long-term conservation effects in rubber plantations (Chapter 4) and scale effects on sediment yield in the watershed (Chapter 5). Specifically, the first study aimed at assessing soil loss in rubber plantations of different ages (4, 12, 18, 25 and 36 year old) and relating erosion potential to surface cover and fine root density by applying the Universal Soil Loss Equation (USLE) model. This study adopted the space-for-time substitution for field experimental design instead of establishing a long-term observation. Spatial heterogeneity of soil properties (e.g. texture, organic carbon content) and topography (slope steepness and length) interfered erosion at different plantation ages. To meet this challenge, namely account for possible impacts of soil properties and slope on erosion, the empirical USLE model was applied in data analysis to calculate the combined annual cover, management and support practice factor CP, which represents ecosystem erosivity. Calculated CP values varied with the growth phase of rubber in the range of 0.006 - 0.03. Surface cover was recognized as the major driver responsible for the erosive potential changes in rubber plantations. The mid-age rubber plantation exhibited the largest erosion (3 Mg ha-1) due to relatively low surface cover (40%-60%) during the rainy season, which was attributed to low weed cover (below 20%) and the low surface-litter cover favored by a high decomposition rate. Based on the results of the first study, the second study focused on reducing soil loss in rubber plantations by maintaining a high surface cover through improved weed management. Among the different weeding strategies tested, no-weeding most efficiently reduced on-site soil loss to 0.5 Mg ha-1. However, due to the low farmer acceptance of the no-weeding option, we recommend reducing herbicide application to a single dose at the beginning of the rainy season (once-weeding) to better conserve soil as well as inhibiting overgrowth of the understory vegetation. As the second experiment lasted only one-year, while rubber plantation is a perennial crop with a commercial lifespan of 25 40 years, the third study applied the LUCIA model to simulate the temporal dynamics of soil erosion in rubber plantations under different weeding strategies. The erosion module in LUCIA was extended to simulate both runoff and rainfall based soil detachment to better reflect the impact of the multi-layer structure of the plantation canopy. The improved LUCIA model successfully represented weed management effects on soil loss and runoff at the test site with a modelling efficiency (EF) of 0.5-0.96 and R2 of 0.64-0.92. Long-term simulation results confirmed that once-weeding controlled annual soil loss below 1 Mg ha-1 and kept weed cover below 50%. Therefore, this weeding strategy was suggested as an eco- and farmer friendly management in rubber plantations. Furthermore, LUCIA was applied at watershed level to evaluate plot conservation impact on sediment yield. Two neighboring sub-watersheds with different land cover were chosen: one a forest dominated (S1, control), the other with a mosaic land use (S2), which served to assess mono-conservation (conservation only in rubber plantations) and multi-conservation (conservation in maize, rubber and tea plantations) effects on total sediment yields. The model was well calibrated and validated based on peak flow (EF of 0.70 for calibration and 0.83 for validation) and sediment yield (EF of 0.71 for calibration and 0.95 for validation) measured from the two watersheds outlet points. Model results showed that improved weed management in rubber plantations can efficiently reduce the total sediment yields by 20%; while multi-conservation was largely able to offset increased sediment yields by land use change. In summary, while exploring the dynamics of erosion processes in rubber plantations, a physically based model (LUCIA) was extended and applied to simulate weed management effects over an entire crop cycle (40 years) and implications at higher scale level (watershed sediment yield). Once-weeding per year was identified as an improved management to reduce on-site erosion and off-site sediment yield. But to fully offset increased sediment yield by land use change, a multi-conservation strategy should be employed, which not only focuses on new land uses, like rubber plantations, but also takes care of traditional agricultural types. A conceptual framework is proposed to further assess the specific sub-watershed erosion (e.g. sediment or water yield) effects in large watersheds by spatially combining process-oriented and data-driven (e.g. statistic based, machine learning based) models. This study also serves as a case study to investigate ecological issues (e.g. erosion processes, land use change impact) based on short-term data and modelling in the absence of long-term observations.Die Landnutzung in Xishuangbanna, Südwestchina, einer typischen subtropischen Regenwaldregion, hat sich in den letzten 30 Jahren dramatisch verändert. Getrieben von günstigen Marktchancen hat ein rapider Ausbau von Kautschukplantagen stattgefunden. Dies beeinflusst Wälder und Flächen, die durch traditionellem Brandrodungsackerbau bewirtschaftet werden, was starke Auswirkungen auf hydrologische Prozesse und Erosionsprozesse hat und die Bodenfruchtbarkeit und Wasserqualität bedroht. Die vorliegende Dissertation zielte auf die Bewertung von akzeptablen Bodenschutzstrategien für Landwirte in Kautschukplantagen ab, die den Bodenverlust innerhalb des Standortes während einer ganzen Rotationszeit (25 - 40 Jahre) und den Sedimentausstoß außerhalb des Standortes im Wassereinzugsgebiet effizient kontrollieren. Die Studie begann mit Felduntersuchungen zu Erosionsprozessen und Bodenschutz-Managementoptionen in Kautschukplantagen (Kapitel 2 und 3). Basierend auf den Felddaten wurde das physikalisch basierte Modell "Land Use Change Impact Assessment" (LUCIA) eingesetzt, um Langzeitschutzeffekte in Kautschukplantagen (Kapitel 4) und Skaleffekte auf den Sedimentausstoß im Wassereinzugsgebiet zu bewerten (Kapitel 5). Konkret zielte die erste Studie darauf ab, den Bodenverlust in Kautschukplantagen unterschiedlichen Alters (4, 12, 18, 25 und 36 Jahre alt) zu untersuchen und das Erosionspotenzial mit der Allgemeinen Bodenabtragsgleichung (USLE) in Beziehung zur Oberflächenbedeckung und Feinwurzeldichte zu setzen. In dieser Studie wurde die space-for-time substitution für experimentelle Feldforschung anstelle einer Langzeitbeobachtung übernommen. Räumliche Heterogenität der Bodeneigenschaften (z. B. Textur, organischer Kohlenstoffgehalt) und Topographie (Neigungssteilheit und -länge) beeinträchtigten die Erosion bei verschiedenen Pflanzungsaltern. Um dieser Herausforderung zu begegnen, nämlich mögliche Auswirkungen von Bodeneigenschaften und Gefälle auf die Erosion zu berücksichtigen, wurde das empirische USLE-Modell in der Datenanalyse, zur Berechnung der kombinierten jährlichen Bodenbedeckung, Management und support practice factor (CP), das die Ökosystem-Erosivität darstellt, verwendet. Berechnete CP-Werte variierten mit der Wachstumsphase von Kautschuk im Bereich von 0,006-0,03. Die Oberflächenbedeckung wurde als der Haupttreiber für Änderungen des erosiven Potentials in Kautschukplantagen anerkannt. Die Kautschukplantage mittleren Alters wies aufgrund der relativ geringen Oberflächenbedeckung (40% -60%) während der Regenzeit die größte Erosion (3 Mg ha-1) auf. Dies wurde auf einen geringen Unkrautbewuchs (unter 20%) und eine geringe Bodenbedeckung durch Oberflächenstreu, verursacht durch eine hohe Zersetzungsrate, zurückgeführt. Basierend auf den Ergebnissen der ersten Studie konzentrierte sich die zweite Studie auf die Verringerung des Bodenverlusts in Kautschukplantagen, indem eine hohe Oberflächenbedeckung durch verbessertes Unkrautmanagement aufrechterhalten wurde. Unter den verschiedenen getesteten Unkrautbekämpfungsstrategien reduzierte no-weeding den Bodenverlust vor Ort auf 0,5 Mg ha-1 am effizientesten. Aufgrund der geringen Akzeptanz der Unkrautbekämpfung durch den Landwirt empfehlen wir jedoch zu Beginn der Regenzeit (einmaliges Unkrautjäten) eine Herbizidapplikation auf eine Einzeldosis zu reduzieren, um den Boden besser zu erhalten und das Überwachsen der Unterholzvegetation zu verhindern. Da das zweite Experiment nur ein Jahr dauerte, während die Kautschukplantage eine mehrjährige Pflanze mit einer kommerziellen Lebensdauer von 25 bis 40 Jahren ist, wurde in der dritten Studie das LUCIA-Modell zur Simulation der zeitlichen Dynamik der Bodenerosion in Kautschukplantagen unter verschiedenen Strategien eingesetzt. Das Erosionsmodul in LUCIA wurde erweitert, um sowohl oberflächenabfluss- als auch niederschlagsbedingte Bodenerosion zu simulieren, um den Einfluss der mehrschichtigen Struktur des Plantagenschirms besser widerzuspiegeln. Das verbesserte LUCIA-Modell stellte erfolgreich die Auswirkungen des Unkrautmanagements auf den Bodenverlust und den Oberflächenabfluss am Versuchsstandort mit einer Modellierungseffizienz (EF) von 0,5-0,96 und R2 von 0,64-0,92 dar. Die Ergebnisse der Langzeitsimulationen bestätigten, dass "einmaliges Jäten" den jährlichen Bodenverlust unter 1 Mg ha-1 kontrollierte und die Unkrautabdeckung unter 50% hielt. Daher wurde diese Unkrautbekämpfungsstrategie als umwelt- und landwirtfreundliches Management in Kautschukplantagen vorgeschlagen. Darüber hinaus wurde LUCIA auf Wassereinzugsgebietsebene angewendet, um die Auswirkung der Flächenerhaltung auf den Sedimentausstoß zu bewerten. Zur Bewertung der Auswirkungen auf die Gesamtsedimentmengen wurden zwei benachbarte Teileinzugsgebiete mit unterschiedlicher Landbedeckung ausgewählt. Für die Auswirkungen von Einzelschutz (mono-conservation; Schutz nur in Kautschukplantagen) hat eine von Wald dominierende Landnutzung (S1, Kontrolle) gedient und für die Auswirkungen von Mehrfachschutz (multi-conservation; Schutz in Mais-, Kautschuk- und Teeplantagen) eine Mosaiklandnutzung (S2). Das Modell wurde gut kalibriert und validiert basierend auf dem Peak-Flow (EF von 0,70 für die Kalibrierung und 0,83 für die Validierung) und dem Sedimentertrag (EF von 0,71 für die Kalibrierung und 0,95 für die Validierung), die an den zwei Austrittsstellen des Wassereinzugsgebiets gemessen wurden. Die Modellergebnisse zeigten, dass ein verbessertes Unkrautmanagement in Kautschukplantagen die gesamten Sedimentausbeuten um 20% reduzieren kann; während Mehrfachschutz weitgehend in der Lage war, erhöhte Sedimenterträge durch Landnutzungsänderungen auszugleichen. Zusammenfassend wurde, während der Untersuchung der Dynamik von Erosionsprozessen in Kautschukplantagen, ein physikalisch basiertes Modell (LUCIA) erweitert und angewendet, um Unkrautmanagementeffekte über einen gesamten Erntezyklus (40 Jahre) und Implikationen auf höherer Maßstabsebene (Wasserscheidensedimentmenge) zu simulieren. Einmaliges Unkrautbekämpfung pro Jahr wurde als verbessertes Management identifiziert, um die Erosion vor Ort und den Sedimentaustrag außerhalb des Wassereinzugsgebietes zu reduzieren. Um den durch die Landnutzungsänderung erhöhten Sedimentausstoß jedoch vollständig ausgleichen zu können, sollte eine Mehrfachschutzstrategie angewandt werden, die sich nicht nur auf neue Landnutzungen wie Kautschukplantagen konzentriert, sondern sich auch um traditionelle landwirtschaftliche Typen kümmert. Ein konzeptueller Rahmen wird vorgeschlagen, um die spezifischen Erosionseffekte der sub-Wassereinzugsgebiete (z. B. Sediment oder Wasserausbeute) in großen Wassereinzugsgebieten durch räumliche Kombination von prozessorientierten und datengesteuerten (z. B. statistisch und machine-learning basierten) Modellen weiter zu bewerten. Diese Studie dient auch als Fallstudie zur Untersuchung ökologischer Fragen (z. B. Erosionsprozesse, Auswirkungen von Landnutzungsänderungen) auf der Grundlage von Kurzzeitdaten und Modellierung in Abwesenheit von Langzeitbeobachtungen

Flood Forecasting Using Machine Learning Methods

This book is a printed edition of the Special Issue Flood Forecasting Using Machine Learning Methods that was published in Wate