Theoretical Aspects of Water Distribution Leak Localization

Leak management is a critical task in water distribution system operations. Leakages account for substantial water losses, wasting energy and monetary resources, and reducing consumer capacity. Furthermore, leaks can lead to hazardous situations with, on the one hand, undermined and water-damaged infrastructure and, on the other, the risk of pollution and disease spread. In this licentiate thesis, we deal with leak localization in light of new communicating hydraulic sensors. Leak localization, traditionally requiring cumbersome manual labor, can be automated by properly analyzing measurements from smart sensors. Numerous elaborate methods have been developed for this task. Many leak localization algorithms were designed for and tested in a specific steady-state network flow simulation model. This is the model used in the popular simulation tool EPANET, on which, for example, the BattLeDIM competition was based. Our focus is also on this model. However, instead of only developing new algorithms, we take a step back and delve into often overlooked questions regarding the theoretical foundations of algorithmic leak localization.  The thesis is based on three articles designated one chapter each. In addition, before the technical chapters, a mathematical modeling chapter serves to unify the presentation. Our modeling goes beyond the common practice of considering only node leakages by introducing notation for leakages that can occur anywhere along any pipe in the network. First, we consider a single pipe scenario, which was only previously treated under full model knowledge. We analyze how we can simultaneously learn an uncertain model and estimate a leakage position. Given a particular model parameterization, the problem takes a \emph{bilinear} form. We consider specific solution methods for the bilinear parameter estimation problem. We derive theoretical convergence rates for these. We also investigate the practical performance through an EPANET simulation and discuss the reasons for the observed results.  Then, we scale the considered network to a set of parallel pipes. In this setting, we state which sensors are necessary to localize the leakage. We notice the risk of finding multiple plausible leakage positions among the parallel pipes. We investigate ways to get around this pitfall.  Finally, we move on to whole networks. We derive structural conditions to guarantee successful leak localization. Our conditions are general and thus an improvement compared to the standard simulation testing procedure on specific hydraulic states.  With the presented results, we hope to bring insight that can be used to develop more robust and trustworthy leakage localization algorithms. Att hantera läckor är en kritisk uppgift för vattendisitributionsoperatörer. Läckor medför stora vattenförluster vilket hämmar kapaciteten hos konsumenterna och slösar med både energi och ekonomi. Vidare kan läckor leda till rent farliga situationer, å ena sidan i form av underminerad och vattenskadad infrastruktur, å den andra i och med risken för spridning av hälsovådliga föroreningar, bakterier och virus.  I den här licentiatuppsatsen behandlar vi läcksökningsuppgiften, med hänsyn till nya kommunicerande hydraliska sensorer.  Läcksökning, som traditionellt har inneburit besvärligt manuellt arbete, kan automatiseras genom  analys av mätvärden från smarta sensorer. En uppsjö metoder har utvecklats för uppgiften. Flertalet läcksökningsalgoritmer är utvecklade och testade mot bakgrund av en specifik matematisk nätverksflödesmodell. Vi syftar på modellen som används i det populära simulationsverktyget EPANET, vilket i sin tur har använts till exempel i tävligen BattLeDIM. Vi använder också modellen, men, istället för att enbart utveckla nya algoritmer, tar vi ett steg tillbaka och riktar vår uppmärksamhet mot ofta förbisedda frågor, rörande de teoriska fundamanten för algoritmbaserad läcksökning. Uppsatesen bygger på tre forskningsartiklar, som alla tillägnas ett kapitel var. Utöver de tre tekniska kapitlen finns ett matimatiskt modelleringskapitel som ämnar göra presentation enhetlig. Vår modellering innebär en utvidgning jämfört med det gängse bruket att bara betrakta nodläckor, i det att vi introducerar notation för läckor som kan förekomma var som helst längs alla möjliga rör i nätverket. Först betraktar vi ett scenario med en läcka i ett ensamt rör. Scenariot har tidigare bara behandlats under antagande om fullständig modellkännedom. Vi analyserar hur man samtidigt kan lära sig en osäker modell och estimera en läckposition. Given en specifik modellparameterisering antar problemet en \emph{bilinjär} form. Vi undersöker specifika lösningsmetoder för det bilinjära parameterestimeringsproblemet. Vi härleder teoretiska konvergenshastigheter. Vi undersöker också den praktiska prestandan genom en EPANET-simulering och söker förklara de observerade resultaten.  Sedan ökar vi storleken på det undersökta nätverket, till en mängd parallella rör. Vi undersöker vilka sensorer som behövs för att lokalisera läckan. Vi noterar en risk att hitta flera tänkbara läckpositioner bland de parallella rören. Vi undersöker hur man kan undvika problemet. Slutligen utökar vi analysen till hela nätverk. Vi härleder strukturella villkor för garanterat lyckad läcksökning. Våra villkor är generella och innebär en förbättring jämfört med vanliga simuleringsbaserade test mot specifika hydraliska tillstånd. Med våra presenterade resultat hoppas vi bidra med insikter som kan användas för att utveckla mer robusta och pålitliga lokaliseringsalgoritmer.QC 20240830</p

Theoretical Aspects of Water Distribution Leak Localization

Leak management is a critical task in water distribution system operations. Leakages account for substantial water losses, wasting energy and monetary resources, and reducing consumer capacity. Furthermore, leaks can lead to hazardous situations with, on the one hand, undermined and water-damaged infrastructure and, on the other, the risk of pollution and disease spread. In this licentiate thesis, we deal with leak localization in light of new communicating hydraulic sensors. Leak localization, traditionally requiring cumbersome manual labor, can be automated by properly analyzing measurements from smart sensors. Numerous elaborate methods have been developed for this task. Many leak localization algorithms were designed for and tested in a specific steady-state network flow simulation model. This is the model used in the popular simulation tool EPANET, on which, for example, the BattLeDIM competition was based. Our focus is also on this model. However, instead of only developing new algorithms, we take a step back and delve into often overlooked questions regarding the theoretical foundations of algorithmic leak localization.  The thesis is based on three articles designated one chapter each. In addition, before the technical chapters, a mathematical modeling chapter serves to unify the presentation. Our modeling goes beyond the common practice of considering only node leakages by introducing notation for leakages that can occur anywhere along any pipe in the network. First, we consider a single pipe scenario, which was only previously treated under full model knowledge. We analyze how we can simultaneously learn an uncertain model and estimate a leakage position. Given a particular model parameterization, the problem takes a \emph{bilinear} form. We consider specific solution methods for the bilinear parameter estimation problem. We derive theoretical convergence rates for these. We also investigate the practical performance through an EPANET simulation and discuss the reasons for the observed results.  Then, we scale the considered network to a set of parallel pipes. In this setting, we state which sensors are necessary to localize the leakage. We notice the risk of finding multiple plausible leakage positions among the parallel pipes. We investigate ways to get around this pitfall.  Finally, we move on to whole networks. We derive structural conditions to guarantee successful leak localization. Our conditions are general and thus an improvement compared to the standard simulation testing procedure on specific hydraulic states.  With the presented results, we hope to bring insight that can be used to develop more robust and trustworthy leakage localization algorithms. Att hantera läckor är en kritisk uppgift för vattendisitributionsoperatörer. Läckor medför stora vattenförluster vilket hämmar kapaciteten hos konsumenterna och slösar med både energi och ekonomi. Vidare kan läckor leda till rent farliga situationer, å ena sidan i form av underminerad och vattenskadad infrastruktur, å den andra i och med risken för spridning av hälsovådliga föroreningar, bakterier och virus.  I den här licentiatuppsatsen behandlar vi läcksökningsuppgiften, med hänsyn till nya kommunicerande hydraliska sensorer.  Läcksökning, som traditionellt har inneburit besvärligt manuellt arbete, kan automatiseras genom  analys av mätvärden från smarta sensorer. En uppsjö metoder har utvecklats för uppgiften. Flertalet läcksökningsalgoritmer är utvecklade och testade mot bakgrund av en specifik matematisk nätverksflödesmodell. Vi syftar på modellen som används i det populära simulationsverktyget EPANET, vilket i sin tur har använts till exempel i tävligen BattLeDIM. Vi använder också modellen, men, istället för att enbart utveckla nya algoritmer, tar vi ett steg tillbaka och riktar vår uppmärksamhet mot ofta förbisedda frågor, rörande de teoriska fundamanten för algoritmbaserad läcksökning. Uppsatesen bygger på tre forskningsartiklar, som alla tillägnas ett kapitel var. Utöver de tre tekniska kapitlen finns ett matimatiskt modelleringskapitel som ämnar göra presentation enhetlig. Vår modellering innebär en utvidgning jämfört med det gängse bruket att bara betrakta nodläckor, i det att vi introducerar notation för läckor som kan förekomma var som helst längs alla möjliga rör i nätverket. Först betraktar vi ett scenario med en läcka i ett ensamt rör. Scenariot har tidigare bara behandlats under antagande om fullständig modellkännedom. Vi analyserar hur man samtidigt kan lära sig en osäker modell och estimera en läckposition. Given en specifik modellparameterisering antar problemet en \emph{bilinjär} form. Vi undersöker specifika lösningsmetoder för det bilinjära parameterestimeringsproblemet. Vi härleder teoretiska konvergenshastigheter. Vi undersöker också den praktiska prestandan genom en EPANET-simulering och söker förklara de observerade resultaten.  Sedan ökar vi storleken på det undersökta nätverket, till en mängd parallella rör. Vi undersöker vilka sensorer som behövs för att lokalisera läckan. Vi noterar en risk att hitta flera tänkbara läckpositioner bland de parallella rören. Vi undersöker hur man kan undvika problemet. Slutligen utökar vi analysen till hela nätverk. Vi härleder strukturella villkor för garanterat lyckad läcksökning. Våra villkor är generella och innebär en förbättring jämfört med vanliga simuleringsbaserade test mot specifika hydraliska tillstånd. Med våra presenterade resultat hoppas vi bidra med insikter som kan användas för att utveckla mer robusta och pålitliga lokaliseringsalgoritmer.QC 20240830</p

Djupinlärning för dynamisk portföljoptimering

This thesis considers a deep learning approach to a dynamic portfolio optimization problem. A proposed deep learning algorithm is tested on a simplified version of the problem with promising results, which suggest continued testing of the algorithm, on a larger scale for the original problem. First the dynamics and objective function of the problem are presented, and the existence of a no-trade-region is explained via the Hamilton-Jacobi-Bellman equation. The no-trade-region dictates the optimal trading strategy. Solving the Hamilton-Jacobi-Bellman equation to find the no-trade-region is not computationally feasible in high dimension with a classic finite difference approach. Therefore a new algorithm to iteratively update and improve an estimation of the no-trade-region is derived. This is a deep learning algorithm that utilizes neural network function approximation. The algorithm is tested on the one-dimensional version of the problem for which the true solution is known. While testing in one dimension only does not assess whether this algorithm scales better than a finite difference approach to higher dimensions, the learnt solution comes fairly close to true solution with a relative score of 0.72, why it is suggested that continued research of this algorithm is performed for the multidimensional version of the problem.Den här uppsatsen undersöker en djupinlärningsmetod for att lösa ett dynamiskt portföljoptimeringsproblem. En föreslagen djupinlärningsalgoritm testas på en föreklad version av problemet, med lovande resultat. Därför föreslås det vidare att algoritmens prestanda testas i större skala även för det urpsrungliga problemet. Först presenteras dynamiken och målfunktionen för problemet. Det förklaras via Hamilton-Jacobi-Bellman-ekvationen varför det finns en handelsstoppregion. Handelsstoppregionen bestämmer den optimala handelsstrategin. Att lösa Hamilton-Jacobi-Bellman-ekvationen för att hitta handelsstoppregionen är inte beräkningspratiskt möjligt i hög dimension om ett traditionellt tillvägagångssätt med finita differenser används. Därför härleds en ny algoritm som iterativt uppdaterar och förbättrar en skattning av handelsstoppregionen. Det är en djupinlärningsalgoritm som utnyttjar funktionsapproximation med neurala nätverk. Algoritmen testas på den endimensionella verisonen av problemet, för vilken den sanna lösningen är känd. Tester i det endimensionella fallet kan naturligtvis inte ge svar på frågan om den nya algoritmen skalar bättre än en finit differensmetod till högre dimensioner. Men det är i alla fall klart att den inlärda lösningen kommer tämligen nära den sanna med relativ poäng 0.72, och därför föreslås fortsatt forskning kring algoritmen i förhållande till den flerdimensionella versionen av problemet

Djupinlärning för dynamisk portföljoptimering

This thesis considers a deep learning approach to a dynamic portfolio optimization problem. A proposed deep learning algorithm is tested on a simplified version of the problem with promising results, which suggest continued testing of the algorithm, on a larger scale for the original problem. First the dynamics and objective function of the problem are presented, and the existence of a no-trade-region is explained via the Hamilton-Jacobi-Bellman equation. The no-trade-region dictates the optimal trading strategy. Solving the Hamilton-Jacobi-Bellman equation to find the no-trade-region is not computationally feasible in high dimension with a classic finite difference approach. Therefore a new algorithm to iteratively update and improve an estimation of the no-trade-region is derived. This is a deep learning algorithm that utilizes neural network function approximation. The algorithm is tested on the one-dimensional version of the problem for which the true solution is known. While testing in one dimension only does not assess whether this algorithm scales better than a finite difference approach to higher dimensions, the learnt solution comes fairly close to true solution with a relative score of 0.72, why it is suggested that continued research of this algorithm is performed for the multidimensional version of the problem.Den här uppsatsen undersöker en djupinlärningsmetod for att lösa ett dynamiskt portföljoptimeringsproblem. En föreslagen djupinlärningsalgoritm testas på en föreklad version av problemet, med lovande resultat. Därför föreslås det vidare att algoritmens prestanda testas i större skala även för det urpsrungliga problemet. Först presenteras dynamiken och målfunktionen för problemet. Det förklaras via Hamilton-Jacobi-Bellman-ekvationen varför det finns en handelsstoppregion. Handelsstoppregionen bestämmer den optimala handelsstrategin. Att lösa Hamilton-Jacobi-Bellman-ekvationen för att hitta handelsstoppregionen är inte beräkningspratiskt möjligt i hög dimension om ett traditionellt tillvägagångssätt med finita differenser används. Därför härleds en ny algoritm som iterativt uppdaterar och förbättrar en skattning av handelsstoppregionen. Det är en djupinlärningsalgoritm som utnyttjar funktionsapproximation med neurala nätverk. Algoritmen testas på den endimensionella verisonen av problemet, för vilken den sanna lösningen är känd. Tester i det endimensionella fallet kan naturligtvis inte ge svar på frågan om den nya algoritmen skalar bättre än en finit differensmetod till högre dimensioner. Men det är i alla fall klart att den inlärda lösningen kommer tämligen nära den sanna med relativ poäng 0.72, och därför föreslås fortsatt forskning kring algoritmen i förhållande till den flerdimensionella versionen av problemet

Deep Reinforcement Learning for Snake

Algoritmer baserade på reinforcement learning har framgångsrikt tillämpats på många olika maskininlärningsproblem. I denna rapport presenterar vi hur vi implementerar varianter på deep Q-learning-algoritmer på det klassiska datorspelet Snake. Vi ämnar undersöka hur en sådan algoritm ska konfigureras för att lära sig spela Snake så bra som möjligt. För att göra detta studerar vi hur inlärningen beror på ett urval av parametrar, genom att variera dessa en och en och studera resultaten. Utifrån detta lyckas vi konstruera en algoritm som lär sig spela spelet så pass bra att den som högst får 66 poäng, vilket motsvarar att täcka 46 % av spelplanen, efter drygt fem timmars träning. Vidare så finner vi att den tränade algoritmen utan större svårigheter hanterar att hinder introduceras i spelet.  Reinforcement learning algorithms have proven to be successful at various machine learning tasks. In this paper we implement versions of deep Q-learning on the classic video game Snake. We aim to find out how this algorithm should be configured in order for it to learn to play the game as well as possible. To do this, we study how the learning performance of the algorithm depends on some of the many parameters involved, by changing one parameter at a time and recording the effects. From this we are able to set up an algorithm that learns to play the game well enough to achieve a high score of 66 points, corresponding to filling up 46\% of the playing field, after just above 5 hours of training. Further, we find that the trained algorithm can cope well with an obstacle being added to the game

Deep Reinforcement Learning for Snake

Algoritmer baserade på reinforcement learning har framgångsrikt tillämpats på många olika maskininlärningsproblem. I denna rapport presenterar vi hur vi implementerar varianter på deep Q-learning-algoritmer på det klassiska datorspelet Snake. Vi ämnar undersöka hur en sådan algoritm ska konfigureras för att lära sig spela Snake så bra som möjligt. För att göra detta studerar vi hur inlärningen beror på ett urval av parametrar, genom att variera dessa en och en och studera resultaten. Utifrån detta lyckas vi konstruera en algoritm som lär sig spela spelet så pass bra att den som högst får 66 poäng, vilket motsvarar att täcka 46 % av spelplanen, efter drygt fem timmars träning. Vidare så finner vi att den tränade algoritmen utan större svårigheter hanterar att hinder introduceras i spelet.  Reinforcement learning algorithms have proven to be successful at various machine learning tasks. In this paper we implement versions of deep Q-learning on the classic video game Snake. We aim to find out how this algorithm should be configured in order for it to learn to play the game as well as possible. To do this, we study how the learning performance of the algorithm depends on some of the many parameters involved, by changing one parameter at a time and recording the effects. From this we are able to set up an algorithm that learns to play the game well enough to achieve a high score of 66 points, corresponding to filling up 46\% of the playing field, after just above 5 hours of training. Further, we find that the trained algorithm can cope well with an obstacle being added to the game

On well-posedness of the leak localization problem in parallel pipe networks

With the advent of integrated sensor technology (smart flow meters and pressure sensors), various new numerical algorithms for leak localization (a core element of water distribution system operation) have been developed. However, there is a lack of theory regarding the limitations of leak localization. In this work, we contribute to the development of such a theory by introducing an example water network structure with parallel pipes that is tractable for analytical treatment. We define the leak localization problem for this structure and show how many sensors and what conditions are needed for the well-posedness of the problem. We present a formula for the leak position as a function of measurements from these sensors. However, we also highlight the risk of finding false but plausible leak positions in the multiple pipes. We try to answer the questions of how and when the leaking pipe can be isolated. In particular, we show that nonlinearities in the pipes' head loss functions are essential for the well-posedness of the isolation problem. We propose procedures to get around the pitfall of multiple plausible leak positions.Comment: Submitted to Automatic

Deep Reinforcement Learning for Snake

Algoritmer baserade på reinforcement learning har framgångsrikt tillämpats på många olika maskininlärningsproblem. I denna rapport presenterar vi hur vi implementerar varianter på deep Q-learning-algoritmer på det klassiska datorspelet Snake. Vi ämnar undersöka hur en sådan algoritm ska konfigureras för att lära sig spela Snake så bra som möjligt. För att göra detta studerar vi hur inlärningen beror på ett urval av parametrar, genom att variera dessa en och en och studera resultaten. Utifrån detta lyckas vi konstruera en algoritm som lär sig spela spelet så pass bra att den som högst får 66 poäng, vilket motsvarar att täcka 46 % av spelplanen, efter drygt fem timmars träning. Vidare så finner vi att den tränade algoritmen utan större svårigheter hanterar att hinder introduceras i spelet.  Reinforcement learning algorithms have proven to be successful at various machine learning tasks. In this paper we implement versions of deep Q-learning on the classic video game Snake. We aim to find out how this algorithm should be configured in order for it to learn to play the game as well as possible. To do this, we study how the learning performance of the algorithm depends on some of the many parameters involved, by changing one parameter at a time and recording the effects. From this we are able to set up an algorithm that learns to play the game well enough to achieve a high score of 66 points, corresponding to filling up 46\% of the playing field, after just above 5 hours of training. Further, we find that the trained algorithm can cope well with an obstacle being added to the game