Frugal day-ahead forecasting of multiple local electricity loads by aggregating adaptive models

We focus on day-ahead electricity load forecasting of substations of the distribution network in France; therefore, our problem lies between the instability of a single consumption and the stability of a countrywide total demand. Moreover, we are interested in forecasting the loads of over one thousand substations; consequently, we are in the context of forecasting multiple time series. To that end, we rely on an adaptive methodology that provided excellent results at a national scale; the idea is to combine generalized additive models with state-space representations. However, the extension of this methodology to the prediction of over a thousand time series raises a computational issue. We solve it by developing a frugal variant, reducing the number of parameters estimated; we estimate the forecasting models only for a few time series and achieve transfer learning by relying on aggregation of experts. It yields a reduction of computational needs and their associated emissions. We build several variants, corresponding to different levels of parameter transfer, and we look for the best trade-off between accuracy and frugality. The selected method achieves competitive results compared to state-of-the-art individual models. Finally, we highlight the interpretability of the models, which is important for operational applications

Adaptive Probabilistic Forecasting of Electricity (Net-)Load

Electricity load forecasting is a necessary capability for power system operators and electricity market participants. The proliferation of local generation, demand response, and electrification of heat and transport are changing the fundamental drivers of electricity load and increasing the complexity of load modelling and forecasting. We address this challenge in two ways. First, our setting is adaptive; our models take into account the most recent observations available, yielding a forecasting strategy able to automatically respond to changes in the underlying process. Second, we consider probabilistic rather than point forecasting; indeed, uncertainty quantification is required to operate electricity systems efficiently and reliably. Our methodology relies on the Kalman filter, previously used successfully for adaptive point load forecasting. The probabilistic forecasts are obtained by quantile regressions on the residuals of the point forecasting model. We achieve adaptive quantile regressions using the online gradient descent; we avoid the choice of the gradient step size considering multiple learning rates and aggregation of experts. We apply the method to two data sets: the regional net-load in Great Britain and the demand of seven large cities in the United States. Adaptive procedures improve forecast performance substantially in both use cases for both point and probabilistic forecasting

Adaptive probabilistic forecasting of electricity (net-)load

Electricityload forecasting is a necessary capability for power system operators and electricity market participants. Both demand and supply characteristics evolve over time. On the demand side, unexpected events as well as longer-term changes in consumption habits affect demand patterns. On the production side, the increasing penetration of intermittent power generation significantly changes the forecasting needs. We address this challenge in two ways. First, our setting is adaptive ; our models take into account the most recent observations available to automatically respond to changes in the underlying process. Second, we consider probabilistic rather than point forecasting; indeed, uncertainty quantification is required to operate electricity systems efficiently and reliably. Our methodology relies on the Kalman filter, previously used successfully for adaptive point load forecasting. The probabilistic forecasts are obtained by quantile regressions on the residuals of the point forecasting model. We achieve adaptive quantile regressions using the online gradient descent; we avoid the choice of the gradient step size considering multiple learning rates and aggregation of experts. We apply the method to two data sets: the regional net-load in Great Britain and the demand of seven large cities in the United States. Adaptive procedures improve forecast performance substantially in both use cases for both point and probabilistic forecasting

Modèles espace-état pour la prévision de séries temporelles. Application aux marchés électriques

Electricity storage capacities are still negligible compared to the demand. Therefore, it is fundamental to maintain the equilibrium between consumption and production, and to that end, we need load forecasting. Numerous patterns motivate the study of time-varying models, including: changes in people's habits, increasing renewable capacities, more recently the coronavirus crisis. This thesis aims to propose adaptive methods for time series forecasting. We focus on state-space models, where the environment (or context) is represented by a hidden state on which the demand depends. Thus, we try to estimate that state based on the observations at our disposal. Based on our estimate, we forecast the load. The first objective of the thesis is to enrich the link between optimization and state-space estimation. Indeed, we see our methods as second-order stochastic gradient descent algorithms, and we treat a particular case to detail that link. The second contribution concerns variance estimation in state-space models. Indeed, the variances are the parameters on which the models' dynamics crucially relies. The third part of the manuscript is the application of these methods to electricity load forecasting. Our methods build on existing forecasting methods like generalized additive models. The procedure allows to leverage advantages of both. On the one hand, statistical models learn complex relations to explanatory variables like temperature. On the other hand, state-space methods yield model adaptation.L'électricité étant difficile à stocker, prévoir la demande est un enjeu majeur pour maintenir l'équilibre entre la production et la consommation. L'évolution des usages de l'électricité, le déploiement des énergies renouvelables, et plus récemment la crise du coronavirus, motivent l'étude de modèles qui évoluent au cours du temps, pour tenir compte des changements de comportements. L'objectif de ce travail est de proposer des méthodes adaptatives de prévision, et nous nous sommes intéressés tout spécialement au cadre des modèles espace-état. Dans ce paradigme, on représente l'environnement (ou le contexte) par un état caché. À chaque instant, la demande dépend de cet état que nous cherchons donc à estimer grâce aux observations dont nous disposons, et selon les hypothèses que l'on effectue sur la dynamique du système. L'estimation de l'état nous permet ensuite de prévoir la demande. Un premier objectif de la thèse est de contribuer au lien entre l'optimisation et l'estimation dans les modèles espace-état. Nous interprétons en effet les méthodes que nous utilisons comme diverses façons de paramétrer un algorithme de descente de gradient de second ordre, et nous avons détaillé ce lien dans un cas particulier. Une seconde contribution de la thèse est de proposer différentes méthodes d'estimation dans les modèles espace-état. Le principal enjeu nous semble être de définir la dynamique avec lequel évolue l'état, et nous proposons deux méthodes dans ce but. Le troisième apport de ce manuscrit est d'appliquer ces méthodes espace-état à la prévision de consommation d'électricité. Nos prévisions s'appuient sur des modèles de prévision existants, par exemple le modèle additif généralisé, que nous cherchons à adapter. Ainsi, nous tirons parti de certaines dépendances complexes capturées par les modèles existants, par exemple la sensibilité de la consommation d'électricité à la température, tout en profitant de la faculté d'adaptation des modèles espace-état

State-Space Models for Time Series Forecasting. Application to the Electricity Markets

L'électricité étant difficile à stocker, prévoir la demande est un enjeu majeur pour maintenir l'équilibre entre la production et la consommation. L'évolution des usages de l'électricité, le déploiement des énergies renouvelables, et plus récemment la crise du coronavirus, motivent l'étude de modèles qui évoluent au cours du temps, pour tenir compte des changements de comportements. L'objectif de ce travail est de proposer des méthodes adaptatives de prévision, et nous nous sommes intéressés tout spécialement au cadre des modèles espace-état. Dans ce paradigme, on représente l'environnement (ou le contexte) par un état caché. À chaque instant, la demande dépend de cet état que nous cherchons donc à estimer grâce aux observations dont nous disposons, et selon les hypothèses que l'on effectue sur la dynamique du système. L'estimation de l'état nous permet ensuite de prévoir la demande. Un premier objectif de la thèse est de contribuer au lien entre l'optimisation et l'estimation dans les modèles espace-état. Nous interprétons en effet les méthodes que nous utilisons comme diverses façons de paramétrer un algorithme de descente de gradient de second ordre, et nous avons détaillé ce lien dans un cas particulier. Une seconde contribution de la thèse est de proposer différentes méthodes d'estimation dans les modèles espace-état. Le principal enjeu nous semble être de définir la dynamique avec lequel évolue l'état, et nous proposons deux méthodes dans ce but. Le troisième apport de ce manuscrit est d'appliquer ces méthodes espace-état à la prévision de consommation d'électricité. Nos prévisions s'appuient sur des modèles de prévision existants, par exemple le modèle additif généralisé, que nous cherchons à adapter. Ainsi, nous tirons parti de certaines dépendances complexes capturées par les modèles existants, par exemple la sensibilité de la consommation d'électricité à la température, tout en profitant de la faculté d'adaptation des modèles espace-état.Electricity storage capacities are still negligible compared to the demand. Therefore, it is fundamental to maintain the equilibrium between consumption and production, and to that end, we need load forecasting. Numerous patterns motivate the study of time-varying models, including: changes in people's habits, increasing renewable capacities, more recently the coronavirus crisis. This thesis aims to propose adaptive methods for time series forecasting. We focus on state-space models, where the environment (or context) is represented by a hidden state on which the demand depends. Thus, we try to estimate that state based on the observations at our disposal. Based on our estimate, we forecast the load. The first objective of the thesis is to enrich the link between optimization and state-space estimation. Indeed, we see our methods as second-order stochastic gradient descent algorithms, and we treat a particular case to detail that link. The second contribution concerns variance estimation in state-space models. Indeed, the variances are the parameters on which the models' dynamics crucially relies. The third part of the manuscript is the application of these methods to electricity load forecasting. Our methods build on existing forecasting methods like generalized additive models. The procedure allows to leverage advantages of both. On the one hand, statistical models learn complex relations to explanatory variables like temperature. On the other hand, state-space methods yield model adaptation

Modèles espace-état pour la prévision de séries temporelles. Application aux marchés électriques

Electricity storage capacities are still negligible compared to the demand. Therefore, it is fundamental to maintain the equilibrium between consumption and production, and to that end, we need load forecasting. Numerous patterns motivate the study of time-varying models, including: changes in people's habits, increasing renewable capacities, more recently the coronavirus crisis. This thesis aims to propose adaptive methods for time series forecasting. We focus on state-space models, where the environment (or context) is represented by a hidden state on which the demand depends. Thus, we try to estimate that state based on the observations at our disposal. Based on our estimate, we forecast the load. The first objective of the thesis is to enrich the link between optimization and state-space estimation. Indeed, we see our methods as second-order stochastic gradient descent algorithms, and we treat a particular case to detail that link. The second contribution concerns variance estimation in state-space models. Indeed, the variances are the parameters on which the models' dynamics crucially relies. The third part of the manuscript is the application of these methods to electricity load forecasting. Our methods build on existing forecasting methods like generalized additive models. The procedure allows to leverage advantages of both. On the one hand, statistical models learn complex relations to explanatory variables like temperature. On the other hand, state-space methods yield model adaptation.L'électricité étant difficile à stocker, prévoir la demande est un enjeu majeur pour maintenir l'équilibre entre la production et la consommation. L'évolution des usages de l'électricité, le déploiement des énergies renouvelables, et plus récemment la crise du coronavirus, motivent l'étude de modèles qui évoluent au cours du temps, pour tenir compte des changements de comportements. L'objectif de ce travail est de proposer des méthodes adaptatives de prévision, et nous nous sommes intéressés tout spécialement au cadre des modèles espace-état. Dans ce paradigme, on représente l'environnement (ou le contexte) par un état caché. À chaque instant, la demande dépend de cet état que nous cherchons donc à estimer grâce aux observations dont nous disposons, et selon les hypothèses que l'on effectue sur la dynamique du système. L'estimation de l'état nous permet ensuite de prévoir la demande. Un premier objectif de la thèse est de contribuer au lien entre l'optimisation et l'estimation dans les modèles espace-état. Nous interprétons en effet les méthodes que nous utilisons comme diverses façons de paramétrer un algorithme de descente de gradient de second ordre, et nous avons détaillé ce lien dans un cas particulier. Une seconde contribution de la thèse est de proposer différentes méthodes d'estimation dans les modèles espace-état. Le principal enjeu nous semble être de définir la dynamique avec lequel évolue l'état, et nous proposons deux méthodes dans ce but. Le troisième apport de ce manuscrit est d'appliquer ces méthodes espace-état à la prévision de consommation d'électricité. Nos prévisions s'appuient sur des modèles de prévision existants, par exemple le modèle additif généralisé, que nous cherchons à adapter. Ainsi, nous tirons parti de certaines dépendances complexes capturées par les modèles existants, par exemple la sensibilité de la consommation d'électricité à la température, tout en profitant de la faculté d'adaptation des modèles espace-état

Modèles espace-état pour la prévision de séries temporelles. Application aux marchés électriques

Electricity storage capacities are still negligible compared to the demand. Therefore, it is fundamental to maintain the equilibrium between consumption and production, and to that end, we need load forecasting. Numerous patterns motivate the study of time-varying models, including: changes in people's habits, increasing renewable capacities, more recently the coronavirus crisis. This thesis aims to propose adaptive methods for time series forecasting. We focus on state-space models, where the environment (or context) is represented by a hidden state on which the demand depends. Thus, we try to estimate that state based on the observations at our disposal. Based on our estimate, we forecast the load. The first objective of the thesis is to enrich the link between optimization and state-space estimation. Indeed, we see our methods as second-order stochastic gradient descent algorithms, and we treat a particular case to detail that link. The second contribution concerns variance estimation in state-space models. Indeed, the variances are the parameters on which the models' dynamics crucially relies. The third part of the manuscript is the application of these methods to electricity load forecasting. Our methods build on existing forecasting methods like generalized additive models. The procedure allows to leverage advantages of both. On the one hand, statistical models learn complex relations to explanatory variables like temperature. On the other hand, state-space methods yield model adaptation.L'électricité étant difficile à stocker, prévoir la demande est un enjeu majeur pour maintenir l'équilibre entre la production et la consommation. L'évolution des usages de l'électricité, le déploiement des énergies renouvelables, et plus récemment la crise du coronavirus, motivent l'étude de modèles qui évoluent au cours du temps, pour tenir compte des changements de comportements. L'objectif de ce travail est de proposer des méthodes adaptatives de prévision, et nous nous sommes intéressés tout spécialement au cadre des modèles espace-état. Dans ce paradigme, on représente l'environnement (ou le contexte) par un état caché. À chaque instant, la demande dépend de cet état que nous cherchons donc à estimer grâce aux observations dont nous disposons, et selon les hypothèses que l'on effectue sur la dynamique du système. L'estimation de l'état nous permet ensuite de prévoir la demande. Un premier objectif de la thèse est de contribuer au lien entre l'optimisation et l'estimation dans les modèles espace-état. Nous interprétons en effet les méthodes que nous utilisons comme diverses façons de paramétrer un algorithme de descente de gradient de second ordre, et nous avons détaillé ce lien dans un cas particulier. Une seconde contribution de la thèse est de proposer différentes méthodes d'estimation dans les modèles espace-état. Le principal enjeu nous semble être de définir la dynamique avec lequel évolue l'état, et nous proposons deux méthodes dans ce but. Le troisième apport de ce manuscrit est d'appliquer ces méthodes espace-état à la prévision de consommation d'électricité. Nos prévisions s'appuient sur des modèles de prévision existants, par exemple le modèle additif généralisé, que nous cherchons à adapter. Ainsi, nous tirons parti de certaines dépendances complexes capturées par les modèles existants, par exemple la sensibilité de la consommation d'électricité à la température, tout en profitant de la faculté d'adaptation des modèles espace-état