Safe reinforcement learning with self-improving hard constraints for multi-energy management systems

Safe reinforcement learning (RL) with hard constraint guarantees is a promising optimal control direction for multi-energy management systems. It only requires the environment-specific constraint functions itself a prior and not a complete model (i.e. plant, disturbance and noise models, and prediction models for states not included in the plant model - e.g. demand, weather, and price forecasts). The project-specific upfront and ongoing engineering efforts are therefore still reduced, better representations of the underlying system dynamics can still be learned and modeling bias is kept to a minimum (no model-based objective function). However, even the constraint functions alone are not always trivial to accurately provide in advance (e.g. an energy balance constraint requires the detailed determination of all energy inputs and outputs), leading to potentially unsafe behavior. In this paper, we present two novel advancements: (I) combining the Optlayer and SafeFallback method, named OptLayerPolicy, to increase the initial utility while keeping a high sample efficiency. (II) introducing self-improving hard constraints, to increase the accuracy of the constraint functions as more data becomes available so that better policies can be learned. Both advancements keep the constraint formulation decoupled from the RL formulation, so that new (presumably better) RL algorithms can act as drop-in replacements. We have shown that, in a simulated multi-energy system case study, the initial utility is increased to 92.4% (OptLayerPolicy) compared to 86.1% (OptLayer) and that the policy after training is increased to 104.9% (GreyOptLayerPolicy) compared to 103.4% (OptLayer) - all relative to a vanilla RL benchmark. While introducing surrogate functions into the optimization problem requires special attention, we do conclude that the newly presented GreyOptLayerPolicy method is the most advantageous.Comment: 4579 words. arXiv admin note: text overlap with arXiv:2207.0383

Vers une décentralisation des stratégies de gestion de la tension pour les systèmes de distribution intelligents : application aux communautés énergétiques

Nowadays, the distribution power systems are facing a massive integration of distributed energy resources (DERs) that are dominated by distributed photovoltaic (PV) systems.Unfortunately, the expansion of DERs introduces new operational challenges for the distribution system operators (DSOs). Especially, massive integrations of PV systems can lead to unpredictable network flows that eventually cause voltage problems which affect the quality of the power supply.The Smart distribution systems (SDS) are the key concept to overcome such challenges. SDS will enable new types of flexibilities in distribution grid and help DSOs to better optimize their operation by involving different stakeholders, including prosumers. In the context of voltage management, SDS can enable direct participation of prosumers in the control scheme, namely customer side control. To achieve this, new algorithms and methodologies are required, to ensure both technical and non-technical aspects in the voltage control schemes can be satisfied across all the actors.Therefore, this thesis focuses on model-based voltage controller in the context of SDS. The first part focuses on the development of model-based voltage controllers that creates the main building block of the research. Two of the main development challenges are addressed. first, the model-based voltage controller algorithms shall be able to adapt under wide-variety of use cases. This includes the possibility of implementing different control objectives or integrating different type of flexibilities such as energy storage system (ESS). The second challenge deals with the customer side control, notably to enable active participant of the prosumers in the voltage management. Decentralized voltage management is the key answer for this. By using decentralized architecture, coordination schemes among different actors can be established. Moreover, it able to address major limitations of the conventional centralized model-based voltage controller in terms of reliability, scalability and privacy concerns.The second part of the thesis deals with grid parameter uncertainties in the model-based voltage controller. Six different impedance estimation methodologies, including two distributed approaches, are proposed. A framework to compare the performance of these methods is also developed. Then, robustness tests are conducted, which aim to observe the impact of measurement uncertainties to the performance of the proposed methodologies. Lastly, an impedance parameter tuning algorithm is developed that is utilized to fine-tune the impedance estimation over successive runs of voltage management.The final part is dedicated to the application of voltage management in energy communities. This aspect is mainly missing in the literature and becomes the main goal of this thesis. the developed distributed algorithm block is then applied to implement a management strategy for local energy communities under the French regulation for collective self-consumption. The methodology covers both economic and technical difficulties on a real-world implementation. In particular, we demonstrate how prosumers can share energy collectively and how to determine the amount of energy and benefit allocation among them. Moreover, the strategy seeks to mitigate any uncertainties on real-time operation while ensuring the fulfilment of grid constraints.De nos jours, les réseaux de distribution d'électricité sont confrontés à une intégration massive de ressources énergétiques distribuées (DERs), dominées par les systèmes photovoltaïques distribués (PV). Malheureusement, l'expansion des DERs introduit de nouveaux défis opérationnels pour les gestionnaires de réseaux de distribution (DSOs). En particulier, les intégrations massives de systèmes photovoltaïques peuvent entraîner des flux de réseau imprévisibles qui finissent par causer des problèmes de tension affectant la qualité de l'alimentation électrique.Les Smart distribution systems (SDS) sont le concept clé pour surmonter ces défis. Les SDS permettront de nouveaux types de flexibilités dans le réseau de distribution et aideront les DSOs à mieux optimiser leur fonctionnement en impliquant les différentes parties prenantes, y compris les prosommateurs. Dans le contexte de la gestion de la tension, les SDS peuvent permettre la participation directe des consommateurs au système de contrôle, à savoir le contrôle côté client. Pour y parvenir, de nouveaux algorithmes et de nouvelles méthodologies sont nécessaires, afin de garantir que les aspects techniques et non techniques des schémas de contrôle de la tension puissent être satisfaits par tous les acteurs.Cette thèse se concentre sur le contrôle de tension basé sur un modèle dans le contexte des SDS. La première partie se concentre sur le développement de contrôleurs de tension basés sur des modèles, ce qui crée le principal élément de base de la recherche. Deux des principaux défis de développement sont abordés. Premièrement, les algorithmes du contrôleur de tension à base de modèle doivent être capables de s'adapter à une grande variété de cas d'utilisation. Cela inclut la possibilité de mettre en œuvre différents objectifs de contrôle ou d'intégrer différents types de flexibilités tels que des systèmes de stockage d'énergie (ESS). Le deuxième défi concerne le contrôle côté client, notamment pour permettre une participation active des consommateurs à la gestion de la tension. La gestion décentralisée de la tension est la réponse clé à ce problème. En utilisant une architecture décentralisée, des schémas de coordination entre les différents acteurs peuvent être établis. De plus, elle permet de répondre aux limitations majeures du contrôleur de tension centralisé conventionnel basé sur un modèle en termes de fiabilité, d'évolutivité et de confidentialité.La deuxième partie de la thèse traite des incertitudes des paramètres du réseau dans le contrôleur de tension basé sur un modèle. Six méthodologies différentes d'estimation de l'impédance, dont deux approches distribuées, sont proposées. Un cadre pour comparer les performances de ces méthodes est également développé. Ensuite, des tests de robustesse sont effectués, qui visent à observer l'impact des incertitudes de mesure sur la performance des méthodologies proposées. Enfin, un algorithme d'ajustement des paramètres d'impédance est développé afin d'affiner l'estimation de l'impédance lors des passages successifs de la gestion de la tension.La dernière partie est dédiée à l'application de la gestion de la tension dans les communautés énergétiques. Cet aspect est principalement absent de la littérature et devient l'objectif principal de cette thèse. Le bloc d'algorithme distribué développé est ensuite appliqué pour mettre en œuvre une stratégie de gestion pour les communautés énergétiques locales dans le cadre de la réglementation française pour l'autoconsommation collective. La méthodologie couvre à la fois les difficultés économiques et techniques d'une implémentation dans le monde réel. En particulier, nous démontrons comment les prosommateurs peuvent partager l'énergie collectivement et comment déterminer la quantité d'énergie et la répartition des bénéfices entre eux. De plus, la stratégie cherche à atténuer les incertitudes sur le fonctionnement en temps réel tout en assurant le respect des contraintes du réseau

Vers une décentralisation des stratégies de gestion de la tension pour les systèmes de distribution intelligents : application aux communautés énergétiques

Nowadays, the distribution power systems are facing a massive integration of distributed energy resources (DERs) that are dominated by distributed photovoltaic (PV) systems.Unfortunately, the expansion of DERs introduces new operational challenges for the distribution system operators (DSOs). Especially, massive integrations of PV systems can lead to unpredictable network flows that eventually cause voltage problems which affect the quality of the power supply.The Smart distribution systems (SDS) are the key concept to overcome such challenges. SDS will enable new types of flexibilities in distribution grid and help DSOs to better optimize their operation by involving different stakeholders, including prosumers. In the context of voltage management, SDS can enable direct participation of prosumers in the control scheme, namely customer side control. To achieve this, new algorithms and methodologies are required, to ensure both technical and non-technical aspects in the voltage control schemes can be satisfied across all the actors.Therefore, this thesis focuses on model-based voltage controller in the context of SDS. The first part focuses on the development of model-based voltage controllers that creates the main building block of the research. Two of the main development challenges are addressed. first, the model-based voltage controller algorithms shall be able to adapt under wide-variety of use cases. This includes the possibility of implementing different control objectives or integrating different type of flexibilities such as energy storage system (ESS). The second challenge deals with the customer side control, notably to enable active participant of the prosumers in the voltage management. Decentralized voltage management is the key answer for this. By using decentralized architecture, coordination schemes among different actors can be established. Moreover, it able to address major limitations of the conventional centralized model-based voltage controller in terms of reliability, scalability and privacy concerns.The second part of the thesis deals with grid parameter uncertainties in the model-based voltage controller. Six different impedance estimation methodologies, including two distributed approaches, are proposed. A framework to compare the performance of these methods is also developed. Then, robustness tests are conducted, which aim to observe the impact of measurement uncertainties to the performance of the proposed methodologies. Lastly, an impedance parameter tuning algorithm is developed that is utilized to fine-tune the impedance estimation over successive runs of voltage management.The final part is dedicated to the application of voltage management in energy communities. This aspect is mainly missing in the literature and becomes the main goal of this thesis. the developed distributed algorithm block is then applied to implement a management strategy for local energy communities under the French regulation for collective self-consumption. The methodology covers both economic and technical difficulties on a real-world implementation. In particular, we demonstrate how prosumers can share energy collectively and how to determine the amount of energy and benefit allocation among them. Moreover, the strategy seeks to mitigate any uncertainties on real-time operation while ensuring the fulfilment of grid constraints.De nos jours, les réseaux de distribution d'électricité sont confrontés à une intégration massive de ressources énergétiques distribuées (DERs), dominées par les systèmes photovoltaïques distribués (PV). Malheureusement, l'expansion des DERs introduit de nouveaux défis opérationnels pour les gestionnaires de réseaux de distribution (DSOs). En particulier, les intégrations massives de systèmes photovoltaïques peuvent entraîner des flux de réseau imprévisibles qui finissent par causer des problèmes de tension affectant la qualité de l'alimentation électrique.Les Smart distribution systems (SDS) sont le concept clé pour surmonter ces défis. Les SDS permettront de nouveaux types de flexibilités dans le réseau de distribution et aideront les DSOs à mieux optimiser leur fonctionnement en impliquant les différentes parties prenantes, y compris les prosommateurs. Dans le contexte de la gestion de la tension, les SDS peuvent permettre la participation directe des consommateurs au système de contrôle, à savoir le contrôle côté client. Pour y parvenir, de nouveaux algorithmes et de nouvelles méthodologies sont nécessaires, afin de garantir que les aspects techniques et non techniques des schémas de contrôle de la tension puissent être satisfaits par tous les acteurs.Cette thèse se concentre sur le contrôle de tension basé sur un modèle dans le contexte des SDS. La première partie se concentre sur le développement de contrôleurs de tension basés sur des modèles, ce qui crée le principal élément de base de la recherche. Deux des principaux défis de développement sont abordés. Premièrement, les algorithmes du contrôleur de tension à base de modèle doivent être capables de s'adapter à une grande variété de cas d'utilisation. Cela inclut la possibilité de mettre en œuvre différents objectifs de contrôle ou d'intégrer différents types de flexibilités tels que des systèmes de stockage d'énergie (ESS). Le deuxième défi concerne le contrôle côté client, notamment pour permettre une participation active des consommateurs à la gestion de la tension. La gestion décentralisée de la tension est la réponse clé à ce problème. En utilisant une architecture décentralisée, des schémas de coordination entre les différents acteurs peuvent être établis. De plus, elle permet de répondre aux limitations majeures du contrôleur de tension centralisé conventionnel basé sur un modèle en termes de fiabilité, d'évolutivité et de confidentialité.La deuxième partie de la thèse traite des incertitudes des paramètres du réseau dans le contrôleur de tension basé sur un modèle. Six méthodologies différentes d'estimation de l'impédance, dont deux approches distribuées, sont proposées. Un cadre pour comparer les performances de ces méthodes est également développé. Ensuite, des tests de robustesse sont effectués, qui visent à observer l'impact des incertitudes de mesure sur la performance des méthodologies proposées. Enfin, un algorithme d'ajustement des paramètres d'impédance est développé afin d'affiner l'estimation de l'impédance lors des passages successifs de la gestion de la tension.La dernière partie est dédiée à l'application de la gestion de la tension dans les communautés énergétiques. Cet aspect est principalement absent de la littérature et devient l'objectif principal de cette thèse. Le bloc d'algorithme distribué développé est ensuite appliqué pour mettre en œuvre une stratégie de gestion pour les communautés énergétiques locales dans le cadre de la réglementation française pour l'autoconsommation collective. La méthodologie couvre à la fois les difficultés économiques et techniques d'une implémentation dans le monde réel. En particulier, nous démontrons comment les prosommateurs peuvent partager l'énergie collectivement et comment déterminer la quantité d'énergie et la répartition des bénéfices entre eux. De plus, la stratégie cherche à atténuer les incertitudes sur le fonctionnement en temps réel tout en assurant le respect des contraintes du réseau

Towards Decentralization of Voltage Management Strategies for Smart Distribution Systems : application to energy communities

De nos jours, les réseaux de distribution d'électricité sont confrontés à une intégration massive de ressources énergétiques distribuées (DERs), dominées par les systèmes photovoltaïques distribués (PV). Malheureusement, l'expansion des DERs introduit de nouveaux défis opérationnels pour les gestionnaires de réseaux de distribution (DSOs). En particulier, les intégrations massives de systèmes photovoltaïques peuvent entraîner des flux de réseau imprévisibles qui finissent par causer des problèmes de tension affectant la qualité de l'alimentation électrique.Les Smart distribution systems (SDS) sont le concept clé pour surmonter ces défis. Les SDS permettront de nouveaux types de flexibilités dans le réseau de distribution et aideront les DSOs à mieux optimiser leur fonctionnement en impliquant les différentes parties prenantes, y compris les prosommateurs. Dans le contexte de la gestion de la tension, les SDS peuvent permettre la participation directe des consommateurs au système de contrôle, à savoir le contrôle côté client. Pour y parvenir, de nouveaux algorithmes et de nouvelles méthodologies sont nécessaires, afin de garantir que les aspects techniques et non techniques des schémas de contrôle de la tension puissent être satisfaits par tous les acteurs.Cette thèse se concentre sur le contrôle de tension basé sur un modèle dans le contexte des SDS. La première partie se concentre sur le développement de contrôleurs de tension basés sur des modèles, ce qui crée le principal élément de base de la recherche. Deux des principaux défis de développement sont abordés. Premièrement, les algorithmes du contrôleur de tension à base de modèle doivent être capables de s'adapter à une grande variété de cas d'utilisation. Cela inclut la possibilité de mettre en œuvre différents objectifs de contrôle ou d'intégrer différents types de flexibilités tels que des systèmes de stockage d'énergie (ESS). Le deuxième défi concerne le contrôle côté client, notamment pour permettre une participation active des consommateurs à la gestion de la tension. La gestion décentralisée de la tension est la réponse clé à ce problème. En utilisant une architecture décentralisée, des schémas de coordination entre les différents acteurs peuvent être établis. De plus, elle permet de répondre aux limitations majeures du contrôleur de tension centralisé conventionnel basé sur un modèle en termes de fiabilité, d'évolutivité et de confidentialité.La deuxième partie de la thèse traite des incertitudes des paramètres du réseau dans le contrôleur de tension basé sur un modèle. Six méthodologies différentes d'estimation de l'impédance, dont deux approches distribuées, sont proposées. Un cadre pour comparer les performances de ces méthodes est également développé. Ensuite, des tests de robustesse sont effectués, qui visent à observer l'impact des incertitudes de mesure sur la performance des méthodologies proposées. Enfin, un algorithme d'ajustement des paramètres d'impédance est développé afin d'affiner l'estimation de l'impédance lors des passages successifs de la gestion de la tension.La dernière partie est dédiée à l'application de la gestion de la tension dans les communautés énergétiques. Cet aspect est principalement absent de la littérature et devient l'objectif principal de cette thèse. Le bloc d'algorithme distribué développé est ensuite appliqué pour mettre en œuvre une stratégie de gestion pour les communautés énergétiques locales dans le cadre de la réglementation française pour l'autoconsommation collective. La méthodologie couvre à la fois les difficultés économiques et techniques d'une implémentation dans le monde réel. En particulier, nous démontrons comment les prosommateurs peuvent partager l'énergie collectivement et comment déterminer la quantité d'énergie et la répartition des bénéfices entre eux. De plus, la stratégie cherche à atténuer les incertitudes sur le fonctionnement en temps réel tout en assurant le respect des contraintes du réseau.Nowadays, the distribution power systems are facing a massive integration of distributed energy resources (DERs) that are dominated by distributed photovoltaic (PV) systems.Unfortunately, the expansion of DERs introduces new operational challenges for the distribution system operators (DSOs). Especially, massive integrations of PV systems can lead to unpredictable network flows that eventually cause voltage problems which affect the quality of the power supply.The Smart distribution systems (SDS) are the key concept to overcome such challenges. SDS will enable new types of flexibilities in distribution grid and help DSOs to better optimize their operation by involving different stakeholders, including prosumers. In the context of voltage management, SDS can enable direct participation of prosumers in the control scheme, namely customer side control. To achieve this, new algorithms and methodologies are required, to ensure both technical and non-technical aspects in the voltage control schemes can be satisfied across all the actors.Therefore, this thesis focuses on model-based voltage controller in the context of SDS. The first part focuses on the development of model-based voltage controllers that creates the main building block of the research. Two of the main development challenges are addressed. first, the model-based voltage controller algorithms shall be able to adapt under wide-variety of use cases. This includes the possibility of implementing different control objectives or integrating different type of flexibilities such as energy storage system (ESS). The second challenge deals with the customer side control, notably to enable active participant of the prosumers in the voltage management. Decentralized voltage management is the key answer for this. By using decentralized architecture, coordination schemes among different actors can be established. Moreover, it able to address major limitations of the conventional centralized model-based voltage controller in terms of reliability, scalability and privacy concerns.The second part of the thesis deals with grid parameter uncertainties in the model-based voltage controller. Six different impedance estimation methodologies, including two distributed approaches, are proposed. A framework to compare the performance of these methods is also developed. Then, robustness tests are conducted, which aim to observe the impact of measurement uncertainties to the performance of the proposed methodologies. Lastly, an impedance parameter tuning algorithm is developed that is utilized to fine-tune the impedance estimation over successive runs of voltage management.The final part is dedicated to the application of voltage management in energy communities. This aspect is mainly missing in the literature and becomes the main goal of this thesis. the developed distributed algorithm block is then applied to implement a management strategy for local energy communities under the French regulation for collective self-consumption. The methodology covers both economic and technical difficulties on a real-world implementation. In particular, we demonstrate how prosumers can share energy collectively and how to determine the amount of energy and benefit allocation among them. Moreover, the strategy seeks to mitigate any uncertainties on real-time operation while ensuring the fulfilment of grid constraints

Mitigation of grid parameter uncertainties for the steady-state operation of a model-based voltage controller in distribution systems

International audienceThis paper deals with the impact of line impedances uncertainties on model-based voltage controllers for distribution networks in the context of secondary to tertiary control levels (i.e., 30 minutes control horizon). The study proposes two methodologies: i) centralized and ii) distributed approaches, to estimate grid impedances by relying on static historical measurement data and adjust the parameters of a model-based voltage controller. Furthermore, an online impedance tuning scheme is proposed to successively fine-tune the impedance estimation over successive control periods (along several days). The simulations results highlight the preciseness of the proposed methodologies, with both centralized and distributed able to estimate the grid impedances within an acceptable accuracy (between 4 % and 7 % of error). Moreover, the proposed tuning algorithm shows to be very effective, where the estimation error can be lowered under 1 %. Finally, robustness studies are performed to test the proposed methodologies in the presence of measurement noises. Through this study, the robustness of the proposed tuning scheme can be validated, in which the algorithm is able to correct massive impedance errors after three months of tuning rounds only

Reinforcement learning for robust voltage control in distribution grids under uncertainties

International audienceTraditional optimization-based voltage controllers for distribution grid applications require consumption/production values from the meters as well as accurate grid data (i.e., line impedances) for modeling purposes. Those algorithms are sensitive to uncertainties, notably in consumption and production forecasts or grid models. This paper focuses on the latter. Indeed, line parameters gradually deviate from their original values over time due to exploitation and weather conditions. Also, those data are oftentimes not fully available at the low voltage side thus creating sudden changes between the datasheet and the actual value. To mitigate the impact of uncertain line parameters, this paper proposes the use of a deep reinforcement learning algorithm for voltage regulation purposes in a distribution grid with PV production by controlling the setpoints of distributed storage units as flexibilities. Two algorithms are considered, namely TD3PG and PPO. A two-stage strategy is also proposed, with offline training on a grid model and further online training on an actual system (with distinct impedance values). The controllers' performances are assessed concerning the algorithms' hyperparameters, and the obtained results are compared with a second-order conic relaxation optimization-based control. The results show the relevance of the RL-based control, in terms of accuracy, robustness to gradual or sudden variations on the line impedances, and significant speed improvement (once trained). Validation runs are performed on a simple 11-bus system before the method's scalability is tested on a 55-bus network