Reinforcement Learning Based Penetration Testing of a Microgrid Control Algorithm

Microgrids (MGs) are small-scale power systems which interconnect distributed energy resources and loads within clearly defined regions. However, the digital infrastructure used in an MG to relay sensory information and perform control commands can potentially be compromised due to a cyberattack from a capable adversary. An MG operator is interested in knowing the inherent vulnerabilities in their system and should regularly perform Penetration Testing (PT) activities to prepare for such an event. PT generally involves looking for defensive coverage blindspots in software and hardware infrastructure, however the logic in control algorithms which act upon sensory information should also be considered in PT activities. This paper demonstrates a case study of PT for an MG control algorithm by using Reinforcement Learning (RL) to uncover malicious input which compromises the effectiveness of the controller. Through trial-and-error episodic interactions with a simulated MG, we train an RL agent to find malicious input which reduces the effectiveness of the MG controller

Models, methods and approaches for the planning and design of the future hydrogen supply chain

International audienceThe infrastructure of hydrogen presents many challenges and defies that need to be overcome for a successful transition to a future hydrogen economy. These challenges are mainly due to the existence of many technological options for the production, storage, transportation and end users. Given this main reason, it is essential to understand and analyze the hydrogen supply chain (HSC) in advance, in order to detect the important factors that may play increasing role in obtaining the optimal configuration. The objective of this paper is to review the current state of the available approaches for the planning and modeling of the hydrogen infrastructure. The decision support systems for the HSC may vary from paper to paper. In this paper, a classification of models and approaches has been done, and which includes mathematical optimization methods, decision support system based on geographic information system (GIS) and assessment plans to a better transition to HSC. The paper also highlights future challenges for the introduction of hydrogen. Overcoming these challenges may solve problems related to the transition to the future hydrogen economy

Système d'aide à la décision pour la durabilité des systèmes énergétiques renouvelables et des infrastructures d'hydrogène : modélisation, contrôle et analyse de risques

Thèse en co-tutelle : école nationale supérieure des mines de Paris, France et Università degli studi di Genova, ItaliaA transition to a renewable based energy system is crucial. Hydrogen produced from renewable energy sources (RES) offers the promise of a clean, sustainable energy carrier that can be produced from domestic energy resources around the globe. The production of hydrogen from renewable energy resources is not well understood. This complexity that exists comes from many facts such that related to the intermittent behaviour of renewable energy resources. The alternative fuels and energy carriers that are produced from the RES are challenging for the sustainable development of renewable energy. These systems need to be better investigated to first manage the flux of renewable energy and hence produce alternative fuel and energy. In addition, attention must be given to the technical feasibility of the hydrogen supply chain, which is mainly driven by uncertain, but clean solar and wind energy resources. Furthermore, the infrastructure of hydrogen presents many challenges and defies that need to be overcome for a successful transition to a future hydrogen economy. These challenges are mainly due to the existence of many technological options for the production, storage, transportation and end users. Given this main reason, it is essential to understand and analyse the hydrogen supply chain (HSC) in advance, in order to detect the important factors that may play increasing role in obtaining the optimal configuration.Compte tenu du caractère non durable des systèmes énergétiques actuel, il est nécessaire d'engager une transition énergétique durable fondée sur les ressources d'énergies renouvelables. L'hydrogène produit à partir des énergies renouvelables offre une solution prometteuse pour satisfaire les objectifs mondiaux de réduction des émissions de gaz à effet de serre et assurer une sécurité énergétique d'approvisionnement. L'utilisation d'un vecteur énergétique tel que l'hydrogène couplé aux ressources renouvelables offre une variété d'avantages sur plusieurs échelles. L'hydrogène a le potentiel de permettre l'exploitation des ressources renouvelables dans le secteur de transport. En effet, l'hydrogène dispose d'un potentiel de remplacer les carburants fossiles, assurant ainsi une réduction des émissions polluantes. L'hydrogène peut être alors une solution pour les défis énergétiques actuels, mais pour cela des barrières doivent être encore surmontées. Cette transition s'accompagne de plusieurs défis qui devraient être surmontés comme ceux liés aux caractères intermittents des ressources renouvelables. Une attention particulière doit être accordée à la faisabilité technique de la chaîne d'approvisionnement en hydrogène, qui est principalement entourée par le caractère intermittent des ressources renouvelables. Par ailleurs, l'infrastructure d'hydrogène présente de nombreuses difficultés qui doivent être surmontées pour une transition réussite vers une économie dépendante de l'hydrogène. Ces difficultés sont principalement dues à des obstacles purement économiques ainsi qu'à l'existence de nombreuses options technologiques pour la production, le stockage, le transport et l'utilisation d'hydrogène. Pour cette raison principale, il est primordial de comprendre et d'analyser la chaîne logistique d'hydrogène à l'avance, afin de détecter les facteurs importants qui peuvent jouer un rôle croissant dans l'élaboration d'une configuration optimale. Notre recherche est essentiellement focalisée sur la question suivante : Comment mettre en place un futur énergétique durable intégrant les énergies renouvelables et l'hydrogène?. Cette question est abordée par le biais du développement de nouveaux systèmes énergétiques fondés sur des innovations radicales. Ainsi, dans quel contexte l'infrastructure de l'hydrogène doit être développée en intégrant les critères liés aux risques de l'hydrogène