Supervisory control of microgrids using deep reinforcement learning

As microrredes surgiram devido à necessidade de se coordenar um novo modelo de geração em ascensão, a geração distribuída, com sistemas de armazenamento de energia e cargas locais. Esse tipo de rede é um sistema complexo e há diversas proposições de como controlá-lo de forma a permitir a sua operação conectada ao sistema de distribuição ou ilhada. Além disso, para um melhor desempenho do controle da microrrede, é preciso que este se adapte aos seus diferentes pontos de operação. O controle de microrredes pode ser dividido em três níveis hierárquicos que diferem em tempo de resposta, objetivos de controle e necessidade de comunicação. Por tratar-se de um tema recente, ainda há espaço para novas análises e contribuições. Neste sentido, o objetivo deste estudo foi modelar o controlador supervisório de uma microrrede ilhada, utilizando um algoritmo de deep reinforcement learning denominado de deep deterministic policy gradient. A microrrede modelada para o estudo, possui um gerador síncrono, dois sistemas de armazenamento de energia por baterias e um gerador fotovoltaico. O controlador proposto faz a leitura das tensões terminais dos recursos distribuídos de energia e da frequência da rede e atua nas potências ativas e reativas com o intuito de manter as variáveis de controle o mais próximo possível da referência. O desempenho do controlador proposto foi comparado a um esquema utilizando o método droop convencional, por meio da simulação de três cenários: i) desconexão e conexão programada de alimentado; ii) Aplicação de curto-circuito com posterior abertura de disjuntor para isolar a falha; e iii) Desconexão da maior carga do sistema. A priori, almejava-se uma melhora expressiva do controlador inteligente em comparação ao droop. Pelos resultados obtidos, não houve uma superioridade do controlador inteligente com relação ao droop, mas pode-se dizer que seu desempenho foi equivalente. Em alguns casos, o droop teve um desempenho mais adequado na minimização das oscilações de frequência e tensão, enquanto que, em outros, o comportamento da metodologia abordada foi mais conveniente.The microgrids emerged due to the need to coordinate an ascending new generation model, the distributed generation, with energy storage systems and local loads. This type of grid is a complex system and several proposals have been made to control it and ensure that the microgrid operates both connected to the main grid and islanded. Besides that, the microgrid control needs to adapt to its different operating points to maintain acceptable performance. In order to obtain promising results, the microgrid control is usually divided into three hierarchical levels, that differ in terms of speed response, control objectives, and communication requirements. However, this subject is recent and there is still room for new contributions and analysis about microgrid control. Taking that into account, this research project aims to model an intelligent supervisory controller of an islanded microgrid using the Deep Deterministic Policy Gradient, which is a deep reinforcement learning algorithm. The modelled microgrid comprises a synchronous generator, two battery energy storage systems, and a photovoltaic generator. The proposed controller reads the energy resources terminal voltages and the grid frequency and varies the storage elements\' power to keep these variables near their nominal values. The proposed controller performance was compared to the droop control, using the simulation of three scenarios: i) Disconnection and reconnection of a feeder; ii) A short-circuit event with subsequent breaker tripping to isolate it; and iii) Disconnection of the microgrid\'s biggest load. Initially, a noticiable improvement in the intelligent controller was expected compared to the droop. However, the results showed that the intelligent control performed similarly to the droop control. While the droop controller has minimised the voltage and frequency oscillations more conveniently in some scenarios, the opposite occurred considering the proposed methodology

Deep reinforcement learning-based secondary control for microgrids in islanded mode

Microgrids are generally low-inertia systems with a high penetration of renewable energy sources. The design of advanced control structures is required to keep these grids’ electrical variables within an acceptable range. In this context, the present article proposes an intelligent secondary controller for islanded microgrids using the Deep Deterministic Policy Gradient (DDPG). The DDPG controller changes the output power of the storage elements to secure the voltage and frequency stability. This work tested the designed controller for a microgrid that comprises a synchronous generator, two battery energy storage systems and one photovoltaic generator. The controller performance was compared to droop controllers, considering a short-circuit event, feeder and load disconnections. Results showed a consistent reduction of the microgrid’s voltage and frequency deviations with the DDPG algorithm.Peer ReviewedPostprint (author's final draft