Previsão de demanda de energia elétrica de curto prazo utilizando abordagens de comitês de Wavenets

Orientador : Prof. Dr. Leandro dos Santos CoelhoDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa: Curitiba, 12/04/2017Inclui referências : f. 87-98Área de concentração: Sistemas eletrônicosResumo: A energia elétrica faz parte de um mercado que envolve agentes de geração, transmissão, distribuição e consumo que desejam maximizar seus lucros e minimizar suas despesas. Para isso precisam de um planejamento que tenha como base uma previsão de demanda precisa, já que um cenário pessimista pode levar ao despacho de mais geradores do que o necessário, reserva excessiva de matéria prima e aumento do custo de operação, e por outro lado um cenário otimista pode colocar o sistema elétrico em risco ou exigir a compra de energia no mercado livre a um preço alto. Por isso, a previsão de demanda tem sido empregada em áreas como o agendamento ótimo de geradores, planejamento da manutenção, planejamento da reserva hídrica, compreensão do padrão de consumo, planejamento da expansão e previsão de preços e ajuste de tarifas. Contudo, uma série de demanda é uma série temporal que possui não linearidades e componentes periódicos aleatórios como o clima, perfil dos usuários, eventos públicos, economia, medições erradas, e, consequentemente, um modelo de previsão linear pode não ser apropriado. Este trabalho utiliza diferentes abordagens para formar comitês de wavenets para a previsão de séries temporais de demanda de energia elétrica de curto prazo, os desempenhos são comparados com uma rede neural artificial perceptron multicamadas com função de ativação sigmoide na camada oculta, uma wavenet simples, com a média da última semana e com o modelo inocente. As séries de demanda adotadas, isto é, duas séries de demanda anuais reais com medições horárias, passam por um estágio de pré-processamento para remoção da tendência e normalização, e também para transformação dos valores da série em conjuntos de entrada e saída para o treinamento supervisionado. Emprega-se a estratégia de previsão um passo à frente e a avaliação das previsões é realizada pelo coeficiente de correlação múltipla ???? e também pela análise de correlação entre os resíduos. Para criação dos comitês utiliza-se a reamostragem com reposição, a validação cruzada e a dizimação de entradas, seleção construtiva, combinação pela média simples, moda, mediana e generalização empilhada. Os resultados dos testes de não linearidade demonstram que as duas séries consideradas são não lineares, e também constata-se a diminuição da assimetria dos dados após sua transformação. Do processo de seleção de variáveis obtém-se os atrasos máximos para cada série, valores passados que são utilizados como entradas, e percebe-se que são diferentes para cada série. O atraso máximo a ser utilizado como entrada tem influência na quantidade de amostras do conjunto de dados de entrada e saída. Uma característica dos resultados que se reflete em ambas as séries é o aumento do erro à medida que o horizonte de previsão aumenta. Os comitês de wavenets superam os demais modelos comparados, e, além do desempenho ser diferente para cada problema, o melhor método de aprendizado de comitê a ser utilizado também varia, bem como o horizonte de previsão máximo no qual os valores previstos se ajustam aos valores reais das séries. A qualidade das previsões é avaliada com testes de correlação dos resíduos. Palavras-chave: Wavenet. Previsão de demanda de energia elétrica. Comitês. Redes neurais artificiais.Abstract: Electricity is part of a market which involves generation, transmission, distribution and consumption agents that aim their profit maximization and expenses minimization. To achieve that, they need a planning based on an accurate load forecast, since a pessimistic scenario may lead to more generators dispatch than needed, excessive reservoir and high operating costs, and, on the other hand, an optimistic scenario may place the electrical system at risk or requiring demand electricity purchasing on the free market for a very high price. Hence, load forecasting has been employed in areas such as optimal dispatch, maintenance planning, hydric reservoir planning, consumption pattern understanding, expansion planning, price forecasting and tax adjustments. However, a load series is a time series with nonlinearities and random periodic components as the weather, users profile, public events, economy and bad measures, therefore a pure linear model may not be appropriated. This work uses different approaches to create wavenet ensembles for short term load forecasting, the performances are compared with a multilayer perceptron with sigmoid activation function in the hidden layer, with a single wavenet, with the last week mean and also with the naive model. The load series adopted, that is, two annual hourly load series with actual measurements, are passed through a data pre-processing stage for trend removal and normalization, and also for conversion from the time series to a inputs and output set for supervised training. It is applied the one step ahead forecast strategy and the forecasting evaluation is accomplished by the multiple correlation coefficient, ????, and also by the residuals correlation analysis. For the ensemble creation are used the bootstrapping, cross-validation like, inputs decimation, constructive selection, simple average, median, mode and stacked generalization methods. The nonlinearity tests results demonstrate that both time series are nonlinear, and the asymmetry reduction after data transformation is verified. From the features selection process the maximum lags for each series are identified, lagged values to be used as inputs and it is noticed that they are different for each series. The maximum lag also influences the amount of samples in the dataset of inputs and outputs. A common characteristic of both series is that the error increase along with the prediction horizon. Results point out that the wavenets ensembles overcome the other compared models after tests with two actual annual hourly load series. Moreover, beyond the performance to be different for each problem, the best ensemble learning method also varies, as well as the maximum forecasting horizon for which the forecasted values fit the series actual values. The quality of the forecasts is analyzed through residuals correlation tests. Key-words: Wavenet. Load forecasting. Ensembles. Artificial neural network

Previsão de demanda de energia elétrica aplicando comitês, aprendizado de correlação negativa, funções cópula e metaheurísticas de otimização

Orientador: Leandro dos Santos CoelhoCoorientadora: Viviana Cocco MarianiTese (doutorado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa : Curitiba, 21/06/2021Inclui referências: p. 123-135Área de concentração: Engenharia ElétricaResumo: A energia eletrica e um recurso escasso e seu melhor uso depende de conhecer o quanto sera demandado para comparacao com a capacidade de producao existente, contudo e dificil obter estimativas de consumo e geracao com exatidao dada a sua imprevisibilidade intrinseca. A previsao de demanda de energia eletrica e tradicionalmente realizada com modelos estatisticos, mas recentemente os modelos de aprendizado de maquina tem sido aplicados com sucesso e se apresentam como uma opcao promissora para producao de melhores previsoes. Aqui, propoe-se o aperfeicoamento de metodos existentes e tambem novos metodos de aprendizado de maquina para previsoes mais acuradas. Especificamente, desenvolve-se um comite de redes neurais de estado de eco com aprendizado de correlacao negativa, e uma nova metaheuristica para ajuste dos hiperparametros da rede neural de estado de eco que combina a otimizacao pelo mapeamento da media e da variancia com historico de sucessos, com a estrategia de reducao populacional. Adicionalmente, propoe-se um novo metodo para introducao de diversidade entre os membros do comite por meio de funcoes copula, que sao utilizadas para criar dados de treinamento sinteticos. O modelo proposto e comparado com modelos simples, isto e, persistente, media, e regressao linear, e com modelos avancados, isto e, regressao por vetores suporte, arvores de regressao, florestas aleatorias, rede neural artificial perceptron multi-camadas, boosting de gradiente extremo, rede neural com memoria longa de curto-prazo, maquina de aprendizado extremo, e regressao por vetores suporte. Comparam-se as previsoes em um esquema de validacao cruzada para series temporais com as metricas de erro medio quadratico, raiz do erro medio quadratico, erro medio absoluto percentual, coeficiente de eficiencia de Nash-Sutcliffe, e com o erro medio absoluto. Os modelos propostos se apresentam como a melhor opcao para quatro das oito series temporais consideradas, de acordo com o teste estatistico de Friedman e Nemenyi. Foram utilizadas oito series temporais reais de demanda de energia eletrica de diferentes regioes no mundo disponiveis publicamente, especificamente do Brasil, da California, do Canada, do Texas, da Franca, da usina de Itaipu, de Toquio, e da Nova Zelandia. As principais contribuicoes sao a disponibilizacao de uma nova opcao de maquina de aprendizado para previsao de demanda de eletricidade, a aplicacao e expansao da literatura da abordagem de computacao por reservatorios, o desenvolvimento de uma nova metaheuristica, a aplicacao e divulgacao do aprendizado de comites com o metodo de correlacao negativa, e a sugestao e aplicacao de um novo metodo para introducao de diversidade em comites por meio de funcoes copula. Palavras-chave: Maquina de estado de eco. Funcoes Copula. Previsao de demanda. Aprendizado de comites. Aprendizado de maquina.Abstract: Electricity is a scarce resource and its best use depends on knowing how much will be demanded in comparison with the current production capacity available, however, it is difficult to obtain accurate estimates of power consumption and generation given their intrinsic unpredictability. The electricity load forecasting is traditionally performed by statistical models, but recently the machine learning models have been applied with success and appear as a promising option for producing better forecasts. Here, a proposal of improvement of existing methods and new machine learning methods for more accurate forecasts is placed. Specifically, an ensemble of echo state networks with negative correlation learning, and a novel metaheuristic for hyperparameter tuning that combines the Mean- Variance Mapping Optimization algorithm with success history with the populational reduction strategy are proposed. Besides, a novel method for introducing diversity among ensemble members through copula functions is proposed, which are employed to generate synthetic data slightly different from the original training set. The proposed model is compared against reference models, i.e., average, persistent, and linear regression, and with state-of-the-art models, i.e., extreme gradient boosting, long short-term memory neural network, extreme learning machine, support vector regression, regression tree, random forest, and multilayer perceptron. The models' performances are compared using a five-fold time series cross-validation scheme with the mean squared error, root mean squared error, mean absolute percentage error, Nash-Sutcliffe model efficiency coefficient, and mean absolute error metrics. The models built using the novel investigated methods present themselves as the best option in four out of eight time-series according to the Friedman test followed by the Nemenyi post-hoc. Eight publicly available real world load time series from different geographical locations have been used, specifically from Brasil, California, Canada, Texas, France, Itaipu power plant, Tokio, and New Zealand, all with hourly interval but New Zealand which is sampled every 30 minutes.The main contributions are the supply of a new machine learning option for electrical load forecasting, the application and broadening of the literature in reservoir computing, the development of a new metaheuristic, the application and disclosure of ensemble learning with negative correlation learning, a the suggestion and application of a new method for the introduction of diversity into ensembles with copula functions. Keywords: Echo state network. Copula function. Load forecasting. Ensemble learning. Machine learning

Bayesian Optimized Echo State Network Applied to Short-Term Load Forecasting

Load forecasting impacts directly financial returns and information in electrical systems planning. A promising approach to load forecasting is the Echo State Network (ESN), a recurrent neural network for the processing of temporal dependencies. The low computational cost and powerful performance of ESN make it widely used in a range of applications including forecasting tasks and nonlinear modeling. This paper presents a Bayesian optimization algorithm (BOA) of ESN hyperparameters in load forecasting with its main contributions including helping the selection of optimization algorithms for tuning ESN to solve real-world forecasting problems, as well as the evaluation of the performance of Bayesian optimization with different acquisition function settings. For this purpose, the ESN hyperparameters were set as variables to be optimized. Then, the adopted BOA employs a probabilist model using Gaussian process to find the best set of ESN hyperparameters using three different options of acquisition function and a surrogate utility function. Finally, the optimized hyperparameters are used by the ESN for predictions. Two datasets have been used to test the effectiveness of the proposed forecasting ESN model using BOA approaches, one from Poland and another from Brazil. The results of optimization statistics, convergence curves, execution time profile, and the hyperparameters’ best solution frequencies indicate that each problem requires a different setting for the BOA. Simulation results are promising in terms of short-term load forecasting quality and low error predictions may be achieved, given the correct options settings are used. Furthermore, since there is not an optimal global optimization solution known for real-world problems, correlations among certain values of hyperparameters are useful to guide the selection of such a solution