Time series forecasting with the WARIMAX-GARCH method

It is well-known that causal forecasting methods that include appropriately chosen Exogenous Variables (EVs) very often present improved forecasting performances over univariate methods. However, in practice, EVs are usually difficult to obtain and in many cases are not available at all. In this paper, a new causal forecasting approach, called Wavelet Auto-Regressive Integrated Moving Average with eXogenous variables and Generalized Auto-Regressive Conditional Heteroscedasticity (WARIMAX-GARCH) method, is proposed to improve predictive performance and accuracy but also to address, at least in part, the problem of unavailable EVs. Basically, the WARIMAX-GARCH method obtains Wavelet “EVs” (WEVs) from Auto-Regressive Integrated Moving Average with eXogenous variables and Generalized Auto-Regressive Conditional Heteroscedasticity (ARIMAX-GARCH) models applied to Wavelet Components (WCs) that are initially determined from the underlying time series. The WEVs are, in fact, treated by the WARIMAX-GARCH method as if they were conventional EVs. Similarly to GARCH and ARIMA-GARCH models, the WARIMAX-GARCH method is suitable for time series exhibiting non-linear characteristics such as conditional variance that depends on past values of observed data. However, unlike those, it can explicitly model frequency domain patterns in the series to help improve predictive performance. An application to a daily time series of dam displacement in Brazil shows the WARIMAX-GARCH method to remarkably outperform the ARIMA-GARCH method, as well as the (multi-layer perceptron) Artificial Neural Network (ANN) and its wavelet version referred to as Wavelet Artificial Neural Network (WANN) as in [1], on statistical measures for both in-sample and out-of-sample forecasting

Short-term solar radiation forecasting by using an iterative combination of wavelet artificial neural networks

The information provided by accurate forecasts of solar energy time series are considered essential for performing an appropriate prediction of the electrical power that will be available in an electric system, as pointed out in Zhou et al. (2011). However, since the underlying data are highly non-stationary, it follows that to produce their accurate predictions is a very difficult assignment. In order to accomplish it, this paper proposes an iterative Combination of Wavelet Artificial Neural Networks (CWANN) which is aimed to produce short-term solar radiation time series forecasting. Basically, the CWANN method can be split into three stages: at first one, a decomposition of level p, defined in terms of a wavelet basis, of a given solar radiation time series is performed, generating r+1 Wavelet Components (WC); at second one, these r+1 WCs are individually modeled by the k different ANNs, where k>5, and the 5 best forecasts of each WC are combined by means of another ANN, producing the combined forecasts of WC; and, at third one, the combined forecasts WC are simply added, generating the forecasts of the underlying solar radiation data. An iterative algorithm is proposed for iteratively searching for the optimal values for the CWANN parameters, as we will see. In order to evaluate it, ten real solar radiation time series of Brazilian system were modeled here. In all statistical results, the CWANN method has achieved remarkable greater forecasting performances when compared with a traditional ANN (described in Section 2.1)

COMBINAÇÃO LINEAR WAVELET SARIMA-RNA COM ESTÁGIOS MULTIPLOS NA PREVISÃO DE SÉRIES TEMPORAIS

In this paper, we put forward a hybrid methodology for combining forecasts to (stochastic) time series referred to as Wavelet Linear Combination (WLC) SARIMA-RNA with Multiple Stages. Firstly, the wavelet decomposition of level p is performed, generating (approximations of the) p+1 wavelet components (WCs). Then, the WCs are individually modeled by means of a Box and Jenkins’ model and an artificial neural network - in order to capture, respectively, plausible linear and non-linear structures of autodependence - for, then, being linearly combined, providing hybrid forecasts for each one. Finally, all of them are linearly combined by the WLC of forecasts (to be defined). For evaluating it, we used the Box and Jenkins’ (BJ) models, artificial neural networks (ANN), and its traditional Linear Combination (LC1) of forecasts; and ANN integrated with the wavelet decomposition (ANNWAVELET), BJ model integrated with the wavelet decomposition (BJ-WAVELET), and its conventional Linear Combination (LC2) of forecasts. All predictive methods applied to the monthly time series of average flow of tributaries of the Itaipu Dam dam, located in Foz do Iguaçu, Brazil. In all analysis, the proposed hybrid methodology has provided higher predictive performance than the other ones

Projeção de séries temporais por meio de um método híbrido wavelet-neural integrado com bootstrap

Orientador : Prof. Dr. Paulo Henrique SiqueiraCoorientador : Prof. Dr. Luiz Albino Teixeira JuniorTese (doutorado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Métodos Numéricos em Engenharia. Defesa: Curitiba, 27/08/2015Inclui referências : f. 98-107Área de concentração : Programação matemáticaResumo: Nesta tese de doutorado, é proposto um novo método híbrido wavelet-neural integrado com um amostrador bootstrap para projeção pontual e intervalar de séries temporais estocásticas. Basicamente, combinam-se os métodos de encolhimento e de decomposição Wavelet no pré-processamento dos dados e, em seguida, uma Rede Neural Artificial (RNA) é usada para produzir as de previsões pontuais. A medida de incerteza do modelo RNA é obtida com a utilização de uma amostragem bootstrap dos resíduos do modelo RNA ajustado à série temporal subjacente. A fim de se obter o intervalo de confiança, calculou-se a média ponderada das previsões de B séries temporais oriundas do processo bootstrap, sendo os pesos determinados via otimização de um problema de programação não linear cuja função objetivo é a minimização da raiz quadrada do erro quadrático médio entre a combinação linear das B previsões e a série temporal subjacente. Além do intervalo de confiança, obtém-se também a estimativa do intervalo de previsão, sendo este último mais amplo que o primeiro, pois engloba as variâncias do modelo de regressão RNA e dos ruídos. A estimativa do desvio padrão dos ruídos foi alcançada com o treinamento de uma RNA com função custo oriunda da função de máxima verossimilhança log-normal, otimizada por meio da meta-heurística PSO. Para se averiguar a eficiência do método preditivo proposto, foram realizados experimentos computacionais para previsões pontuais envolvendo séries temporais utilizadas com frequência para este fim, podendo ser encontradas com facilidade em publicações da literatura especializada. As séries temporais referidas são as seguintes: Canadian Lynx, Wolf's Sunspot e Exchange Rate. Os desempenhos preditivos alcançados pelo método proposto, em relação às abordagens de outros autores, são efetivos e consideráveis. Em particular, os intervalos de confiança e previsão foram estimados para uma série temporal de vazão média mensal afluente da hidrelétrica de Itaipu, em Foz do Iguaçu, Brasil. Neste caso, para efeito de comparação, usaram-se os seguintes métodos de previsão: RNA, Box & Jenkins e decomposição wavelet integrada com rede neural artificial e ARIMA (Wavelet-RNA e Wavelet-ARIMA). Comparações com resultados de previsões obtidos através de modelos de Box & Jenkins e RNA, quando usados individualmente, constatam consideráveis ganhos preditivos auferidos com o uso do método proposto, reduzindo o erro preditivo em 62%, aproximadamente. Na comparação com os métodos compostos Wavelet-RNA e Wavelet-ARIMA, a redução do erro foi da ordem de 54%. Palavras-chave: Séries temporais, Wavelet, Redes Neurais Artificiais, Programação matemática, Amostrador Bootstrap.Abstract: In this doctoral thesis, it's proposed a new hybrid integrated wavelet-neural method with a bootstrap sampler for point and interval projection of stochastic time series. Basically, the methods Wavelet shrinkage and decomposition are combined in the pre-processing of data and then an Artificial Neural Network (ANN) is used to produce the point predictions. The ANN template uncertainty measurement is achieved with the use of a bootstrap sample of ANN template's waste adjusted to the underlying time series. In order to obtain the confidence interval, it was calculated the weighted average forecast of B time series derived from the bootstrap process, and these weights were determined by optimization of a nonlinear programming problem whose objective function is the minimization of square root of the medium squared error between the linear combination of N forecasts and the underlying time series. Beyond the confidence interval it's also obtained the estimate of prediction interval, the latter is wider than the first, because it includes the variances ANN regression model and the noises. The estimate standard deviation of the noises was achieved with the training of an ANN with cost function derived of the lognormal likelihood maximum function optimized by PSO meta-heuristics. To ascertain the efficiency of the predictive method proposed, computational experiments were performed for point predictions involving time series frequently used for this purpose and may be easily found in specialized literature publications. The time series mentioned are: Canadian Lynx, Wolf's Sunspot and Exchange Rate. The predictive performances achieved by the proposed method, in relation to approaches from other authors are effective and substantial. In particular, confidence and prediction intervals were estimated for a time series of monthly average flow tributary of Itaipu dam, in Foz do Iguaçu, Brazil. In this case, for comparison, they used the following prediction methods: ANN, Box & Jenkins, wavelet decomposition integrated with artificial neural networks and ARIMA (Wavelet-ANN and Wavelet-ARIMA). Comparison with results of predictions obtained through model Box and Jenkins and ANN, when used alone, find considerable predictive gains obtained using the proposed method, reducing the predictive error in 62% approximately. In comparison to the compounds methods Wavelet-ANN and Wavelet-ARIMA the reducing of error was approximately 54%. Keywords: Time series, Wavelet, Artificial Neural Networks, Mathematical programming, Bootstrap Sampler

Proposta de modelo híbrido composta por wavelet, arima e redes neurais artificiais de funções de bases radiais para previsão de séries temporais : uma aplicação em um instrumento da barragem de Itaipu

Orientador : Prof. Dr. Cassius Tadeu ScarpinCoorientador : Prof. Dr. Luiz Albino Teixeira JuniorTese (doutorado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Métodos Numéricos em Engenharia. Defesa: Curitiba, 14/04/2016Inclui referências : f. 117-127Área de concentração : Programação matemáticaResumo: A previsão de séries temporais é empregada em várias áreas de conhecimento. O presente estudo tem como foco auxiliar, a partir de previsões de séries temporais, a tomada de decisão da equipe responsável do monitoramento e segurança de barragens na Usina Hidrelétrica de Itaipu no Paraná. Busca-se melhorar a assertividade das previsões por meio de uma metodologia híbrida composta das técnicas de Box e Jenkins (método ARIMA), das Redes Neurais Artificiais de Funções de Bases Radiais e da Decomposição Wavelet. As três técnicas são associadas de forma única gerando ajustes de teste e previsões que são similares e, por vezes, com erros menores do que os modelos híbridos da literatura, como Zhang (2003); Khashei e Bijari (2011). A inovação da metodologia elaborada neste trabalho se dá em relação a estrutura e a forma de compor a combinação das técnicas. Dado que o tipo de Wavelet influencia nas previsões, desenvolveu-se uma lógica elementar para a sua escolha. As séries temporais consagradas na literatura, dos Linces Canadenses, das Manchas Solares e da Taxa de Câmbio, são aplicadas na metodologia proposta visando determinar a melhor configuração. Esta configuração obtida foi utilizada para a aplicação na série do Piezômetro, instrumento que monitora a subpressão da Usina Hidrelétrica de Itaipu. Foi realizado o ajuste de teste (quando se faz a aplicação do método um passo a frente, empregando os dados originais da série referente ao conjunto de teste) e previsão (quando a aplicação do método resulta em valores futuros e estes são empregados para a obtenção das próximas previsões). Os resultados obtidos, considerando o ajuste de teste da série temporal, em relação às séries da literatura foram comparados aos resultados publicados e verificou-se que nas três séries testadas a metodologia proposta obteve melhor desempenho. No que se refere a previsões destaca-se o resultado da série da Taxa de Câmbio, a qual tinha como melhor resultado da literatura um erro MSE de 3,648x10-5 em Khashei e Bijari (2011), sem a utilização da Decomposição Wavelet (DW); com a metodologia proposta, realizando a DW, obteve-se um MSE de 1,943x10-6. No que diz respeito a série do Piezômetro da Usina Hidrelétrica de Itaipu pode-se verificar que o erro MSE de 0,086, é menor em relação aos modelos ARIMA e Rede Neural de Função de Bases Radiais.Abstract: The time series forecasting is used in various fields of knowledge. The focus of this study is to support the decision making from time-series forecasting, by the committee responsible for monitoring of dam safety in the Itaipu hydroelectric dam on the Paraná. Searching to improve the assertiveness of forecasts by a hybrid methodology consists of the techniques of Box and Jenkins (ARIMA method), the Artificial Neural Networks Radial Basis Functions and Wavelet Decomposition. The three techniques are uniquely associated with generating test settings and predictions which are similar to and sometimes better than the hybrid models from the literature, such as Zhang (2003); Khashei and Bijari (2011). The innovation of the methodology developed in this work is given regarding the structure and form to compose a combination of techniques. Given that kind of influence on Wavelet forecasting, developed an elementary logic to the choice. The time series usually used in literature, Canadian Lynx, Wolf's Sunspot and Exchange Rates are applied in the proposed methodology to determine the best configuration. This configuration obtained was used for the application in the Piezometer series instrument that monitors the underpressure of the Itaipu hydroelectric dam. It conducted the test adjustment (when do the method a step ahead, using the original data series regarding the test set) and forecast (when the application of the method results in future values and these are employees to obtain the next estimates). The results obtained, considering the time series test setting, in relation to the series in the literature were compared to the published results and found that the three series tested the proposed method performed better. As regards the highlight the estimates is the result series Exchange rate, which had the best result literature 3,648x10-5 MSE error by Khashei and Bijari (2011), without the Wavelet Decomposition; the proposed method with the Wavelet Decomposition, was obtained MSE of 1,943x10-6. Regarding the Itaipu hydroelectric dam piezometer series can be seen which the MSE error of 0.086 is lower compared to ARIMA and Neural Network Radial Basis Function models

Metodologia para a definição de alertas dinâmicos para subpressão em fundações de barragens de concreto : o caso da barragem principal de Itaipu

Orientador : Prof. Dr. Volmir Eugênio WilhelmCo-Orientador : Drª. Josiele PatiasTese (doutorado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Métodos Numéricos em Engenharia. Defesa: Curitiba, 29/03/2016Inclui referências : f. 83-91Área de concentração : Programação matemáticaResumo: Uma questão importante em segurança de barragens de concreto é a monitoração da subpressão em suas fundações e a sua manutenção dentro dos limites de projeto, ao longo do seu tempo de operação. A supbressão é a pressão de baixo para cima gerada pela água que se infiltra pela porosidade ou descontinuidades da fundação rochosa sob a barragem. Se exceder os limites de segurança pode levar ao deslizamento ou tombamento da estrutura. As subpressões estão sujeitas a oscilações por mudanças de temperatura ou nível do reservatório, entre outras causas. A monitoração dos níveis de subpressão é realizada com o auxílio de limites de alertas fixos para cada instrumento. Por exemplo, em Itaipu o limite amarelo é estabelecido como o máximo histórico para o instrumento, e o limite vermelho é definido com base no limite de segurança do projeto. Assim, essa definição de limites de alertas fixos, não ajuda a identificar aumentos inesperados quando deveria estar próximo do mínimo sazonal. No caso de um incremento significativo de subpressão não justificada por variações correspondentes nas variáveis causais associadas, é importante que seja acionado um alerta assim que possível, auxiliando dessa forma a equipe de engenheiros responsáveis pela segurança a estudar o caso e se necessário executar as tarefas de manutenção a tempo de reverter um quadro que poderia colocar em risco a segurança da barragem. Os modelos de regressão múltipla de subpressão em Itaipu não conseguem alcançar um nível de explicação aceitável da variação sazonal da subpressão. As séries temporais de subpressão no contato entre o concreto e a rocha apresentam frequentes variações de regime, tornando sua modelagem mais complicada. Diante disso, esta tese propõe um novo método preditivo híbrido, incluindo modelo ARIMAX, Análise Espectral Singular (SSA), Wavelet, Redes Neurais Artificiais (RNAX) e Bootstrap, cujo objetivo é produzir predições, e intervalos de previsão a eles associados, de leituras futuras de subpressão em barragens de concreto, levando em consideração séries temporais de variáveis causais. Em síntese, a previsão pontual é a média entre um previsor ARIMAX que capta estrutura de dependência linear, e um previsor não linear iterativo, que combina redução de ruídos por SSA, decomposição espectral Wavelet e previsão por Redes Neurais Artificiais com busca automática de parâmetros ótimos. A determinação do intervalo preditivo usa Bootstrap, e os limites superiores do intervalo de previsão são interpretados como limites amarelos dinâmicos. O método proposto é aplicado em três séries temporais de subpressão de piezômetros instalados na barragem principal de Itaipu, localizada em Foz do Iguaçu, Paraná, Brasil. Os resultados alcançados mostram uma melhoria significativa quando comparado aos métodos tradicionais de previsão utilizados na literatura.Abstract: An important point in concrete dam safety is to monitor the uplift pressure on its foundations, and keep it below the design limits during all operation life time. Uplift pressure is the bottom upward pressure generated by water that seeps through rock foundation porosity or discontinuities under the dam. If the design safety limits are exceeded, it may lead to slippage or tipping of the structure. The uplift pressure oscillates depending on changes in temperature or reservoir level, among other causes. Monitoring of uplift pressure levels is performed with the aid of fixed warning thresholds for each instrument. For example, in Itaipu the yellow threshold is established as the high value recorded for the instrument, and the red limit is set based on the design's safety limit. Thus, this definition of fixed warnings thresholds does not help to identify unexpected increases when it should be close to the minimum. In the case of a significant increase of uplift pressure not justified by corresponding variation in the associated causal variables, it is important to trigger an alert as soon as possible, thus aiding the dam safety engineers team to study the case and to perform any maintenance task in time to reverse a possible danger situation for the dam safety. Multiple regression models in Itaipu were not able to reach an acceptable explanation level of the uplift pressure seasonal variation. The uplift pressure time series in the concrete-rock contact have frequent regimen changes, making its modeling more complicated. Therefore, this thesis proposes a new hybrid predictive method, including ARIMAX model Spectral Analysis Singular (SSA), Wavelet, Artificial Neural Networks (RNAX) and Bootstrap, whose goal is to produce predictions, and prediction intervals associated with them, of future uplift readings in concrete dams, considering causal variables time series. In short, the point forecast is the average between an ARIMAX forecaster that captures linear dependence structure, and an iterative non-linear predictor that combines noise reduction by SSA, Wavelet spectral decomposition and forecast by Artificial Neural Networks with automatic search of optimal parameters. Bootstrap determines the predictive interval, and the upper limits of this interval are interpreted as dynamic yellow limits. The proposed method is applied in three uplift pressure time series, for piezometers installed in the Itaipu main dam, located in Foz do Iguaçu, Paraná, Brazil. The results obtained show a significant improvement when compared to traditional prediction methods in the literature

Método warimax-garch neural para previsão de séries temporais

Orientador : Prof. Dr. Anselmo Chaves NetoCo-orientador : Prof. Dr. Luiz Albino Teixeira JúniorTese (doutorado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Métodos Numéricos em Engenharia. Defesa: Curitiba, 21/12/2015Inclui referências : f.123-128Área de concentração: Programação matemáticaResumo: A proposta deste trabalho é apresentar uma nova metodologia híbrida WARIMAX-GARCH Neural para a previsão pontual e intervalar de séries temporais estocásticas. Fundamentalmente, é aplicada a decomposição Wavelet em séries históricas compostas por registros de monitoramento de barragens e suas componentes de aproximação e detalhe, as quais são modeladas, individualmente, via ARIMA-GARCH e Redes Neurais Artificiais (RNA). A partir de então, são realizadas as previsões pontuais fora da amostra pelas técnicas de modelagem e os resultados são combinados linearmente. As componentes de aproximação e detalhe são completadas com as previsões combinadas e passam a ser utilizadas como variáveis de entrada (exógenas híbridas) na modelagem da série em estudo. Em cada série temporal é aplicada a metodologia WARIMAX-GARCH Neural e são realizadas as previsões pontuais e intervalares, sob a suposição de inovações gaussianas. As séries temporais utilizadas neste trabalho de tese foram as séries temporais dos deslocamentos horizontais de blocos da barragem principal da Usina Hidrelétrica de Itaipu, aferidas pelos pêndulos diretos automatizados. Os desempenhos preditivos alcançados pela metodologia proposta, em relação aos resultados obtidos pelas modelagens tradicionais ARIMA-GARCH e RNA, foram consideravelmente vantajosos. Nas comparações dos resultados obtidos através do modelo WARIMAX-GARCH Neural com métodos tradicionais, a redução do erro preditivo chegou a 91%. Palavras-chave: Monitoramento de Barragens, Previsão de Séries Temporais, Modelos ARIMA, Modelos GARCH, Redes Neurais Artificiais, Decomposição Wavelet.Abstract: This research proposes a new WARIMAX-GARCH Neural hybrid methodology for point and interval prediction of stochastic time series. Fundamentally, it is applied the wavelet decomposition on the time series made of monitoring data and its approximation and detail components were modeled by ARIMA-GARCH and Artificial Neural Networks (ANN). Thereafter, the point forecasts are performed out the sample by both modeling techniques and these results are combined linearly. The approximation and detail components are completed with the combined forecasts and are used as input variables (hybrid exogenous) in the modeling time series under study. In each time series is applied the WARIMAX-GARCH Neural methodology and are made the point and interval forecast, under the assumption of Gaussian innovations. The time series used in this research were the time series of horizontal displacements of the main dam blocks of Itaipu hydroelectric plant, measured by automated direct pendulums. The predictive performances achieved by the proposed method compared to the results obtained by traditional modeling ARIMA-GARCH and RNA were considerably advantageous. Comparing the results obtained by WARIMAX-GARCH Neural model to traditional methods there was a reduction of up to 91% of the predictive error. Keywords: Dams Monitoring, Forecast Time Series, ARIMA Models, GARCH Models, Artificial Neural Networks, Wavelet Decomposition

Uncertainty modeling : fundamental concepts and models

This book series represents a commendable effort in compiling the latest developments on three important Engineering subjects: discrete modeling, inverse methods, and uncertainty structural integrity. Although academic publications on these subjects are plenty, this book series may be the first time that these modern topics are compiled together, grouped in volumes, and made available for the community. The application of numerical or analytical techniques to model complex Engineering problems, fed by experimental data, usually translated in the form of stochastic information collected from the problem in hand, is much closer to real-world situations than the conventional solution of PDEs. Moreover, inverse problems are becoming almost as common as direct problems, given the need in the industry to maintain current processes working efficiently, as well as to create new solutions based on the immense amount of information available digitally these days. On top of all this, deterministic analysis is slowly giving space to statistically driven structural analysis, delivering upper and lower bound solutions which help immensely the analyst in the decisionmaking process. All these trends have been topics of investigation for decades, and in recent years the application of these methods in the industry proves that they have achieved the necessary maturity to be definitely incorporated into the roster of modern Engineering tools. The present book series fulfills its role by collecting and organizing these topics, found otherwise scattered in the literature and not always accessible to industry. Moreover, many of the chapters compiled in these books present ongoing research topics conducted by capable fellows from academia and research institutes. They contain novel contributions to several investigation fields and constitute therefore a useful source of bibliographical reference and results repository. The Latin American Journal of Solids and Structures (LAJSS) is honored in supporting the publication of this book series, for it contributes academically and carries technologically significant content in the field of structural mechanics

A wavelet "time-shift-detail" decomposition

\begin{abstract}We show that, with respect to an orthonormal wavelet \psi(.)\in \L^{2}(\RR), any f(.)\in\L^{2}(\RR) is, on the one hand, the sum of its ``layers of details'' over all time-shifts, and on the other hand, the sum of its layers of details over all scales. The latter is well known and is a consequence of a wandering subspace decomposition of \L^{2}(\RR) which, in turn, resulted from a wavelet Multiresolution Analysis (MRA). The former has not been discussed before. We show that it is a consequence of a decomposition of \L^{2}(\RR) in terms of reducing subspaces of the dilation-by-2 shift operator. \end{abstract