Recurrent neural networks for prediction of short and long memory time series

Orientador: Emanuel Pimentel BarbosaDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de Matematica, Estatistica e Computação CientificaResumo: É de grande interesse o estudo de previsão de séries temporais, ou seja, conseguir identificar características do processo num ponto futuro. Para isso, é necessário estimar com precisão, ou pelo menos com uma boa aproximação, o processo gerador dos dados. Nos últimos anos, modelos de redes neurais artificiais vêm desempenhando um papel crescente na abordagem e solução de problemas estatísticos importantes. A estrutura mais básica de rede neural, as redes progressivas ou feedforward, sem retroalimentação, têm se mostrado uma alternativa vantajosa, em alguns casos, em relação aos modelos lineares tradicionais. No entanto, algumas séries apresentam características que permitem introduzir algum tipo de realimentação na rede. Tal rede chamada de rede neural recorrente, ferramenta ainda pouco explorada pela comunidade estatística. São dois os principais objetivos da dissertação. Primeiro, o estudo de redes neurais recorrentes para predição de séries temporais, o que compreende sua fundamentação teórica, principais arquiteturas e algoritmos de aprendizagem e sua implementação computacional. Segundo, estudo comparativo da performance preditiva dessas redes para séries temporais, tanto no caso de séries temporais de memória curta quanto de memória longa, tomando-se como referência modelos padrão tipo ARIMA e ARFIMA. São utilizadas séries espaciais (dados de variáveis do solo) e séries temporais (séries de inflações de países desenvolvidos). Os resultados mostram que o uso das redes para predição é vantajoso em relação a modelos lineares para diversas séries. Também é desenvolvido um novo modelo (redes neurais com pesos variáveis) e seu correspondente algoritmo de estimação baseado nas características dos dadosAbstract: Forecasting of time series is a topic of great interest nowadays. To do so, the data generating process needs to be estimated with a good degree of accuracy. In the last years, artificial neural networks are becoming more important in the statistical community. The more basic structure of a neural network, the feedforward neural nets, without feedback, can be a profitable alternative, in some cases, comparing to linear traditional models. However, some time series present characteristics that allow to introduce some kind of feedback in the network. Such network is called recurrent neural network, a tool not so popular in the statistical community.Two of the main concerns of this work are the study of recurrent neural networks for prediction of time series (theoretical fundamental, main architectures and learning algorithms) and the comparative study of the predictive performance of these networks for short and long memory time series. Spatial series (solo science data) and time series (inflation data) are used. The results show that the networks have good prediction performance comparing to linear models in several series. A new model (neural networks with varying coefficients) and its estimation algorithm are proposed, based in the data characteristicsMestradoMestre em Estatístic

Redes neurais e modelos de espaço de estados para o estudo da relação entre propriedades do solo

O estudo da relação entre as propriedades do solo é de grande importância na área agronômica objetivando um manejo racional dos recursos naturais do meio ambiente e um aumento na produtividade agrícola. Tradicionalmente este estudo tem sido realizado usando modelos de regressão estática os quais não levam em consideração a estrutura espacial envolvida. Este trabalho teve o objetivo de avaliar a relação entre uma variável de determinação mais cara e demorada (por exemplo, nitrogênio total do solo) e outras de mais barata e rápida determinação (p.e., carbono orgânico do solo, pH, etc.). Duas importantes classes de modelos (espaço de estados linear e redes neurais) são usadas para predição e comparadas aos modelos de regressão uni- e multivariados aqui usados como referência. Para tal, em uma área experimental cultivada com aveia, situada em Jaguariúna, SP (22º41' S e 47º00' W), amostras de um solo classificado como Latossolo foram coletadas na camada arável ao longo de uma transeção espacial de 194 m, eqüidistantes de 2 m. Os modelos de rede neural recorrente e de espaço de estados padrão tiveram uma melhor performance preditiva da variável nitrogênio total do solo quando comparados aos modelos de regressão padrão. Entre os modelos de regressão padrão o Autoregressivo Vetorial teve um melhor desempenho preditivo da variável nitrogênio total do solo.The study of soil property relationships is of great importance in agronomy aiming for a rational management of environmental resources and an improvement of agricultural productivity. Studies of this kind are traditionally performed using static regression models, which do not take into account the involved spatial structure. This work has the objective of evaluating the relation between a time-consuming and "expensive" variable (like soil total nitrogen) and other simple, easier to measure variables (as for instance, soil organic carbon, pH, etc.). Two important classes of models (linear state-space and neural networks) are used for prediction and compared with standard uni- and multivariate regression models, used as reference. For an oat crop cultivated area, situated in Jaguariuna, SP, Brazil (22º41' S, 47º00' W) soil samples of a Typic Haplustox were collected from the plow layer at points spaced 2 m apart along a 194 m spatial transect. Recurrent neural networks and standard state-space models had a better predictive performance of soil total nitrogen as compared to the standard regression models. Among the standard regression models the Vector Auto-Regression model had a better predictive performance for soil total nitrogen

Redes neurais e modelos de espaço de estados para o estudo da relação entre propriedades do solo

The study of soil property relationships is of great importance in agronomy aiming for a rational management of environmental resources and an improvement of agricultural productivity. Studies of this kind are traditionally performed using static regression models, which do not take into account the involved spatial structure. This work has the objective of evaluating the relation between a time-consuming and expensive variable (like soil total nitrogen) and other simple, easier to measure variables (as for instance, soil organic carbon, pH, etc.). Two important classes of models (linear state-space and neural networks) are used for prediction and compared with standard uni- and multivariate regression models, used as reference. For an oat crop cultivated area, situated in Jaguariuna, SP, Brazil (22º41' S, 47º00' W) soil samples of a Typic Haplustox were collected from the plow layer at points spaced 2 m apart along a 194 m spatial transect. Recurrent neural networks and standard state-space models had a better predictive performance of soil total nitrogen as compared to the standard regression models. Among the standard regression models the Vector Auto-Regression model had a better predictive performance for soil total nitrogen.O estudo da relação entre as propriedades do solo é de grande importância na área agronômica objetivando um manejo racional dos recursos naturais do meio ambiente e um aumento na produtividade agrícola. Tradicionalmente este estudo tem sido realizado usando modelos de regressão estática os quais não levam em consideração a estrutura espacial envolvida. Este trabalho teve o objetivo de avaliar a relação entre uma variável de determinação mais cara e demorada (por exemplo, nitrogênio total do solo) e outras de mais barata e rápida determinação (p.e., carbono orgânico do solo, pH, etc.). Duas importantes classes de modelos (espaço de estados linear e redes neurais) são usadas para predição e comparadas aos modelos de regressão uni- e multivariados aqui usados como referência. Para tal, em uma área experimental cultivada com aveia, situada em Jaguariúna, SP (22º41' S e 47º00' W), amostras de um solo classificado como Latossolo foram coletadas na camada arável ao longo de uma transeção espacial de 194 m, eqüidistantes de 2 m. Os modelos de rede neural recorrente e de espaço de estados padrão tiveram uma melhor performance preditiva da variável nitrogênio total do solo quando comparados aos modelos de regressão padrão. Entre os modelos de regressão padrão o Autoregressivo Vetorial teve um melhor desempenho preditivo da variável nitrogênio total do solo.386395Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP)Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq

Stable GAS models for financial time series

Modelos GARCH tendo a normal e a t-Student como distribuições condicionais são amplamente utilizados para modelagem da volatilidade de dados financeiros. No entanto, tais distribuições podem não ser apropriadas para algumas séries com caudas pesadas e comportamento leptocúrtico. As chamadas distribuições estáveis podem ser mais adequadas para sua modelagem, como já explorado na literatura. Por outro lado, os modelos GAS (Generalized Autoregressive Score), com desenvolvimento recente, tratam-se de modelos dinâmicos que possuem em sua estrutura a função score (derivada do logaritmo da verossimilhança). Tal abordagem oferece uma direção natural para a evolução dos parâmetros da distribuição dos dados. Neste trabalho, é proposto um novo modelo GAS em conjunção com distribuições estáveis simétricas para a modelagem da volatilidade - de fato, é uma generalização do GARCH, pois, para uma particular escolha de distribuição estável e de estrutura do modelo, tem-se o clássico modelo GARCH gaussiano. Como em geral a função densidade das distribuições estáveis não possui forma analítica fechada, é apresentado seu procedimento de cálculo, bem como de suas derivadas, para o completo desenvolvimento do método de estimação dos parâmetros. Também são analisadas as condições de estacionariedade e a estrutura de dependência do modelo. Estudos de simulação são conduzidos, bem como uma aplicação a dados reais, para comparação entre modelos usuais, que utilizam distribuições normal e t-Student, e o modelo proposto, demonstrando a eficácia deste.GARCH models with normal and t-Student conditional distributions are widely used for volatility modeling in financial data. However, such distributions may not be suitable for some heavy-tailed and leptokurtic series. The stable distributions may be more adequate to fit such characteristics, as already exploited in the literature. On the other hand, the recently developed GAS (Generalized Autoregressive Score) models are dynamic models in which the updating mechanism of the time-varying parameters is based on the score function (first derivative of the log-likelihood function). This provides the natural direction for updating the parameters, based on the complete density. We propose a new GAS model with symmetric stable distribution for volatility modeling. The model can be interpreted as a generalization of the GARCH models, since the classic gaussian GARCH model is derived from it by using particular choices of the stable distribution and the model structure. There are no closed analytical expressions for general stable densities in most cases, hence its numeric computation and derivatives are detailed for the sake of complete development of the estimation process. The stationarity conditions and the dependence structure of the model are analysed. Simulation studies, as well as an application to real data, are presented for comparisons between the usual models and the proposed model, illustrating the effectiveness of the latter

Neural network and state-space models for studying relationships among soil properties

The study of soil property relationships is of great importance in agronomy aiming for a rational management of environmental resources and an improvement of agricultural productivity. Studies of this kind are traditionally performed using static regression models, which do not take into account the involved spatial structure. This work has the objective of evaluating the relation between a time-consuming and "expensive" variable (like soil total nitrogen) and other simple, easier to measure variables (as for instance, soil organic carbon, pH, etc.). Two important classes of models (linear state-space and neural networks) are used for prediction and compared with standard uni- and multivariate regression models, used as reference. For an oat crop cultivated area, situated in Jaguariuna, SP, Brazil (22º41' S, 47º00' W) soil samples of a Typic Haplustox were collected from the plow layer at points spaced 2 m apart along a 194 m spatial transect. Recurrent neural networks and standard state-space models had a better predictive performance of soil total nitrogen as compared to the standard regression models. Among the standard regression models the Vector Auto-Regression model had a better predictive performance for soil total nitrogen