Evolving sparsely connected neural networks for multi-step ahead forecasting

Time Series Forecasting (TSF) is an important tool to sup- port decision making. Artificial Neural Networks (ANN) are innate candidates for TSF due to advantages such as nonlin- ear learning and noise tolerance. However, the search for the best ANN is a complex task that highly affects the forecast- ing performance. In this paper, we propose a novel Sparsely connected Evolutionary ANN (SEANN), which evolves more flexible ANN structures to perform multi-step ahead fore- casts. This approach is compared with a similar strategy but that only evolves fully connected ANNs (FEANN) and a conventional TSF method (i.e. ARIMA methodology). A set of six time series, from different real-world domains, was used in the comparison. Overall, the obtained results re- veal the proposed SEANN approach as the best forecasting method, optimizing more simpler structures and requiring less computational effort when compared with the fully con- nected evolutionary ANN strategy.Community of Madrid under project CCG10-UC3M/TIC-5174

Evolutionary optimization of sparsely connected and time-lagged neural networks for time series forecasting

Time Series Forecasting (TSF) is an important tool to support decision mak- ing (e.g., planning production resources). Artificial Neural Networks (ANN) are innate candidates for TSF due to advantages such as nonlinear learn- ing and noise tolerance. However, the search for the best model is a complex task that highly affects the forecasting performance. In this work, we propose two novel Evolutionary Artificial Neural Networks (EANN) approaches for TSF based on an Estimation Distribution Algorithm (EDA) search engine. The first new approach consist of Sparsely connected Evolutionary ANN (SEANN), which evolves more flexible ANN structures to perform multi-step ahead forecasts. The second one, consists of an automatic Time lag feature selection EANN (TEANN) approach that evolves not only ANN parameters (e.g., input and hidden nodes, training parameters) but also which set of time lags are fed into the forecasting model. Several experiments were held, using a set of six time series, from different real-world domains. Also, two error metrics (i.e., Mean Squared Error and Symmetric Mean Absolute Per- centage Error) were analyzed. The two EANN approaches were compared against a base EANN (with no ANN structure or time lag optimization) and four other methods (Autoregressive Integrated Moving Average method, Random Forest, Echo State Network and Support Vector Machine). Overall, the proposed SEANN and TEANN methods obtained the best forecasting results. Moreover, they favor simpler neural network models, thus requiring less computational effort when compared with the base EANN.The research reported here has been supported by the Spanish Ministry of Science and Innovation under project TRA2010-21371-C03-03 and FCT - Fundacao para a Ciencia e Tecnologia within the Project Scope PEst- OE/EEI/UI0319/2014. The authors want to thank specially Martin Stepnicka and Lenka Vavrickova for all their help. The authors also want to thank Ramon Sagarna for introducing the subject of EDA

Evolving time-lagged feedforward neural networks for time series forecasting

Time Series Forecasting (TSF) is an important tool to sup- port both individual and organizational decisions. In this work, we propose a novel automatic Evolutionary Time- Lagged Feedforward Network (ETLFN) approach for TSF, based on an Estimation Distribution Algorithm (EDA) that evolves not only Artificial Neural Network (ANN) parame- ters but also which set of time lags are fed into the fore- casting model. Such approach is compared with similar strategy that only selects ANN parameter and the conven- tional TSF ARIMA methodology. Several experiments were held by considering six time series from distinct domains. The obtained multi-step ahead forecasts were evaluated us- ing SMAPE error criteria. Overall, the proposed ETLFN method obtained the best forecasting results. Moreover, it favors simpler neural network models, thus requiring less computational effort.University Carlos IIICommunity of Madrid under project CCG10- UC3M/TIC-5174

Time series forecasting using a weighted cross-validation evolutionary artificial neural network ensemble

The ability to forecast the future based on past data is a key tool to support individual and organizational decision making. In particular, the goal of Time Series Forecasting (TSF) is to predict the behavior of complex systems by looking only at past patterns of the same phenomenon. In recent years, several works in the literature have adopted Evolutionary Artificial Neural Networks (EANNs) for TSF. In this work, we propose a novel EANN approach, where a weighted n-fold validation fitness scheme is used to build an ensemble of neural networks, under four different combination methods: mean, median, softmax and rank-based. Several experiments were held, using six real-world time series with different characteristics and from distinct domains. Overall, the proposed approach achieved competitive results when compared with a non-weighted n-fold EANN ensemble, the simpler 0-fold EANN and also the popular Holt–Winters statistical method.This work was supported by University Carlos III of Madrid and by Community of Madrid under project CCG10-UC3M/TIC-5174. The work of P. Cortez was funded by FEDER (program COMPETE and FCT) under project FCOMP-01-0124-FEDER-022674

Modèle d'analyse de survie pour la prédiction de l'évolution des graphes dynamiques : applications aux réseaux sociaux et séries multiples

Dans le domaine de l'analyse des graphes dynamiques, l'état de l'art démontre qu'il n'existe pas assez d'approches formelles pour la modélisation et la prédiction des phénomènes de changements que subirait un sous-graphe qui évolue dans le temps. Dans cette thèse, nous développons une approche formelle pour l'analyse de l'évolution des sous-graphes. De manière générale, nous concevons une approche basée sur le principe des fenêtre coulissantes pour analyser l'évolution des sous-graphes. Plus précisément, suivant la dynamique évolutive d'un graphe, nous définissons une fenêtre d'observation à partir de laquelle, on pourra mieux observer l'évolution de ce graphe et ainsi mieux apprécier les différents changements que pourrait subir les différentes sous-structures de ce graphe. Afin de modéliser l'évolution des sous-structures de graphe, nous nous sommes inspirés du modèle statistique basé sur l'analyse de survie. Nos contributions relatives au modèle d'analyse de survie et à l'analyse des graphes dynamiques sont mises en exergue dans deux champs d'applications, à savoir, les réseaux sociaux et les séries multiples. Dans le cas de l'analyse des réseaux sociaux (ARS), nous utilisons les structures de graphes pour relater les éventuelles relations que pourraient avoir les différentes entités que constituent un réseau social donné. Ici, on s'intéresse particulièrement à la formation des communautés (ensemble d'entités densément liées) et de leurs évolutions dans le temps. Une communauté dans son évolution est susceptible de subir plusieurs modifications structurelles. En effet, au fil du temps, plusieurs communautés pourraient fusionner en une seule communauté ou alors une communauté pourrait devenir plus petite (du fait de la réduction du nombre d'entités appartenant à cette communauté), plus grande (du fait de l'augmentation du nombre d'entités appartenant à cette communauté), se diviser en plusieurs autres communautés ou rester identique (stable) à elle-même. Ces différents phénomènes de changement que subirait une communauté sont des évènements importants à analyser afin de pouvoir prédire quels seront les prochains changements auxquels une communauté serait exposée. Pour ce faire, nous définissons un modèle de régression basé sur l'analyse de survie pour modéliser l'évolution des communautés par rapport au temps et ainsi prédire aux instants ultérieurs quels seront les différents phénomènes de changements que subirait une communauté. Dans le cas de l'analyse des séries multiples (ASM), nous supposons que chaque série d'un ensemble de séries peut s'écrire comme une suite de profils qui se répètent à des intervalles de temps distincts. C'est ainsi que nous proposons une approche locale pour étudier les différentes variations d'un ensemble de séries chronologiques données. L'étude des différentes variations nous permet en effet de mieux comprendre l'évolution de cet ensemble de séries et ainsi faire des prévisions avec un faible taux d'erreur. Plus précisément, suivant des intervalles de temps réguliers, nous projetons nos séries chronologiques dans un espace topologique (graphe) où il sera désormais possible de mieux appréhender les dépendances relationnelles entre les séries et ainsi déterminer les profils significatifs qui caractérisent ces dernières. Les profils significatifs extraits des sous-structures de graphes sont suivis par rapport au temps afin de déterminer celles qui ont tendance à être plus récurrentes ou à disparaître par rapport au temps. Afin de modéliser l'évolution des profils et calculer le risque qu'ils apparaissent, nous utilisons la régression de Cox et les réseaux de neurones. Les réseaux de neurones exploités nous permettent de générer et prédire de manière permanente et automatiquement des descripteurs qui pourraient expliquer l'évolution des profils identifiés

Prediction of the Italian electricity price for smart grid applications

In this paper we address the problem of one day-ahead hourly electricity price forecast for smart grid applications. To this aim, we investigate the application of a number of predictive models for time-series, including methods based on empirical strategies frequently adopted in the smart grid community, Kalman Filters and Echo State Networks (ESNs). The considered methods have been suitably modified to address the electricity price forecast problem. Strategies based on daily re-adaptation of models’ parameters are taken into consideration as well. The predictive performance achieved by the considered models is assessed, and the methods are compared among each other on recent real data from the Italian electricity market. As a result of the comparison over three years data, ESN methods appear to provide the most accurate price predictions, which could imply significant economic savings in many smart grid activities, such as switching on power plants to support power generation from renewable sources, electric vehicle recharging or usage of household appliances