Similarity-based Neuro-Fuzzy Networks and Genetic Algorithms in Time Series Models Discovery

Abstract

This paper presents a hybrid soft computing technique for the study of time varying processes based on a combination of neurofuzzy techniques with evolutionary algorithms, in particular, genetic algorithms . Two problems are simultaneously addressed: the discovery of patterns of dependency in general multivariate dynamic systems (in an optimal or quasi-optimal sense), and the construction of a suitable initial representation for the function expressing the dependencies for the best model found. The patterns of dependency are represented by general autoregresive models (not necessarily linear), relating future values of a target variable with its past values as well as with those of the other observed variables. These patterns of dependencies are explored with genetic algorithm, whereas the functional approximation is constructed with a neurofuzzy heterogeneous network. The particular kind of neurofuzzy network chosen uses a nonclassical neuron model based on similarity in the hidden layer, and a classical neuron model in the output layer. An instance-based training approach allows a rapid construction of a complete network from the multivariate signal set and the dependency pattern under exploration, thus allowing the investigation of many prospective patterns in a short time. The main goal of the technique is the rapid prototyping and characterization of interesting or relevant interdependencies, especially in poorly known complex multivariate processes. The genetic search of the space of possible models (astronomically huge in most practical problems) doesn't guarantee the optimality of the models discovered. However, it provides a set of plausible dependency patterns explaining the interactions taking place, which can be refined later on by using more sophisticated techniques (also more time consuming) as function approximators, to improve the quality of the forecasting operator. Examples with known time series show that the proposed approach gives better results than the classical statistical one.Nous pr\ue9sentons une technique de calcul hybride \uab\ua0souple\ua0\ubb pour l'\ue9tude des processus chronologiques, combinant des techniques neuro-floues et des algorithmes \ue9volutionnaires, notamment des algorithmes g\ue9n\ue9tiques. Deux probl\ue8mes sont abord\ue9s simultan\ue9ment : (1) la d\ue9couverte de motifs de d\ue9pendance dans les syst\ue8mes dynamiques g\ue9n\ue9raux multivari\ue9s (dans un sens optimal ou quasi optimal) et (2) la construction d'une repr\ue9sentation initiale convenable pour la fonction exprimant les d\ue9pendances du meilleur syst\ue8me trouv\ue9. Les motifs de d\ue9pendance sont repr\ue9sent\ue9s par des mod\ue8les autor\ue9gressifs g\ue9n\ue9raux (pas n\ue9cessairement lin\ue9aires) reliant les valeurs ult\ue9rieures d'une variable cible avec ses valeurs ant\ue9rieures et celles d'autres valeurs observ\ue9es. L'algorithme g\ue9n\ue9tique explore ces motifs de d\ue9pendance alors qu'un r\ue9seau neuro-flou h\ue9t\ue9rog\ue8ne construit l'approximation fonctionnelle. Le r\ue9seau neuro-flou choisi comprend dans sa couche cach\ue9e, un mod\ue8le de neurones non classiques bas\ue9s sur la similitude et, dans sa couche de sortie, un mod\ue8le de neurones classiques. L'entra\ueenement bas\ue9 sur les instances permet d'\ue9laborer rapidement un r\ue9seau complet \ue0 partir de l'ensemble des signaux multivari\ue9s et le motif de d\ue9pendance explor\ue9, ce qui permet d'explorer plusieurs motifs possibles dans un temps court. Cette technique a pour objectif principal le prototypage rapide et la caract\ue9risation d'interd\ue9pendances int\ue9ressantes ou appropri\ue9es, notamment pour les processus multivari\ue9s complexes et mal connus. L'exploration g\ue9n\ue9tique de l'univers des mod\ue8les possibles (d'une taille astronomique dans la plupart des cas pratiques) ne garantit pas que les mod\ue8les d\ue9couverts soient optimaux. Toutefois, elle donne un ensemble de motifs de d\ue9pendance plausibles qui expliquent les interactions en cours. Pour am\ue9liorer la qualit\ue9 de l'op\ue9rateur de pr\ue9diction, on pourra raffiner ult\ue9rieurement cet ensemble \ue0 l'aide de techniques plus complexes (mais aussi plus lentes) comme les approximateurs de fonction. Nos calculs sur des fonctions chronologiques connues ont montr\ue9 que l'approche propos\ue9e donnait de meilleurs r\ue9sultats que l'approche statistique classique.NRC publication: Ye