A Meta-Learning Method for Concept Drift

The knowledge hidden in evolving data may change with time, this issue is known as concept drift. It often causes a learning system to decrease its prediction accuracy. Most existing techniques apply ensemble methods to improve learning performance on concept drift. In this paper, we propose a novel meta learning approach for this issue and develop a method: Multi-Step Learning (MSL). In our method, a MSL learner is structured in a recursive manner, which contains all the base learners maintained in a hierarchy, ensuring the learned concepts are traceable. We evaluated MSL and two ensemble techniques on three synthetic datasets, which contain a number of drastic concept drifts. The experimental results show that the proposed method generally performs better than the ensemble techniques in terms of prediction accuracy

Compensação de deriva em sensores de gases com redes neurais balanceadas

Orientador : Prof. Dr. Eduardo Parente RibeiroDissertação (mestrado) - Universidade Federal do Paraná, Setor de Tecnologia, Programa de Pós-Graduação em Engenharia Elétrica. Defesa: Curitiba, 30/08/2017Inclui referências : f. 71-74Resumo: O fenômeno de deriva em sensores de gases é um dos maiores problemas encontrados em sistemas olfativos na atualidade. Fatores como contaminações por agentes externos e reações químicas na superfície sensora implicam em uma deterioração na capacidade de resposta e exatidão exigida. A ocorrência de deriva pode ser observada pelo fato da distribuição dos dados variar ao longo do tempo. A modelagem de um sistema não estacionário, que tenha como tarefa detectar essa variação contínua, imprevisível e compensando-a de maneira satisfatória, é um objetivo de grande complexidade. Neste trabalho, são aplicados e testados métodos para a compensação do fenômeno de deriva em sensores na classificação de gases com redes neurais. O primeiro consiste na ponderação das saídas de redes neurais retreinadas ao longo do tempo, onde pesos funcionam como fator de esquecimento de dados mais antigos. O segundo método caracteriza-se por evidenciar amostras mais recentes, ou seja, são replicadas entradas mais próximas temporalmente do instante atual das redes neurais na fase de treinamento. Verificou-se que a aplicação dessas técnicas na classificação de gases apresentou bons resultados comparados com estratégias mais simples como o retreino integral ou retreino parcial. No que tange a aplicação dos dois métodos usados, a replicação de amostras mostrou-se mais eficaz em lotes de dados mais antigos, sendo assim o algoritmo é mais robusto em sistemas com sensores de gases usados por longos períodos de tempo. Palavras-chaves: Fenômeno de deriva. Sensores de gases. Redes neurais balanceadas. Auto ponderação. Ambientes não estacionários.Abstract:The drift phenomenon in gas sensors is one of the biggest problems in olphative systems nowadays. Factors as contamination by external dopants and chemical reactions in sensing surface lead to deterioration of the response and accuracy required. The drift is related to the variation of the distribution of data over time. The modeling of a nonstationary system, that has the task to detect this unpredictable continuous variation and to compensate it satisfactorily is a highly complex objective. In this work, methods are applied and tested for the compensation of the phenomenon of drift in sensors to classify gases with neural networks. The first method is the weighting of the outputs of the neural networks retrained over time, where weights are forgetting factors to older data. The second method is characterized to evidence more recent samples, therefore, the newest samples are replicated to the neural networks on training phase. It can be observed that applying the two methods on gas classification dataset showed better results than simple strategies as the integral retraining or partial retraining. Regarding the application of the two methods, the replication of the samples are more effective in batches that have older data, therefore the algorithm is more robust on systems with gas sensors used for a long time. Key-words: Concept drift. Gas sensors. Weighted neural networks. Auto weighting. Non-stationary environments