Estratégias de Atualização de Políticas para a Coordenação de Agentes Baseados em Enxames

Neste artigo é analisada a influência dos parâmetros de aprendizagem de algoritmos de enxames e propostas estratégias de atualização de políticas geradas por recompensas (feromônios) para ambientes dinâmicos. Nós verificamos que quando os parâmetros de algoritmos baseados em recompensas são ajustados inadequadamente pode ocorrer atrasos no aprendizado e convergência para uma solução não-satisfatória. Além disso, esse problema é agravado em ambientes dinâmicos, pois o ajuste dos parâmetros de tais algoritmos não é suficiente para garantir convergência. Para solucionar tal problema, nós desenvolvemos estratégias que modificam valores de feromônio, melhorando a coordenação entre os agentes e permitindo convergência mesmo quando o ambiente é alterado dinamicamente. Para isso, um framework capaz de demonstrar de maneira iterativa a influência dos parâmetros e das estratégias foi desenvolvido. Resultados experimentais mostram que é possível acelerar a convergência para uma política global consistente, superando os resultados de abordagens clássicas de algoritmos baseados em enxames

Advances on Concept Drift Detection in Regression Tasks using Social Networks Theory

Mining data streams is one of the main studies in machine learning area due to its application in many knowledge areas. One of the major challenges on mining data streams is concept drift, which requires the learner to discard the current concept and adapt to a new one. Ensemble-based drift detection algorithms have been used successfully to the classification task but usually maintain a fixed size ensemble of learners running the risk of needlessly spending processing time and memory. In this paper we present improvements to the Scale-free Network Regressor (SFNR), a dynamic ensemble-based method for regression that employs social networks theory. In order to detect concept drifts SFNR uses the Adaptive Window (ADWIN) algorithm. Results show improvements in accuracy, especially in concept drift situations and better performance compared to other state-of-the-art algorithms in both real and synthetic data

A survey on feature drift adaptation: Definition, benchmark, challenges and future directions

Data stream mining is a fast growing research topic due to the ubiquity of data in several real-world problems. Given their ephemeral nature, data stream sources are expected to undergo changes in data distribution, a phenomenon called concept drift. This paper focuses on one specific type of drift that has not yet been thoroughly studied, namely feature drift. Feature drift occurs whenever a subset of features becomes, or ceases to be, relevant to the learning task; thus, learners must detect and adapt to these changes accordingly. We survey existing work on feature drift adaptation with both explicit and implicit approaches. Additionally, we benchmark several algorithms and a naive feature drift detection approach using synthetic and real-world datasets. The results from our experiments indicate the need for future research in this area as even naive approaches produced gains in accuracy while reducing resources usage. Finally, we state current research topics, challenges and future directions for feature drift adaptation

Adaptive random forests for evolving data stream classification

Random forests is currently one of the most used machine learning algorithms in the non-streaming (batch) setting. This preference is attributable to its high learning performance and low demands with respect to input preparation and hyper-parameter tuning. However, in the challenging context of evolving data streams, there is no random forests algorithm that can be considered state-of-the-art in comparison to bagging and boosting based algorithms. In this work, we present the adaptive random forest (ARF) algorithm for classification of evolving data streams. In contrast to previous attempts of replicating random forests for data stream learning, ARF includes an effective resampling method and adaptive operators that can cope with different types of concept drifts without complex optimizations for different data sets. We present experiments with a parallel implementation of ARF which has no degradation in terms of classification performance in comparison to a serial implementation, since trees and adaptive operators are independent from one another. Finally, we compare ARF with state-of-the-art algorithms in a traditional test-then-train evaluation and a novel delayed labelling evaluation, and show that ARF is accurate and uses a feasible amount of resources

Recuperação de Informação em Situações de Urgência-Emergência no Atendimento Pré-Hospitalar

This article presents a proposal of structuring and flexible retrieving of experience elements or described cases in the text format. The application domain is urgency-emergency services where the healthcare professionals can work in many occurrences in the same day. Occurrences like: traffic accidents, fire gun wounds, burns, drowning and others, and for each situation, many procedures are can be done. In this context, a technological help for the doctors and nurses in the urgency-emergency services using a decision support system that can help the professional to retrieve, from an occurrences database, the most correct procedure that must be executed during the victims support is primordial as a assistant memory mechanism. The indexing and retrieving tests, for this work, were limited for the burn knowledge area. However, the indexing and retrieving mechanism are generic for cases describes in the text format, doesn’t matter the knowledge area.Este artigo apresenta uma proposta de estruturação e recuperação flexível de elementos de experiência ou casos descritos no formato de texto. O domínio da aplicação é o atendimento pré-hospitalar de urgência/emergência, onde os profissionais de saúde envolvidos atendem as mais diversas ocorrências em um mesmo dia, como: acidentes de trânsito, ferimento por arma de fogo, queimaduras, afogamentos, entre outros, e realizam inúmeros procedimentos para cada situação. Neste contexto, um apoio tecnológico aos profissionais de saúde do atendimento pré-hospitalar auxiliando-os na recuperação, a partir de uma base de casos, dos procedimentos mais adequados a um atendimento às vítimas de uma ocorrência, é primordial como um mecanismo de memória auxiliar. Os testes de indexação e recuperação de casos limitaram-se, especificamente, aos conhecimentos da área de queimaduras. Entretanto, os mecanismos de indexação e recuperação são genéricos para casos descritos no formato de texto independente da área de conhecimento

Uma Metodologia para Avaliação Computacional do Nível de Compreensão de Textos

Este artigo apresenta um sistema computacional capaz de avaliar, em um ambiente de aprendizagem colaborativa, o nível compreensão que um indivíduo possui sobre um dado assunto. Uma questão difícil e essencial é o modo de avaliação, que em geral é realizada por meio de trabalhos coletivos ou em grupo ou ainda por meio de exames individuais. Entretanto, estas técnicas estão sujeitas a fatores subjetivos relacionados ao tutor (nível de experiência, humor, afinidade, etc.) e ao membro da equipe, além de requerer um considerável esforço de leitura por parte do tutor. A realização deste objetivo envolveu, essencialmente, técnicas de processamento de linguagem natural baseadas em conceitos tais como: memória dinâmica, raciocínio baseado em casos e parser semântico. Finalmente, uma discussão é mostrada sobre experimentos realizados em um ambiente de aprendizagem colaborativa. Os resultados obtidos foram coerentes de acordo com a opinião dos tutores em envolvidos

Boosting decision stumps for dynamic feature selection on data streams

Feature selection targets the identification of which features of a dataset are relevant to the learning task. It is also widely known and used to improve computation times, reduce computation requirements, and to decrease the impact of the curse of dimensionality and enhancing the generalization rates of classifiers. In data streams, classifiers shall benefit from all the items above, but more importantly, from the fact that the relevant subset of features may drift over time. In this paper, we propose a novel dynamic feature selection method for data streams called Adaptive Boosting for Feature Selection (ABFS). ABFS chains decision stumps and drift detectors, and as a result, identifies which features are relevant to the learning task as the stream progresses with reasonable success. In addition to our proposed algorithm, we bring feature selection-specific metrics from batch learning to streaming scenarios. Next, we evaluate ABFS according to these metrics in both synthetic and real-world scenarios. As a result, ABFS improves the classification rates of different types of learners and eventually enhances computational resources usage

Combinando Modelos de Interação para Melhorar a Coordenação em Sistemas Multiagente

A contribuição principal deste artigo é a implementação de um método híbrido de coordenação a partir da combinação de modelos de interação desenvolvidos anteriormente. Os modelos de interação são baseados no compartilhamento de recompensas para aprendizagem com múltiplos agentes, no intuito de descobrir de maneira interativa políticas de boa qualidade. A troca de recompensas entre os agentes durante a interação é uma tarefa complexa e se realizada de forma inadequada pode ocasionar atrasos no aprendizado ou até mesmo causar comportamentos inesperados, tornando a cooperação ineficiente e convergindo para uma política não-satisfatória. A partir desses conceitos, o método híbrido utiliza as particularidades de cada modelo, reduzindo possíveis conflitos entre ações com recompensas de políticas diferentes, melhorando a coordenação dos agentes em problemas de aprendizagem por reforço. Resultados experimentais mostram que o método híbrido é capaz de acelerar a convergência, conquistando rapidamente políticas ótimas mesmo em grandes espaços de estados, superando os resultados de abordagens clássicas de aprendizagem por reforço