Evolution of Swarm Robotics Systems with Novelty Search

Novelty search is a recent artificial evolution technique that challenges traditional evolutionary approaches. In novelty search, solutions are rewarded based on their novelty, rather than their quality with respect to a predefined objective. The lack of a predefined objective precludes premature convergence caused by a deceptive fitness function. In this paper, we apply novelty search combined with NEAT to the evolution of neural controllers for homogeneous swarms of robots. Our empirical study is conducted in simulation, and we use a common swarm robotics task - aggregation, and a more challenging task - sharing of an energy recharging station. Our results show that novelty search is unaffected by deception, is notably effective in bootstrapping the evolution, can find solutions with lower complexity than fitness-based evolution, and can find a broad diversity of solutions for the same task. Even in non-deceptive setups, novelty search achieves solution qualities similar to those obtained in traditional fitness-based evolution. Our study also encompasses variants of novelty search that work in concert with fitness-based evolution to combine the exploratory character of novelty search with the exploitatory character of objective-based evolution. We show that these variants can further improve the performance of novelty search. Overall, our study shows that novelty search is a promising alternative for the evolution of controllers for robotic swarms.Comment: To appear in Swarm Intelligence (2013), ANTS Special Issue. The final publication will be available at link.springer.co

Evolution of self-organising behaviours with novelty search

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012A pesquisa de novidade (novelty search) é um nova e promissora técnica de evolução artificial, que desafia a abordagem tradicional focada na perseguição direta dos objetivos. O principal conceito por trás da pesquisa de novidade é a recompensa de soluções que sejam novas, em vez de soluções que se aproximem do objetivo pré-definido. Este carácter divergente da procura faz com que a pesquisa de novidade não esteja sujeita a alguns problemas comuns na evolução artificial, tal como a convergência prematura e a deceção da função objetivo, pois na pesquisa de novidade o objetivo não tem inuência direta no processo evolutivo. A função objetivo diz-se decetiva quando ela conduz a população do algoritmo evolucionário para máximos locais, e como consequência não consegue atingir o objetivo desejado numa quantidade razoável de tempo. No algoritmo de pesquisa de novidade, a função objetivo é substituída por uma métrica que quantifica a novidade das soluções, baseando-se em caracterizações de comportamento que são obtidas para cada uma. A função que obtém estas caracterizações deve ser definida pelo humano que conduz o processo, usando conhecimento sobre o domínio e tendo em consideração a tarefa que se está a tentar desempenhar. A novidade de cada individuo é medida relativamente à população corrente e a um arquivo de indivíduos que representa o espaço de comportamentos que já foi anteriormente explorado. Desta forma, soluções que se situem em locais do espaço de comportamentos que estejam pouco explorados são consideradas mais aptas para seleção, e vice-versa, guiando o processo evolutivo em direção à diversidade comportamental. Contraintuitivamente, embora a pesquisa de novidade ignore totalmente o objetivo, ela revelou em vários casos um maior sucesso que a abordagem tradicional baseada em objetivos, especialmente em tarefas onde a função objetivo sofre de algum grau de deceção. Em trabalhos anteriores, a pesquisa de novidade foi aplicada com sucesso em tarefas de robótica não coletiva. Nesta tese, propomos a aplicação da pesquisa de novidade à evolução de controladores para robótica coletiva, uma área que tem sido dominada pelas técnicas de evolução tradicionais, focadas em objetivos. A motivação para a aplicação da pesquisa de novidade a esta área é o elevado nível de complexidade na robótica coletiva, resultante das relações entre os vários agentes do grupo, e entre os agentes e o seu ambiente. À medida que um sistema se torna mais complexo, a função objetivo é mais suscetível de se tornar decetiva, e a pesquisa de novidade é particularmente eficaz a lidar com a deceção da função objetivo. Ultrapassar o problema da deceção neste domínio é mais um passo em direção à geração automática de controladores para grupos de robôs capazes de resolver tarefas com a complexidade do mundo real. O carácter da pesquisa de novidade orientado à diversidade comportamental é também interessante neste domínio, pois permite a geração de uma diversidade de soluções para o mesmo problema, possivelmente revelando formas originais de auto-organização. No nosso trabalho, os controladores que são usados pelos grupos de robôs (todos os robôs do grupo usam o mesmo controlador) são redes neuronais recorrentes. O método escolhido para implementar o processo neuro-evolutivo foi o NEAT. A pesquisa de novidade é implementada sobre o NEAT, da forma como foi descrito acima. O NEAT é um método neuro-evolutivo que modifica tanto os pesos das ligações da rede, como a sua estrutura, podendo adicionar e remover nós e ligações. Começa com um conjunto de redes neuronais simples, completamente ligadas e sem nós intermédios, e vai gradualmente complexificando as redes neuronais, à medida que se verifique vantajoso, podendo levar à evolução de comportamentos gradualmente mais complexos. Para conduzir o estudo descrito nesta tese, foi seguida uma abordagem experimental, através da realização de ensaios evolucionários com diferentes técnicas evolucionárias, parâmetros, e tarefas. Em cada ensaio foram recolhidas informações e métricas detalhadas de forma a facilitar a compreensão das dinâmicas evolucionárias. Para a execução dos ensaios evolucionários, foi desenvolvida uma nova aplicação, baseada num simulador de robótica existente e numa implementação do NEAT. A aplicação é altamente modular, permitindo a definição de novos ambientes, robôs, métodos evolucionários, entre outros, sem ter que modificar código fonte existente. O primeiro passo do nosso trabalho consistiu em aplicar o algoritmo original de pesquisa de novidade à evolução de controladores para um grupo de robôs que deve executar uma tarefa de agregação. Nesta tarefa (amplamente estudada em trabalhos anteriores), os robôs são colocados em posições aleatórias dentro de uma arena fechada, e têm como objetivo formar um único agregado compacto, em qualquer ponto da arena. A tarefa é dificultada por uma arena de grandes dimensões e robôs com sensores de curto alcance. Foram realizadas experiências com a pesquisa de novidade usando três diferentes caracterizações de comportamento: uma altamente correlacionada com o objetivo, outra pouco correlacionada, e finalmente a combinação das duas. Foi também experimentada a evolução tradicional guiada por objetivos. De seguida, é experimentada a aplicação da pesquisa de novidade a uma tarefa de gestão coletiva de energia, em que os robôs gastam energia ao longo do tempo e devem coordenar-se para permitir o acesso periódico à única estacão de recarga, de modo a sobreviverem. São definidas duas variantes desta tarefa, uma em que os robôs gastam sempre a mesma quantidade de energia ao longo do tempo, e outra em que a quantidade de energia despendida depende da velocidade dos robôs. Na primeira variante, a função objetivo consegue guiar eficazmente a população em direção ao objectivo. Na segunda variante, a função objetivo é claramente decetiva, e conduz a população para máximos locais muito prematuros. Foram também experimentadas duas caracterizações comportamentais distintas na pesquisa de novidade: uma caracterização curta, altamente relacionada com o objetivo, e outra caracterização expandida, com algumas dimensões não relacionadas com o objetivo. Os resultados destas experiências revelam que a pesquisa de novidade pode ser um método eficaz para evolução de controladores para robótica coletiva. A pesquisa de novidade mostrou ser eficaz em ultrapassar a deceção da função objetivo, evitando com sucesso os máximos locais. Foi particularmente bem sucedida na inicialização da evolução, evitando a convergência prematura e atingindo elevados valores de fitness cedo na evolução. Foram estabelecidas comparações detalhadas entre a pesquisa de novidade e o método evolutivo tradicional, baseado em objetivos. Em configurações onde a deceção da função objetivo não era um problema, a pesquisa de novidade obteve um desempenho semelhante à evolução guiada por objetivos, em termos dos valores de fitness das soluções evoluídas. Por outro lado, em configurações onde a função objetivo era decetiva, a pesquisa de novidade revelou-se claramente superior. Os resultados também mostram que a pesquisa de novidade consegue evoluir soluções com redes neuronais mais simples, em comparação com a evolução guiada por objetivos. Os nossos resultados representam uma contribuição relevante para o domínio da robótica coletiva evolucionaria, pois os trabalhos anteriores revelam dificuldades em evoluir grupos de robôs capazes de desempenhar tarefas ambiciosas. As experiências sugerem que a evolução de comportamentos coletivos é especialmente suscetível à deceção da função objetivo, e como tal a pesquisa de novidade revela-se como uma promissora alternativa para ultrapassar esta dificuldade, e conseguir a evolução de comportamentos coletivos mais ambiciosos. Os resultados também revelaram que a pesquisa de novidade pode ser utilizada para descobrir uma ampla diversidade de formas de auto-organização. A procura de diversidade em robótica coletiva é um tópico relevante porque tipicamente existe um grande leque de possibilidades de comportamentos, resultante das possíveis interações entre os vários robôs do grupo, e entre os robôs e o ambiente. Procurar ativamente estas possibilidades pode levar a formas inesperadas de auto-organização e diferentes soluções para o mesmo problema. Por exemplo, nas experiências com a tarefa de agregação, a pesquisa de novidade evoluiu um tipo de comportamentos de agregação que não é descrito no trabalho relacionado, mas que pode ser encontrado no mundo natural. Estas experiências forneceram também alguma compreensão sobre como devem ser construídas as caracterizações comportamentais a usar na pesquisa de novidade. Mostrámos que combinar várias medidas pode ser uma forma de aumentar o desempenho da pesquisa de novidade. No entanto, deve-se evitar acrescentar à caracterização do comportamento dimensões que estejam pouco relacionadas com a tarefa que se está a tentar resolver. Neste caso, os resultados mostraram que a pesquisa de novidade pode começar a focar-se em zonas do espaço de comportamentos que não são relevantes para a solução da tarefa. Para visualizar e analisar espaços de comportamentos de elevada dimensionalidade, foram utilizados mapas de Kohonen auto-organizados. Esta técnica de visualização mostrou ser útil para uma melhor compreensão da dinâmica evolucionária na pesquisa de novidade. Como referido acima, os resultados mostraram que a pesquisa de novidade pode ter dificuldade em encontrar boas soluções em espaços de comportamentos que tenham dimensões não relacionadas com o objetivo. Para ultrapassar este problema, estendemos o nosso estudo para variantes da pesquisa de novidade que combinam a diversidade comportamental com a função objetivo. Propomos um novo método para combinar a pesquisa de novidade com os objetivos, chamado Progressive Minimal Criteria Novelty Search (PMCNS). Este método restringe progressivamente o espaço de comportamentos, através da definição de um limiar de fitness que os indivíduos devem superar para serem selecionados para reprodução. Este limiar é dinâmico, começando sem impacto e aumentando progressivamente à medida que a população se vai aproximando do objetivo. Para avaliar este novo método, foram realizadas experiências com as tarefas de agregação e gestão coletiva de energia, já apresentadas anteriormente. O PMCNS foi comparado com outro método bem sucedido, onde a avaliação de cada individuo consiste numa combinação linear dos seus valores de fitness e novidade. Os resultados mostram que o PMCNS é um método eficaz em direcionar a exploração do espaço de comportamentos para as zonas associadas a soluções de elevada qualidade, sem comprometer a diversidade que é descoberta pela pesquisa de novidade, e conseguindo na mesma ultrapassar a deceção da função objetivo. O desempenho do PMCNS foi superior a todos os outros métodos testados.Novelty search is a recent artificial evolution technique that challenges the traditional evolutionary approach. The main idea behind novelty search is to reward the novelty of solutions instead of progress towards a fixed goal, in order to avoid premature convergence and deception. Deception occurs in artificial evolution when the objective-function leads the population to local maxima, failing to reach the desired objective. In novelty search, there is no pressure to evolve better solutions, only pressure to evolve solutions different from the ones seen so far, thus avoiding the potential deceptiveness of an objective-function. In previous works, novelty search has been applied with success to single robot system. In this thesis, we use novelty search together with NEAT to evolve neuro-controllers for homogeneous swarms of robots. The aim of this approach is to facilitate the achievement of more ambitious objectives through artificial evolution, and in the end contribute towards the evolution of robotic swarms capable of taking on complex, real-world tasks. Our empirical study is conducted in simulation and uses two common swarm robotics tasks: aggregation, and sharing of an energy recharging station. Our results show that novelty search is capable of overcoming deception, and is notably effective in bootstrapping the evolution. In non-deceptive setups, novelty search achieved fitness scores similar to fitness-based evolution. Novelty search could evolve a broad diversity of solutions to the same problem, unveiling interesting forms of self-organization. Our study also encompasses variants of novelty search that combine novelty with objectives, in order to combine the exploratory character of novelty search with the exploratory character of objective-based evolution. We propose Progressive Minimal Criteria Novelty Search (PMCNS), a novel method for combining novelty and objectives, where the exploration of the behavior space is progressively restricted to zones of increasing fitness scores. We show that PMCNS can improve the fitness scores of the evolved solutions, without compromising the diversity of behaviors. Overall, our study shows that novelty search is a promising alternative for the evolution of controllers for robotic swarms

MEG: Multi-objective Ensemble Generation for Software Defect Prediction

Background: Defect Prediction research aims at assisting software engineers in the early identification of software defect during the development process. A variety of automated approaches, ranging from traditional classification models to more sophisticated learning approaches, have been explored to this end. Among these, recent studies have proposed the use of ensemble prediction models (i.e., aggregation of multiple base classifiers) to build more robust defect prediction models. / Aims: In this paper, we introduce a novel approach based on multi-objective evolutionary search to automatically generate defect prediction ensembles. Our proposal is not only novel with respect to the more general area of evolutionary generation of ensembles, but it also advances the state-of-the-art in the use of ensemble in defect prediction. / Method: We assess the effectiveness of our approach, dubbed as Multi-objective Ensemble Generation (MEG), by empirically benchmarking it with respect to the most related proposals we found in the literature on defect prediction ensembles and on multi-objective evolutionary ensembles (which, to the best of our knowledge, had never been previously applied to tackle defect prediction). / Result: Our results show that MEG is able to generate ensembles which produce similar or more accurate predictions than those achieved by all the other approaches considered in 73% of the cases (with favourable large effect sizes in 80% of them). / Conclusions: MEG is not only able to generate ensembles that yield more accurate defect predictions with respect to the benchmarks considered, but it also does it automatically, thus relieving the engineers from the burden of manual design and experimentation

The Emergence of Canalization and Evolvability in an Open-Ended, Interactive Evolutionary System

Natural evolution has produced a tremendous diversity of functional organisms. Many believe an essential component of this process was the evolution of evolvability, whereby evolution speeds up its ability to innovate by generating a more adaptive pool of offspring. One hypothesized mechanism for evolvability is developmental canalization, wherein certain dimensions of variation become more likely to be traversed and others are prevented from being explored (e.g. offspring tend to have similarly sized legs, and mutations affect the length of both legs, not each leg individually). While ubiquitous in nature, canalization almost never evolves in computational simulations of evolution. Not only does that deprive us of in silico models in which to study the evolution of evolvability, but it also raises the question of which conditions give rise to this form of evolvability. Answering this question would shed light on why such evolvability emerged naturally and could accelerate engineering efforts to harness evolution to solve important engineering challenges. In this paper we reveal a unique system in which canalization did emerge in computational evolution. We document that genomes entrench certain dimensions of variation that were frequently explored during their evolutionary history. The genetic representation of these organisms also evolved to be highly modular and hierarchical, and we show that these organizational properties correlate with increased fitness. Interestingly, the type of computational evolutionary experiment that produced this evolvability was very different from traditional digital evolution in that there was no objective, suggesting that open-ended, divergent evolutionary processes may be necessary for the evolution of evolvability.Comment: SI can be found at: http://www.evolvingai.org/files/SI_0.zi

EvoFed: Leveraging Evolutionary Strategies for Communication-Efficient Federated Learning

Federated Learning (FL) is a decentralized machine learning paradigm that enables collaborative model training across dispersed nodes without having to force individual nodes to share data. However, its broad adoption is hindered by the high communication costs of transmitting a large number of model parameters. This paper presents EvoFed, a novel approach that integrates Evolutionary Strategies (ES) with FL to address these challenges. EvoFed employs a concept of 'fitness-based information sharing', deviating significantly from the conventional model-based FL. Rather than exchanging the actual updated model parameters, each node transmits a distance-based similarity measure between the locally updated model and each member of the noise-perturbed model population. Each node, as well as the server, generates an identical population set of perturbed models in a completely synchronized fashion using the same random seeds. With properly chosen noise variance and population size, perturbed models can be combined to closely reflect the actual model updated using the local dataset, allowing the transmitted similarity measures (or fitness values) to carry nearly the complete information about the model parameters. As the population size is typically much smaller than the number of model parameters, the savings in communication load is large. The server aggregates these fitness values and is able to update the global model. This global fitness vector is then disseminated back to the nodes, each of which applies the same update to be synchronized to the global model. Our analysis shows that EvoFed converges, and our experimental results validate that at the cost of increased local processing loads, EvoFed achieves performance comparable to FedAvg while reducing overall communication requirements drastically in various practical settings

Evolving soft locomotion in aquatic and terrestrial environments: effects of material properties and environmental transitions

Designing soft robots poses considerable challenges: automated design approaches may be particularly appealing in this field, as they promise to optimize complex multi-material machines with very little or no human intervention. Evolutionary soft robotics is concerned with the application of optimization algorithms inspired by natural evolution in order to let soft robots (both morphologies and controllers) spontaneously evolve within physically-realistic simulated environments, figuring out how to satisfy a set of objectives defined by human designers. In this paper a powerful evolutionary system is put in place in order to perform a broad investigation on the free-form evolution of walking and swimming soft robots in different environments. Three sets of experiments are reported, tackling different aspects of the evolution of soft locomotion. The first two sets explore the effects of different material properties on the evolution of terrestrial and aquatic soft locomotion: particularly, we show how different materials lead to the evolution of different morphologies, behaviors, and energy-performance tradeoffs. It is found that within our simplified physics world stiffer robots evolve more sophisticated and effective gaits and morphologies on land, while softer ones tend to perform better in water. The third set of experiments starts investigating the effect and potential benefits of major environmental transitions (land - water) during evolution. Results provide interesting morphological exaptation phenomena, and point out a potential asymmetry between land-water and water-land transitions: while the first type of transition appears to be detrimental, the second one seems to have some beneficial effects.Comment: 37 pages, 22 figures, currently under review (journal

Designing pull production control systems:Customization and robustness

In this dissertation we address the issues of selecting and configuring pull production control systems for single-product flowlines. We start with a review of pull systems in the literature, yielding a new classification. Then we propose a novel selection procedure based on a generic system that we test on a case also studied in the literature. We further study our procedure for a variety of twelve production lines. We find new types of pull systems that perform well. Next, we raise the issue of designing pull systems under uncertainty. We propose a novel procedure to minimize the risk of poor performance. Results show that risk considerations strongly influence the selection of a specific pull system