A novel plasticity rule can explain the development of sensorimotor intelligence

Grounding autonomous behavior in the nervous system is a fundamental challenge for neuroscience. In particular, the self-organized behavioral development provides more questions than answers. Are there special functional units for curiosity, motivation, and creativity? This paper argues that these features can be grounded in synaptic plasticity itself, without requiring any higher level constructs. We propose differential extrinsic plasticity (DEP) as a new synaptic rule for self-learning systems and apply it to a number of complex robotic systems as a test case. Without specifying any purpose or goal, seemingly purposeful and adaptive behavior is developed, displaying a certain level of sensorimotor intelligence. These surprising results require no system specific modifications of the DEP rule but arise rather from the underlying mechanism of spontaneous symmetry breaking due to the tight brain-body-environment coupling. The new synaptic rule is biologically plausible and it would be an interesting target for a neurobiolocal investigation. We also argue that this neuronal mechanism may have been a catalyst in natural evolution.Comment: 18 pages, 5 figures, 7 video

Higher coordination with less control - A result of information maximization in the sensorimotor loop

This work presents a novel learning method in the context of embodied artificial intelligence and self-organization, which has as few assumptions and restrictions as possible about the world and the underlying model. The learning rule is derived from the principle of maximizing the predictive information in the sensorimotor loop. It is evaluated on robot chains of varying length with individually controlled, non-communicating segments. The comparison of the results shows that maximizing the predictive information per wheel leads to a higher coordinated behavior of the physically connected robots compared to a maximization per robot. Another focus of this paper is the analysis of the effect of the robot chain length on the overall behavior of the robots. It will be shown that longer chains with less capable controllers outperform those of shorter length and more complex controllers. The reason is found and discussed in the information-geometric interpretation of the learning process

An Unsupervised Neural Network for Real-Time Low-Level Control of a Mobile Robot: Noise Resistance, Stability, and Hardware Implementation

We have recently introduced a neural network mobile robot controller (NETMORC). The controller is based on earlier neural network models of biological sensory-motor control. We have shown that NETMORC is able to guide a differential drive mobile robot to an arbitrary stationary or moving target while compensating for noise and other forms of disturbance, such as wheel slippage or changes in the robot's plant. Furthermore, NETMORC is able to adapt in response to long-term changes in the robot's plant, such as a change in the radius of the wheels. In this article we first review the NETMORC architecture, and then we prove that NETMORC is asymptotically stable. After presenting a series of simulations results showing robustness to disturbances, we compare NETMORC performance on a trajectory-following task with the performance of an alternative controller. Finally, we describe preliminary results on the hardware implementation of NETMORC with the mobile robot ROBUTER.Sloan Fellowship (BR-3122), Air Force Office of Scientific Research (F49620-92-J-0499

Evolution of Neuro-Controllers for Robots' Alignment using Local Communication

info:eu-repo/semantics/publishe

Memory-Enhanced Evolutionary Robotics: The Echo State Network Approach

International audienceInterested in Evolutionary Robotics, this paper focuses on the acquisition and exploitation of memory skills. The targeted task is a well-studied benchmark problem, the Tolman maze, requiring in principle the robotic controller to feature some (limited) counting abilities. An elaborate experimental setting is used to enforce the controller generality and prevent opportunistic evolution from mimicking deliberative skills through smart reactive heuristics. The paper compares the prominent NEAT approach, achieving the non-parametric optimization of Neural Nets, with the evolutionary optimization of Echo State Networks, pertaining to the recent field of Reservoir Computing. While both search spaces offer a sufficient expressivity and enable the modelling of complex dynamic systems, the latter one is amenable to robust parametric, linear optimization with Covariance Matrix Adaptation-Evolution Strategies

Experiments in evolutionary collective robotics

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011A robótica evolucionária é uma técnica que visa criar controladores e morfologias para robôs autónomos, usando técnicas de computação evolucionária, tais como os algoritmos genéticos. De forma semelhante ao principio darwiniano de reprodução do mais apto, o algoritmo genético selecciona os indivíduos mais aptos de cada geração para criar a próxima e assim sucessivamente, até um controlador adequado para a tarefa escolhida seja alcançado. O principal objectivo deste trabalho é o estudo da emergência de comportamentos colectivos em grupos de robôs autónomos, usando técnicas de evolução artificial para evoluir controladores adequados. A emergência de protocolos explícitos de comunicação nas experiências é também estudado, com o objectivo de entender a sua influência nos comportamentos que os controladores desenvolveram. A evolução artificial de controladores pode ser uma tarefa demorada, e a natureza aleatória das primeiras gerações destes pode danificar os robôs (podem surgir comportamentos que levem os robôs a embater contra paredes ou a embater uns contra os outros, etc). Para contornar estes problemas, tanto a evolução dos controladores como os seus respectivos testes foram feitos num simulador. Estes são redes neuronais recorrentes com entradas temporais, cujos pesos das ligações sinápticas, tendência e a taxa de decaimento estão codificados em cromossomas. Os cromossomas são criados usando um algoritmo genético e avaliados por uma função de avaliação desenhada especificamente para a tarefa que os controladores terão que efectuar. O simulador JBotEvolver (http://jbotevolver.sourceforge.net) foi o simulador utilizado para realizar as experiências. Este simulador, escrito na linguagem Java, é um projecto de código aberto que permite simular o comportamento de grupos de robôs num dado ambiente. Para efectuar a evolução artificial do controlador de um grupo de robôs, o simulador usa algoritmos genéticos, em conjunto com uma função de avaliação, previamente escolhida consoante a tarefa em questão. Um interface gráfico permite ao utilizador ver uma representação do ambiente, dos robôs e do seu comportamento. Todos os parâmetros da simulação podem ser alterados ao editar um ficheiro de configuração, que é único para cada experiência. Quando a simulação está a decorrer, um conjunto de ficheiros de dados e de configuração são criados, com os valores de fitness de cada geração, a melhor geração até ao momento e gerações anteriores. Desta forma é possível avaliar os resultados de uma determinada geração, fazer estudos sobre como é que a evolução decorreu, etc. O simulador pode também fazer evolução artificial de forma distribuída. O lado servidor distribui pedaços de informação para os clientes processarem e enviarem de volta. Esta característica do simulador é extremamente útil, especialmente quando são feitas simulações que exijam uma grande capacidade de processamento. Os robôs simulados no conjunto de experiências descrito nesta tese são de forma circular, com dez centímetros de diâmetro, duas rodas que se movem de forma independente, com velocidades a variar entre [-5cm/s, 5cm/s] e um conjunto de sensores que variam consoante o tipo de experiência. Um actuador de cor, que permite aos robôs variar a sua cor em todo o espectro RGB é também incluído nas experiências em que se estuda a emergência de protocolos de comunicação explícitos. Nesta tese, três temas distintos são abordados pelas experiências: agregação auto organizada, escolha colectiva e gestão de energia. No estudo da agregação auto organizada, um controlador foi criado através de evolução artificial, para fazer que um grupo de robôs que inicialmente se encontram distribuídos aleatoriamente pelo ambiente, se agreguem num único grupo e se mantenham unidos. Para evoluir este controlador foi utilizada uma população de cinco robôs com sensores que lhes permitiam detectar outros robôs próximos, no entanto para efectuar um estudo de escalabilidade, o controlador foi testado com dez, quinze e cem robôs. Para o estudo de comportamentos de escolha colectiva, foi criado um ambiente com diversas marcas luminosas. O objectivo era que os robôs encontrassem e escolhessem colectivamente uma dessas marcas formando um único grupo dentro delas. O controlador criado para esta experiências foi evoluído usando um grupo de cinco robôs com sensores proximidade entre robôs e sensores de luz para detectar as marcas luminosas e um ambiente com duas marcas luminosas, a distarem dois metros uma da outra. Estes sensores desenhados para detectar marcas luminosas possuem um alcance de dez centímetros e os robôs iniciam a simulação situados entre as marcas, pelo que os robôs têm que procurar activamente pelas marcas. Para estudar a escalabilidade do controlador produzido, este foi testado com grupos de dez e quinze robôs e num ambiente com cinco marcas luminosas. A influência de protocolos explícitos de comunicação foi estudada também, ao equipar os robôs com um actuador de cor e sensores que detectam mudanças de cor nos robôs nas proximidades. Finalmente, para o estudo de comportamentos de gestão de energia, um ambiente com duas fontes de energia foi criado e um grupo de robôs com uma energia limitada foi usado. O objectivo do controlador produzido foi o de manter o maior grupo de robôs possível intacto, ou seja sem nenhum chegar a um nível zero de energia, o máximo de tempo possível. As fontes de energia usadas nesta experiência apenas podem carregar dois robôs simultaneamente, sendo que se um terceiro robô se juntar, todos os robôs deixam de receber energia. Os robôs utilizados para esta experiência possuem sensores de proximidade entre robôs e sensores que detectam as fontes de energia, bem como o número de robôs que estas se encontram a carregar num dado instante. O controlador foi evoluído usando um grupo de 5 robôs com autonomia de cerca de 80 segundos, durante 120 segundos. Para estudar a escalabilidade do controlador, foram usados grupos de sete e dez robôs e o tempo da simulação foi aumentado para 150 e 200 segundos. O estudo de protocolos de comunicação explícitos foi também estudado ao adicionar um actuador de cor e sensores que detectam mudanças de cor nos robôs nas proximidades, tal como foi feito na experiência de comportamentos de escolha colectiva.Evolutionary robotics is a technique that aims to create controllers and sometimes morphologies for autonomous robots by using evolutionary computation techniques, such as genetic algorithms. Inspired by the Darwinian principle of survival of the fittest through reproductive success, the genetic algorithms select the fittest individuals of each generation in order to create the next one and so forth, until a suitable controller for the designated task is found or for a certain number of generations. The main goal of this work is to study the emergence of collective behaviors in a group of autonomous robots by using artificial evolution techniques to evolve suitable controllers. The emergence of explicit communication protocols in the experiments is also studied in order to understand its influence on the behaviors the controllers evolved. Since artificial evolution can be a time consuming task, and because of the random nature of the controllers produced in early generations can damage real robots, a simulator is often used to evolve and test the controllers. The controllers used in this study are Continuous Time Recurrent Neural Networks whose weights of the synaptic connections, bias and decay rates are encoded into chromosomes. The chromosomes are produced by using a genetic algorithm and evaluated by an evaluation function designed specifically for the task that simulated robots have to perform. The controllers produced through artificial evolution are tested in terms of performance and scalability. The components of the simulator, such as evaluation functions, environments, experiments, physical objects and so forth are described. Some guidelines of how to create such components, as well as some code examples, are available in the report to allow future users to modify and improve the simulator