Interactive Biorobotics

What can interactive robots offer to the study of social behaviour? Philosophical reflections about the use of robotic models in animal research have focused so far on methods (including the so-called synthetic method) involving robots which do not interact with the target system. Yet, leading researchers have claimed that interactive robots may constitute powerful experimental tools to study collective behaviour. Can they live up to these epistemic expectations? This question is addressed here by focusing on a particular experimental methodology involving interactive robots which has been often adopted in animal research. This methodology is shown to differ from other robot-supported methods for the study of animal behaviour analysed in the philosophical literature, chiefly including the synthetic method. It is also discussed whether biomimicry (i.e., similarity between the robot and the target animal in behaviour, appearance, and internal mechanisms) and acceptability (i.e., whether or not the robot is accepted as a conspecific by the animal) are necessary for an interactive robot to be sensibly used in animal research according to this method

Interactive Biorobotics

What can interactive robots offer to the study of social behaviour? Philosophical reflections about the use of robotic models in animal research have focused so far on methods (including the so-called synthetic method) involving robots which do not interact with the target system. Yet, leading researchers have claimed that interactive robots may constitute powerful experimental tools to study collective behaviour. Can they live up to these epistemic expectations? This question is addressed here by focusing on a particular experimental methodology involving interactive robots which has been often adopted in animal research. This methodology is shown to differ from other robot-supported methods for the study of animal behaviour analysed in the philosophical literature, chiefly including the synthetic method. It is also discussed whether biomimicry (i.e., similarity between the robot and the target animal in behaviour, appearance, and internal mechanisms) and acceptability (i.e., whether or not the robot is accepted as a conspecific by the animal) are necessary for an interactive robot to be sensibly used in animal research according to this method

Experiments in evolutionary collective robotics

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011A robótica evolucionária é uma técnica que visa criar controladores e morfologias para robôs autónomos, usando técnicas de computação evolucionária, tais como os algoritmos genéticos. De forma semelhante ao principio darwiniano de reprodução do mais apto, o algoritmo genético selecciona os indivíduos mais aptos de cada geração para criar a próxima e assim sucessivamente, até um controlador adequado para a tarefa escolhida seja alcançado. O principal objectivo deste trabalho é o estudo da emergência de comportamentos colectivos em grupos de robôs autónomos, usando técnicas de evolução artificial para evoluir controladores adequados. A emergência de protocolos explícitos de comunicação nas experiências é também estudado, com o objectivo de entender a sua influência nos comportamentos que os controladores desenvolveram. A evolução artificial de controladores pode ser uma tarefa demorada, e a natureza aleatória das primeiras gerações destes pode danificar os robôs (podem surgir comportamentos que levem os robôs a embater contra paredes ou a embater uns contra os outros, etc). Para contornar estes problemas, tanto a evolução dos controladores como os seus respectivos testes foram feitos num simulador. Estes são redes neuronais recorrentes com entradas temporais, cujos pesos das ligações sinápticas, tendência e a taxa de decaimento estão codificados em cromossomas. Os cromossomas são criados usando um algoritmo genético e avaliados por uma função de avaliação desenhada especificamente para a tarefa que os controladores terão que efectuar. O simulador JBotEvolver (http://jbotevolver.sourceforge.net) foi o simulador utilizado para realizar as experiências. Este simulador, escrito na linguagem Java, é um projecto de código aberto que permite simular o comportamento de grupos de robôs num dado ambiente. Para efectuar a evolução artificial do controlador de um grupo de robôs, o simulador usa algoritmos genéticos, em conjunto com uma função de avaliação, previamente escolhida consoante a tarefa em questão. Um interface gráfico permite ao utilizador ver uma representação do ambiente, dos robôs e do seu comportamento. Todos os parâmetros da simulação podem ser alterados ao editar um ficheiro de configuração, que é único para cada experiência. Quando a simulação está a decorrer, um conjunto de ficheiros de dados e de configuração são criados, com os valores de fitness de cada geração, a melhor geração até ao momento e gerações anteriores. Desta forma é possível avaliar os resultados de uma determinada geração, fazer estudos sobre como é que a evolução decorreu, etc. O simulador pode também fazer evolução artificial de forma distribuída. O lado servidor distribui pedaços de informação para os clientes processarem e enviarem de volta. Esta característica do simulador é extremamente útil, especialmente quando são feitas simulações que exijam uma grande capacidade de processamento. Os robôs simulados no conjunto de experiências descrito nesta tese são de forma circular, com dez centímetros de diâmetro, duas rodas que se movem de forma independente, com velocidades a variar entre [-5cm/s, 5cm/s] e um conjunto de sensores que variam consoante o tipo de experiência. Um actuador de cor, que permite aos robôs variar a sua cor em todo o espectro RGB é também incluído nas experiências em que se estuda a emergência de protocolos de comunicação explícitos. Nesta tese, três temas distintos são abordados pelas experiências: agregação auto organizada, escolha colectiva e gestão de energia. No estudo da agregação auto organizada, um controlador foi criado através de evolução artificial, para fazer que um grupo de robôs que inicialmente se encontram distribuídos aleatoriamente pelo ambiente, se agreguem num único grupo e se mantenham unidos. Para evoluir este controlador foi utilizada uma população de cinco robôs com sensores que lhes permitiam detectar outros robôs próximos, no entanto para efectuar um estudo de escalabilidade, o controlador foi testado com dez, quinze e cem robôs. Para o estudo de comportamentos de escolha colectiva, foi criado um ambiente com diversas marcas luminosas. O objectivo era que os robôs encontrassem e escolhessem colectivamente uma dessas marcas formando um único grupo dentro delas. O controlador criado para esta experiências foi evoluído usando um grupo de cinco robôs com sensores proximidade entre robôs e sensores de luz para detectar as marcas luminosas e um ambiente com duas marcas luminosas, a distarem dois metros uma da outra. Estes sensores desenhados para detectar marcas luminosas possuem um alcance de dez centímetros e os robôs iniciam a simulação situados entre as marcas, pelo que os robôs têm que procurar activamente pelas marcas. Para estudar a escalabilidade do controlador produzido, este foi testado com grupos de dez e quinze robôs e num ambiente com cinco marcas luminosas. A influência de protocolos explícitos de comunicação foi estudada também, ao equipar os robôs com um actuador de cor e sensores que detectam mudanças de cor nos robôs nas proximidades. Finalmente, para o estudo de comportamentos de gestão de energia, um ambiente com duas fontes de energia foi criado e um grupo de robôs com uma energia limitada foi usado. O objectivo do controlador produzido foi o de manter o maior grupo de robôs possível intacto, ou seja sem nenhum chegar a um nível zero de energia, o máximo de tempo possível. As fontes de energia usadas nesta experiência apenas podem carregar dois robôs simultaneamente, sendo que se um terceiro robô se juntar, todos os robôs deixam de receber energia. Os robôs utilizados para esta experiência possuem sensores de proximidade entre robôs e sensores que detectam as fontes de energia, bem como o número de robôs que estas se encontram a carregar num dado instante. O controlador foi evoluído usando um grupo de 5 robôs com autonomia de cerca de 80 segundos, durante 120 segundos. Para estudar a escalabilidade do controlador, foram usados grupos de sete e dez robôs e o tempo da simulação foi aumentado para 150 e 200 segundos. O estudo de protocolos de comunicação explícitos foi também estudado ao adicionar um actuador de cor e sensores que detectam mudanças de cor nos robôs nas proximidades, tal como foi feito na experiência de comportamentos de escolha colectiva.Evolutionary robotics is a technique that aims to create controllers and sometimes morphologies for autonomous robots by using evolutionary computation techniques, such as genetic algorithms. Inspired by the Darwinian principle of survival of the fittest through reproductive success, the genetic algorithms select the fittest individuals of each generation in order to create the next one and so forth, until a suitable controller for the designated task is found or for a certain number of generations. The main goal of this work is to study the emergence of collective behaviors in a group of autonomous robots by using artificial evolution techniques to evolve suitable controllers. The emergence of explicit communication protocols in the experiments is also studied in order to understand its influence on the behaviors the controllers evolved. Since artificial evolution can be a time consuming task, and because of the random nature of the controllers produced in early generations can damage real robots, a simulator is often used to evolve and test the controllers. The controllers used in this study are Continuous Time Recurrent Neural Networks whose weights of the synaptic connections, bias and decay rates are encoded into chromosomes. The chromosomes are produced by using a genetic algorithm and evaluated by an evaluation function designed specifically for the task that simulated robots have to perform. The controllers produced through artificial evolution are tested in terms of performance and scalability. The components of the simulator, such as evaluation functions, environments, experiments, physical objects and so forth are described. Some guidelines of how to create such components, as well as some code examples, are available in the report to allow future users to modify and improve the simulator

Parallel formation of differently sized groups in a robotic swarm

Swarm robotics is a branch of collective robotics focused on the study of relatively large groups of robots with limited sensing and communication capabilities. One of the main benefits of such systems is their potential for parallelism. To achieve parallelism in real-world scenarios, it is important to be able to split the swarm into appropriately sized groups for different concurrent tasks

Behaviour design in microrobots:hierarchical reinforcement learning under resource constraints

In order to verify models of collective behaviors of animals, robots could be manipulated to implement the model and interact with real animals in a mixed-society. This thesis describes design of the behavioral hierarchy of a miniature robot, that is able to interact with cockroaches, and participates in their collective decision makings. The robots are controlled via a hierarchical behavior-based controller in which, more complex behaviors are built by combining simpler behaviors through fusion and arbitration mechanisms. The experiments in the mixed-society confirms the similarity between the collective patterns of the mixed-society and those of the real society. Moreover, the robots are able to induce new collective patterns by modulation of some behavioral parameters. Difficulties in the manual extraction of the behavioral hierarchy and inability to revise it, direct us to benefit from machine learning techniques, in order to devise the composition hierarchy and coordination in an automated way. We derive a Compact Q-Learning method for micro-robots with processing and memory constraints, and try to learn behavior coordination through it. The behavior composition part is still done manually. However, the problem of the curse of dimensionality makes incorporation of this kind of flat-learning techniques unsuitable. Even though optimizing them could temporarily speed up the learning process and widen their range of applications, their scalability to real world applications remains under question. In the next steps, we apply hierarchical learning techniques to automate both behavior coordination and composition parts. In some situations, many features of the state space might be irrelevant to what the robot currently learns. Abstracting these features and discovering the hierarchy among them can help the robot learn the behavioral hierarchy faster. We formalize the automatic state abstraction problem with different heuristics, and derive three new splitting criteria that adapt decision tree learning techniques to state abstraction. Proof of performance is supported by strong evidences from simulation results in deterministic and non-deterministic environments. Simulation results show encouraging enhancements in the required number of learning trials, robot's performance, size of the learned abstraction trees, and computation time of the algorithms. In the other hand, learning in a group provides free sources of knowledge that, if communicated, can broaden the scales of learning, both temporally and spatially. We present two approaches to combine output or structure of abstraction trees. The trees are stored in different RL robots in a multi-robot system, or in the trees learned by the same robot but using different methods. Simulation results in a non-deterministic football learning task provide strong evidences for enhancement in convergence rate and policy performance, specially in heterogeneous cooperations

Group Living Enhances Individual Resources Discrimination: The Use of Public Information by Cockroaches to Assess Shelter Quality

In group-living organisms, consensual decision of site selection results from the interplay between individual responses to site characteristics and to group-members. Individuals independently gather personal information by exploring their environment. Through social interaction, the presence of others provides public information that could be used by individuals and modulates the individual probability of joining/leaving a site. The way that individual's information processing and the network of interactions influence the dynamics of public information (depending on population size) that in turn affect discrimination in site quality is a central question. Using binary choice between sheltering sites of different quality, we demonstrate that cockroaches in group dramatically outperform the problem-solving ability of single individual. Such use of public information allows animals to discriminate between alternatives whereas isolated individuals are ineffective (i.e. the personal discrimination efficiency is weak). Our theoretical results, obtained from a mathematical model based on behavioral rules derived from experiments, highlight that the collective discrimination emerges from competing amplification processes relying on the modulation of the individual sheltering time without shelters comparison and communication modulation. Finally, we well demonstrated here the adaptive value of such decision algorithm. Without any behavioral change, the system is able to shift to a more effective strategy when alternatives are present: the modification of the spatio-temporal distributions of individuals leading to the collective selection of the best resource. This collective discrimination implying such parsimonious and widespread mechanism must be shared by many group living-species