Multi-Agent Task Allocation for Robot Soccer

This is the published version. Copyright De GruyterThis paper models and analyzes task allocation methodologies for multiagent systems. The evaluation process was implemented as a collection of simulated soccer matches. A soccer-simulation software package was used as the test-bed as it provided the necessary features for implementing and testing the methodologies. The methodologies were tested through competitions with a number of available soccer strategies. Soccer game scores, communication, robustness, fault-tolerance, and replanning capabilities were the parameters used as the evaluation criteria for the mul1i-agent systems

Desenvolvimento de comportamentos para robô humanoide

Mestrado em Engenharia de Computadores e TelemáticaHumanoid robotics is an area of active research. Robots with human body are better suited to execute tasks in environments designed for humans. Moreover, people feel more comfortable interacting with robots that have a human appearance. RoboCup encourages robotic research by promoting robotic competitions. One of these competitions is the Standard Platform League (SPL) in which humanoid robots play soccer. The robot used is the Nao robot, created by Aldebaran Robotics. The di erence between the teams that compete in this league is the software that controls the robots. Another league promoted by RoboCup is the 3D Soccer Simulation League (3DSSL). In this league the soccer game is played in a computer simulation. The robot model used is also the one of the Nao robot. However, there are a few di erences in the dimensions and it has one more Degree of Freedom (DoF) than the real robot. Moreover, the simulator cannot reproduce reality with precision. Both these leagues are relevant for this thesis, since they use the same robot model. The objective of this thesis is to develop behaviors for these leagues, taking advantage of the previous work developed for the 3DSSL. These behaviors include the basic movements needed to play soccer, namely: walking, kicking the ball, and getting up after a fall. This thesis presents the architecture of the agent developed for the SPL, which is similar to the architecture of the FC Portugal team agent from the 3DSSL, hence allowing to port code between both leagues easily. It was also developed an interface that allows to control a leg in a more intuitive way. It calculates the joint angles of the leg, using the following parameters: three angles between the torso and the line connecting hip and ankle; two angles between the foot and the perpendicular of the torso; and the distance between the hip and the ankle. It was also developed an algorithm to calculate the three joint angles of the hip that produce the desired vertical rotation, since the Nao robot does not have a vertical joint in the hip. This thesis presents also the behaviors developed for the SPL, some of them based on the existing behaviors from the 3DSSL. It is presented a behavior that allows to create robot movements by de ning a sequence of poses, an open-loop omnidirectional walking algorithm, and a walk optimized in the simulator adapted to the real robot. Feedback was added to this last walk to make it more robust against external disturbances. Using the behaviors presented in this thesis, the robot achieved a forward velocity of 16 cm/s, a lateral velocity of 6 cm/s, and rotated at 40 deg/s. The work developed in this thesis allows to have an agent to control the Nao robot and execute the basic low level behaviors for competing in the SPL. Moreover, the similarities between the architecture of the agent for the SPL with that of the agent from the 3DSSL allow to use the same high level behaviors in both leagues.A robótica humanoide é uma área em ativo desenvolvimento. Os robôs com forma humana estão melhor adaptados para executarem tarefas em ambientes desenhados para humanos. Além disso, as pessoas sentem-se mais confortáveis quando interagem com robôs que tenham aparência humana. O RoboCup incentiva a investigação na área da robótica através da realização de competições de robótica. Uma destas competições é a Standard Platform League (SPL) na qual robôs humanoides jogam futebol. O robô usado é o robô Nao, criado pela Aldebaran Robotics. A diferença entre as equipas que competem nesta liga está no software que controla os robôs. Outra liga presente no RoboCup é a 3D Soccer Simulation League (3DSSL). Nesta liga o jogo de futebol é jogado numa simulação por computador. O modelo de robô usado é também o do robô Nao. Contudo, existem umas pequenas diferenças nas dimensões e este tem mais um grau de liberdade do que o robô real. O simulador também não consegue reproduzir a realidade com perfeição. Ambas estas ligas são importantes para esta dissertação, pois usam o mesmo modelo de robô. O objectivo desta dissertação é desenvolver comportamentos para estas ligas, aproveitando o trabalho prévio desenvolvido para a 3DSSL. Estes comportamentos incluem os movimentos básicos necessários para jogar futebol, nomeadamente: andar, chutar a bola e levantar-se depois de uma queda. Esta dissertação apresenta a arquitetura do agente desenvolvida para a SPL, que é similar á arquitetura do agente da equipa FC Portugal da 3DSSL, para permitir uma mais fácil partilha de código entre as ligas. Foi também desenvolvida uma interface que permite controlar uma perna de maneira mais intuitiva. Ela calcula os ângulos das juntas da perna, usando os seguintes parâmetros: três ângulos entre o torso e a linha que une anca ao tornozelo; dois ângulos entre o pé e a perpendicular do torso; e a distância entre a anca e o tornozelo. Nesta dissertação foi também desenvolvido um algoritmo para calcular os três ângulos das juntas da anca que produzam a desejada rotação vertical, visto o robô Nao não ter uma junta na anca que rode verticalmente. Esta dissertação também apresenta os comportamentos desenvolvidos para a SPL, alguns dos quais foram baseados nos comportamentos já existentes na 3DSSL. É apresentado um modelo de comportamento que permite criar movimentos para o robô de nindo uma sequência de poses, um algoritmo para um andar open-loop e omnidirecional e um andar otimizado no simulador e adaptado para o robô real. A este último andar foi adicionado um sistema de feedback para o tornar mais robusto. Usando os comportamentos apresentados nesta dissertação, o robô atingiu uma velocidade de 16 cm/s para frente, 6 cm/s para o lado e rodou sobre si pr oprio a 40 graus/s. O trabalho desenvolvido nesta dissertação permite ter um agente que controle o robô Nao e execute os comportamentos básicos de baixo nível para competir na SPL. Além disso, as semelhan cas entre a arquitetura do agente para a SPL com a arquitetura do agente da 3DSSL permite usar os mesmos comportamentos de alto nível em ambas as ligas

Artificial Vision in the Nao Humanoid Robot

Projecte Final de Màster UPC realitzat en col.laboració amb l'Universitat Rovira i Virgili. Departament d'Enginyeria Informàtica i MatemàtiquesRobocup is an international robotic soccer competition held yearly to promote innovative research and application in robotic intelligence. Nao humanoid robot is the new RoboCup Standard Platform robot. This platform is the new Nao robot designed and manufactured by the french company Aldebaran Robotics. The new robot is an advanced platform for developing new computer vision and robotics methods. This Master Thesis is oriented to the study of some fundamental issues for the artificial vision in the Nao humanoid robots. In particular, color representation models, real-time segmentation techniques, object detection and visual sonar approaches are the computer vision techniques applied to Nao robot in this Master Thesis. Also, Nao’s camera model, mathematical robot kinematic and stereo-vision techniques are studied and developed. This thesis also studies the integration between kinematic model and robot perception model to perform RoboCup soccer games and RoboCup technical challenges. This work is focused in the RoboCup environment but all computer vision and robotics algorithms can be easily extended to another robotics fields

Individual and coordinated decision for the CAMBADA team

Mestrado em Engenharia de Computadores e TelemáticaA coordenação em sistemas multi-robô é um aspecto crucial no futebol robótico. A maneira como cada equipa coordena cada um dos seus robôs em acções cooperativas define a base da sua estratégia. Este trabalho tem como foco o desenvolvimento da coordenação e estratégia da equipa CAMBADA. CAMBADA é a equipa de futebol robótico da modalidade RoboCup Middle Size League da Universidade de Aveiro. Foi desenvolvida pelo grupo ATRI, pertencente µa unidade de investigação IEETA. O presente trabalho baseia-se em trabalho desenvolvido anteriormente, tentando melhorar o desempenho da equipa. Cada robô da equipa CAMBADA é um agente independente e autónomo capaz de coordenar as suas acções com os colegas de equipa através da comunicação e da partilha de informação. O comportamento de cada robô deverá ser integrado na estratégia global da equipa, resultando assim em acções cooperativas de todos os robôs. Isto é conseguido através do uso de papeis(roles) e comportamentos(behaviours) que definem a atitude de cada robô e as acções que daí resultam. Novos papeis foram desenvolvidos para complementar a estratégia de equipa, e alguns dos papeis existentes foram melhorados. Também foram efectuadas melhorias em alguns dos comportamentos existentes. É efectu- ada a descrição de cada um destes papeis e comportamentos, assim como as alterações efectuadas. O trabalho desenvolvido foi testado nas competições do Robótica 2008 (o desenvolvimento não estava ainda concluído) e por fim nas competições do RoboCup'2008. A participação da equipa no RoboCup'2008 é analisada e discutida. A equipa consagrou-se campeã mundial, vencendo a competição da Middle Size League do RoboCup'2008 em Suzhou, China. ABSTRACT: Multi-robot coordination is one crucial aspect in robotic soccer. The way each team coordinates its individual robots into cooperative global actions define the foundation of its strategy. CAMBADA is the RoboCup Middle Size League robotic soccer team of the University of Aveiro. It was created by the ATRI group, part of the IEETA research unit. This work is focused on coordination and strategy development for the CAMBADA team. It is built upon previous work and tries to improve the team performance further. In CAMBADA each robot is an independent agent, it coordinates its actions with its teammates through communication and information exchange. The resulting behaviour of the individual robot should be integrated into the global team strategy, thus resulting in cooperative actions by all the robots. This is done by the use of roles and behaviours that define each robot attitude in the field and resulting individual actions. In this work, new roles were created to add to the team strategy and some of the previous existing roles were improved. Some of the existing behaviours were also improved to better fit the desired goals. Each role and behaviour is described as well as the changes made. The resulting work was put to test in the portuguese Robotica 2008 competition (while still in progress) and finally in the RoboCup'2008 world competitions. The performance of the team in the latter is analysed and discussed. The team achieved the 1st place in the RoboCup'2008 MSL world competitions

Multi-robot coordination using flexible setplays : applications in RoboCup's simulation and middle-size leagues

Tese de Doutoramento. Engenharia Informática. Faculdade de Engenharia. Universidade do Porto. 201

Development of behaviors for a simulated humanoid robot

Mestrado em Engenharia de Computadores e TelemáticaControlar um robô bípede com vários graus de liberdade é um desafio que recebe a atenção de vários investigadores nas áreas da biologia, física, electrotecnia, ciências de computadores e mecânica. Para que um humanóide possa agir em ambientes complexos, são necessários comportamentos rápidos, estáveis e adaptáveis. Esta dissertação está centrada no desenvolvimento de comportamentos robustos para um robô humanóide simulado, no contexto das competições de futebol robótico simulado 3D do RoboCup, para a equipa FCPortugal3D. Desenvolver tais comportamentos exige o desenvolvimento de métodos de planeamento de trajectórias de juntas e controlo de baixo nível. Controladores PID foram implementados para o controlo de baixo nível. Para o planeamento de trajectórias, quatro métodos foram estudados. O primeiro método apresentado foi implementado antes desta dissertação e consiste numa sequência de funções degrau que definem o ângulo desejado para cada junta durante o movimento. Um novo método baseado na interpolação de um seno foi desenvolvido e consiste em gerar uma trajectória sinusoidal durante um determinado tempo, o que resulta em transições suaves entre o ângulo efectivo e o ângulo desejado para cada junta. Um outro método que foi desenvolvido, baseado em séries parciais de Fourier, gera um padrão cíclico para cada junta, podendo ter múltiplas frequências. Com base no trabalho desenvolvido por Sven Behnke, um CPG para locomoção omnidireccional foi estudado em detalhe e implementado. Uma linguagem de definição de comportamentos é também parte deste estudo e tem como objectivo simplificar a definição de comportamentos utilizando os vários métodos propostos. Integrando o controlo de baixo nível e os métodos de planeamento de trajectórias, vários comportamentos foram criados para permitir a uma versão simulada do humanóide NAO andar em diferentes direcções, rodar, chutar a bola, apanhar a bola (guarda-redes) e levantar do chão. Adicionalmente, a optimização e geração automática de comportamentos foi também estudada, utilizado algoritmos de optimização como o Hill Climbing e Algoritmos Genéticos. No final, os resultados são comparados com as equipas de simulação 3D que reflectem o estado da arte. Os resultados obtidos são bons e foram capazes de ultrapassar uma das três melhores equipas simuladas do RoboCup em diversos aspectos como a velocidade a andar, a velocidade de rotação, a distância da bola depois de chutada, o tempo para apanhar a bola e o tempo para levantar do chão. ABSTRACT: Controlling a biped robot with several degrees of freedom is a challenging task that takes the attention of several researchers in the fields of biology, physics, electronics, computer science and mechanics. For a humanoid robot to perform in complex environments, fast, stable and adaptable behaviors are required. This thesis is concerned with the development of robust behaviors for a simulated humanoid robot, in the scope of the RoboCup 3D Simulated Soccer Competitions, for FCPortugal3D team. Developing such robust behaviors requires the development of methods for joint trajectory planning and low-level control. PID control were implemented to achieve low-level joint control. For trajectory planning, four methods were studied. The first presented method was implemented before this thesis and consists of a sequence of step functions that define the target angle of each joint during the movement. A new method based on the interpolation of a sine function was developed and consists of generating a sinusoidal shape during some amount of time, leading to smooth transitions between the current angle and the target angle of each joint. Another method developed, based on partial Fourier Series, generates a multi-frequency cyclic pattern for each joint. This method is very flexible and allows to completely control the angular positions and velocities of the joints. Based on the work of developed by Sven Behnke, a CPG for omnidirectional locomotion was studied in detail and implemented. A behavior definition language is also part of this study and aims at simplifying the definition of behaviors using the several proposed methods. By integrating the low-level control and the trajectory planning methods, several behaviors were created to allow a simulated version of the humanoid NAO to walk in different directions, turn, kick the ball, catch the ball (goal keeper) and get up from the ground. Furthermore, the automatic generation of gaits, through the use of optimization algorithms such as hill climbing and genetic algorithms, was also studied and tested. In the end, the results are compared with the state of the art teams of the RoboCup 3D simulation league. The achieved results are good and were able to overcome one of the state of the art simulated teams of RoboCup in several aspects such as walking velocity, turning velocity, distance of the ball when kicked, time to catch the ball and the time to get up from the ground

Ambiente de simulação para agentes em futebol robótico

Mestrado em Engenharia de Computadores e TelemáticaO teste de algoritmos na área da robótica pode ser uma tarefa difícil, especialmente se o teste envolver múltipos robots. Neste contexto o uso de um simulador torna-se uma ferramenta importante no teste de algoritmos pois permite ultrapassar algumas limitações e oferece várias vantagens. CAMBADA é a equipa de futebol robótico da liga de tamanho médio da Universidade de Aveiro, Portugal. A equipa está familiarizada com as limitações do uso de robots reais para o teste de algoritmos. Devido a isso o simulador criado pela equipa Brainstormers Tribots foi adaptado para prover um ambiente de simulação ao software CAMBADA e estava em uso aquando do início desta dissertação. O simulador oferecia pouca flexibilidade na modelação dos robots que resultava em comportamentos imprecisos, oferecia também reduzida interacção com a simulação. O objectivo desta dissertação é criar um ambiente de simulação para agentes em futebol robótico com a intenção de melhorar o ambiente de simulação da equipa CAMBADA. O simulador deve ser capaz de simular dinâmica de objectos a três dimensões, sensores e actuadores ao mesmo tempo que oferece visualização do mundo e a possibilidade de interagir com a simulação. Da pesquisa realizada sobre simuladores robóticos o simulador Gazebo respeitava os nossos requisitos e foi escolhido para código base do nosso simulador. Para criar um ambiente simulado adequado à equipa CAMBADA alguns componentes do Gazebo foram alterados e novos sensores e actuadores virtuais foram desenvolvidos. Vários componentes do software CAMBADA tiveram que sofrer alterações de modo a suportar um ambiente simulado. O robot virtual foi modelado de modo a assemelhar-se com o robot real com o objectivo de obter comportamentos mais precisos. O simulador desenvolvido substituiu a solução anteriormente criada pela equipa CAMBADA e foi usado nos testes de preparação para a participação da equipa no RoboCup 2010 em Singapura onde deu o seu contributo na obtenção do terceiro lugar.In the field of robotics, testing algorithms with the real robots can be a di cult task, specially if the test involves more than one robot. In this context a simulator is an important tool for testing algorithms because it helps overcome some limitation and o ers several advantages. CAMBADA is the RoboCup MSL soccer team of the University of Aveiro, Portugal. The team is familiar with the limitations of using the real robots for testing algorithms. Therefore, a simulator created by the Brainstormers Tribots team was adapted to provide a simulated environment for their software and was used for testing at the time of the beginning of this thesis. The simulator offered low flexibility on the modeling of the robots from which resulted inaccurate behaviors, it also o ered reduced interaction with the simulation. The purpose of this thesis is to create a simulation environment for robotic soccer agents with the intention of improving the simulated environment for the CAMBADA team. The simulation must provide three-dimensional dynamics of objects, be capable of simulating sensors and actuators, allow the visualization of the simulation and provide interaction with the simulation. From the conducted survey about robotic simulators, the simulator Gazebo complied with our requirements and was chosen to provide the code base for our simulator. To create an adequate simulation environment for the CAMBADA team some components of Gazebo were modi ed and new sensors and actuator were developed. Several components of the CAMBADA software had to be modified to support the simulated environment. The virtual robot was modeled to resemble the real robot to provide more accurate behaviors. The developed simulator substituted the previous solution created by CAMBADA team and was used in the preparation tests for the participation in the RoboCup 2010 in Singapore where it contributed to obtain of the third-place