Creating a Dynamic Quadrupedal Robotic Goalkeeper with Reinforcement Learning

We present a reinforcement learning (RL) framework that enables quadrupedal robots to perform soccer goalkeeping tasks in the real world. Soccer goalkeeping using quadrupeds is a challenging problem, that combines highly dynamic locomotion with precise and fast non-prehensile object (ball) manipulation. The robot needs to react to and intercept a potentially flying ball using dynamic locomotion maneuvers in a very short amount of time, usually less than one second. In this paper, we propose to address this problem using a hierarchical model-free RL framework. The first component of the framework contains multiple control policies for distinct locomotion skills, which can be used to cover different regions of the goal. Each control policy enables the robot to track random parametric end-effector trajectories while performing one specific locomotion skill, such as jump, dive, and sidestep. These skills are then utilized by the second part of the framework which is a high-level planner to determine a desired skill and end-effector trajectory in order to intercept a ball flying to different regions of the goal. We deploy the proposed framework on a Mini Cheetah quadrupedal robot and demonstrate the effectiveness of our framework for various agile interceptions of a fast-moving ball in the real world.Comment: First two authors contributed equally. Accompanying video is at https://youtu.be/iX6OgG67-Z

Situation based strategic positioning for coordinating a team of homogeneous agents

. In this paper we are proposing an approach for coordinating a team ofhomogeneous agents based on a flexible common Team Strategy as well as onthe concepts of Situation Based Strategic Positioning and Dynamic Positioningand Role Exchange. We also introduce an Agent Architecture including a specifichigh-level decision module capable of implementing this strategy. Ourproposal is based on the formalization of what is a team strategy for competingwith an opponent team having opposite goals. A team strategy is composed of aset of agent types and a set of tactics, which are also composed of several formations.Formations are used for different situations and assign each agent a defaultspatial positioning and an agent type (defining its behaviour at several levels).Agents reactivity is also introduced for appropriate response to the dynamicsof the current situation. However, in our approach this is done in a way thatpreserves team coherence instead of permitting uncoordinated agent behaviour.We have applied, with success, this coordination approach to the RoboSoccersimulated domain. The FC Portugal team, developed using this approach wonthe RoboCup2000 (simulation league) European and World championshipsscoring a total of 180 goals and conceding none

Individual and coordinated decision for the CAMBADA team

Mestrado em Engenharia de Computadores e TelemáticaA coordenação em sistemas multi-robô é um aspecto crucial no futebol robótico. A maneira como cada equipa coordena cada um dos seus robôs em acções cooperativas define a base da sua estratégia. Este trabalho tem como foco o desenvolvimento da coordenação e estratégia da equipa CAMBADA. CAMBADA é a equipa de futebol robótico da modalidade RoboCup Middle Size League da Universidade de Aveiro. Foi desenvolvida pelo grupo ATRI, pertencente µa unidade de investigação IEETA. O presente trabalho baseia-se em trabalho desenvolvido anteriormente, tentando melhorar o desempenho da equipa. Cada robô da equipa CAMBADA é um agente independente e autónomo capaz de coordenar as suas acções com os colegas de equipa através da comunicação e da partilha de informação. O comportamento de cada robô deverá ser integrado na estratégia global da equipa, resultando assim em acções cooperativas de todos os robôs. Isto é conseguido através do uso de papeis(roles) e comportamentos(behaviours) que definem a atitude de cada robô e as acções que daí resultam. Novos papeis foram desenvolvidos para complementar a estratégia de equipa, e alguns dos papeis existentes foram melhorados. Também foram efectuadas melhorias em alguns dos comportamentos existentes. É efectu- ada a descrição de cada um destes papeis e comportamentos, assim como as alterações efectuadas. O trabalho desenvolvido foi testado nas competições do Robótica 2008 (o desenvolvimento não estava ainda concluído) e por fim nas competições do RoboCup'2008. A participação da equipa no RoboCup'2008 é analisada e discutida. A equipa consagrou-se campeã mundial, vencendo a competição da Middle Size League do RoboCup'2008 em Suzhou, China. ABSTRACT: Multi-robot coordination is one crucial aspect in robotic soccer. The way each team coordinates its individual robots into cooperative global actions define the foundation of its strategy. CAMBADA is the RoboCup Middle Size League robotic soccer team of the University of Aveiro. It was created by the ATRI group, part of the IEETA research unit. This work is focused on coordination and strategy development for the CAMBADA team. It is built upon previous work and tries to improve the team performance further. In CAMBADA each robot is an independent agent, it coordinates its actions with its teammates through communication and information exchange. The resulting behaviour of the individual robot should be integrated into the global team strategy, thus resulting in cooperative actions by all the robots. This is done by the use of roles and behaviours that define each robot attitude in the field and resulting individual actions. In this work, new roles were created to add to the team strategy and some of the previous existing roles were improved. Some of the existing behaviours were also improved to better fit the desired goals. Each role and behaviour is described as well as the changes made. The resulting work was put to test in the portuguese Robotica 2008 competition (while still in progress) and finally in the RoboCup'2008 world competitions. The performance of the team in the latter is analysed and discussed. The team achieved the 1st place in the RoboCup'2008 MSL world competitions

Holonomic control and behaviours for the CAMBADA robotic soccer team

Mestrado em Engenharia de Computadores e TelemáticaCAMBADA é a equipa de futebol robótico da liga de tamanho médio do RoboCup criada por investigadores do grupo ATRI do IEETA da Universidade de Aveiro. Esta dissertação apresenta as contribuições desenvolvidas no controlo do movimento holonómico e comportamentos de alto-nível. Ao nível do controlo do movimento, várias restrições que afectam o movimento holonómico foram tratadas. Isto é de vital importância visto que dado o ambiente altamente dinâmico de um jogo de futebol é crucial mover e posicionar os robots eficazmente no campo. Ao nivel dos comportamentos, dada a importância da bola no jogo de futebol, e considerando o trabalho realizado no que diz respeito à estimativa da velocidade da bola, o comportamento de intercepção activa foi desenvolvido permitindo aos robots apanhar a bola prevendo o seu movimento em vez de se moverem directamente para a ela considerando-a estática. Dada a autonomia completa dos robots, a sua percepção do mundo deve ser o mais próxima possivel da realidade. De modo a fornecer, ao robot, informação adicional respeitante ao estado do jogo, um método para determinar se está preso foi desenvolvido. O trabalho implementado melhorou a performance da equipa e contribuiu para vitória de um campeonato nacional, Robótica’09, e a um notável terceiro lugar no RoboCup’09 em Graz, ´Austria. ABSTRACT: CAMBADA is the RoboCup Middle Size League robotic soccer team created by researchers of the ATRI group of IEETA of University of Aveiro. This thesis presents the developed contributions in holonomic motion control and high-level behaviours. At the motion control level, several restrictions affecting holonomic motion were addressed. This is of vital importance since that given the highly dynamic environment of a soccer game it is crucial to move and position the robots efficiently in the field. At the behaviours level, given the importance of the ball in the soccer game, and considering previous work regarding the estimation of the ball velocity, the active interception behaviour was implemented allowing the robots to engage the ball predicting its movement rather than moving directly to it considering it static. Given the full autonomy of the robots, their perception of the game should be as close to reality as possible. In order to supply additional information to the robot regarding the state of the game, a method to detect if it is stuck was developed. The implemented work improved the team performance and contributed to the victory of a National Championship (Robótica’09) and a remarkable third-place in the RoboCup 2009 in Graz, Austria

Sensor fusion and behaviours for the CAMBADA robotic soccer team

Mestrado em Engenharia de Computadores e TelemáticaFusão sensorial e comportamentos são dois módulos necessários à implementa ção de agentes capazes de jogar futebol. CAMBADA é a equipa de futebol róbotico da liga média do RoboCup criada pelo grupo ATRI, pertencente à unidade de investigação IEETA da Universidade de Aveiro. Esta tese fornece uma visão geral da arquitectura da equipa CAMBADA sobre a qual o trabalho descrito foi implementado. O movimento dos robôs é um problema de controlo de baixo nível, resolvido por um controlador PID; uma descrição geral sobre controlo ´e apresentada neste documento. Os robôs da equipa CAMBADA são completamente autónomos e portanto possuem os seus próprios meios sensoriais. A informação fornecida por esses sensores não é tratada e tem que ser processada para fornecer informação de melhor qualidade para o agente. Técnicas de fusão sensorial fornecem meios para obter esta melhoria da informação e algumas são discutidas neste documento. Uma implementação de filtro de Kalman foi criada e testada para estimar a posição da bola a partir das medidas ruidosas e para detectar mudanças no caminho da bola, baseada na comparação entre valores previstos e valores medidos. Também foi implementada uma regressão linear para estimar as velocidades da bola e robô. Devido a mudanças nas regras da liga média, que tornaram o campo visualmente simétrico, uma nova bússola electrónica foi integrada para providenciar um meio de verificar os resultados do algoritmo de estimação da posição, melhorando a localização. A informação proveniente da fusão sensorial ´e mantida numa descrição do estado do mundo usada pelo robô. Alguns desenvolvimentos foram feitos nesta representação. Foram criados e implementados algoritmos que permitem ao agente testar um conjunto de condições que são usadas pelo módulo de decisão de alto nível. Os desenvolvimentos na fusão sensorial e representação do estado do mundo permitiram a implementação de novos comportamentos. Os comportamentos definem “reacções” a um conjunto de condições, que podem ser verificadas a partir da informação do estado do mundo, e são responsáveis por definir os comandos a enviar para os controladores dos actuadores. A combina ção inteligente destes comportamentos permitem ao robô agir de uma determinada forma em campo. Trabalho ao nível dos comportamentos fornecem melhores capacidades de acção, importantes para o desenvolvimento de estratégias de jogo eficazes. Dois novos comportamentos de intercepção foram implementados que permitem ao robô interceptar a bola avaliando o seu caminho e as capacidades do robô. Também foi desenvolvido um novo algoritmo para desvio da bola, para situações de pontapé de saída, lançamento e outras situações de bola parada. Nestas situações, os robôs têm que se reposicionar no campo sem tocar na bola. O algoritmo criado melhora o desempenho reduzindo o desvio necessário. A estimativa da velocidade da bola foi muito melhorada e é agora muito mais fiável em situações de jogo. Os novos comportamentos trouxeram uma nova dinâmica ao jogo e as ferramentas de manipulação do estado do mundo simplificaram e melhoraram a modularidade do código do alto nível. De uma forma geral, os desenvolvimentos obtidos pelo trabalho descrito nesta tese melhoraram o desempenho geral da equipa em competição. ABSTRACT: Sensor fusion and behaviours are two of the modules required in the implementation of software agents able to play soccer. CAMBADA is the MSL RoboCup robotic soccer team created by the ATRI group, part of the IEETA research unit at Aveiro University. This thesis provides an overview of the CAMBADA team architecture over which the described work was implemented. The motion of the robot is a low level control problem, in this case solved by a PID controller; an overview on low level control is presented in this document. The CAMBADA team robots are completely autonomous and thus they possess their own perception sensors. The information provided by those sensors is raw and has to be processed to provide better quality information for the agent. Sensor fusion techniques provide the means to achieve this information enhancement and some are discussed in this document. An implementation of a Kalman filter was created and tested to estimate the ball position from the noisy measurements and to detect changes on the ball path, based on a comparison between predicted values and measured values. Also, a linear regression was implemented for estimation of the ball and robot velocities. Due to changes in the MSL rules, that turned the field symmetric from the vision point of view, a new electronic compass was integrated providing a means to verify the results of the position tracking algorithm and hence enhance localisation. The information resulting from the sensor fusion is kept in a description of the state of the world used by the robot. Some developments were made in this world state representation. Algorithms were created and implemented to allow the agent to check for a set of conditions that are used by the high level decision module. The developments on sensor fusion and world state representation supported the implementation of new behaviours. The behaviours define “reactions” to a set of conditions, that can be verified through the information of the state of the world, and are the responsibles for defining the commands to be sent down to the low level controllers of the actuators. The intelligent combination of these behaviours allows the robot to act in a defined way on the field. Work at the behaviour level provides better action capabilities, important for the development of effective game strategies. Two new interception behaviours were implemented that allow the robot to intercept the ball by reasoning over its path and the robot capabilities. Also a new algorithm for ball avoidance was developed, for situations like kickoff, throwin and other situations when the game is stopped. In these situations the robots have to reposition themselves on the field without touching the ball. The created algorithm improves the performance by reducing the necessary deviation. The velocity estimation of the ball was greatly improved and is now much more reliable in game situations. The new behaviours brought a new dynamic to the game and the tools to manipulate the state of the world provided a simplification and improved the modularity of the high level code. In a general way, the developments achieved in the work described by the thesis have improved the overall performance of the team in competition

Exploiting opponent behavior in multi-agent systems

Tese de mestrado integrado. Engenharia Informática e Computação. Faculdade de Engenharia. Universidade do Porto. 201