Architecting centralized coordination of soccer robots based on principle solution

This is an Accepted Manuscript of an article published by Taylor & Francis in Advanced Robotics on 2015, available online:http://www.tandfonline.com/10.1080/01691864.2015.1017534Coordination strategy is a relevant topic in multi-robot systems, and robot soccer offers a suitable domain to conduct research in multi-robot coordination. Team strategy collects and uses environmental information to derive optimal team reactions, through cooperation among individual soccer robots. This paper presents a diagrammatic approach to architecting the coordination strategy of robot soccer teams by means of a principle solution. The proposed model focuses on robot soccer leagues that possess a central decision-making system, involving the dynamic selection of the roles and behaviors of the robot soccer players. The work sets out from the conceptual design phase, facilitating cross-domain development efforts, where different layers must be interconnected and coordinated to perform multiple tasks. The principle solution allows for intuitive design and the modeling of team strategies in a highly complex robot soccer environment with changing game conditions. Furthermore, such an approach enables systematic realization of collaborative behaviors among the teammates.This work was partially supported by the Spanish Ministry of Economy and Competitiveness (MINECO) under the CICYT project Mission Based Control (COBAMI): DPI2011-28507-C02-01/02. Jose G. Guarnizo was supported by a scholarship from the Administrative Department of Science, Technology and Innovation COLCIENCIAS, Colombia.Guarnizo Marín, JG.; Mellado Arteche, M.; Low, CY.; Blanes Noguera, F. (2015). Architecting centralized coordination of soccer robots based on principle solution. Advanced Robotics. 29(15):989-1004. https://doi.org/10.1080/01691864.2015.1017534S98910042915Farinelli, A., Iocchi, L., & Nardi, D. (2004). Multirobot Systems: A Classification Focused on Coordination. IEEE Transactions on Systems, Man and Cybernetics, Part B (Cybernetics), 34(5), 2015-2028. doi:10.1109/tsmcb.2004.832155Tews, A., & Wyeth, G. (2000). MAPS: a system for multi-agent coordination. Advanced Robotics, 14(1), 37-50. doi:10.1163/156855300741429Stulp, F., Utz, H., Isik, M., & Mayer, G. (2010). Implicit Coordination with Shared Belief: A Heterogeneous Robot Soccer Team Case Study. Advanced Robotics, 24(7), 1017-1036. doi:10.1163/016918610x496964Guarnizo, J. G., Mellado, M., Low, C. Y., & Aziz, N. (2013). Strategy Model for Multi-Robot Coordination in Robotic Soccer. Applied Mechanics and Materials, 393, 592-597. doi:10.4028/www.scientific.net/amm.393.592Riley, P., & Veloso, M. (2002). Recognizing Probabilistic Opponent Movement Models. Lecture Notes in Computer Science, 453-458. doi:10.1007/3-540-45603-1_59Ros, R., Arcos, J. L., Lopez de Mantaras, R., & Veloso, M. (2009). A case-based approach for coordinated action selection in robot soccer. Artificial Intelligence, 173(9-10), 1014-1039. doi:10.1016/j.artint.2009.02.004Atkinson, J., & Rojas, D. (2009). On-the-fly generation of multi-robot team formation strategies based on game conditions. Expert Systems with Applications, 36(3), 6082-6090. doi:10.1016/j.eswa.2008.07.039Costelha, H., & Lima, P. (2012). Robot task plan representation by Petri nets: modelling, identification, analysis and execution. Autonomous Robots, 33(4), 337-360. doi:10.1007/s10514-012-9288-xAbreu, P. H., Silva, D. C., Almeida, F., & Mendes-Moreira, J. (2014). Improving a simulated soccer team’s performance through a Memory-Based Collaborative Filtering approach. Applied Soft Computing, 23, 180-193. doi:10.1016/j.asoc.2014.06.021Duan, Y., Liu, Q., & Xu, X. (2007). Application of reinforcement learning in robot soccer. Engineering Applications of Artificial Intelligence, 20(7), 936-950. doi:10.1016/j.engappai.2007.01.003Hwang, K.-S., Jiang, W.-C., Yu, H.-H., & Li, S.-Y. (2011). Cooperative Reinforcement Learning Based on Zero-Sum Games. Mobile Robots - Control Architectures, Bio-Interfacing, Navigation, Multi Robot Motion Planning and Operator Training. doi:10.5772/26620Gausemeier, J., Dumitrescu, R., Kahl, S., & Nordsiek, D. (2011). Integrative development of product and production system for mechatronic products. Robotics and Computer-Integrated Manufacturing, 27(4), 772-778. doi:10.1016/j.rcim.2011.02.005Klančar, G., Zupančič, B., & Karba, R. (2007). Modelling and simulation of a group of mobile robots. Simulation Modelling Practice and Theory, 15(6), 647-658. doi:10.1016/j.simpat.2007.02.002Gausemeier, J., Frank, U., Donoth, J., & Kahl, S. (2009). Specification technique for the description of self-optimizing mechatronic systems. Research in Engineering Design, 20(4), 201-223. doi:10.1007/s00163-008-0058-

Effective Team Strategies using Dynamic Scripting

Forming effective team strategies using heterogeneous agents to accomplish a task can be a challenging problem. The number of combinations of actions to look through can be enormous, and having an agent that is really good at a particular sub-task is no guarantee that agent will perform well on a team with members with different abilities. Dynamic Scripting has been shown to be an effective way of improving behaviours with adaptive game AI. We present an approach that modifies the scripting process to account for the other agents in a game. By analyzing an agent\u27s allies and opponents we can create better starting scripts for the agents to use. Creating better starting points for the Dynamic Scripting process and will minimize the number of iterations needed to learn effective strategies, creating a better overall gaming experience

Arquitecturas Centralizadas de Coordinación. Extrapolación del Fútbol de Robots al Control de Modo de Operaciones de Micro-Redes

[EN] Coordination architectures in multi-agent systems represent an important topic, due to the agents must be organized in order to get a specific objective. In these kinds of systems, robot soccer is shown as an environment with a common frame for research in team coordination. The importance of these kinds of architectures is that the application in other kinds of systems which require coordination. An islanded micro-grid corresponds to a system which can be modeled as multi-agent system, where the distributed energy resources are modeled as agents are coordinated in order to protect the batteries of the energy storage systems, maintaining the common bus regulation. One way to do this throughout coordination strategies, which allow assigning roles and behaviors to the agents, depending on the system conditions. Likewise, the agents must show collaborative behaviors such as making passes in robot soccer, or the equalization of the state of charge for distributed energy storage systems, in order to obtain better results. Multi-agent systems such as robot soccer, that show uncertainties in a hostile environment, require team coordination in order to reach a common goal. One way to achieve this goal is by coordination strategies, which allow role assignment and behavior selection to the players depending on the game conditions. These strategies can present cooperative behaviors among players such as ball passes, in order to obtain better scores against an opponent team. One alternative is the design of hierarchical coordination strategies for an adequate tactic selection, roles assignment and subsequently behavior selection to the players. To this end, one possibility is to use Hierarchical Finite States Machines, due to those allow more flexible and adaptable programming, with a possibility to make changes or modifications. This allows the design of team strategies by an intuitive way according to the control architecture and the rules and specifications of the league where the team plays, in turn performing collaborative behaviors among the players. In this doctoral dissertation are proposed coordination strategies to robot soccer teams, based on tactics, dynamical role assignment and behaviors selection through the use of Finite States Machines, oriented to team architectures with centralized control and global perception. These strategies must allow an intuitive design depending on the team specifications and the rules of the league. These strategies must allow flexibility and adaptability to the necessary changes, such as the number of players, dimensions of the playing field or other changes in the league`s rules. The strategies must be show an adequate response to the failures and allow cooperative behaviors among their players. Lastly, this dissertation presents a structured architecture based on tactics, roles and behaviors for the coordinated operation of islanded microgrids. This grid architecture takes the form of a multi-agent system, and the energy storage and generation units are the team agents. The control strategy is based on the robot soccer strategies presented in this dissertation, which are designed for systems with global perception and centralized control, and in turn determines the changes among operation modes for the distributed energy resources in an islanded microgrid.[ES] Arquitecturas de coordinación en sistemas multi-agente representa un tópico importante, ya que en este tipo de sistemas los agentes deben ser organizados con el fin de obtener un objetivo específico. Dentro de este tipo de sistemas el fútbol de robots se presenta como un entorno que ofrece un marco común para realizar investigaciones en temas relacionados con temas de coordinación de equipo. La importancia de este tipo de arquitecturas radica en su aplicación en otro tipo de ambientes que requieran coordinación. Un sistema que permite este tipo de aplicaciones consiste en una micro-red eléctrica aislada, donde se modelan las fuentes de energía distribuida como agentes que deben ser coordinados con el fin de proteger las baterías de los sistemas de almacenamiento de energía, manteniendo la regulación del bus común. Una forma de conseguir esto es a través de estrategias de coordinación, las cuales permiten asignar roles y comportamientos a los agentes de la forma más adecuada, dependiendo de las condiciones del sistema. Así mismo, también deben presentar comportamientos colaborativos entre los agentes como la realización de pases en el fútbol de robots o la ecualización del estado de carga de las baterías, con el fin de obtener mejores resultados. Una posibilidad para llevar a cabo esta colaboración entre agentes es el diseño de estrategias de coordinación a través de sistemas jerárquicos para la selección de una adecuada táctica. Adicionalmente se debe permitir la asignación de roles y posteriormente la selección de comportamientos de los agentes. Para esto, una alternativa es el uso de Máquinas Jerárquicas de Estado Finito, ya que presentan flexibilidad y adaptabilidad en su programación, siendo fácilmente expandibles a cambios y modificaciones, permitiendo con esto el diseño de estrategias de coordinación de equipo de manera intuitiva acorde con la arquitectura del equipo y los reglamentos de las ligas donde se compita, y a su vez, que permita también el diseño de comportamientos colaborativos entre sus jugadores. En esta tesis doctoral se proponen estrategias de coordinación para fútbol de robots, mediante la selección de tácticas, la asignación dinámica de roles y la selección de comportamientos, usando Máquinas de Estado Finito, enfocándose en el diseño de arquitecturas de equipo que presentan percepción global y control centralizado, y que permitan un diseño intuitivo dependiendo de las especificaciones de los equipos y de la liga en la que se compite. Estas estrategias deben permitir mayor flexibilidad y adaptabilidad frente a posibles cambios, como por ejemplo en el número de jugadores por equipo, en las dimensiones del campo de juego, o en el reglamento de la correspondiente liga. Igualmente deben poseer robustez ante posibles fallos o perturbaciones, permitiendo también comportamientos colaborativos entre sus integrantes. Finalmente se presenta una propuesta para el control del modo de operación de una micro-red aislada, presentando una arquitectura de red como sistema multi-agente, donde las unidades de almacenamiento y generación de energía son los agentes del equipo, y proponiendo una estrategia de control basada en tácticas, roles y comportamientos. Esta arquitectura está basada en las estrategias de fútbol de robots aportadas en esta tesis y las cuales son diseñadas para sistemas con percepción global y control centralizado, que determina los cambios en el modo de operación para las fuentes distribuidas de energía en la micro-red.[CA] Arquitectures de coordinació en sistemes multi-agent representa un tòpic important, perquè en aquest tipus de sistemes els agents deuen organitzar-se per a obtindre un objectiu específic. Dins d'aquest tipus de sistemes, el futbol de robots es presenta com un entorn que ofereix un marc comú per a realitzar investigacions en temes relacionats amb la coordinació d'equips. La importància d'aquest tipus d'arquitectures radica en la seua aplicació en altre tipus d'entorns que requereixin coordinació. Un sistema que permet aquest tipus d'aplicació consisteix en una micro-xarxa elèctrica aïllada, a on es modelitzen les diferents fonts d'energia distribuïdes com agents que deuen ser coordinats per a protegir les bateries dels sistemes de acumulació de energia, mantenint la regulació del bus comú. Una manera d'aconseguir això es mitjançant estratègies de coordinació, que permeten assignar papers i comportaments als agents de la millor forma, en funció de las condicions del sistema. Així mateix, també deuen presentar comportaments col·laboratius entre els agents la realització de passes de futbol de robots o la equalització de la carga de les bateries, amb la finalitat d'obtindre millor resultats. Una possibilitat per a aconseguir aquesta col·laboració entre els agents és el disseny d'estratègies de coordinació mitjançant sistemes jeràrquics per a la selecció d'una tàctica adequada. Addicionalment s'ha de permetre l'assignació de rols i, posteriorment, la selecció de comportaments dels jugadors del equip. Per a açò, una alternativa es l'ús de Màquines Jeràrquiques d'Estat Finit, ja que presenten flexibilitat i adaptabilitat en la seua programació fent que siguin fàcilment expansibles a canvis i modificacions, permetent el disseny d'estratègies de coordinació d'equip de manera intuïtiva relacionant-se amb l'arquitectura de l'equip i el reglament de les lliga en la que estiguin competint, al mateix temps permetent el disseny de comportaments de col·laboració entre els jugadors. En aquesta tesis doctoral es proposen estratègies de coordinació per a futbol de robots, mitjançant la selecció de tàctiques, l'assignació dinàmica de rols y la selecció de comportaments, utilitzant Màquines d'Estat Finit, enfocant-se en el disseny d'arquitectures d'equip que presenten percepció global y control centralitzat, i que puguin permetre un disseny intuïtiu depenent de les especificacions dels equips y de la lliga en la que es competeix. Aquestes estratègies han de permetre major flexibilitat i adaptabilitat davant possibles canvis com podrien ser el nombre de jugadors per equip, les dimensions del camp o el reglament de la corresponent lliga. D'igual manera han de tindre robustesa davant possibles fallades o pertorbacions, permetent també comportaments d'aspecte col·laboratiu entre els seus integrants. En aquesta tesis, finalment es presenta un a proposta per al control del mode d'operació d'una micro-xarxa aïllada, presentant una arquitectura de xarxa com a sistema multi-agent, on les unitats d'emmagatzemament i generació d'energia són els agents del equip, i proposant una estratègia de control basada en tàctiques, rols i comportaments. Aquesta arquitectura està basada en les estratègies de futbol de robots aportades en aquesta tesis i que son dissenyades per a sistemes amb percepció global i control centralitzat, el qual determina els canvis en la forma d'operació per a les fonts distribuïdes d'energia en la micro-xarxa.Guarnizo Marín, JG. (2016). Arquitecturas Centralizadas de Coordinación. Extrapolación del Fútbol de Robots al Control de Modo de Operaciones de Micro-Redes [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/68478TESI