Dynamic Behavior Arbitration of Autonomous Mobile Robots Using Immune Networks

PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON EVOLUTIONARY COMPUTATIO

Gait Coordination of Hexapod Walking Robots Using Mutual-Coupled Immune Networks

PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON EVOLUTIONARY COMPUTATIO

Using of Reinforcement Learning for Four Legged Robot Control

Disertační práce je zaměřena na využití opakovaně posilovaného učení pro řízení chůze čtyřnohého robotu. Hlavním cílem je předložení adaptivního řídicího systému kráčivého robotu, který budem schopen plánovat jeho chůzi pomocí algoritmu Q-učení. Tohoto cíle je dosaženo komplexním návrhem třívrstvé architektury založené na paradigmatu DEDS. Předkládané řešení je vystavěno na návrhu množiny elementárních reaktivních chování. Prostřednictvím simultáních aktivací těchto elementů je vyvozena množina kompozitních řídicích členů. Obě množiny zákonů řízení jsou schopny operovat nejen na rovinném, ale i v členitém terénu. Díky vhodné diskretizaci spojitého stavového prostoru je sestaven model všechn možných chování robotu pod vlivem aktivací uvedených základních i složených řídicích členů. Tento model chování je využit pro nalezení optimálních strategií řízení robotu prostřednictvím schématu Q-učení. Schopnost řídicí jednotky je ukázána na řešení tří komplexních úloh: rotace robotu, chůze robotu v přímém směru a chůze po nakloněné rovině. Tyto úlohy jsou řešeny prostřednictvím prostorových dynamických simulací čtyřnohého kráčivého robotu se třemi stupni volnosti na každou z noh. Výsledné styly chůze jsou vyhodnoceny pomocí kvantitativních standardizovaných ukazatelů. Součástí práce jsou videozáznamy verifikačních experimentů ukazující činnost elementárních a kompozitních řídicích členů a výsledné naučené styly chůze robotu.The Ph.D. thesis is focused on using the reinforcement learning for four legged robot control. The main aim is to create an adaptive control system of the walking robot, which will be able to plan the walking gait through Q-learning algorithm. This aim is achieved using the design of the complex three layered architecture, which is based on the DEDS paradigm. The small set of elementary reactive behaviors forms the basis of proposed solution. The set of composite control laws is designed using simultaneous activations of these behaviors. Both types of controllers are able to operate on the plain terrain as well as on the rugged one. The model of all possible behaviors, that can be achieved using activations of mentioned controllers, is designed using an appropriate discretization of the continuous state space. This model is used by the Q-learning algorithm for finding the optimal strategies of robot control. The capabilities of the control unit are shown on solving three complex tasks: rotation of the robot, walking of the robot in the straight line and the walking on the inclined plane. These tasks are solved using the spatial dynamic simulations of the four legged robot with three degrees of freedom on each leg. Resulting walking gaits are evaluated using the quantitative standardized indicators. The video files, which show acting of elementary and composite controllers as well as the resulting walking gaits of the robot, are integral part of this thesis.

Using MapReduce Streaming for Distributed Life Simulation on the Cloud

Distributed software simulations are indispensable in the study of large-scale life models but often require the use of technically complex lower-level distributed computing frameworks, such as MPI. We propose to overcome the complexity challenge by applying the emerging MapReduce (MR) model to distributed life simulations and by running such simulations on the cloud. Technically, we design optimized MR streaming algorithms for discrete and continuous versions of Conway’s life according to a general MR streaming pattern. We chose life because it is simple enough as a testbed for MR’s applicability to a-life simulations and general enough to make our results applicable to various lattice-based a-life models. We implement and empirically evaluate our algorithms’ performance on Amazon’s Elastic MR cloud. Our experiments demonstrate that a single MR optimization technique called strip partitioning can reduce the execution time of continuous life simulations by 64%. To the best of our knowledge, we are the first to propose and evaluate MR streaming algorithms for lattice-based simulations. Our algorithms can serve as prototypes in the development of novel MR simulation algorithms for large-scale lattice-based a-life models.https://digitalcommons.chapman.edu/scs_books/1014/thumbnail.jp