Neuroevolution of Actively Controlled Virtual Characters - An Experiment for an Eight-Legged Character

submittedVersionNivå

Neuroevolution of Actively Controlled Virtual Characters

Master's thesis Information- and communication technology IKT590 - University of Agder 2017Physics-based character animation offer an attractive alternative to traditional animation techniques, however, physics-based approaches often struggle to incorporate active user control of these characters. This thesis suggests a different approach to the problem of actively controlled virtual characters. The proposed solution takes a neuroevolutionary approach, using HyperNEAT to evolve neural controllers for a simulated eight-legged character, a previously untested character morphology for this algorithm. Using these controllers this thesis aims to evaluate the robustness and responsiveness of a control strategy that changes between them based on simulated user input. The results show that HyperNEAT is quite capable of evolving long walking controllers for this character, but also suggests a need for further refinement when operated in tandem

Застосування стратегій ройового інтелекту при проектуванні паралельних нейроеволюційних методів синтезу нейромоделей

The paper proposes the ways to apply swarm intelligence strategies to parallelize neuroevolution methods for synthesizing artificial neural networks. The proposed approaches will solve a number of problems that usually arise during designing high-performance computing related to the synthesis of neural networks. The object of research is the process of developing a parallel approach for the neuroevolution synthesis of artificial neural networks, namely, the use of swarm intelligence strategies to solve a number of problems in designing a method that would use the resources of a parallel computer system.One of the most problematic areas is the highly adaptive nature and significant operating time of neuroevolution methods. One way to solve these problems is to use parallel computer systems and distributed computing. However, a number of questions arise when designing a parallel neuroevolution method.During research a number of tasks were solved, which included the analysis and study of neuroevolution methods for synthesizing artificial neural networks and problems of their parallelization. Attention is also paid to swarm intelligence methods, which have gained popularity recently and show good results.The new method developed during the work was based on strategies for organizing work with swarm particles. Thus, sub-populations distributed between threads and individuals were analyzed as individual particles that interact with each other and depend on the local environment. Classical genetic operators were modified by criterion mechanisms to improve adaptability.During the experiments, the developed method was compared with classical methods. During the work, special attention was paid not only to the characteristics of the resulting neuromodels, but also to the load on the processor during Operation. The developed method showed acceptable results for all comparisons. The new approach has significantly improved the quality level of the parallel neuroevolution synthesis method, allowing to evenly use the capabilities of computing nodes in a parallel systemВ работе предложены способы применения стратегий роевого интеллекта для параллелизации нейроэволюционных методов синтеза искусственных нейронных сетей. Предложенные подходы позволят решить ряд проблем, которые обычно возникают при проектировании высокопроизводительных вычислений, связанных с синтезом нейронных сетей. Объектом исследования является процесс разработки параллельного подхода для нейроэволюционного синтеза искусственных нейронных сетей, а именно использование стратегий роевого интеллекта для решения ряда проблем при проектировании такого метода, который использовал бы ресурсы параллельной компьютерной системы.Одними из наиболее проблемных мест является высокоитеративная природа и значительное время работы нейроэволюционных методов. Одним из способов решения этих проблем является использование параллельных компьютерных систем и распределенных расчетов. Однако ряд вопросов возникает при проектировании параллельного нейроэволюционного метода.В ходе исследования был решен ряд задач, которые включали анализ и исследование нейроэволюционных методов синтеза искусственных нейронных сетей и проблем их параллелизации. Также внимание уделено методам роевого интеллекта, которые приобрели популярность в последнее время и демонстрируют хорошие результаты работы. Новый метод, разрабатывавшийся во время работы, базировался на стратегиях организации работы с роевыми частицами. Так, распределеные между ядрами под-популяции и отдельные индивиды анализировались в качестве отдельных частиц, которые взаимодействуют друг с другом и зависят от локальной среды. Классические генетические операторы были модифицированы критериальными механизмами для повышения адаптивности.Во время экспериментов разрабатываемый метод сравнивался с классическими методами. Во время работы особое внимание было уделено не только характеристикам полученных результирующих нейромоделей, но и нагрузке на процессор во время работы. Разрабатываемый метод продемонстрировал приемлемые результаты по всем сравнениям. Новый подход помог значительно повысить уровень качества работы параллельного нейроэволюционного метода синтеза, позволяя равномерно использовать возможности вычислительных узлов параллельной системы.У роботі запропоновано способи застосування стратегій ройового інтелекту для паралелізації нейроеволюційних методів синтезу штучних нейронних мереж. Запропоновані підходи дозволять вирішити ряд проблем, які зазвичай виникають при проектуванні високопродуктивних обчислень, пов'язаних з синтезом нейронних мереж. Об'єктом дослідження є процес розроблення паралельного підходу для нейроеволюційного синтезу штучних нейронних мереж, а саме використання стратегій ройового інтелекту для вирішення низки проблем при проектуванні такого методу, що використовував би ресурси паралельної комп’ютерної системи.Одними з найбільш проблемних місць є високоітеративна природа та значний час роботи нейроеволюційних методів. Одним із способів вирішення цих проблем є використання паралельних комп’ютерних систем та розподілених обрахунків. Проте ряд питань виникає при проектуванні паралельного нейроеволюційного методу.В ході дослідження було вирішено ряд завдань, які включали аналіз та дослідження нейроеволюційних методів синтезу штучних нейронних мереж та проблем їх паралелізації. Також увагу приділено методам ройового інтелекту, що набули популярності останнім часом та демонструють гарні результати роботи.Новий метод, що розроблявся під час роботи, базувався на стратегіях організації роботи із ройовими частинками. Так, розподілені між ядрами під-популяції та окремі індивіди аналізувалися в якості окремих частинок, які взаємодіють між один одним та залежать від локального середовища. Класичні генетичні оператори були модифіковані критеріальними механізмами для підвищення адаптивності.Під час експериментів розроблюваний метод порівнювався із класичними методами. Під час роботи особливу увагу було приділено не тільки характеристикам отриманих результуючих нейромоделей, але й навантаженню на процесор під час роботи. Розроблюваний метод продемонстрував прийнятні результати за всіма порівняннями. Новий підхід допоміг значно підвищити рівень якості роботи паралельного нейроеволюційного методу синтезу, дозволяючи рівномірно використовувати можливості обчислювальних вузлів паралельної системи

Застосування стратегій ройового інтелекту при проектуванні паралельних нейроеволюційних методів синтезу нейромоделей

The paper proposes the ways to apply swarm intelligence strategies to parallelize neuroevolution methods for synthesizing artificial neural networks. The proposed approaches will solve a number of problems that usually arise during designing high-performance computing related to the synthesis of neural networks. The object of research is the process of developing a parallel approach for the neuroevolution synthesis of artificial neural networks, namely, the use of swarm intelligence strategies to solve a number of problems in designing a method that would use the resources of a parallel computer system.One of the most problematic areas is the highly adaptive nature and significant operating time of neuroevolution methods. One way to solve these problems is to use parallel computer systems and distributed computing. However, a number of questions arise when designing a parallel neuroevolution method.During research a number of tasks were solved, which included the analysis and study of neuroevolution methods for synthesizing artificial neural networks and problems of their parallelization. Attention is also paid to swarm intelligence methods, which have gained popularity recently and show good results.The new method developed during the work was based on strategies for organizing work with swarm particles. Thus, sub-populations distributed between threads and individuals were analyzed as individual particles that interact with each other and depend on the local environment. Classical genetic operators were modified by criterion mechanisms to improve adaptability.During the experiments, the developed method was compared with classical methods. During the work, special attention was paid not only to the characteristics of the resulting neuromodels, but also to the load on the processor during Operation. The developed method showed acceptable results for all comparisons. The new approach has significantly improved the quality level of the parallel neuroevolution synthesis method, allowing to evenly use the capabilities of computing nodes in a parallel systemВ работе предложены способы применения стратегий роевого интеллекта для параллелизации нейроэволюционных методов синтеза искусственных нейронных сетей. Предложенные подходы позволят решить ряд проблем, которые обычно возникают при проектировании высокопроизводительных вычислений, связанных с синтезом нейронных сетей. Объектом исследования является процесс разработки параллельного подхода для нейроэволюционного синтеза искусственных нейронных сетей, а именно использование стратегий роевого интеллекта для решения ряда проблем при проектировании такого метода, который использовал бы ресурсы параллельной компьютерной системы.Одними из наиболее проблемных мест является высокоитеративная природа и значительное время работы нейроэволюционных методов. Одним из способов решения этих проблем является использование параллельных компьютерных систем и распределенных расчетов. Однако ряд вопросов возникает при проектировании параллельного нейроэволюционного метода.В ходе исследования был решен ряд задач, которые включали анализ и исследование нейроэволюционных методов синтеза искусственных нейронных сетей и проблем их параллелизации. Также внимание уделено методам роевого интеллекта, которые приобрели популярность в последнее время и демонстрируют хорошие результаты работы. Новый метод, разрабатывавшийся во время работы, базировался на стратегиях организации работы с роевыми частицами. Так, распределеные между ядрами под-популяции и отдельные индивиды анализировались в качестве отдельных частиц, которые взаимодействуют друг с другом и зависят от локальной среды. Классические генетические операторы были модифицированы критериальными механизмами для повышения адаптивности.Во время экспериментов разрабатываемый метод сравнивался с классическими методами. Во время работы особое внимание было уделено не только характеристикам полученных результирующих нейромоделей, но и нагрузке на процессор во время работы. Разрабатываемый метод продемонстрировал приемлемые результаты по всем сравнениям. Новый подход помог значительно повысить уровень качества работы параллельного нейроэволюционного метода синтеза, позволяя равномерно использовать возможности вычислительных узлов параллельной системы.У роботі запропоновано способи застосування стратегій ройового інтелекту для паралелізації нейроеволюційних методів синтезу штучних нейронних мереж. Запропоновані підходи дозволять вирішити ряд проблем, які зазвичай виникають при проектуванні високопродуктивних обчислень, пов'язаних з синтезом нейронних мереж. Об'єктом дослідження є процес розроблення паралельного підходу для нейроеволюційного синтезу штучних нейронних мереж, а саме використання стратегій ройового інтелекту для вирішення низки проблем при проектуванні такого методу, що використовував би ресурси паралельної комп’ютерної системи.Одними з найбільш проблемних місць є високоітеративна природа та значний час роботи нейроеволюційних методів. Одним із способів вирішення цих проблем є використання паралельних комп’ютерних систем та розподілених обрахунків. Проте ряд питань виникає при проектуванні паралельного нейроеволюційного методу.В ході дослідження було вирішено ряд завдань, які включали аналіз та дослідження нейроеволюційних методів синтезу штучних нейронних мереж та проблем їх паралелізації. Також увагу приділено методам ройового інтелекту, що набули популярності останнім часом та демонструють гарні результати роботи.Новий метод, що розроблявся під час роботи, базувався на стратегіях організації роботи із ройовими частинками. Так, розподілені між ядрами під-популяції та окремі індивіди аналізувалися в якості окремих частинок, які взаємодіють між один одним та залежать від локального середовища. Класичні генетичні оператори були модифіковані критеріальними механізмами для підвищення адаптивності.Під час експериментів розроблюваний метод порівнювався із класичними методами. Під час роботи особливу увагу було приділено не тільки характеристикам отриманих результуючих нейромоделей, але й навантаженню на процесор під час роботи. Розроблюваний метод продемонстрував прийнятні результати за всіма порівняннями. Новий підхід допоміг значно підвищити рівень якості роботи паралельного нейроеволюційного методу синтезу, дозволяючи рівномірно використовувати можливості обчислювальних вузлів паралельної системи

Evolutionary Legged Robotics

Due to the technological advance, robotic systems become more and more interesting for industrial and home applications. Popular examples are given by robotic lawn mower, robot vacuum cleaner, and package drones. Beside the toy industry, legged robots are not as popular, although they have some clear advantages compared to wheeled systems. With their flexibility concerning the locomotion, they are able to adapt their walking pattern to different environments. For instance they can walk over obstacles and gaps or climb over rubble and stairs. Another possible advantage could be a redundancy for locomotion. A faulty motor in one limb could be compensated by other motors in the kinematic chain. As well, multiple failing legs can be compensated by an adapted walking pattern. Compared to this, the more complex mechatronic systems represent a major challenge to the construction and the control. This thesis is dedicated to the control of complex walking robots. Genetic algorithms are applied to generate walking patterns for different robots. The evolutionary development of walking patterns is done in a simulation software. Results of various approaches are transferred and tested on existing systems which have been developed at RIC/DFKI. Different robotic systems are used to evaluate the generality of the applied methods. Eventually, a method is developed that can be utilized, with a few system specific modifications, for a variety of legged robots. As basis for the development and investigation of several methods, software tools are designed to generalize the application of applying genetic algorithms to legged locomotion. These tools include a simulation environment, a behavior representation, a genetic algorithm and a learning and benchmark framework. The simulation environment is adapted to the behavior of real robotic systems via reference experiments. In addition, the simulation is extended by a foot contact model for loose surfaces. The evaluation of the genetic algorithm is done on several benchmark problems and compared to three existing algorithms. This thesis contributes to the state of the art in many areas. The developed methodology can easily be applied to several complex robotic systems due to its transferability. The genetic algorithm and the hierarchical behavior representation provide a new opportunity to control the generation of the offspring in an evolutionary process. In addition, the developed software tools are an important contribution for their respective research fields

Simultaneous incremental neuroevolution of motor control, navigation and object manipulation in 3D virtual creatures

There have been numerous attempts to develop 3D virtual agents by applying evolutionary processes to populations that exist in a realistic physical simulation. Whilst often contributing useful knowledge, no previous work has demonstrated the capacity to evolve a sequence of increasingly complex behaviours in a single, unified system. This thesis has this demonstration as its primary aim. A rigorous exploration of one aspect of incremental artificial evolution was carried out to understand how subtask presentations affect the whole-task generalisation performance of evolved, fixed-morphology 3D agents. Results from this work led to the design of an environment–body–control architecture that can be used as a base for evolving multiple behaviours incrementally. A simulation based on this architecture with a more complex environment was then developed and explored. This system was then adapted to include elements of physical manipulation as a first step toward a fully physical virtual creature environment demonstrating advanced evolved behaviours. The thesis demonstrates that incremental evolutionary systems can be subject to problems of forgetting and loss of gradient, and that different complexification strategies have a strong bearing on the management of these issues. Presenting successive generations of the population to a full range of objective functions (covering and revisiting the range of complexity) outperforms straightforward linear or direct presentations, establishing a more robust approach to the evolution of naturalistic embodied agents. When combining this approach with a bespoke control architecture in a problem requiring reactive and deliberative behaviours, we see results that not only demonstrate success at the tasks, but also show a variety of intricate behaviours being used. This is the first ever example of the simultaneous incremental evolution in 3D of composite behaviours more complex than simple locomotion. Finally, the architecture demonstrably supports extension to manipulation in a feedback control task. Given the problem-agnostic controller architecture, these results indicate a system with potential for discovering yet more advanced behaviours in yet more complex environments

Virtual Reality Games for Motor Rehabilitation

This paper presents a fuzzy logic based method to track user satisfaction without the need for devices to monitor users physiological conditions. User satisfaction is the key to any product’s acceptance; computer applications and video games provide a unique opportunity to provide a tailored environment for each user to better suit their needs. We have implemented a non-adaptive fuzzy logic model of emotion, based on the emotional component of the Fuzzy Logic Adaptive Model of Emotion (FLAME) proposed by El-Nasr, to estimate player emotion in UnrealTournament 2004. In this paper we describe the implementation of this system and present the results of one of several play tests. Our research contradicts the current literature that suggests physiological measurements are needed. We show that it is possible to use a software only method to estimate user emotion

The evolutionary emergence of neural organisation in computational models of primitive organisms

Over the decades, the question why did neural organisation emerge in the way that it did? has proved to be massively elusive. Whilst much of the literature paints a picture of common ancestry the idea that a species at the root of the tree of nervous system evolution spawned numerous descendants the actual evolutionary forces responsible for such changes, major transitions or otherwise, have been less clear. The view presented in this thesis is that via interactions with the environment, neural organisation has emerged in concert with the constraints enforced by body plan morphology and a need to process information eciently and robustly. Whilst these factors are two smaller parts of a much greater whole, their impact during the evolutionary process cannot be ignored, for they are fundamentally signicant. Thus computer simulations have been developed to provide insight into how neural organisation of an articial agent should emerge given the constraints of its body morphology, its symmetry, feedback from the environment, and a loss of energy. The first major finding is that much of the computational process of the nervous system can be ooaded to the body morphology, which has a commensurate bearing on neural architecture, neural dynamics and motor symmetry. The second major finding is that sensory feedback strengthens the dynamic coupling between the neural system and the body plan morphology, resulting in minimal neural circuitry yet more ecient agent behaviour. The third major finding is that under the constraint of energy loss, neural circuitry again emerges to be minimalistic. Throughout, an emphasis is placed on the coupling between the nervous system and body plan morphology which are known in the literature to be tightly integrated; accordingly, both are considered on equal footings

Design for an Increasingly Protean Machine

Data-driven, rather than hypothesis-driven, approaches to robot design are becoming increasingly widespread, but they remain narrowly focused on tuning the parameters of control software (neural network synaptic weights) inside an overwhelmingly static and presupposed body. Meanwhile, an efflorescence of new actuators and metamaterials continue to broaden the ways in which machines are free to move and morph, but they have yet to be adopted by useful robots because the design and control of metamorphosing body plans is extremely non-intuitive. This thesis unites these converging yet previously segregated technologies by automating the design of robots with physically malleable hardware, which we will refer to as protean machines, named after Proteus of Greek mythology. This thesis begins by proposing an ontology of embodied agents, their physical features, and their potential ability to purposefully change each one in space and time. A series of experiments are then documented in which increasingly more of these features (structure, shape, and material properties) were allowed to vary across increasingly more timescales (evolution, development, and physiology), and collectively optimized to facilitate adaptive behavior in a simulated physical environment. The utility of increasingly protean machines is demonstrated by a concomitant increase in both the performance and robustness of the final, optimized system. This holds true even if its ability to change is temporarily removed by fabricating the system in reality, or by “canalization”: the tendency for plasticity to be supplanted by good static traits (an inductive bias) for the current environment. Further, if physical flexibility is retained rather than canalized, it is shown how protean machines can, under certain conditions, achieve a form of hyper-robustness: the ability to self-edit their own anatomy to “undo” large deviations from the environments in which their control policy was originally optimized. Some of the designs that evolved in simulation were manufactured in reality using hundreds of highly deformable silicone building blocks, yielding shapeshifting robots. Others were built entirely out of biological tissues, derived from pluripotent Xenopus laevis stem cells, yielding computer-designed organisms (dubbed “xenobots”). Overall, the results shed unique light on questions about the evolution of development, simulation-to-reality transfer of physical artifacts, and the capacity for bioengineering new organisms with useful functions