Nowadays, Unmanned Vehicles (UV) are widespread around the world. Most of these
vehicles require a great level of human control, and mission success is reliant on this
dependency. Therefore, it is important to use machine learning techniques that will train the
robotic controllers to automate the control, making the process more efficient.
Evolutionary strategies may be the key to having robust and adaptive learning in robotic
systems. Many studies involving UV systems and evolutionary strategies have been
conducted in the last years, however, there are still research gaps that need to be addressed,
such as the reality gap. The reality gap occurs when controllers trained in simulated
environments fail to be transferred to real robots.
This work proposes an approach for solving robotic tasks using realistic simulation and
using evolutionary strategies to train controllers. The chosen setup is easily scalable for multirobot
systems or swarm robots.
In this thesis, the simulation architecture and setup are presented, including the drone
simulation model and software. The drone model chosen for the simulations is available in the
real world and widely used, such as the software and flight control unit. This relevant factor
makes the transition to reality smoother and easier. Controllers using behavior trees were
evolved using a developed evolutionary algorithm, and several experiments were conducted.
Results demonstrated that it is possible to evolve a robotic controller in realistic
simulation environments, using a simulated drone model that exists in the real world, and also
the same flight control unit and operating system that is generally used in real world
experiments.Atualmente os Veículos Não Tripulados (VNT) encontram-se difundidos por todo o Mundo.
A maioria destes veículos requerem um elevado controlo humano, e o sucesso das missões
está diretamente dependente deste fator. Assim, é importante utilizar técnicas de
aprendizagem automática que irão treinar os controladores dos VNT, de modo a automatizar o
controlo, tornando o processo mais eficiente.
As estratégias evolutivas podem ser a chave para uma aprendizagem robusta e adaptativa
em sistemas robóticos. Vários estudos têm sido realizados nos últimos anos, contudo, existem
lacunas que precisam de ser abordadas, tais como o reality gap. Este facto ocorre quando os
controladores treinados em ambientes simulados falham ao serem transferidos para VNT
reais.
Este trabalho propõe uma abordagem para a resolução de missões com VNT, utilizando
um simulador realista e estratégias evolutivas para treinar controladores. A arquitetura
escolhida é facilmente escalável para sistemas com múltiplos VNT.
Nesta tese, é apresentada a arquitetura e configuração do ambiente de simulação,
incluindo o modelo e software de simulação do VNT. O modelo de VNT escolhido para as
simulações é um modelo real e amplamente utilizado, assim como o software e a unidade de
controlo de voo. Este fator é relevante e torna a transição para a realidade mais suave. É
desenvolvido um algoritmo evolucionário para treinar um controlador, que utiliza behavior
trees, e realizados diversos testes.
Os resultados demonstram que é possível evoluir um controlador em ambientes de
simulação realistas, utilizando um VNT simulado mas real, assim como utilizando as mesmas
unidades de controlo de voo e software que são amplamente utilizados em ambiente real
