2 research outputs found
Improved terrain type classification using UAV downwash dynamic texture effect
The ability to autonomously navigate in an unknown, dynamic environment, while at
the same time classifying various terrain types, are significant challenges still faced by
the computer vision research community. Addressing these problems is of great interest
for the development of collaborative autonomous navigation robots. For example, an
Unmanned Aerial Vehicle (UAV) can be used to determine a path, while an Unmanned
Surface Vehicle (USV) follows that path to reach the target destination. For the UAV to be
able to determine if a path is valid or not, it must be able to identify the type of terrain it
is flying over. With the help of its rotor air flow (known as downwash e↵ect), it becomes
possible to extract advanced texture features, used for terrain type classification.
This dissertation presents a complete analysis on the extraction of static and dynamic
texture features, proposing various algorithms and analyzing their pros and cons. A
UAV equipped with a single RGB camera was used to capture images and a Multilayer
Neural Network was used for the automatic classification of water and non-water-type
terrains by means of the downwash e↵ect created by the UAV rotors. The terrain type
classification results are then merged into a georeferenced dynamic map, where it is
possible to distinguish between water and non-water areas in real time.
To improve the algorithms’ processing time, several sequential processes were con verted into parallel processes and executed in the UAV onboard GPU with the CUDA
framework achieving speedups up to 10x. A comparison between the processing time
of these two processing modes, sequential in the CPU and parallel in the GPU, is also
presented in this dissertation.
All the algorithms were developed using open-source libraries, and were analyzed
and validated both via simulation and real environments. To evaluate the robustness of
the proposed algorithms, the studied terrains were tested with and without the presence
of the downwash e↵ect. It was concluded that the classifier could be improved by per forming combinations between static and dynamic features, achieving an accuracy higher
than 99% in the classification of water and non-water terrain.Dotar equipamentos moveis da funcionalidade de navegação autónoma em ambientes
desconhecidos e dinâmicos, ao mesmo tempo que, classificam terrenos do tipo água e
não água, são desafios que se colocam atualmente a investigadores na área da visão computacional. As soluções para estes problemas são de grande interesse para a navegação
autónoma e a colaboração entre robôs. Por exemplo, um veículo aéreo não tripulado (UAV)
pode ser usado para determinar o caminho que um veículo terrestre não tripulado (USV)
deve percorrer para alcançar o destino pretendido. Para o UAV conseguir determinar se o
caminho é válido ou não, tem de ser capaz de identificar qual o tipo de terreno que está
a sobrevoar. Com a ajuda do fluxo de ar gerado pelos motores (conhecido como efeito
downwash), é possível extrair características de textura avançadas, que serão usadas para
a classificação do tipo de terreno.
Esta dissertação apresenta uma análise completa sobre extração de texturas estáticas
e dinâmicas, propondo diversos algoritmos e analisando os seus prós e contras. Um UAV
equipado com uma única câmera RGB foi usado para capturar as imagens. Para classi ficar automaticamente terrenos do tipo água e não água foi usada uma rede neuronal
multicamada e recorreu-se ao efeito de downwash criado pelos motores do UAV. Os re sultados da classificação do tipo de terreno são depois colocados num mapa dinâmico
georreferenciado, onde é possível distinguir, em tempo real, terrenos do tipo água e não
água.
De forma a melhorar o tempo de processamento dos algoritmos desenvolvidos, vários processos sequenciais foram convertidos em processos paralelos e executados na
GPU a bordo do UAV, com a ajuda da framework CUDA, tornando o algoritmo até 10x
mais rápido. Também são apresentadas nesta dissertação comparações entre o tempo de
processamento destes dois modos de processamento, sequencial na CPU e paralelo na
GPU.
Todos os algoritmos foram desenvolvidos através de bibliotecas open-source, e foram
analisados e validados, tanto através de ambientes de simulação como em ambientes reais.
Para avaliar a robustez dos algoritmos propostos, os terrenos estudados foram testados
com e sem a presença do efeito downwash. Concluiu-se que o classificador pode ser melhorado realizando combinações entre as características de textura estáticas e dinâmicas,
alcançando uma precisão superior a 99% na classificação de terrenos do tipo água e não água