Battery Management Systems for Firefighting Robots Using Simulation Modeling

The battery management systems for firefighting robots are intended to enable firefighting robots to increase operating time and to effectively extinguish a fire while managing the amount of water in a fire hose and cooperating sub-robots. To increase the operating time by managing the traction power of the firefighting robot, a novel automatic T-valve device and sub-robots were designed and added to fire hoses. The main goal of the battery management systems for firefighting robots is to lower the weight of the fire hose and to increase traction power by working with sub-robots. Whenever a firefighting robot wants to move to other spaces, the battery management systems will remove the water from fire hoses and draw the empty fire hoses by using sub-robots; thus, they are able to help the main firefighting robot to carry lighter hoses and to operate for a longer time. As a result, the battery management systems for firefighting robots enable the firefighting robot to successfully extinguish a fire for a longer time and to efficiently reach the desired destinations. The demonstration will be modeled by a computer simulation program, called AnyLogic®, which can model a fire and fire areas and apply the battery management systems to robots in each fire site

Autonomous Drones for Trail Navigation using DNNs

Στην παρούσα διπλωματική εργασία, προτείνεται ο σχεδιασμός και η υλοποίηση ενός πρότυπου drone που έχει τη δυνατότητα αυτόνομης πλοήγησης σε δασικό μονοπάτι χωρίς πρότερη γνώση του περιβάλλοντα χώρου. Χρησιμοποιεί σύστημα τεχνητής όρασης τριών επιπέδων: (i) ένα νευρωνικό δίκτυο βάθους (DNN) για εκτίμηση πλευρικής μετατόπισης και προσανατολισμού ως προς το κέντρο του μονοπατιού, (ii) ένα DNN για αναγνώριση αντικειμένων, και (iii) ένα σύστημα αποφυγής εμποδίων. Η σύνθεση του μικρού εναέριου σκάφους (MAV) έγινε από διαθέσιμα εξαρτήματα (hardware) του εργαστηρίου. Για τον αλγόριθμο ακολουθίας δασικών μονοπατιών, ως βάση νευρωνικού δικτύου χρησιμοποιήθηκε το TrailNet. Στη συνέχεια επανεκπαιδεύτηκε και εμπλουτίστηκε με σύνολο δεδομένων που δημιουργήθηκε από την δασική περιοχή της Πανεπιστημιούπολης Ιλισίων, προσαρμόζοντάς το στην τοπική βλάστηση. Για την επιλογή των βέλτιστων αλγορίθμων αναγνώρισης αντικειμένων, έγινε δοκιμή και αξιολόγηση από αντίστοιχους της τελευταίας γενιάς στην πλακέτα επεξεργασίας Jetson TX2 της NVIDIA. Τέλος δίνεται πρόταση πειραματικής πτήσης με συγκεκριμένες παραμέτρους για την αξιολόγηση της ορθής λειτουργίας.This thesis proposes the design and implementation of a prototype drone stack that is able to autonomously navigate through a forest trail path without having prior knowledge of the surrounding area. It uses a 3 level vision system: (i) a deep neural network (DNN) for estimating the view orientation and lateral offset of the vehicle with respect to the trail center, (ii) a DNN for object detection and (iii) a Guidance system for obstacle avoidance. Hardware synthesis of the Micro Aerial Vehicle (MAV) was built upon hardware parts, available from the lab. Trail following algorithm makes use of TrailNet’s neural network. It was also retrained and enriched by a newly created dataset, formed with footage from the nearby forest canopy of Ilisia Univesity Campus. This also made the model more adaptive to local vegetation characteristics. For object detection service, a comparison between well-known algorithms was made and an evaluation was done in terms of accuracy and efficiency. These were tested on NVIDIA’s Jetson TX2 Dev Kit board. At last, a suggestion of an experimental flight is given with particular parameters, for the evaluation of the proper operation

Deteção e seguimento de trilhos em ambientes florestais com recurso a um sistema de visão monocular

Esta dissertação propõe um sistema de apoio à navegação baseado em visão monocular passível de ser instalado em veículos aéreos não tripulados de pequena e média dimensão, concebidos para realizar missões em ambiente florestal (e.g., busca e salvamento). A navegação autónoma em ambiente florestal apresenta um conjunto de desafios que vão desde a complexidade dos obstáculos presentes (e.g., árvores) até ao ruído provocado pela vegetação nos sinais de radiofrequência tipi camente usados para controlo remoto ou auto-localização (GPS). Neste contexto, o trabalho proposto nesta dissertação aborda a questão da utilização de trilhos para navegar de forma segura neste tipo de ambientes, explorando o facto dos trilhos poderem ser caraterizados como sendo vias de comunicação terrestre, que se apresentam por norma livres de obstáculos. Para tal, é estendida a técnica de deteção e seguimento de trilhos proposta por Santana et al. [68], à qual é adici onada informação tridimensional do ambiente para aumentar a sua robustez na presença de trilhos mais desafiantes. Concretamente, a informação tridimensional do ambiente obtida através de sequências de imagens capturadas por uma câmara monocular equipada no veículo aéreo é utilizada para modular essa mesma téc nica de deteção de trilhos. Os resultados experimentais, obtidos a partir de um conjunto de 12 vídeos filmados com recurso a uma câmara montada num veículo aéreo não tripulado de pequena dimensão, tele-operado, mostram a capacidade do sistema proposto na identificação da região hipótese do trilho, tendo sido obtida uma taxa de sucesso de 97; 78%, sendo superior aos 90:30% obtidos pelo sistema que serviu de base a este trabalho.This dissertation proposes a support system to navigation based on monocular vision system susceptible of being installed in unmanned small and medium-sized aerial vehicles, built to perform missions in forest environments (e.g., search and rescue). Autonomous navigation in forest environments presents a set of challenges from the complexity of existing obstacles (e.g., trees) to the noise caused by vegetation in the radiofrequency signals typically used for remote control or auto-location (GPS). In this context, this dissertation addresses the use of trails to navigate safely in this kind of environments, exploring the fact that trails can be characterized as means of terrestrial communication, normally free of obstacles. For that, the detection and trail following technique proposed by Santana et al. [68] is used, to which tridimensional environment information is added, to increase its sturdiness upon more challenging trails. More specifically, the environment’s tridimensional information obtained through sequences of images captured by a monocular camera equipped in the aerial vehicle is used to adjust that trail detection technique. The experimental results, obtained via a set of 12 videos recorded with a camera installed in a tele-operated, unmanned small-sized aerial vehicle, show the capacity of the proposed system in identifying the trail path, achieving a success rate of 97; 78%, meaning a higher success rate than the 90:30% achieved with the system used as basis for the work developed in this dissertation

Моделі, алгоритми та програмне забезпечення для планування шляху для навігації мобільних роботів з уникненням перешкод на основі дерева октантів

Об'єкт дослідження: процес оптимізації та покращення точності руху та уникнення перешкод для навігації мобільних роботів. Предмет дослідження: моделі та методи виявлення перешкод та навігації з метою уникнення виявлених перешкод. Мета магістерської роботи: підвищення ефективності системи розпізнавання перешкод мобільними роботами для навігації у середовищі, використовуючи датчики для забезпечення дороги без зіткнень з об’єктами, які не знаходяться на одному рівні з лазерами. Методи дослідження. Для вирішення поставлених задач використані методи: пошуку шляхів, порогового значення, обробки хмари точок, генерації дерева октантів. Наукова новизна полягає у тому, що удосконалено методи системи планування шляху для навігації мобільних роботів на основі дерева октантів для якісного та точного шляху від початкової точки до заданої у просторі

Visual attention and swarm cognition for off-road robots

Tese de doutoramento, Informática (Engenharia Informática), Universidade de Lisboa, Faculdade de Ciências, 2011Esta tese aborda o problema da modelação de atenção visual no contexto de robôs autónomos todo-o-terreno. O objectivo de utilizar mecanismos de atenção visual é o de focar a percepção nos aspectos do ambiente mais relevantes à tarefa do robô. Esta tese mostra que, na detecção de obstáculos e de trilhos, esta capacidade promove robustez e parcimónia computacional. Estas são características chave para a rapidez e eficiência dos robôs todo-o-terreno. Um dos maiores desafios na modelação de atenção visual advém da necessidade de gerir o compromisso velocidade-precisão na presença de variações de contexto ou de tarefa. Esta tese mostra que este compromisso é resolvido se o processo de atenção visual for modelado como um processo auto-organizado, cuja operação é modulada pelo módulo de selecção de acção, responsável pelo controlo do robô. Ao fechar a malha entre o processo de selecção de acção e o de percepção, o último é capaz de operar apenas onde é necessário, antecipando as acções do robô. Para fornecer atenção visual com propriedades auto-organizadas, este trabalho obtém inspiração da Natureza. Concretamente, os mecanismos responsáveis pela capacidade que as formigas guerreiras têm de procurar alimento de forma auto-organizada, são usados como metáfora na resolução da tarefa de procurar, também de forma auto-organizada, obstáculos e trilhos no campo visual do robô. A solução proposta nesta tese é a de colocar vários focos de atenção encoberta a operar como um enxame, através de interacções baseadas em feromona. Este trabalho representa a primeira realização corporizada de cognição de enxame. Este é um novo campo de investigação que procura descobrir os princípios básicos da cognição, inspeccionando as propriedades auto-organizadas da inteligência colectiva exibida pelos insectos sociais. Logo, esta tese contribui para a robótica como disciplina de engenharia e para a robótica como disciplina de modelação, capaz de suportar o estudo do comportamento adaptável.Esta tese aborda o problema da modelação de atenção visual no contexto de robôs autónomos todo-o-terreno. O objectivo de utilizar mecanismos de atenção visual é o de focar a percepção nos aspectos do ambiente mais relevantes à tarefa do robô. Esta tese mostra que, na detecção de obstáculos e de trilhos, esta capacidade promove robustez e parcimónia computacional. Estas são características chave para a rapidez e eficiência dos robôs todo-o-terreno. Um dos maiores desafios na modelação de atenção visual advém da necessidade de gerir o compromisso velocidade-precisão na presença de variações de contexto ou de tarefa. Esta tese mostra que este compromisso é resolvido se o processo de atenção visual for modelado como um processo auto-organizado, cuja operação é modulada pelo módulo de selecção de acção, responsável pelo controlo do robô. Ao fechar a malha entre o processo de selecção de acção e o de percepção, o último é capaz de operar apenas onde é necessário, antecipando as acções do robô. Para fornecer atenção visual com propriedades auto-organizadas, este trabalho obtém inspi- ração da Natureza. Concretamente, os mecanismos responsáveis pela capacidade que as formi- gas guerreiras têm de procurar alimento de forma auto-organizada, são usados como metáfora na resolução da tarefa de procurar, também de forma auto-organizada, obstáculos e trilhos no campo visual do robô. A solução proposta nesta tese é a de colocar vários focos de atenção encoberta a operar como um enxame, através de interacções baseadas em feromona. Este trabalho representa a primeira realização corporizada de cognição de enxame. Este é um novo campo de investigação que procura descobrir os princípios básicos da cognição, ins- peccionando as propriedades auto-organizadas da inteligência colectiva exibida pelos insectos sociais. Logo, esta tese contribui para a robótica como disciplina de engenharia e para a robótica como disciplina de modelação, capaz de suportar o estudo do comportamento adaptável.Fundação para a Ciência e a Tecnologia (FCT,SFRH/BD/27305/2006); Laboratory of Agent Modelling (LabMag