GATSBI: An Online GTSP-Based Algorithm for Targeted Surface Bridge Inspection

We study the problem of visually inspecting the surface of a bridge using an Unmanned Aerial Vehicle (UAV) for defects. We do not assume that the geometric model of the bridge is known. The UAV is equipped with a LiDAR and RGB sensor that is used to build a 3D semantic map of the environment. Our planner, termed GATSBI, plans in an online fashion a path that is targeted towards inspecting all points on the surface of the bridge. The input to GATSBI consists of a 3D occupancy grid map of the part of the environment seen by the UAV so far. We use semantic segmentation to segment the voxels into those that are part of the bridge and the surroundings. Inspecting a bridge voxel requires the UAV to take images from a desired viewing angle and distance. We then create a Generalized Traveling Salesperson Problem (GTSP) instance to cluster candidate viewpoints for inspecting the bridge voxels and use an off-the-shelf GTSP solver to find the optimal path for the given instance. As more parts of the environment are seen, we replan the path. We evaluate the performance of our algorithm through high-fidelity simulations conducted in Gazebo. We compare the performance of this algorithm with a frontier exploration algorithm. Our evaluation reveals that targeting the inspection to only the segmented bridge voxels and planning carefully using a GTSP solver leads to more efficient inspection than the baseline algorithms.Comment: 8 pages, 16 figure

MAP-NBV: Multi-agent Prediction-guided Next-Best-View Planning for Active 3D Object Reconstruction

We propose MAP-NBV, a prediction-guided active algorithm for 3D reconstruction with multi-agent systems. Prediction-based approaches have shown great improvement in active perception tasks by learning the cues about structures in the environment from data. But these methods primarily focus on single-agent systems. We design a next-best-view approach that utilizes geometric measures over the predictions and jointly optimizes the information gain and control effort for efficient collaborative 3D reconstruction of the object. Our method achieves 22.75% improvement over the prediction-based single-agent approach and 15.63% improvement over the non-predictive multi-agent approach. We make our code publicly available through our project website: http://raaslab.org/projects/MAPNBV/Comment: 7 pages, 7 figures, 2 tables. Submitted to MRS 202

Safe navigation and motion coordination control strategies for unmanned aerial vehicles

Unmanned aerial vehicles (UAVs) have become very popular for many military and civilian applications including in agriculture, construction, mining, environmental monitoring, etc. A desirable feature for UAVs is the ability to navigate and perform tasks autonomously with least human interaction. This is a very challenging problem due to several factors such as the high complexity of UAV applications, operation in harsh environments, limited payload and onboard computing power and highly nonlinear dynamics. Therefore, more research is still needed towards developing advanced reliable control strategies for UAVs to enable safe navigation in unknown and dynamic environments. This problem is even more challenging for multi-UAV systems where it is more efficient to utilize information shared among the networked vehicles. Therefore, the work presented in this thesis contributes towards the state-of-the-art in UAV control for safe autonomous navigation and motion coordination of multi-UAV systems. The first part of this thesis deals with single-UAV systems. Initially, a hybrid navigation framework is developed for autonomous mobile robots using a general 2D nonholonomic unicycle model that can be applied to different types of UAVs, ground vehicles and underwater vehicles considering only lateral motion. Then, the more complex problem of three-dimensional (3D) collision-free navigation in unknown/dynamic environments is addressed. To that end, advanced 3D reactive control strategies are developed adopting the sense-and-avoid paradigm to produce quick reactions around obstacles. A special case of navigation in 3D unknown confined environments (i.e. tunnel-like) is also addressed. General 3D kinematic models are considered in the design which makes these methods applicable to different UAV types in addition to underwater vehicles. Moreover, different implementation methods for these strategies with quadrotor-type UAVs are also investigated considering UAV dynamics in the control design. Practical experiments and simulations were carried out to analyze the performance of the developed methods. The second part of this thesis addresses safe navigation for multi-UAV systems. Distributed motion coordination methods of multi-UAV systems for flocking and 3D area coverage are developed. These methods offer good computational cost for large-scale systems. Simulations were performed to verify the performance of these methods considering systems with different sizes

Context-Enabled Visualization Strategies for Automation Enabled Human-in-the-loop Inspection Systems to Enhance the Situation Awareness of Windstorm Risk Engineers

Insurance loss prevention survey, specifically windstorm risk inspection survey is the process of investigating potential damages associated with a building or structure in the event of an extreme weather condition such as a hurricane or tornado. Traditionally, the risk inspection process is highly subjective and depends on the skills of the engineer performing it. This dissertation investigates the sensemaking process of risk engineers while performing risk inspection with special focus on various factors influencing it. This research then investigates how context-based visualizations strategies enhance the situation awareness and performance of windstorm risk engineers. An initial study investigated the sensemaking process and situation awareness requirements of the windstorm risk engineers. The data frame theory of sensemaking was used as the framework to carry out this study. Ten windstorm risk engineers were interviewed, and the data collected were analyzed following an inductive thematic approach. The themes emerged from the data explained the sensemaking process of risk engineers, the process of making sense of contradicting information, importance of their experience level, internal and external biases influencing the inspection process, difficulty developing mental models, and potential technology interventions. More recently human in the loop systems such as drones have been used to improve the efficiency of windstorm risk inspection. This study provides recommendations to guide the design of such systems to support the sensemaking process and situation awareness of windstorm visual risk inspection. The second study investigated the effect of context-based visualization strategies to enhance the situation awareness of the windstorm risk engineers. More specifically, the study investigated how different types of information contribute towards the three levels of situation awareness. Following a between subjects study design 65 civil/construction engineering students completed this study. A checklist based and predictive display based decision aids were tested and found to be effective in supporting the situation awareness requirements as well as performance of windstorm risk engineers. However, the predictive display only helped with certain tasks like understanding the interaction among different components on the rooftop. For remaining tasks, checklist alone was sufficient. Moreover, the decision aids did not place any additional cognitive demand on the participants. This study helped us understand the advantages and disadvantages of the decision aids tested. The final study evaluated the transfer of training effect of the checklist and predictive display based decision aids. After one week of the previous study, participants completed a follow-up study without any decision aids. The performance and situation awareness of participants in the checklist and predictive display group did not change significantly from first trial to second trial. However, the performance and situation awareness of participants in the control condition improved significantly in the second trial. They attributed this to their exposure to SAGAT questionnaire in the first study. They knew what issues to look for and what tasks need to be completed in the simulation. The confounding effect of SAGAT questionnaires needs to be studied in future research efforts

Двухуровневый эволюционный подход к маршрутизации группы подводных роботов в условиях периодической ротации состава

Применение скоординированных групп автономных подводных роботов представляется наиболее перспективной и многообещающей технологией, обеспечивающей решение самого широкого спектра океанографических задач. Групповое выполнение комплексных широкомасштабных миссий, как правило, связано с длительным пребыванием роботов в заданной акватории, что в условиях ограниченной энергоемкости аккумуляторных батарей возможно только при наличии специализированных док-станций для ее пополнения. С целью обеспечения высокого уровня работоспособности действующей группировки возникают две параллельные задачи: эффективно распределить задания миссии между членами группы и определить порядок подзарядки роботов на длительном промежутке времени. При этом необходимо учитывать, что реальные робототехнические системы функционируют в динамической подводной среде, а значит, могут подвергаться влиянию непредвиденных событий и различного рода неполадок. В данной статье предлагается двухуровневый подход к динамическому планированию групповой стратегии, основанный на декомпозиции миссии на последовательность рабочих периодов с обязательным сбором действующей группировки по окончанию каждого из них. Задача планировщика на верхнем уровне заключается в составлении такого расписания циклов зарядки для всех аппаратов в группе, которое обеспечивало бы своевременное пополнение батарей при недопущении одновременной зарядки большого количества роботов. На основе выбранного расписания осуществляется декомпозиция миссии таким образом, чтобы каждый сбор группы сопровождался либо выходом робота из группы для осуществления подзарядки, либо возвращением в группу уже заряженного аппарата. Такая схема позволяет отслеживать статус группы и осуществлять оперативное перепланирование при изменении ее состава. Маршрутизация группы на каждом рабочем периоде осуществляется низкоуровневым планировщиком, работающим на графе целей и учитывающим технические возможности всех аппаратов в группе, а также все действующие ограничения и требования к выполнению конкретных задач. В статье предлагается эволюционный подход к децентрализованной реализации обоих планировщиков с применением специализированных эвристик, процедур улучшения решений и оригинальных схем кодирования и оценки решений; приводятся результаты вычислительных экспериментов

Двухуровневый эволюционный подход к маршрутизации группы подводных роботов в условиях периодической ротации состава

Currently, the coordinated use of autonomous underwater vehicles groups seems to be the most promising and ambitious technology to provide a solution to the whole range of oceanographic problems. Complex and large-scale underwater operations usually involve long stay activities of robotic groups under the limited vehicle’s battery capacity. In this context, available charging station within the operational area is required for long-term mission implementation. In order to ensure a high level of group performance capability, two following problems have to be handled simultaneously and accurately – to allocate all tasks between vehicles in the group and to determine the recharging order over the extended period of time. While doing this, it should be taken into account, that the real world underwater vehicle systems are partially self-contained and could be subjected to any malfunctions and unforeseen events. The article is devoted to the suggested two-level dynamic mission planner based on the rendezvous point selection scheme. The idea is to divide a mission on a series of time-limited operating periods with the whole group rendezvous at the end of each period. The high-level planner’s objective here is to construct the recharging schedule for all vehicles in the group ensuring well-timed energy replenishment while preventing the simultaneous charging of a plenitude of robots. Based on this schedule, mission is decomposed to assign group rendezvous to each regrouping event (robot leaving the group for recharging or joining the group after recharging). This scheme of periodic rendezvous allows group to keep up its status regularly and to re-plan current strategy, if needed, almost on-the-fly. Low-level planner, in return, performs detailed group routing on the graph-like terrain for each operating period under vehicle’s technical restrictions and task’s spatiotemporal requirements. In this paper, we propose the evolutionary approach to decentralized implementation of both path planners using specialized heuristics, solution improvement techniques, and original chromosome-coding scheme. Both algorithm options for group mission planner are analyzed in the paper; the results of computational experiments are given.Применение скоординированных групп автономных подводных роботов представляется наиболее перспективной и многообещающей технологией, обеспечивающей решение самого широкого спектра океанографических задач. Групповое выполнение комплексных широкомасштабных миссий, как правило, связано с длительным пребыванием роботов в заданной акватории, что в условиях ограниченной энергоемкости аккумуляторных батарей возможно только при наличии специализированных док-станций для ее пополнения. С целью обеспечения высокого уровня работоспособности действующей группировки возникают две параллельные задачи: эффективно распределить задания миссии между членами группы и определить порядок подзарядки роботов на длительном промежутке времени. При этом необходимо учитывать, что реальные робототехнические системы функционируют в динамической подводной среде, а значит, могут подвергаться влиянию непредвиденных событий и различного рода неполадок. В данной статье предлагается двухуровневый подход к динамическому планированию групповой стратегии, основанный на декомпозиции миссии на последовательность рабочих периодов с обязательным сбором действующей группировки по окончанию каждого из них. Задача планировщика на верхнем уровне заключается в составлении такого расписания циклов зарядки для всех аппаратов в группе, которое обеспечивало бы своевременное пополнение батарей при недопущении одновременной зарядки большого количества роботов. На основе выбранного расписания осуществляется декомпозиция миссии таким образом, чтобы каждый сбор группы сопровождался либо выходом робота из группы для осуществления подзарядки, либо возвращением в группу уже заряженного аппарата. Такая схема позволяет отслеживать статус группы и осуществлять оперативное перепланирование при изменении ее состава. Маршрутизация группы на каждом рабочем периоде осуществляется низкоуровневым планировщиком, работающим на графе целей и учитывающим технические возможности всех аппаратов в группе, а также все действующие ограничения и требования к выполнению конкретных задач. В статье предлагается эволюционный подход к децентрализованной реализации обоих планировщиков с применением специализированных эвристик, процедур улучшения решений и оригинальных схем кодирования и оценки решений; приводятся результаты вычислительных экспериментов