A Survey of path following control strategies for UAVs focused on quadrotors

The trajectory control problem, defined as making a vehicle follow a pre-established path in space, can be solved by means of trajectory tracking or path following. In the trajectory tracking problem a timed reference position is tracked. The path following approach removes any time dependence of the problem, resulting in many advantages on the control performance and design. An exhaustive review of path following algorithms applied to quadrotor vehicles has been carried out, the most relevant are studied in this paper. Then, four of these algorithms have been implemented and compared in a quadrotor simulation platform: Backstepping and Feedback Linearisation control-oriented algorithms and NLGL and Carrot-Chasing geometric algorithms.Peer ReviewedPostprint (author's final draft

Guidance, navigation and control of multirotors

Aplicat embargament des de la data de defensa fins el dia 31 de desembre de 2021This thesis presents contributions to the Guidance, Navigation and Control (GNC) systems for multirotor vehicles by applying and developing diverse control techniques and machine learning theory with innovative results. The aim of the thesis is to obtain a GNC system able to make the vehicle follow predefined paths while avoiding obstacles in the vehicle's route. The system must be adaptable to different paths, situations and missions, reducing the tuning effort and parametrisation of the proposed approaches. The multirotor platform, formed by the Asctec Hummingbird quadrotor vehicle, is studied and described in detail. A complete mathematical model is obtained and a freely available and open simulation platform is built. Furthermore, an autopilot controller is designed and implemented in the real platform. The control part is focused on the path following problem. That is, following a predefined path in space without any time constraint. Diverse control-oriented and geometrical algorithms are studied, implemented and compared. Then, the geometrical algorithms are improved by obtaining adaptive approaches that do not need any parameter tuning. The adaptive geometrical approaches are developed by means of Neural Networks. To end up, a deep reinforcement learning approach is developed to solve the path following problem. This approach implements the Deep Deterministic Policy Gradient algorithm. The resulting approach is trained in a realistic multirotor simulator and tested in real experiments with success. The proposed approach is able to accurately follow a path while adapting the vehicle's velocity depending on the path's shape. In the navigation part, an obstacle detection system based on the use of a LIDAR sensor is implemented. A model of the sensor is derived and included in the simulator. Moreover, an approach for treating the sensor data to eliminate the possible ground detections is developed. The guidance part is focused on the reactive path planning problem. That is, a path planning algorithm that is able to re-plan the trajectory online if an unexpected event, such as detecting an obstacle in the vehicle's route, occurs. A deep reinforcement learning approach for the reactive obstacle avoidance problem is developed. This approach implements the Deep Deterministic Policy Gradient algorithm. The developed deep reinforcement learning agent is trained and tested in the realistic simulation platform. This agent is combined with the path following agent and the rest of the elements developed in the thesis obtaining a GNC system that is able to follow different types of paths while avoiding obstacle in the vehicle's route.Aquesta tesi doctoral presenta diverses contribucions relaciones amb els sistemes de Guiat, Navegació i Control (GNC) per a vehicles multirrotor, aplicant i desenvolupant diverses tècniques de control i de machine learning amb resultats innovadors. L'objectiu principal de la tesi és obtenir un sistema de GNC capaç de dirigir el vehicle perquè segueixi una trajectòria predefinida mentre evita els obstacles que puguin aparèixer en el recorregut del vehicle. El sistema ha de ser adaptable a diferents trajectòries, situacions i missions, reduint l'esforç realitzat en l'ajust i la parametrització dels mètodes proposats. La plataforma experimental, formada pel cuadricòpter Asctec Hummingbird, s'estudia i es descriu en detall. S'obté un model matemàtic complet de la plataforma i es desenvolupa una eina de simulació, la qual és de codi lliure. A més, es dissenya un controlador autopilot i s'implementa en la plataforma real. La part de control està enfocada al problema de path following. En aquest problema, el vehicle ha de seguir una trajectòria predefinida en l'espai sense cap tipus de restricció temporal. S'estudien, s'implementen i es comparen diversos algoritmes de control i geomètrics de path following. Després, es milloren els algoritmes geomètrics usant xarxes neuronals per convertirlos en algoritmes adaptatius. Per finalitzar, es desenvolupa un mètode de path following basat en tècniques d'aprenentatge per reforç profund (deep Reinforcement learning). Aquest mètode implementa l'algoritme Deep Deterministic Policy Gradient. L'agent intel. ligent resultant és entrenat en un simulador realista de multirotors i validat en la plataforma experimental real amb èxit. Els resultats mostren que l'agent és capaç de seguir de forma precisa la trajectòria de referència adaptant la velocitat del vehicle segons la curvatura del recorregut. A la part de navegació, s'implementa un sistema de detecció d'obstacles basat en l'ús d'un sensor LIDAR. Es deriva un model del sensor i aquest s'inclou en el simulador. A més, es desenvolupa un mètode per tractar les mesures del sensor per eliminar les possibles deteccions del terra. Pel que fa a la part de guiatge, aquesta està focalitzada en el problema de reactive path planning. És a dir, un algoritme de planificació de trajectòria que és capaç de re-planejar el recorregut del vehicle a l'instant si algun esdeveniment inesperat ocorre, com ho és la detecció d'un obstacle en el recorregut del vehicle. Es desenvolupa un mètode basat en aprenentatge per reforç profund per l'evasió d'obstacles. Aquest mètode implementa l'algoritme Deep Deterministic Policy Gradient. L'agent d'aprenentatge per reforç s'entrena i valida en un simulador de multirotors realista. Aquest agent es combina amb l'agent de path following i la resta d'elements desenvolupats en la tesi per obtenir un sistema GNC capaç de seguir diferents tipus de trajectòries, evadint els obstacles que estiguin en el recorregut del vehicle.Esta tesis doctoral presenta varias contribuciones relacionas con los sistemas de Guiado, Navegación y Control (GNC) para vehículos multirotor, aplicando y desarrollando diversas técnicas de control y de machine learning con resultados innovadores. El objetivo principal de la tesis es obtener un sistema de GNC capaz de dirigir el vehículo para que siga una trayectoria predefinida mientras evita los obstáculos que puedan aparecer en el recorrido del vehículo. El sistema debe ser adaptable a diferentes trayectorias, situaciones y misiones, reduciendo el esfuerzo realizado en el ajuste y la parametrización de los métodos propuestos. La plataforma experimental, formada por el cuadricoptero Asctec Hummingbird, se estudia y describe en detalle. Se obtiene un modelo matemático completo de la plataforma y se desarrolla una herramienta de simulación, la cual es de código libre. Además, se diseña un controlador autopilot, el cual es implementado en la plataforma real. La parte de control está enfocada en el problema de path following. En este problema, el vehículo debe seguir una trayectoria predefinida en el espacio tridimensional sin ninguna restricción temporal Se estudian, implementan y comparan varios algoritmos de control y geométricos de path following. Luego, se mejoran los algoritmos geométricos usando redes neuronales para convertirlos en algoritmos adaptativos. Para finalizar, se desarrolla un método de path following basado en técnicas de aprendizaje por refuerzo profundo (deep reinforcement learning). Este método implementa el algoritmo Deep Deterministic Policy Gradient. El agente inteligente resultante es entrenado en un simulador realista de multirotores y validado en la plataforma experimental real con éxito. Los resultados muestran que el agente es capaz de seguir de forma precisa la trayectoria de referencia adaptando la velocidad del vehículo según la curvatura del recorrido. En la parte de navegación se implementa un sistema de detección de obstáculos basado en el uso de un sensor LIDAR. Se deriva un modelo del sensor y este se incluye en el simulador. Además, se desarrolla un método para tratar las medidas del sensor para eliminar las posibles detecciones del suelo. En cuanto a la parte de guiado, está focalizada en el problema de reactive path planning. Es decir, un algoritmo de planificación de trayectoria que es capaz de re-planear el recorrido del vehículo al instante si ocurre algún evento inesperado, como lo es la detección de un obstáculo en el recorrido del vehículo. Se desarrolla un método basado en aprendizaje por refuerzo profundo para la evasión de obstáculos. Este implementa el algoritmo Deep Deterministic Policy Gradient. El agente de aprendizaje por refuerzo se entrena y valida en un simulador de multirotors realista. Este agente se combina con el agente de path following y el resto de elementos desarrollados en la tesis para obtener un sistema GNC capaz de seguir diferentes tipos de trayectorias evadiendo los obstáculos que estén en el recorrido del vehículo.Postprint (published version

An Autonomous Path Planning Method for Unmanned Aerial Vehicle based on A Tangent Intersection and Target Guidance Strategy

Unmanned aerial vehicle (UAV) path planning enables UAVs to avoid obstacles and reach the target efficiently. To generate high-quality paths without obstacle collision for UAVs, this paper proposes a novel autonomous path planning algorithm based on a tangent intersection and target guidance strategy (APPATT). Guided by a target, the elliptic tangent graph method is used to generate two sub-paths, one of which is selected based on heuristic rules when confronting an obstacle. The UAV flies along the selected sub-path and repeatedly adjusts its flight path to avoid obstacles through this way until the collision-free path extends to the target. Considering the UAV kinematic constraints, the cubic B-spline curve is employed to smooth the waypoints for obtaining a feasible path. Compared with A*, PRM, RRT and VFH, the experimental results show that APPATT can generate the shortest collision-free path within 0.05 seconds for each instance under static environments. Moreover, compared with VFH and RRTRW, APPATT can generate satisfactory collision-free paths under uncertain environments in a nearly real-time manner. It is worth noting that APPATT has the capability of escaping from simple traps within a reasonable time

Information-driven persistent sensing of a non-cooperative mobile target using UAVs

This paper addresses the persistent sensing problem of moving ground targets of interest using a group of fixed wing UAVs. Especially, we aim to overcome the challenge of physical obscuration in complex mission environments. To this end, the persistent sensing problem is formulated under an optimal control framework, i.e. deploying and managing UAVs in a way maximising the visibility to the non-cooperative target.The main issue with such a persistent sensing problem is that it generally requires the knowledge of future target positions, which is uncertain. To mitigate this issue, a probabilistic map of the future target position is widely utilised. However, most of the probabilistic models use only limited information of the target. This paper proposes an innovative framework that can make the best use of all available information, not only limited information. For the validation of the feasibility, the performance of the proposed framework is tested in a Manhattan-type controlled urban environment. All the simulation tests use the same framework proposed, but utilise different level of information. The simulation results confirm that the performance of the persistent sensing significantly improves, up to 30%, when incorporating all available target information

A survey on fractional order control techniques for unmanned aerial and ground vehicles

In recent years, numerous applications of science and engineering for modeling and control of unmanned aerial vehicles (UAVs) and unmanned ground vehicles (UGVs) systems based on fractional calculus have been realized. The extra fractional order derivative terms allow to optimizing the performance of the systems. The review presented in this paper focuses on the control problems of the UAVs and UGVs that have been addressed by the fractional order techniques over the last decade

UAV Optimal Cooperative Obstacle Avoidance and Target Tracking in Dynamic Stochastic Environments

Cette thèse propose une stratégie de contrôle avancée pour guider une flotte d'aéronefs sans pilote (UAV) dans un environnement à la fois stochastique et dynamique. Pour ce faire, un simulateur de vol 3D a été développé avec MATLAB® pour tester les algorithmes de la stratégie de guidage en fonctions de différents scénarios. L'objectif des missions simulées est de s'assurer que chaque UAV intercepte une cible ellipsoïdale mobile tout en évitant une panoplie d'obstacles ellipsoïdaux mobiles détectés en route. Les UAVs situés à l'intérieur des limites de communication peuvent coopérer afin d'améliorer leurs performances au cours de la mission. Le simulateur a été conçu de façon à ce que les UAV soient dotés de capteurs et d'appareils de communication de portée limitée. De plus, chaque UAV possède un pilote automatique qui stabilise l'aéronef en vol et un planificateur de trajectoires qui génère les commandes à envoyer au pilote automatique. Au coeur du planificateur de trajectoires se trouve un contrôleur prédictif à horizon fuyant qui détermine les commandes à envoyer à l'UAV. Ces commandes optimisent un critère de performance assujetti à des contraintes. Le critère de performance est conçu de sorte que les UAV atteignent les objectifs de la mission, alors que les contraintes assurent que les commandes générées adhèrent aux limites de manoeuvrabilité de l'aéronef. La planification de trajectoires pour UAV opérant dans un environnement dynamique et stochastique dépend fortement des déplacements anticipés des objets (obstacle, cible). Un filtre de Kalman étendu est donc utilisé pour prédire les trajectoires les plus probables des objets à partir de leurs états estimés. Des stratégies de poursuite et d'évitement ont aussi été développées en fonction des trajectoires prédites des objets détectés. Pour des raisons de sécurité, la conception de stratégies d'évitement de collision à la fois efficaces et robustes est primordiale au guidage d'UAV. Une nouvelle stratégie d'évitement d'obstacles par approche probabiliste a donc été développée. La méthode cherche à minimiser la probabilité de collision entre l'UAV et tous ses obstacles détectés sur l'horizon de prédiction, tout en s'assurant que, à chaque pas de prédiction, la probabilité de collision entre l'UAV et chacun de ses obstacles détectés ne surpasse pas un seuil prescrit. Des simulations sont présentées au cours de cette thèse pour démontrer l'efficacité des algorithmes proposés

Learning-based wildfire tracking with unmanned aerial vehicles

This project attempts to design a path planning algorithm for a group of unmanned aerial vehicles (UAVs) to track multiple spreading wildfire zones on a wildland. Due to the physical limitations of UAVs, the wildland is partially observable. Thus, the fire spreading is difficult to model. An online training regression neural network using real-time UAV observation data is implemented for fire front positions prediction. The wildfire tracking with UAVs path planning algorithm is proposed by Q-learning. Various practical factors are considered by designing an appropriate cost function which can describe the tracking problem, such as importance of the moving targets, field of view of UAVs, spreading speed of fire zones, collision avoidance between UAVs, obstacle avoidance, and maximum information collection. To improve the computation efficiency, a vertices-based fire line feature extraction is used to reduce the fire line targets. Simulation results under various wind conditions validate the fire prediction accuracy and UAV tracking performance.Includes bibliographical references