Appearance-based teach and repeat navigation method for unmanned aerial vehicles

Abstract

En esta tesis se presenta un método basado en la técnica de Aprendizaje y Repetición (teach & repeat o TnR) para la navegación autónoma de Vehículos Aéreos No Tripulados (VANTs). Bajo esta técnica se distinguen dos fases: una de aprendizaje (teach) y otra de navegación autónoma (repeat). Durante la etapa de aprendizaje, el VANT es guiado manualmente a través del entorno, definiendo así un camino a repetir. Luego, el VANT puede ser ubicado en cualquier punto del camino (generalmente, al comienzo del mismo) e iniciar la etapa de navegación autónoma. En esta segunda fase el sistema opera a lazo cerrado controlando el VANT con el objetivo de repetir en forma precisa y robusta el camino previamente aprendido. Como principal sensado se utiliza un sistema de visión monocular, en conjunción con sensores que permitan estimar a corto plazo el desplazamiento del robot respecto del entorno, tales como sensores inerciales y de flujo óptico. El principal objetivo de este trabajo es el de proponer un método de navegación tipo T&R que pueda ser ejecutado en tiempo real y a bordo del mismo vehículo, sin depender de una estación terrena a la cual se delegue parte del procesamiento o de un sistema de localización externa (como por ejemplo GPS, en ambientes exteriores) o de captura de movimiento (como por ejemplo ViCon, en ambientes interiores). En otras palabras, se busca un sistema completamente autónomo. Para ello, se propone el uso de un enfoque basado en apariencias (o appearance-based, del inglés), que permite resolver el problema de la localización del vehículo respecto del mapa en forma cualitativa y que es computacionalmente eficiente, lo que permite su ejecución en hardware disponible a bordo del vehículo. La solución propuesta se diferencia del típico esquema de Localización y Mapeo Simultáneo (Simultaneous Localization and Mapping o SLAM) mediante el cual se estima la pose del robot (y la de los objetos del entorno) en forma absoluta con respecto a un sistema de coordenadas global. Bajo dicho esquema, como consecuencia, el error en la estimación de la pose se acumula en forma no acotada, limitando su utilización en el contexto de una navegación a largo plazo, a menos que se realicen correcciones globales en forma periódica (detección y cierre de ciclos). Esto impone el uso de técnicas computacionalmente costosas, lo cual dificulta su ejecución en tiempo real sobre hardware que pueda ser llevado a bordo de un robot aéreo. En contraste, bajo el enfoque propuesto en esta tesis, la localización se resuelve en forma relativa a un sistema de coordenadas local cercano al vehículo (es decir, una referencia sobre el camino) que es determinado mediante un esquema de filtro de partículas (Localización de Monte Carlo). Esto se logra comparando la apariencia del entorno entre la etapa de aprendizaje y la de navegación, mediante el empleo de características visuales salientes (image features) detectadas en dichas etapas. Finalmente, utilizando una ley de control simple, se logra guiar al robot sobre el camino, a partir de reducir la diferencia entre la posición aparente de los objetos del entorno entre ambas etapas, producto del desplazamiento y diferencias de orientacion del robot respecto del mismo. Como parte del desarrollo del trabajo de tesis, se presenta tanto la formulación y descripción del método como el diseño y construcción de una plataforma VANT, sobre la cual se realizaron los experimentos de navegación. Asimismo, se exhiben experimentos tanto con plataformas aéreas en entornos simulados como sobre plataformas terrestres, dado que el método es aplicable también a los mismos. Con los resultados obtenidos se demuestra la factibilidad y precisión de los métodos de localización y navegación propuestos, ejecutando en hardware a bordo de un robot aéreo en tiempo-real. Así, con esta tesis se presenta un aporte al estado del arte en lo que refiere a temas de navegación autónoma basada en visión, particularmente (pero no exclusivamente) para el caso de robots aéreos.This thesis presents a method based on the Teach & Repeat (TnR) technique for the autonomous navigation of Unmanned Aerial Vehicles (UAVs). With this technique, two phases can be distinguished: a learning phase (teach) and an autonomous navigation (repeat) phase. During the learning stage, the UAV is manually guided through the environment, thus defining a path to repeat. Then, the UAV can be positioned in any point of the path (usually at the beginning of it) and the autonomous navigation phase can be started. In this second phase the system operates in closed-loop controlling the UAV in order to accurately and robustly repeat the previously learned path. Monocular vision is used as the main sensing system in conjunction with other sensors used to obtained short-term estimates of the movement of the robot with respect to the environment, such as inertial and optical flow sensors. The main goal of this work is to propose a T&R navigation method that can be run in real-time and on-board the same vehicle, without relying on a ground control-station to which part of the processing is delegated or on external localization (for example GPS, in outdoor environments) or motion capture (such as VICON, for indoor settings) systems. In other words, a completely autonomous system is sought. To this end, an appearance-based approach is employed, which allows to solve the localization problem with respect to the map qualitatively and computationally efficient, which in turns allows its execution on hardware available on-board the vehicle. The proposed solution scheme differs from the typical Simultaneous Localization and Mapping (SLAM) approach under which the pose of the robot (and the objects in the environment) are estimated in absolute terms with respect to a global coordinate system. Under SLAM, therefore, the error in the pose estimation accumulates in unbounded form, limiting its use in the context of long-term navigation unless global corrections are made periodically (loop detection and closure). This imposes the use of computationally expensive techniques, which hinders its execution in real time on hardware that can be carried on-board an aerial robot. In contrast, under the approach proposed in this thesis, the localization is solved relative to a local coordinate system near the vehicle (i.e. a reference over the path) which is determined by a particle-filter scheme (Monte Carlo Localization or MCL). This is accomplished by comparing the appearance of the environment between the learning and navigation stages through the use of salient visual features detected in said steps. Finally, using a simple control law, the robot is effectively guided over the path, by means of reducing the difference in the apparent position of objects in the environment between the two stages, caused by the vehicle’s displacement with respect to the path. As part of the development of the thesis, both the formulation and description of the method, and the design and construction of a UAV platform, on which navigation experiments were conducted, are presented. Moreover, experiments using aerial platforms in simulated environments and using terrestrial platforms are also presented, given that the proposed method is also applicable to the latter. With the obtained results the feasibility and precision of the proposed localization and navigation methods are demonstrated, while executing on-board an aerial robot and in real-time. Thus, this thesis represents a contribution to the state of the art when it comes to the problem of vision-based autonomous navigation, particularly (but not exclusively) for the case of aerial robots.Fil:Nitsche, Matías Alejandro. Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales; Argentina