Leveraging self-supervision for visual embodied navigation with neuralized potential fields

Une tâche fondamentale en robotique consiste à naviguer entre deux endroits. En particulier, la navigation dans le monde réel nécessite une planification à long terme à l'aide d'images RVB (RGB) en haute dimension, ce qui constitue un défi considérable pour les approches d'apprentissage de bout-en-bout. Les méthodes semi-paramétriques actuelles parviennent plutôt à atteindre des objectifs éloignés en combinant des modèles paramétriques avec une mémoire topologique de l'environnement, souvent représentée sous forme d'un graphe ayant pour nœuds des images précédemment vues. Cependant, l'utilisation de ces graphes implique généralement l'ajustement d'heuristiques d'élagage afin d'éviter les arêtes superflues, limiter la mémoire requise et permettre des recherches raisonnablement rapides dans le graphe. Dans cet ouvrage, nous montrons comment les approches de bout-en-bout basées sur l'apprentissage auto-supervisé peuvent exceller dans des tâches de navigation à long terme. Nous présentons initialement Duckie-Former (DF), une approche de bout-en-bout pour la navigation visuelle dans des environnements routiers. En utilisant un Vision Transformer (ViT) pré-entraîné avec une méthode auto-supervisée, nous nous inspirons des champs de potentiels afin de dériver une stratégie de navigation utilisant en entrée un masque de segmentation d'image de faible résolution. DF est évalué dans des tâches de navigation de suivi de voie et d'évitement d'obstacles. Nous présentons ensuite notre deuxième approche intitulée One-4-All (O4A). O4A utilise l'apprentissage auto-supervisé et l'apprentissage de variétés afin de créer un pipeline de navigation de bout-en-bout sans graphe permettant de spécifier l'objectif à l'aide d'une image. La navigation est réalisée en minimisant de manière vorace une fonction de potentiel définie de manière continue dans l'espace latent O4A. Les deux systèmes sont entraînés sans interagir avec le simulateur ou le robot sur des séquences d'exploration de données RVB et de contrôles non experts. Ils ne nécessitent aucune mesure de profondeur ou de pose. L'évaluation est effectuée dans des environnements simulés et réels en utilisant un robot à entraînement différentiel.A fundamental task in robotics is to navigate between two locations. Particularly, real-world navigation can require long-horizon planning using high-dimensional RGB images, which poses a substantial challenge for end-to-end learning-based approaches. Current semi-parametric methods instead achieve long-horizon navigation by combining learned modules with a topological memory of the environment, often represented as a graph over previously collected images. However, using these graphs in practice typically involves tuning various pruning heuristics to prevent spurious edges, limit runtime memory usage, and allow reasonably fast graph queries. In this work, we show how end-to-end approaches trained through Self-Supervised Learning (SSL) can excel in long-horizon navigation tasks. We initially present Duckie-Former (DF), an end-to-end approach for visual servoing in road-like environments. Using a Vision Transformer (ViT) pretrained with a self-supervised method, we derive a potential-fields-like navigation strategy based on a coarse image segmentation model. DF is assessed in the navigation tasks of lane-following and obstacle avoidance. Subsequently, we introduce our second approach called One-4-All (O4A). O4A leverages SSL and manifold learning to create a graph-free, end-to-end navigation pipeline whose goal is specified as an image. Navigation is achieved by greedily minimizing a potential function defined continuously over the O4A latent space. O4A is evaluated in complex indoor environments. Both systems are trained offline on non-expert exploration sequences of RGB data and controls, and do not require any depth or pose measurements. Assessment is performed in simulated and real-world environments using a differential-drive robot

Robot Visual Servoing Using Discontinuous Control

This work presents different proposals to deal with common problems in robot visual servoing based on the application of discontinuous control methods. The feasibility and effectiveness of the proposed approaches are substantiated by simulation results and real experiments using a 6R industrial manipulator. The main contributions are: - Geometric invariance using sliding mode control (Chapter 3): the defined higher-order invariance is used by the proposed approaches to tackle problems in visual servoing. Proofs of invariance condition are presented. - Fulfillment of constraints in visual servoing (Chapter 4): the proposal uses sliding mode methods to satisfy mechanical and visual constraints in visual servoing, while a secondary task is considered to properly track the target object. The main advantages of the proposed approach are: low computational cost, robustness and fully utilization of the allowed space for the constraints. - Robust auto tool change for industrial robots using visual servoing (Chapter 4): visual servoing and the proposed method for constraints fulfillment are applied to an automated solution for tool changing in industrial robots. The robustness of the proposed method is due to the control law of the visual servoing, which uses the information acquired by the vision system to close a feedback control loop. Furthermore, sliding mode control is simultaneously used in a prioritized level to satisfy the aforementioned constraints. Thus, the global control accurately places the tool in the warehouse, but satisfying the robot constraints. - Sliding mode controller for reference tracking (Chapter 5): an approach based on sliding mode control is proposed for reference tracking in robot visual servoing using industrial robot manipulators. The novelty of the proposal is the introduction of a sliding mode controller that uses a high-order discontinuous control signal, i.e., joint accelerations or joint jerks, in order to obtain a smoother behavior and ensure the robot system stability, which is demonstrated with a theoretical proof. - PWM and PFM for visual servoing in fully decoupled approaches (Chapter 6): discontinuous control based on pulse width and pulse frequency modulation is proposed for fully decoupled position based visual servoing approaches, in order to get the same convergence time for camera translation and rotation. Moreover, other results obtained in visual servoing applications are also described.Este trabajo presenta diferentes propuestas para tratar problemas habituales en el control de robots por realimentación visual, basadas en la aplicación de métodos de control discontinuos. La viabilidad y eficacia de las propuestas se fundamenta con resultados en simulación y con experimentos reales utilizando un robot manipulador industrial 6R. Las principales contribuciones son: - Invariancia geométrica utilizando control en modo deslizante (Capítulo 3): la invariancia de alto orden definida aquí es utilizada después por los métodos propuestos, para tratar problemas en control por realimentación visual. Se apuertan pruebas teóricas de la condición de invariancia. - Cumplimiento de restricciones en control por realimentación visual (Capítulo 4): esta propuesta utiliza métodos de control en modo deslizante para satisfacer restricciones mecánicas y visuales en control por realimentación visual, mientras una tarea secundaria se encarga del seguimiento del objeto. Las principales ventajas de la propuesta son: bajo coste computacional, robustez y plena utilización del espacio disponible para las restricciones. - Cambio de herramienta robusto para un robot industrial mediante control por realimentación visual (Capítulo 4): el control por realimentación visual y el método propuesto para el cumplimiento de las restricciones se aplican a una solución automatizada para el cambio de herramienta en robots industriales. La robustez de la propuesta radica en el uso del control por realimentación visual, que utiliza información del sistema de visión para cerrar el lazo de control. Además, el control en modo deslizante se utiliza simultáneamente en un nivel de prioridad superior para satisfacer las restricciones. Así pues, el control es capaz de dejar la herramienta en el intercambiador de herramientas de forma precisa, a la par que satisface las restricciones del robot. - Controlador en modo deslizante para seguimiento de referencia (Capítulo 5): se propone un enfoque basado en el control en modo deslizante para seguimiento de referencia en robots manipuladores industriales controlados por realimentación visual. La novedad de la propuesta radica en la introducción de un controlador en modo deslizante que utiliza la señal de control discontinua de alto orden, i.e. aceleraciones o jerks de las articulaciones, para obtener un comportamiento más suave y asegurar la estabilidad del sistema robótico, lo que se demuestra con una prueba teórica. - Control por realimentación visual mediante PWM y PFM en métodos completamente desacoplados (Capítulo 6): se propone un control discontinuo basado en modulación del ancho y frecuencia del pulso para métodos completamente desacoplados de control por realimentación visual basados en posición, con el objetivo de conseguir el mismo tiempo de convergencia para los movimientos de rotación y traslación de la cámara . Además, se presentan también otros resultados obtenidos en aplicaciones de control por realimentación visual.Aquest treball presenta diferents propostes per a tractar problemes habituals en el control de robots per realimentació visual, basades en l'aplicació de mètodes de control discontinus. La viabilitat i eficàcia de les propostes es fonamenta amb resultats en simulació i amb experiments reals utilitzant un robot manipulador industrial 6R. Les principals contribucions són: - Invariància geomètrica utilitzant control en mode lliscant (Capítol 3): la invariància d'alt ordre definida ací és utilitzada després pels mètodes proposats, per a tractar problemes en control per realimentació visual. S'aporten proves teòriques de la condició d'invariància. - Compliment de restriccions en control per realimentació visual (Capítol 4): aquesta proposta utilitza mètodes de control en mode lliscant per a satisfer restriccions mecàniques i visuals en control per realimentació visual, mentre una tasca secundària s'encarrega del seguiment de l'objecte. Els principals avantatges de la proposta són: baix cost computacional, robustesa i plena utilització de l'espai disponible per a les restriccions. - Canvi de ferramenta robust per a un robot industrial mitjançant control per realimentació visual (Capítol 4): el control per realimentació visual i el mètode proposat per al compliment de les restriccions s'apliquen a una solució automatitzada per al canvi de ferramenta en robots industrials. La robustesa de la proposta radica en l'ús del control per realimentació visual, que utilitza informació del sistema de visió per a tancar el llaç de control. A més, el control en mode lliscant s'utilitza simultàniament en un nivell de prioritat superior per a satisfer les restriccions. Així doncs, el control és capaç de deixar la ferramenta en l'intercanviador de ferramentes de forma precisa, a la vegada que satisfà les restriccions del robot. - Controlador en mode lliscant per a seguiment de referència (Capítol 5): es proposa un enfocament basat en el control en mode lliscant per a seguiment de referència en robots manipuladors industrials controlats per realimentació visual. La novetat de la proposta radica en la introducció d'un controlador en mode lliscant que utilitza senyal de control discontínua d'alt ordre, i.e. acceleracions o jerks de les articulacions, per a obtindre un comportament més suau i assegurar l'estabilitat del sistema robòtic, la qual cosa es demostra amb una prova teòrica. - Control per realimentació visual mitjançant PWM i PFM en mètodes completament desacoblats (Capítol 6): es proposa un control discontinu basat en modulació de l'ample i la freqüència del pols per a mètodes completament desacoblats de control per realimentació visual basats en posició, amb l'objectiu d'aconseguir el mateix temps de convergència per als moviments de rotació i translació de la càmera. A més, es presenten també altres resultats obtinguts en aplicacions de control per realimentació visual.Muñoz Benavent, P. (2017). Robot Visual Servoing Using Discontinuous Control [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/90430TESI

Vision based navigation in a dynamic environment

Cette thèse s'intéresse au problème de la navigation autonome au long cours de robots mobiles à roues dans des environnements dynamiques. Elle s'inscrit dans le cadre du projet FUI Air-Cobot. Ce projet, porté par Akka Technologies, a vu collaborer plusieurs entreprises (Akka, Airbus, 2MORROW, Sterela) ainsi que deux laboratoires de recherche, le LAAS et Mines Albi. L'objectif est de développer un robot collaboratif (ou cobot) capable de réaliser l'inspection d'un avion avant le décollage ou en hangar. Différents aspects ont donc été abordés : le contrôle non destructif, la stratégie de navigation, le développement du système robotisé et de son instrumentation, etc. Cette thèse répond au second problème évoqué, celui de la navigation. L'environnement considéré étant aéroportuaire, il est hautement structuré et répond à des normes de déplacement très strictes (zones interdites, etc.). Il peut être encombré d'obstacles statiques (attendus ou non) et dynamiques (véhicules divers, piétons, ...) qu'il conviendra d'éviter pour garantir la sécurité des biens et des personnes. Cette thèse présente deux contributions. La première porte sur la synthèse d'un asservissement visuel permettant au robot de se déplacer sur de longues distances (autour de l'avion ou en hangar) grâce à une carte topologique et au choix de cibles dédiées. De plus, cet asservissement visuel exploite les informations fournies par toutes les caméras embarquées. La seconde contribution porte sur la sécurité et l'évitement d'obstacles. Une loi de commande basée sur les spirales équiangulaires exploite seulement les données sensorielles fournies par les lasers embarqués. Elle est donc purement référencée capteur et permet de contourner tout obstacle, qu'il soit fixe ou mobile. Il s'agit donc d'une solution générale permettant de garantir la non collision. Enfin, des résultats expérimentaux, réalisés au LAAS et sur le site d'Airbus à Blagnac, montrent l'efficacité de la stratégie développée.This thesis is directed towards the autonomous long range navigation of wheeled robots in dynamic environments. It takes place within the Air-Cobot project. This project aims at designing a collaborative robot (cobot) able to perform the preflight inspection of an aircraft. The considered environment is then highly structured (airport runway and hangars) and may be cluttered with both static and dynamic unknown obstacles (luggage or refueling trucks, pedestrians, etc.). Our navigation framework relies on previous works and is based on the switching between different control laws (go to goal controller, visual servoing, obstacle avoidance) depending on the context. Our contribution is twofold. First of all, we have designed a visual servoing controller able to make the robot move over a long distance thanks to a topological map and to the choice of suitable targets. In addition, multi-camera visual servoing control laws have been built to benefit from the image data provided by the different cameras which are embedded on the Air-Cobot system. The second contribution is related to obstacle avoidance. A control law based on equiangular spirals has been designed to guarantee non collision. This control law, based on equiangular spirals, is fully sensor-based, and allows to avoid static and dynamic obstacles alike. It then provides a general solution to deal efficiently with the collision problem. Experimental results, performed both in LAAS and in Airbus hangars and runways, show the efficiency of the developed techniques

Clothoid-based Planning and Control in Intelligent Vehicles (Autonomous and Manual-Assisted Driving)

[EN] Nowadays, there are many electronic products that incorporate elements and features coming from the research in the field of mobile robotics. For instance, the well-known vacuum cleaning robot Roomba by iRobot, which belongs to the field of service robotics, one of the most active within the sector. There are also numerous autonomous robotic systems in industrial warehouses and plants. It is the case of Autonomous Guided Vehicles (AGVs), which are able to drive completely autonomously in very structured environments. Apart from industry and consumer electronics, within the automotive field there are some devices that give intelligence to the vehicle, derived in most cases from advances in mobile robotics. In fact, more and more often vehicles incorporate Advanced Driver Assistance Systems (ADAS), such as navigation control with automatic speed regulation, lane change and overtaking assistant, automatic parking or collision warning, among other features. However, despite all the advances there are some problems that remain unresolved and can be improved. Collisions and rollovers stand out among the most common accidents of vehicles with manual or autonomous driving. In fact, it is almost impossible to guarantee driving without accidents in unstructured environments where vehicles share the space with other moving agents, such as other vehicles and pedestrians. That is why searching for techniques to improve safety in intelligent vehicles, either autonomous or manual-assisted driving, is still a trending topic within the robotics community. This thesis focuses on the design of tools and techniques for planning and control of intelligent vehicles in order to improve safety and comfort. The dissertation is divided into two parts, the first one on autonomous driving and the second one on manual-assisted driving. The main link between them is the use of clothoids as mathematical formulation for both trajectory generation and collision detection. Among the problems solved the following stand out: obstacle avoidance, rollover avoidance and advanced driver assistance to avoid collisions with pedestrians.[ES] En la actualidad se comercializan infinidad de productos de electrónica de consumo que incorporan elementos y características procedentes de avances en el sector de la robótica móvil. Por ejemplo, el conocido robot aspirador Roomba de la empresa iRobot, el cual pertenece al campo de la robótica de servicio, uno de los más activos en el sector. También hay numerosos sistemas robóticos autónomos en almacenes y plantas industriales. Es el caso de los vehículos autoguiados (AGVs), capaces de conducir de forma totalmente autónoma en entornos muy estructurados. Además de en la industria y en electrónica de consumo, dentro del campo de la automoción también existen dispositivos que dotan de cierta inteligencia al vehículo, derivados la mayoría de las veces de avances en robótica móvil. De hecho, cada vez con mayor frecuencia los vehículos incorporan sistemas avanzados de asistencia al conductor (ADAS por sus siglas en inglés), tales como control de navegación con regulación automática de velocidad, asistente de cambio de carril y adelantamiento, aparcamiento automático o aviso de colisión, entre otras prestaciones. No obstante, pese a todos los avances siguen existiendo problemas sin resolver y que pueden mejorarse. La colisión y el vuelco destacan entre los accidentes más comunes en vehículos con conducción tanto manual como autónoma. De hecho, la dificultad de conducir en entornos desestructurados compartiendo el espacio con otros agentes móviles, tales como coches o personas, hace casi imposible garantizar la conducción sin accidentes. Es por ello que la búsqueda de técnicas para mejorar la seguridad en vehículos inteligentes, ya sean de conducción autónoma o manual asistida, es un tema que siempre está en auge en la comunidad robótica. La presente tesis se centra en el diseño de herramientas y técnicas de planificación y control de vehículos inteligentes, para la mejora de la seguridad y el confort. La disertación se ha dividido en dos partes, la primera sobre conducción autónoma y la segunda sobre conducción manual asistida. El principal nexo de unión es el uso de clotoides como elemento de generación de trayectorias y detección de colisiones. Entre los problemas que se resuelven destacan la evitación de obstáculos, la evitación de vuelcos y la asistencia avanzada al conductor para evitar colisiones con peatones.[CA] En l'actualitat es comercialitzen infinitat de productes d'electrònica de consum que incorporen elements i característiques procedents d'avanços en el sector de la robòtica mòbil. Per exemple, el conegut robot aspirador Roomba de l'empresa iRobot, el qual pertany al camp de la robòtica de servici, un dels més actius en el sector. També hi ha nombrosos sistemes robòtics autònoms en magatzems i plantes industrials. És el cas dels vehicles autoguiats (AGVs), els quals són capaços de conduir de forma totalment autònoma en entorns molt estructurats. A més de en la indústria i en l'electrònica de consum, dins el camp de l'automoció també existeixen dispositius que doten al vehicle de certa intel·ligència, la majoria de les vegades derivats d'avanços en robòtica mòbil. De fet, cada vegada amb més freqüència els vehicles incorporen sistemes avançats d'assistència al conductor (ADAS per les sigles en anglés), com ara control de navegació amb regulació automàtica de velocitat, assistent de canvi de carril i avançament, aparcament automàtic o avís de col·lisió, entre altres prestacions. No obstant això, malgrat tots els avanços segueixen existint problemes sense resoldre i que poden millorar-se. La col·lisió i la bolcada destaquen entre els accidents més comuns en vehicles amb conducció tant manual com autònoma. De fet, la dificultat de conduir en entorns desestructurats compartint l'espai amb altres agents mòbils, tals com cotxes o persones, fa quasi impossible garantitzar la conducció sense accidents. És per això que la recerca de tècniques per millorar la seguretat en vehicles intel·ligents, ja siguen de conducció autònoma o manual assistida, és un tema que sempre està en auge a la comunitat robòtica. La present tesi es centra en el disseny d'eines i tècniques de planificació i control de vehicles intel·ligents, per a la millora de la seguretat i el confort. La dissertació s'ha dividit en dues parts, la primera sobre conducció autònoma i la segona sobre conducció manual assistida. El principal nexe d'unió és l'ús de clotoides com a element de generació de trajectòries i detecció de col·lisions. Entre els problemes que es resolen destaquen l'evitació d'obstacles, l'evitació de bolcades i l'assistència avançada al conductor per evitar col·lisions amb vianants.Girbés Juan, V. (2016). Clothoid-based Planning and Control in Intelligent Vehicles (Autonomous and Manual-Assisted Driving) [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/65072TESI