Towards autonomous robotic systems: seamless localization and trajectory planning in dynamic environments

Evolucionar hacia una sociedad más automatizada y robotizada en la que podamos convivir con sistemas robóticos que desempeñen tareas poco atractivas o peligrosas para el ser humano, supone plantearnos, entre otras cuestiones, qué soluciones existen actualmente y cuáles son las mejoras a incorporar a las mismas. La mayoría de aplicaciones ya desarrolladas son soluciones robustas y adecuadas para el fin que se diseñan. Sin embargo, muchas de las técnicas implantadas podrían funcionar de manera más eficiente o bien adaptarse a otras necesidades. Asimismo, en la mayoría de aplicaciones robóticas adquiere importancia el contexto en el que desempeñan su función. Hay entornos estructurados y fáciles de modelar, mientras que otros apenas presentan características utilizables para obtener información de los mismos.Esta tesis se centra en dos de las funciones básicas que debe tener cualquier sistema robótico autónomo para desplazarse de forma robusta en cualquier tipo de entorno: la localización y el cálculo de trayectorias seguras. Además, los escenarios en los que se desea poner en práctica la investigación son complejos: un parque industrial con zonas cuyas características de entorno (usualmente geométricas) son utilizadas para que un robot se localice, varían; y entornos altamente ocupados por otros agentes móviles, como el vestíbulo de un teatro, en los que se debe considerar las características dinámicas de los demás para calcular un movimiento que sea seguro tanto para el robot como para los demás agentes.La información que se puede percibir de los escenarios con ambientes no homogéneos, por ejemplo de interior y exterior, suele ser de características diferentes. Cuando la información que se dispone del entorno proviene de sensores diferentes hay que definir un método que integre las medidas para tener una estimación de la localización del robot en todo momento. El tema de la localización se ha investigado intensamente y existen soluciones robustas en interior y exterior, pero no tanto en zonas mixtas. En las zonas de transición interior-exterior y viceversa es necesario utilizar sensores que funcionan correctamente en ambas zonas, realizando una integración sensorial durante la transición para evitar discontinuidades en la localización o incluso que el robot se pierda. De esta manera la navegación autónoma, dependiente de la correcta localización, funcionará sin discontinuidades ni movimientos bruscos.En entornos dinámicos es esencial definir una forma de representar la información que refleje su naturaleza cambiante. Por ello, se han definido en la literatura diferentes modelos que representan el dinamismo del entorno, y que permiten desarrollar una planificación de trayectorias directamente sobre las variables que controlan el movimiento del robot, en nuestro caso, las velocidades angular y lineal para un robot diferencial. Los planificadores de trayectorias y navegadores diseñados para entornos estáticos no funcionan correctamente en escenarios dinámicos, ya que son puramente reactivos. Es necesario tener en cuenta la predicción del movimiento de los obstáculos móviles para planificar trayectorias seguras sin colisión. Los temas abordados y las contribuciones aportadas en esta tesis son:• Diseño de un sistema de localización continua en entornos de interior y exterior, poniendo especial interés en la fusión de las medidas obtenidas de diferentes sensores durante las transiciones interior-exterior, aspecto poco abordado en la literatura. De esta manera se obtiene una estimación acotada de la localización durante toda la navegación del robot. Además, la localización se integra con una técnica reactiva de navegación, construyendo un sistema completo de navegación. El sistema integrado se ha evaluado en un escenario real de un parque industrial, para una aplicación logística en la que las transiciones interior-exterior y viceversa suponían un problema fundamental a resolver.• Definición de un modelo para representar el entorno dinámico del robot, llamado Dynamic Obstacle Velocity-Time Space (DOVTS). En este modelo aparecen representadas las velocidades permitidas y prohibidas para que el robot evite las colisiones con los obstáculos de alrededor. Este modelo puede ser utilizado por algoritmos de navegación ya existentes, y sirve de base para las nuevas técnicas de navegación desarrolladas en la tesis y explicadas en los siguientes puntos. • Desarrollo de una técnica de planificación y navegación basada en el modelo DOVTS. En este modelo se identifica un conjunto de situaciones relativas entre el robot y los obstáculos. A cada situación se asocia una estrategia de navegación, que considera la seguridad del robot para evitar colisiones, a la vez que intenta minimizar el tiempo al objetivo.• Implementación de una técnica de planificación y navegación basada en el modelo DOVTS, que utiliza explícitamente la información del tiempo para la planificación del movimiento. Se desarrolla un algoritmo A*-like que planifica los movimientos de los siguientes instantes, incrementando la maniobrabilidad del robot para la evitación de obstáculos respecto al método del anterior punto, a costa de un mayor tiempo de cómputo. Se analizan las diferencias en el comportamiento global del robot con respecto a la técnica anterior.Los diferentes aspectos que se han investigado en esta tesis tratan de avanzar en el objetivo de conseguir robots autónomos que puedan adaptarse a nuestra vida cotidiana en escenarios que son típicamente dinámicos de una forma natural y segura.<br /

Model-based robocentric planning and navigation for dynamic environments

This work addresses a new technique of motion planning and navigation for differential-drive robots in dynamic environments. Static and dynamic objects are represented directly on the control space of the robot, where decisions on the best motion are made. A new model representing the dynamism and the prediction of the future behavior of the environment is defined, the dynamic object velocity space (DOVS). A formal definition of this model is provided, establishing the properties for its characterization. An analysis of its complexity, compared with other methods, is performed. The model contains information about the future behavior of obstacles, mapped on the robot control space. It allows planning of near-time-optimal safe motions within the visibility space horizon, not only for the current sampling period. Navigation strategies are developed based on the identification of situations in the model. The planned strategy is applied and updated for each sampling time, adapting to changes occurring in the scenario. The technique is evaluated in randomly generated simulated scenarios, based on metrics defined using safety and time-to-goal criteria. An evaluation in real-world experiments is also presented

RL-DOVS: Reinforcement Learning for Autonomous Robot Navigation in Dynamic Environments

Autonomous navigation in dynamic environments where people move unpredictably is an essential task for service robots in real-world populated scenarios. Recent works in reinforcement learning (RL) have been applied to autonomous vehicle driving and to navigation around pedestrians. In this paper, we present a novel planner (reinforcement learning dynamic object velocity space, RL-DOVS) based on an RL technique for dynamic environments. The method explicitly considers the robot kinodynamic constraints for selecting the actions in every control period. The main contribution of our work is to use an environment model where the dynamism is represented in the robocentric velocity space as input to the learning system. The use of this dynamic information speeds the training process with respect to other techniques that learn directly either from raw sensors (vision, lidar) or from basic information about obstacle location and kinematics. We propose two approaches using RL and dynamic obstacle velocity (DOVS), RL-DOVS-A, which automatically learns the actions having the maximum utility, and RL-DOVS-D, in which the actions are selected by a human driver. Simulation results and evaluation are presented using different numbers of active agents and static and moving passive agents with random motion directions and velocities in many different scenarios. The performance of the technique is compared with other state-of-the-art techniques for solving navigation problems in environments such as ours

Online Optimization-based Gait Adaptation of Quadruped Robot Locomotion

Quadruped robots demonstrated extensive capabilities of traversing complex and unstructured environments. Optimization-based techniques gave a relevant impulse to the research on legged locomotion. Indeed, by designing the cost function and the constraints, we can guarantee the feasibility of a motion and impose high-level locomotion tasks, e.g., tracking of a reference velocity. This allows one to have a generic planning approach without the need to tailor a specific motion for each terrain, as in the heuristic case. In this context, Model Predictive Control (MPC) can compensate for model inaccuracies and external disturbances, thanks to the high-frequency replanning. The main objective of this dissertation is to develop a Nonlinear MPC (NMPC)-based locomotion framework for quadruped robots. The aim is to obtain an algorithm which can be extended to different robots and gaits; in addition, I sought to remove some assumptions generally done in the literature, e.g., heuristic reference generator and user-defined gait sequence. The starting point of my work is the definition of the Optimal Control Problem to generate feasible trajectories for the Center of Mass. It is descriptive enough to capture the linear and angular dynamics of the robot as a whole. A simplified model (Single Rigid Body Dynamics model) is used for the system dynamics, while a novel cost term maximizes leg mobility to improve robustness in the presence of nonflat terrain. In addition, to test the approach on the real robot, I dedicated particular effort to implementing both a heuristic reference generator and an interface for the controller, and integrating them into the controller framework developed previously by other team members. As a second contribution of my work, I extended the locomotion framework to deal with a trot gait. In particular, I generalized the reference generator to be based on optimization. Exploiting the Linear Inverted Pendulum model, this new module can deal with the underactuation of the trot when only two legs are in contact with the ground, endowing the NMPC with physically informed reference trajectories to be tracked. In addition, the reference velocities are used to correct the heuristic footholds, obtaining contact locations coherent with the motion of the base, even though they are not directly optimized. The model used by the NMPC receives as input the gait sequence, thus with the last part of my work I developed an online multi-contact planner and integrated it into the MPC framework. Using a machine learning approach, the planner computes the best feasible option, even in complex environments, in a few milliseconds, by ranking online a set of discrete options for footholds, i.e., which leg to move and where to step. To train the network, I designed a novel function, evaluated offline, which considers the value of the cost of the NMPC and robustness/stability metrics for each option. These methods have been validated with simulations and experiments over the three years. I tested the NMPC on the Hydraulically actuated Quadruped robot (HyQ) of the IIT’s Dynamic Legged Systems lab, performing omni-directional motions on flat terrain and stepping on a pallet (both static and relocated during the motion) with a crawl gait. The trajectory replanning is performed at high-frequency, and visual information of the terrain is included to traverse uneven terrain. A Unitree Aliengo quadruped robot is used to execute experiments with the trot gait. The optimization-based reference generator allows the robot to reach a fixed goal and recover from external pushes without modifying the structure of the NMPC. Finally, simulations with the Solo robot are performed to validate the neural network-based contact planning. The robot successfully traverses complex scenarios, e.g., stepping stones, with both walk and trot gaits, choosing the footholds online. The achieved results improved the robustness and the performance of the quadruped locomotion. High-frequency replanning, dealing with a fixed goal, recovering after a push, and the automatic selection of footholds could help the robots to accomplish important tasks for the humans, for example, providing support in a disaster response scenario or inspecting an unknown environment. In the future, the contact planning will be transferred to the real hardware. Possible developments foresee the optimization of the gait timings, i.e., stance and swing duration, and a framework which allows the automatic transition between gaits

Evaluación y comparación de sistemas de planificación de navegación de robots en entornos dinámicos

Este trabajo aborda un análisis comparativo de diferentes técnicas de planificación de movimientos en entornos dinámicos. Se basa en trabajos anteriores, en los que se desarrollaron dos técnicas de planificación de movimientos para un robot que se mueve en un entorno dinámico. Se trata de técnicas de navegación robocéntricas en las que el modelo del entorno dinámico se basa en el espacio de velocidad-tiempo del robot, donde se representan tanto los objetos estáticos como dinámicos. La primera técnica trabaja sobre un espacio de velocidades bidimensional (velocidad lineal-velocidad angular). Explota la idea de identificar la mejor estrategia en función de la situación en la que se encuentra el robot. La segunda técnica optimiza una función objetivo en el espacio de velocidad-tiempo para obtener comandos óptimos y trayectorias seguras. Además, incorpora la técnica desarrollada en el primer trabajo como heurística para mejorar la toma de decisiones, dando lugar a Strategies-Optimization. Para evaluar el rendimiento de la navegación con dichas técnicas se define una serie de métricas, que permiten seleccionar los mejores parámetros de optimización para cada tipo de escenario. Estas métricas evalúan y comparan los comportamientos en diferentes escenarios, lo que permite tener una evaluación completa de todas las técnicas. Además, en aplicaciones reales los robots tienen que moverse en escenarios tanto de interior como de exterior. Sin embargo, para que los robots construyan un mapa del entorno, se localicen y naveguen utilizan diferentes sensores, debido al tipo de información disponible y a la incertidumbre de cada sensor en cada momento. Esto provoca discontinuidades en localización o incluso pérdida de ello, lo que debe evitarse. En este trabajo se presenta una técnica de localización unificada para entornos de interior-exterior que permite una transición continua entre una zona de la que se dispone un mapa construido con los sensores láser a bordo del robot y una zona que utiliza el GPS para la localización del robot

Long-range navigation in complex and dynamic environments with Full-Stack S-DOVS

Robotic autonomous navigation in dynamic environments is a complex problem, as traditional planners may fail to take dynamic obstacles and their variables into account. The Strategy-based Dynamic Object Velocity Space (S-DOVS) planner has been proposed as a solution to navigate in such scenarios. However, it has a number of limitations, such as inability to reach a goal in a large known map, avoid convex objects, or handle trap situations. In this article, we present a modified version of the S-DOVS planner that is integrated into a full navigation stack, which includes a localization system, obstacle tracker, and novel waypoint generator. The complete system takes into account robot kinodynamic constraints and is capable of navigating through large scenarios with known map information in the presence of dynamic obstacles. Extensive simulation and ground robot experiments demonstrate the effectiveness of our system even in environments with dynamic obstacles and replanning requirements, and show that our waypoint generator outperforms other approaches in terms of success rate and time to reach the goal when combined with the S-DOVS planner. Overall, our work represents a step forward in the development of robust and reliable autonomous navigation systems for real-world scenarios