Mobile Robot Path Planning using Q-Learning with Guided Distance and Moving Target Concept

Classical Q-learning algorithm is a reinforcement of learning algorithm that has been applied in path planning of mobile robots. However, classical Q-learning suffers from slow convergence rate and high computational time. This is due to the random decision making for direction during the early stage of path planning. Such weakness curtails the ability of mobile robot to make instantaneous decision in real world application. In this study, the distance aspect and moving target concept were added to Q-learning in order to enhance the direction decision making ability and bypassing dead end. With the addition of these features, Q-learning is able to converge faster and generate shorter path. Consequently, the proposed improved Q-learning is able to achieve average improvement of 29.34-94.85%, 18.29-29.69% and 75.76-99.50% in time used, shortest distance and total distance used, respectively

Algorithms for multi-robot systems on the cooperative exploration & last-mile delivery problems

La aparición de los vehículos aéreos no tripulados (UAVs) y de los vehículos terrestres no tripulados (UGVs) ha llevado a la comunidad científica a enfrentarse a problemas ideando paradigmas de cooperación con UGVs y UAVs. Sin embargo, no suele ser trivial determinar si la cooperación entre UGVs y UAVs es adecuada para un determinado problema. Por esta razón, en esta tesis, investigamos un paradigma particular de cooperación UGV-UAV en dos problemas de la literatura, y proponemos un controlador autónomo para probarlo en escenarios simulados. Primero, formulamos un problema particular de exploración cooperativa que consiste en alcanzar un conjunto de puntos de destino en un área de exploración a gran escala. Este problema define al UGV como una estación de carga móvil para transportar el UAV a través de diferentes lugares desde donde el UAV puede alcanzar los puntos de destino. Por consiguiente, proponemos el algoritmo TERRA para resolverlo. Este algoritmo se destaca por dividir el problema de exploración en cinco subproblemas, en los que cada subproblema se resuelve en una etapa particular del algoritmo. Debido a la explosión de la entrega de paquetes en las empresas de comercio electrónico, formulamos también una generalización del conocido problema de la entrega en la última milla. En este caso, el UGV actúa como una estación de carga móvil que transporta a los paquetes y a los UAVs, y estos se encargan de entregarlos. De esta manera, seguimos la estrategia de división descrita por TERRA, y proponemos el algoritmo COURIER. Este algoritmo replica las cuatro primeras etapas de TERRA, pero construye una nueva quinta etapa para producir un plan de tareas que resuelva el problema. Para evaluar el paradigma de cooperación UGV-UAV en escenarios simulados, proponemos el controlador autónomo ARIES. Este controlador sigue un enfoque jerárquico descentralizado de líder-seguidor para integrar cualquier paradigma de cooperación de manera distribuida. Ambos algoritmos han sido caracterizados para identificar los aspectos relevantes del paradigma de cooperación en los problemas relacionados. Además, ambos demuestran un gran rendimiento del paradigma de cooperación en tales problemas, y al igual que el controlador autónomo, revelan un gran potencial para futuras aplicaciones reales.The emergence of Unmanned Aerial Vehicles (UAVs) and Unmanned Ground Vehicles (UGVs) has conducted the research community to face historical complex problems by devising UGV-UAV cooperation paradigms. However, it is usually not a trivial task to determine whether or not a UGV-UAV cooperation is suitable for a particular problem. For this reason, in this thesis, we investigate a particular UGV-UAV cooperation paradigm over two problems in the literature, and we propose an autonomous controller to test it on simulated scenarios. Driven by the planetary exploration, we formulate a particular cooperative exploration problem consisting of reaching a set of target points in a large-scale exploration area. This problem defines the UGV as a moving charging station to carry the UAV through different locations from where the UAV can reach the target points. Consequently, we propose the cooperaTive ExploRation Routing Algorithm (TERRA) to solve it. This algorithm stands out for splitting up the exploration problem into five sub-problems, in which each sub-problem is solved in a particular stage of the algorithm. In the same way, driven by the explosion of parcels delivery in e-commerce companies, we formulate a generalization of the well-known last-mile delivery problem. This generalization defines the same UGV’s and UAV’s rol as the exploration problem. That is, the UGV acts as a moving charging station which carries the parcels along several UAVs to deliver them. In this way, we follow the split strategy depicted by TERRA to propose the COoperative Unmanned deliveRIEs planning algoRithm (COURIER). This algorithm replicates the first four TERRA’s stages, but it builds a new fifth stage to produce a task plan solving the problem. In order to evaluate the UGV-UAV cooperation paradigm on simulated scenarios, we propose the Autonomous coopeRatIve Execution System (ARIES). This controller follows a hierarchical decentralized leader-follower approach to integrate any cooperation paradigm in a distributed manner. Both algorithms have been characterized to identify the relevant aspects of the cooperation paradigm in the related problems. Also, both of them demonstrate a great performance of the cooperation paradigm in such problems, and as well as the autonomous controller, reveal a great potential for future real applications

UAV Routing for Enhancing the Performance of a Classifier-in-the-loop

Some human-machine systems are designed so that machines (robots) gather and deliver data to remotely located operators (humans) through an interface in order to aid them in classification. The performance of a human as a (binary) classifier-in-the-loop is characterized by probabilities of correctly classifying objects of type $T$ and $F$. These two probabilities depend on the dwell time, $d$, spent collecting information at a point of interest (POI or interchangeably, target). The information gain associated with collecting information at a target is then a function of dwell time $d$ and discounted by the revisit time, $R$, i.e., the duration between consecutive revisits to the same target. The objective of the problem of routing for classification is to optimally route the vehicles and determine the optimal dwell time at each target so as to maximize the total discounted information gain while visiting every target at least once. In this paper, we make a simplifying assumption that the information gain is discounted exponentially by the revisit time; this assumption enables one to decouple the problem of routing with the problem of determining optimal dwell time at each target for a single vehicle problem. For the multi-vehicle problem, we provide a fast heuristic to obtain the allocation of targets to each vehicle and the corresponding dwell time

Multi-waypoint-based path planning for free-floating space robots

This paper studies the multi-waypoint-based path planning problem (MWPP) for redundant space robots. The end-effector of a space robot should visit a set of predefined waypoints with optimal distance, and the free-floating base should suffer minimum attitude disturbances from the manipulator during manoeuver. The MWPP is decomposed into two sub-problems: the problem of optimal waypoint-sequence and the problem of optimal joint-movements. First, the Hybrid Self-adaptive Particle Swarm Optimization algorithm is proposed for optimal waypoint-sequence. Second, an Improved Particle Swarm Optimization algorithm, combined with direct kinematics of the space robot, is proposed for optimal jointmovements. Finally, simulations are presented to validate the approach, including comparisons with other approaches

Bio-Inspired Obstacle Avoidance: from Animals to Intelligent Agents

A considerable amount of research in the field of modern robotics deals with mobile agents and their autonomous operation in unstructured, dynamic, and unpredictable environments. Designing robust controllers that map sensory input to action in order to avoid obstacles remains a challenging task. Several biological concepts are amenable to autonomous navigation and reactive obstacle avoidance. We present an overview of most noteworthy, elaborated, and interesting biologically-inspired approaches for solving the obstacle avoidance problem. We categorize these approaches into three groups: nature inspired optimization, reinforcement learning, and biorobotics. We emphasize the advantages and highlight potential drawbacks of each approach. We also identify the benefits of using biological principles in artificial intelligence in various research areas

Optimization of storage and picking systems in warehouses

La croissance du commerce électronique exige une hausse des performances des systèmes d'entreposage, qui sont maintenant repensés pour faire face à un volume massif de demandes à être satisfait le plus rapidement possible. Le système manuel et le système à robots mobile (SRM) sont parmi les plus utilisés pour ces activités. Le premier est un système centré sur l'humain pour réaliser des opérations complexes que les robots actuels ne peuvent pas effectuer. Cependant, les nouvelles générations de robots autonomes mènent à un remplacement progressif par le dernier pour augmenter la productivité. Quel que soit le système utilisé, plusieurs problèmes interdépendants doivent être résolus pour avoir des processus de stockage et de prélèvement efficaces. Les problèmes de stockage concernent les décisions d'où stocker les produits dans l'entrepôt. Les problèmes de prélèvement incluent le regroupement des commandes à exécuter ensemble et les itinéraires que les cueilleurs et les robots doivent suivre pour récupérer les produits demandés. Dans le système manuel, ces problèmes sont traditionnellement résolus à l'aide de politiques simples que les préparateurs peuvent facilement suivre. Malgré l'utilisation de robots, la même stratégie de solution est répliquée aux problèmes équivalents trouvés dans le SRM. Dans cette recherche, nous étudions les problèmes de stockage et de prélèvement rencontrés lors de la conception du système manuel et du SRM. Nous développons des outils d'optimisation pour aider à la prise de décision pour mettre en place leurs processus, en améliorant les mesures de performance typiques de ces systèmes. Certains problèmes traditionnels sont résolus avec des techniques améliorées, tandis que d'autres sont intégrés pour être résolus ensemble au lieu d'optimiser chaque sous-système de manière indépendante. Nous considérons d'abord un système manuel avec un ensemble connu de commandes et intégrons les décisions de stockage et de routage. Le problème intégré et certaines variantes tenant compte des politiques de routage communes sont modélisés mathématiquement. Une métaheuristique générale de recherche de voisinage variable est présentée pour traiter des instances de taille réelle. Des expériences attestent de l'efficience de la métaheuristique proposée par rapport aux modèles exacts et aux politiques de stockage communes. Lorsque les demandes futures sont incertaines, il est courant d'utiliser une stratégie de zonage qui divise la zone de stockage en zones et attribue les produits les plus demandés aux meilleures zones. Les tailles des zones sont à déterminer. Généralement, des dimensions arbitraires sont choisies, mais elles ignorent les caractéristiques de l'entrepôt et des demandes. Nous abordons le problème de dimensionnement des zones pour déterminer quels facteurs sont pertinents pour choisir de meilleures tailles de zone. Les données générées à partir de simulations exhaustives sont utilisées pour trainer quatre modèles de régression d'apprentissage automatique - moindres carrés ordinaire, arbre de régression, forêt aléatoire et perceptron multicouche - afin de prédire les dimensions optimales des zones en fonction de l'ensemble de facteurs pertinents identifiés. Nous montrons que tous les modèles entraînés suggèrent des dimensions sur mesure des zones qui performent meilleur que les dimensions arbitraires couramment utilisées. Une autre approche pour résoudre les problèmes de stockage pour le système manuel et pour le SRM considère les corrélations entre les produits. L'idée est que les produits régulièrement demandés ensemble doivent être stockés près pour réduire les coûts de routage. Cette politique de stockage peut être modélisée comme une variante du problème d'affectation quadratique (PAQ). Le PAQ est un problème combinatoire traditionnel et l'un des plus difficiles à résoudre. Nous examinons les variantes les plus connues du PAQ et développons une puissante métaheuristique itérative de recherche tabou mémétique en parallèle capable de les résoudre. La métaheuristique proposée s'avère être parmi les plus performantes pour le PAQ et surpasse considérablement l'état de l'art pour ses variantes. Les SRM permettent de repositionner facilement les pods d'inventaire pendant les opérations, ce qui peut conduire à un processus de prélèvement plus économe en énergie. Nous intégrons les décisions de repositionnement des pods à l'attribution des commandes et à la sélection des pods à l'aide d'une stratégie de prélèvement par vague. Les pods sont réorganisés en tenant compte du moment et de l'endroit où ils devraient être demandés au futur. Nous résolvons ce problème en utilisant la programmation stochastique en tenant compte de l'incertitude sur les demandes futures et suggérons une matheuristique de recherche locale pour résoudre des instances de taille réelle. Nous montrons que notre schéma d'approximation moyenne de l'échantillon est efficace pour simuler les demandes futures puisque nos méthodes améliorent les solutions trouvées lorsque les vagues sont planifiées sans tenir compte de l'avenir. Cette thèse est structurée comme suit. Après un chapitre d'introduction, nous présentons une revue de la littérature sur le système manuel et le SRM, et les décisions communes prises pour mettre en place leurs processus de stockage et de prélèvement. Les quatre chapitres suivants détaillent les études pour le problème de stockage et de routage intégré, le problème de dimensionnement des zones, le PAQ et le problème de repositionnement de pod. Nos conclusions sont résumées dans le dernier chapitre.The rising of e-commerce is demanding an increase in the performance of warehousing systems, which are being redesigned to deal with a mass volume of demands to be fulfilled as fast as possible. The manual system and the robotic mobile fulfillment system (RMFS) are among the most commonly used for these activities. The former is a human-centered system that handles complex operations that current robots cannot perform. However, newer generations of autonomous robots are leading to a gradual replacement by the latter to increase productivity. Regardless of the system used, several interdependent problems have to be solved to have efficient storage and picking processes. Storage problems concern decisions on where to store products within the warehouse. Picking problems include the batching of orders to be fulfilled together and the routes the pickers and robots should follow to retrieve the products demanded. In the manual system, these problems are traditionally solved using simple policies that pickers can easily follow. Despite using robots, the same solution strategy is being replicated to the equivalent problems found in the RMFS. In this research, we investigate storage and picking problems faced when designing manual and RMFS warehouses. We develop optimization tools to help in the decision-making process to set up their processes and improve typical performance measures considered in these systems. Some classic problems are solved with improved techniques, while others are integrated to be solved together instead of optimizing each subsystem sequentially. We first consider a manual system with a known set of orders and integrate storage and routing decisions. The integrated problem and some variants considering common routing policies are modeled mathematically. A general variable neighborhood search metaheuristic is presented to deal with real-size instances. Computational experiments attest to the effectiveness of the metaheuristic proposed compared to the exact models and common storage policies. When future demands are uncertain, it is common to use a zoning strategy to divide the storage area into zones and assign the most-demanded products to the best zones. Zone sizes are to be determined. Commonly, arbitrary sizes are chosen, which ignore the characteristics of the warehouse and the demands. We approach the zone sizing problem to determine which factors are relevant to choosing better zone sizes. Data generated from exhaustive simulations are used to train four machine learning regression models - ordinary least squares, regression tree, random forest, and multilayer perceptron - to predict the optimal zone sizes given the set of relevant factors identified. We show that all trained models suggest tailor-made zone sizes with better picking performance than the arbitrary ones commonly used. Another approach to solving storage problems, both in the manual and RMFS, considers the correlations between products. The idea is that products constantly demanded together should be stored closer to reduce routing costs. This storage policy can be modeled as a quadratic assignment problem (QAP) variant. The QAP is a traditional combinatorial problem and one of the hardest to solve. We survey the most traditional QAP variants and develop a powerful parallel memetic iterated tabu search metaheuristic capable of solving them. The proposed metaheuristic is shown to be among the best performing ones for the QAP and significantly outperforms the state-of-the-art for its variants. The RMFS allows easy repositioning of inventory pods during operations that can lead to a more energy-efficient picking process. We integrate pod repositioning decisions with order assignment and pod selection using a wave picking strategy such that pods are parked after being requested considering when and where they are expected to be requested next. We solve this integrated problem using stochastic programming considering the uncertainty about future demands and suggest a local search matheuristic to solve real-size instances. We show that our sample average approximation scheme is effective to simulate future demands since our methods improve solutions found when waves are planned without considering the future demands. This thesis is structured as follows. After an introductory chapter, we present a literature review on the manual and RMFS, and common decisions made to set up their storage and picking processes. The next four chapters detail the studies for the integrated storage and routing problem, the zone sizing problem, the QAP, and the pod repositioning problem. Our findings are summarized in the last chapter