The flow of baseline estimation using a single omnidirectional camera

Baseline is a distance between two cameras, but we cannot get information from a single camera. Baseline is one of the important parameters to find the depth of objects in stereo image triangulation. The flow of baseline is produced by moving the camera in horizontal axis from its original location. Using baseline estimation, we can determined the depth of an object by using only an omnidirectional camera. This research focus on determining the flow of baseline before calculating the disparity map. To estimate the flow and to tracking the object, we use three and four points in the surface of an object from two different data (panoramic image) that were already chosen. By moving the camera horizontally, we get the tracks of them. The obtained tracks are visually similar. Each track represent the coordinate of each tracking point. Two of four tracks have a graphical representation similar to second order polynomial

Mobile Robots Navigation

Mobile robots navigation includes different interrelated activities: (i) perception, as obtaining and interpreting sensory information; (ii) exploration, as the strategy that guides the robot to select the next direction to go; (iii) mapping, involving the construction of a spatial representation by using the sensory information perceived; (iv) localization, as the strategy to estimate the robot position within the spatial map; (v) path planning, as the strategy to find a path towards a goal location being optimal or not; and (vi) path execution, where motor actions are determined and adapted to environmental changes. The book addresses those activities by integrating results from the research work of several authors all over the world. Research cases are documented in 32 chapters organized within 7 categories next described

Stereo Visual SLAM for Mobile Robots Navigation

Esta tesis está enfocada a la combinación de los campos de la robótica móvil y la visión por computador, con el objetivo de desarrollar métodos que permitan a un robot móvil localizarse dentro de su entorno mientras construye un mapa del mismo, utilizando como única entrada un conjunto de imágenes. Este problema se denomina SLAM visual (por las siglas en inglés de "Simultaneous Localization And Mapping") y es un tema que aún continúa abierto a pesar del gran esfuerzo investigador realizado en los últimos años. En concreto, en esta tesis utilizamos cámaras estéreo para capturar, simultáneamente, dos imágenes desde posiciones ligeramente diferentes, proporcionando así información 3D de forma directa. De entre los problemas de localización de robots, en esta tesis abordamos dos de ellos: el seguimiento de robots y la localización y mapeado simultáneo (o SLAM). El primero de ellos no tiene en cuenta el mapa del entorno sino que calcula la trayectoria del robot mediante la composición incremental de las estimaciones de su movimiento entre instantes de tiempo consecutivos. Cuando se usan imágenes para calcular esta trayectoria, el problema toma el nombre de "odometría visual", y su resolución es más sencilla que la del SLAM visual. De hecho, a menudo se integra como parte de un sistema de SLAM completo. Esta tesis contribuye con la propuesta de dos sistemas de odometría visual. Uno de ellos está basado en un solución cerrada y eficiente mientras que el otro está basado en un proceso de optimización no-lineal que implementa un nuevo método de detección y eliminación rápida de espurios. Los métodos de SLAM, por su parte, también abordan la construcción de un mapa del entorno con el objetivo de mejorar sensiblemente la localización del robot, evitando de esta forma la acumulación de error en la que incurre la odometría visual. Además, el mapa construido puede ser empleado para hacer frente a situaciones exigentes como la recuperación de la localización tras la pérdida del robot o realizar localización global. En esta tesis se presentan dos sistemas completos de SLAM visual. Uno de ellos se ha implementado dentro del marco de los filtros probabilísticos no parámetricos, mientras que el otro está basado en un método nuevo de "bundle adjustment" relativo que ha sido integrado con algunas técnicas recientes de visión por computador. Otra contribución de esta tesis es la publicación de dos colecciones de datos que contienen imágenes estéreo capturadas en entornos urbanos sin modificar, así como una estimación del camino real del robot basada en GPS (denominada "ground truth"). Estas colecciones sirven como banco de pruebas para validar métodos de odometría y SLAM visual

Distributed Robotic Vision for Calibration, Localisation, and Mapping

This dissertation explores distributed algorithms for calibration, localisation, and mapping in the context of a multi-robot network equipped with cameras and onboard processing, comparing against centralised alternatives where all data is transmitted to a singular external node on which processing occurs. With the rise of large-scale camera networks, and as low-cost on-board processing becomes increasingly feasible in robotics networks, distributed algorithms are becoming important for robustness and scalability. Standard solutions to multi-camera computer vision require the data from all nodes to be processed at a central node which represents a significant single point of failure and incurs infeasible communication costs. Distributed solutions solve these issues by spreading the work over the entire network, operating only on local calculations and direct communication with nearby neighbours. This research considers a framework for a distributed robotic vision platform for calibration, localisation, mapping tasks where three main stages are identified: an initialisation stage where calibration and localisation are performed in a distributed manner, a local tracking stage where visual odometry is performed without inter-robot communication, and a global mapping stage where global alignment and optimisation strategies are applied. In consideration of this framework, this research investigates how algorithms can be developed to produce fundamentally distributed solutions, designed to minimise computational complexity whilst maintaining excellent performance, and designed to operate effectively in the long term. Therefore, three primary objectives are sought aligning with these three stages

Mapping, Path Following, and Perception with Long Range Passive UHF RFID for Mobile Robots

Service robots have shown an impressive potential in providing assistance and guidance in various environments, such as supermarkets, shopping malls, homes, airports, and libraries. Due to the low-cost and contactless way of communication, radio-frequency identification (RFID) technology provides a solution to overcome the difficulties (e.g. occlusions) that the traditional line of sight sensors (e.g. cameras and laser range finders) face. In this thesis, we address the applications of using passive ultra high frequency (UHF) RFID as a sensing technology for mobile robots in three fundamental tasks, namely mapping, path following, and tracking. An important task in the field of RFID is mapping, which aims at inferring the positions of RFID tags based on the measurements (i.e. the detections as well as the received signal strength) received by the RFID reader. The robot, which serves as an intelligent mobile carrier, is able to localize itself in a known environment based on the existing positioning techniques, such as laser-based Monte Carlo localization. The mapping process requires a probabilistic sensor model, which characterizes the likelihood of receiving a measurement, given the relative pose of the antenna and the tag. In this thesis, we address the problem of recovering from mapping failures of static RFID tags and localizing non-static RFID tags which do not move frequently using a particle filter. The usefulness of negative information (e.g. non-detections) is also examined in the context of mapping RFID tags. Moreover, we present a novel three dimensional (3D) sensor model to improve the mapping accuracy of RFID tags. In particular, using this new sensor model, we are able to localize the 3D position of an RFID tag by mounting two antennas at different heights on the robot. We additionally utilize negative information to improve the mapping accuracy, especially for the height estimation in our stereo antenna configuration. The model-based localization approach, which works as a dual to the mapping process, estimates the pose of the robot based on the sensor model as well as the given positions of RFID tags. The fingerprinting-based approach was shown to be superior to the model-based approach, since it is able to better capture the unpredictable radio frequency characteristics in the existing infrastructure. Here, we present a novel approach that combines RFID fingerprints and odometry information as an input of the motion control of a mobile robot for the purpose of path following in unknown environments. More precisely, we apply the teaching and playback scheme to perform this task. During the teaching stage, the robot is manually steered to move along a desired path. RFID measurements and the associated motion information are recorded in an online-fashion as reference data. In the second stage (i.e. playback stage), the robot follows this path autonomously by adjusting its pose according to the difference between the current RFIDmeasurements and the previously recorded reference measurements. Particularly, our approach needs no prior information about the distribution and positions of the tags, nor does it require a map of the environment. The proposed approach features a cost-effective alternative for mobile robot navigation if the robot is equipped with an RFID reader for inventory in RFID-tagged environments. The capability of a mobile robot to track dynamic objects is vital for efficiently interacting with its environment. Although a large number of researchers focus on the mapping of RFID tags, most of them only assume a static configuration of RFID tags and too little attention has been paid to dynamic ones. Therefore, we address the problem of tracking dynamic objects for mobile robots using RFID tags. In contrast to mapping of RFID tags, which aims at achieving a minimum mapping error, tracking does not only need a robust tracking performance, but also requires a fast reaction to the movement of the objects. To achieve this, we combine a two stage dynamic motion model with the dual particle filter, to capture the dynamic motion of the object and to quickly recover from failures in tracking. The state estimation from the particle filter is used in a combination with the VFH+ (Vector Field Histogram), which serves as a local path planner for obstacle avoidance, to guide the robot towards the target. This is then integrated into a framework, which allows the robot to search for both static and dynamic tags, follow it, and maintain the distance between them. [untranslated]Service-Roboter bergen ein großes Potential bei der Unterstützung, Beratung und Führung von Kunden oder Personal in verschiedenen Umgebungen wie zum Beispiel Supermärkten, Einkaufszentren, Wohnungen, Flughäfen und Bibliotheken. Durch die geringen Kosten und die kontaktlose Kommunikation ist die RFID Technologie in der Lage vorhandene Herausforderungen traditioneller sichtlinienbasierter Sensoren (z.B. Verdeckung beim Einsatz von Kameras oder Laser-Entfernungsmessern) zu lösen. In dieser Arbeit beschäftigen wir uns mit dem Einsatz von passivem Ultrahochfrequenz (UHF) RFID als Sensortechnologie für mobile Roboter hinsichtlich drei grundlegender Aufgabenstellungen Kartierung, Pfadverfolgung und Tracking. Kartierung nimmt eine wesentliche Rolle im Bereich der Robotik als auch beim Einsatz von RFID Sensoren ein. Hierbei ist das Ziel die Positionen von RFID-Tags anhand von Messungen (die Erfassung der Tags als solche und die Signalstärke) zu schätzen. Der Roboter, der als intelligenter mobiler Träger dient, ist in der Lage, sich selbst in einer bekannten Umgebung auf Grundlage der bestehenden Positionierungsverfahren, wie Laser-basierter Monte-Carlo Lokalisierung zurechtzufinden. Der Kartierungsprozess erfordert ein probabilistisches Sensormodell, das die Wahrscheinlichkeit beschreibt, ein Tag an einer gegebenen Position relativ zur RFID-Antenne (ggf. mit einer bestimmten Signalstärke) zu erkennen. Zentrale Aspekte dieser Arbeit sind die Regeneration bei fehlerhafter Kartierung statischer RFID-Tags und die Lokalisierung von nicht-statischen RFID-Tags. Auch wird die Verwendbarkeit negativer Informationen, wie z.B. das Nichterkennen von Transpondern, im Rahmen der RFID Kartierung untersucht. Darüber hinaus schlagen wir ein neues 3D-Sensormodell vor, welches die Genauigkeit der Kartierung von RFID-Tags verbessert. Durch die Montage von zwei Antennen auf verschiedenen Höhen des eingesetzten Roboters, erlaubt es dieses Modell im Besonderen, die 3D Positionen von Tags zu bestimmen. Dabei nutzen wir zusätzlich negative Informationen um die Genauigkeit der Kartierung zu erhöhen. Dank der Eindeutigkeit von RFID-Tags, ist es möglich die Lokalisierung eines mobilen Roboters ohne Mehrdeutigkeit zu bestimmen. Der modellbasierte Ansatz zur Lokalisierung schätzt die Pose des Roboters auf Basis des Sensormodells und den angegebenen Positionen der RFID-Tags. Es wurde gezeigt, dass der Fingerprinting-Ansatz dem modellbasierten Ansatz überlegen ist, da ersterer in der Lage ist, die unvorhersehbaren Funkfrequenzeigenschaften in der vorhandenen Infrastruktur zu erfassen. Hierfür präsentieren wir einen neuen Ansatz, der RFID Fingerprints und Odometrieinformationen für die Zwecke der Pfadverfolgung in unbekannten Umgebungen kombiniert. Dieser basiert auf dem Teaching-and-Playback-Schema. Während der Teaching-Phase wird der Roboter manuell gelenkt, um ihn entlang eines gewünschten Pfades zu bewegen. RFID-Messungen und die damit verbundenen Bewegungsinformationen werden als Referenzdaten aufgezeichnet. In der zweiten Phase, der Playback-Phase, folgt der Roboter diesem Pfad autonom. Der vorgeschlagene Ansatz bietet eine kostengünstige Alternative für die mobile Roboternavigation bei der Bestandsaufnahme in RFID-gekennzeichneten Umgebungen, wenn der Roboter mit einem RFID-Lesegerät ausgestattet ist. Die Fähigkeit eines mobilen Roboters dynamische Objekte zu verfolgen ist entscheidend für eine effiziente Interaktion mit der Umgebung. Obwohl sich viele Forscher mit der Kartierung von RFID-Tags befassen, nehmen die meisten eine statische Konfiguration der RFID-Tags an, nur wenige berücksichtigen dabei dynamische RFID-Tags. Wir wenden uns daher dem Problem der RFID basierten Verfolgung dynamischer Objekte mit mobilen Robotern zu. Im Gegensatz zur Kartierung von RFID-Tags, ist für die Verfolgung nicht nur eine stabile Erkennung notwendig, es ist zudem erforderlich schnell auf die Bewegung der Objekte reagieren zu können. Um dies zu erreichen, kombinieren wir ein zweistufiges dynamisches Bewegungsmodell mit einem dual-Partikelfilter. Die Zustandsschätzung des Partikelfilters wird in Kombination mit dem VFH+ (Vektorfeld Histogramm) verwendet, um den Roboter in Richtung des Ziels zu leiten. Hierdurch ist es dem Roboter möglich nach statischen und dynamischen Tags zu suchen, ihnen zu folgen und dabei einen gewissen Abstand zu halten

Real-Time Accurate Visual SLAM with Place Recognition

El problema de localización y construcción simultánea de mapas (del inglés Simultaneous Localization and Mapping, abreviado SLAM) consiste en localizar un sensor en un mapa que se construye en línea. La tecnología de SLAM hace posible la localización de un robot en un entorno desconocido para él, procesando la información de sus sensores de a bordo y por tanto sin depender de infraestructuras externas. Un mapa permite localizarse en todo momento sin acumular deriva, a diferencia de una odometría donde se integran movimientos incrementales. Este tipo de tecnología es crítica para la navegación de robots de servicio y vehículos autónomos, o para la localización del usuario en aplicaciones de realidad aumentada o virtual. La principal contribución de esta tesis es ORB-SLAM, un sistema de SLAM monocular basado en características que trabaja en tiempo real en ambientes pequeños y grandes, de interior y exterior. El sistema es robusto a elementos dinámicos en la escena, permite cerrar bucles y relocalizar la cámara incluso si el punto de vista ha cambiado significativamente, e incluye un método de inicialización completamente automático. ORB-SLAM es actualmente la solución más completa, precisa y fiable de SLAM monocular empleando una cámara como único sensor. El sistema, estando basado en características y ajuste de haces, ha demostrado una precisión y robustez sin precedentes en secuencias públicas estándar.Adicionalmente se ha extendido ORB-SLAM para reconstruir el entorno de forma semi-densa. Nuestra solución desacopla la reconstrucción semi-densa de la estimación de la trayectoria de la cámara, lo que resulta en un sistema que combina la precisión y robustez del SLAM basado en características con las reconstrucciones más completas de los métodos directos. Además se ha extendido la solución monocular para aprovechar la información de cámaras estéreo, RGB-D y sensores inerciales, obteniendo precisiones superiores a otras soluciones del estado del arte. Con el fin de contribuir a la comunidad científica, hemos hecho libre el código de una implementación de nuestra solución de SLAM para cámaras monoculares, estéreo y RGB-D, siendo la primera solución de código libre capaz de funcionar con estos tres tipos de cámara. Bibliografía:R. Mur-Artal and J. D. Tardós.Fast Relocalisation and Loop Closing in Keyframe-Based SLAM.IEEE International Conference on Robotics and Automation (ICRA). Hong Kong, China, June 2014.R. Mur-Artal and J. D. Tardós.ORB-SLAM: Tracking and Mapping Recognizable Features.RSS Workshop on Multi VIew Geometry in RObotics (MVIGRO). Berkeley, USA, July 2014. R. Mur-Artal and J. D. Tardós.Probabilistic Semi-Dense Mapping from Highly Accurate Feature-Based Monocular SLAM.Robotics: Science and Systems (RSS). Rome, Italy, July 2015.R. Mur-Artal, J. M. M. Montiel and J. D. Tardós.ORB-SLAM: A Versatile and Accurate Monocular SLAM System.IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147-1163, October 2015.(2015 IEEE Transactions on Robotics Best Paper Award).R. Mur-Artal, and J. D. Tardós.Visual-Inertial Monocular SLAM with Map Reuse.IEEE Robotics and Automation Letters, vol. 2, no. 2, pp. 796-803, April 2017. (to be presented at ICRA 17).R.Mur-Artal, and J. D. Tardós. ORB-SLAM2: an Open-Source SLAM System for Monocular, Stereo and RGB-D Cameras.ArXiv preprint arXiv:1610.06475, 2016. (under Review).<br /

Computational intelligence approaches to robotics, automation, and control [Volume guest editors]

No abstract available