263 research outputs found
Improving Omnidirectional Camera-Based Robot Localization Through Self-Supervised Learning
Autonomous agents in any environment require accurate and reliable position and motion estimation to complete their required tasks. Many different sensor modalities have been utilized for this task such as GPS, ultra-wide band, visual simultaneous localization and mapping (SLAM), and light detection and ranging (LiDAR) SLAM. Many of the traditional positioning systems do not take advantage of the recent advances in the machine learning field. In this work, an omnidirectional camera position estimation system relying primarily on a learned model is presented. The positioning system benefits from the wide field of view provided by an omnidirectional camera. Recent developments in the self-supervised learning field for generating useful features from unlabeled data are also assessed. A novel radial patch pretext task for omnidirectional images is presented in this work. The resulting implementation will be a robot localization and tracking algorithm that can be adapted to a variety of environments such as warehouses and college campuses. Further experiments with additional types of sensors including 3D LiDAR, 60 GHz wireless, and Ultra-Wideband localization systems utilizing machine learning are also explored. A fused learned localization model utilizing multiple sensor modalities is evaluated in comparison to individual sensor models
LiDAR-Based Place Recognition For Autonomous Driving: A Survey
LiDAR-based place recognition (LPR) plays a pivotal role in autonomous
driving, which assists Simultaneous Localization and Mapping (SLAM) systems in
reducing accumulated errors and achieving reliable localization. However,
existing reviews predominantly concentrate on visual place recognition (VPR)
methods. Despite the recent remarkable progress in LPR, to the best of our
knowledge, there is no dedicated systematic review in this area. This paper
bridges the gap by providing a comprehensive review of place recognition
methods employing LiDAR sensors, thus facilitating and encouraging further
research. We commence by delving into the problem formulation of place
recognition, exploring existing challenges, and describing relations to
previous surveys. Subsequently, we conduct an in-depth review of related
research, which offers detailed classifications, strengths and weaknesses, and
architectures. Finally, we summarize existing datasets, commonly used
evaluation metrics, and comprehensive evaluation results from various methods
on public datasets. This paper can serve as a valuable tutorial for newcomers
entering the field of place recognition and for researchers interested in
long-term robot localization. We pledge to maintain an up-to-date project on
our website https://github.com/ShiPC-AI/LPR-Survey.Comment: 26 pages,13 figures, 5 table
Creation and maintenance of visual incremental maps and hierarchical localization.
Over the last few years, the presence of the mobile robotics has considerably
increased in a wide variety of environments. It is common to find robots that carry
out repetitive and specific applications and also, they can be used for working at
dangerous environments and to perform precise tasks. These robots can be
found in a variety of social environments, such as industry, household,
educational and health scenarios. For that reason, they need a specific and
continuous research and improvement work. Specifically, autonomous mobile
robots require a very precise technology to perform tasks without human
assistance.
To perform tasks autonomously, the robots must be able to navigate in an
unknown environment. For that reason, the autonomous mobile robots must be
able to address the mapping and localization tasks: they must create a model of
the environment and estimate their position and orientation.
This PhD thesis proposes and analyses different methods to carry out the map
creation and the localization tasks in indoor environments. To address these
tasks only visual information is used, specifically, omnidirectional images, with a
360º field of view. Throughout the chapters of this document solutions for
autonomous navigation tasks are proposed, they are solved using
transformations in the images captured by a vision system mounted on the robot.
Firstly, the thesis focuses on the study of the global appearance descriptors in
the localization task. The global appearance descriptors are algorithms that
transform an image globally, into a unique vector. In these works, a deep
comparative study is performed. In the experiments different global appearance
descriptors are used along with omnidirectional images and the results are
compared. The main goal is to obtain an optimized algorithm to estimate the robot
position and orientation in real indoor environments. The experiments take place
with real conditions, so some visual changes in the scenes can occur, such as
camera defects, furniture or people movements and changes in the lighting
conditions. The computational cost is also studied; the idea is that the robot has
to localize the robot in an accurate mode, but also, it has to be fast enought.
Additionally, a second application, whose goal is to carry out an incremental
mapping in indoor environments, is presented. This application uses the best
global appearance descriptors used in the localization task, but this time they are
constructed with the purpose of solving the mapping problem using an
incremental clustering technique. The application clusters a batch of images that
are visually similar; every group of images or cluster is expected to identify a zone
of the environment. The shape and size of the cluster can vary while the robot is
visiting the different rooms. Nowadays. different algorithms can be used to obtain
the clusters, but all these solutions usually work properly when they work ‘offline’,
starting from the whole set of data to cluster. The main idea of this study is
to obtain the map incrementally while the robot explores the new environment.
Carrying out the mapping incrementally while the robot is still visiting the area is very interesting since having the map separated into nodes with relationships of
similitude between them can be used subsequently for the hierarchical
localization tasks, and also, to recognize environments already visited in the
model.
Finally, this PhD thesis includes an analysis of deep learning techniques for
localization tasks. Particularly, siamese networks have been studied. Siamese
networks are based on classic convolutional networks, but they permit evaluating
two images simultaneously. These networks output a similarity value between the
input images, and that information can be used for the localization tasks.
Throughout this work the technique is presented, the possible architectures are
analysed and the results after the experiments are shown and compared. Using
the siamese networks, the localization in real operation conditions and
environments is solved, focusing on improving the performance against
illumination changes on the scene. During the experiments the room retrieval
problem, the hierarchical localization and the absolute localization have been
solved.Durante los últimos años, la presencia de la robótica móvil ha aumentado
substancialmente en una gran variedad de entornos y escenarios. Es habitual
encontrar el uso de robots para llevar a cabo aplicaciones repetitivas y
específicas, así como tareas en entornos peligrosos o con resultados que deben
ser muy precisos. Dichos robots se pueden encontrar tanto en ámbitos
industriales como en familiares, educativos y de salud; por ello, requieren un
trabajo específico y continuo de investigación y mejora. En concreto, los robots
móviles autónomos requieren de una tecnología precisa para desarrollar tareas
sin ayuda del ser humano.
Para realizar tareas de manera autónoma, los robots deben ser capaces de
navegar por un entorno ‘a priori’ desconocido. Por tanto, los robots móviles
autónomos deben ser capaces de realizar la tarea de creación de mapas,
creando un modelo del entorno y la tarea de localización, esto es estimar su
posición y orientación.
La presente tesis plantea un diseño y análisis de diferentes métodos para realizar
las tareas de creación de mapas y localización en entornos de interior. Para estas
tareas se emplea únicamente información visual, en concreto, imágenes
omnidireccionales, con un campo de visión de 360º. En los capítulos de este
trabajo se plantean soluciones a las tareas de navegación autónoma del robot
mediante transformaciones en las imágenes que este es capaz de captar.
En cuanto a los trabajos realizados, en primer lugar, se presenta un estudio de
descriptores de apariencia global en tareas de localización. Los descriptores de
apariencia global son transformaciones capaces de obtener un único vector que
describa globalmente una imagen. En este trabajo se realiza un estudio
exhaustivo de diferentes métodos de apariencia global adaptando su uso a
imágenes omnidireccionales. Se trata de obtener un algoritmo optimizado para
estimar la posición y orientación del robot en entornos reales de oficina, donde
puede surgir cambios visuales en el entorno como movimientos de cámara, de
mobiliario o de iluminación en la escena. También se evalúa el tiempo empleado
para realizar esta estimación, ya que el trabajo de un robot debe ser preciso,
pero también factible en cuanto a tiempos de computación.
Además, se presenta una segunda aplicación donde el estudio se centra en la
creación de mapas de entornos de interior de manera incremental. Esta
aplicación hace uso de los descriptores de apariencia global estudiados para la
tarea de localización, pero en este caso se utilizan para la construcción de mapas
utilizando la técnica de ‘clustering’ incremental. En esta aplicación, conjuntos de
imágenes visualmente similares se agrupan en un único grupo. La forma y
cantidad de grupos es variable conforme el robot avanza en el entorno.
Actualmente, existen diferentes algoritmos para obtener la separación de un
entorno en nodos, pero las soluciones efectivas se realizan de manera ‘off-line’,
es decir, a posteriori una vez se tienen todas las imágenes captadas. El trabajo
presentado permite realizar esta tarea de manera incremental mientras el robot explora el nuevo entorno. Realizar esta tarea mientras se visita el resto del
entorno puede ser muy interesante ya que tener el mapa separado por nodos
con relaciones de proximidad entre ellos se puede ir utilizando para tareas de
localización jerárquica. Además, es posible reconocer entornos ya visitados o
similares a nodos pasados.
Por último, la tesis también incluye el estudio de técnicas de aprendizaje
profundo (‘deep learning’) para tareas de localización. En concreto, se estudia el
uso de las redes siamesas, una técnica poco explorada en robótica móvil, que
está basada en las clásicas redes convolucionales, pero en la que dos imágenes
son evaluadas al mismo tiempo. Estas redes dan un valor de similitud entre el
par de imágenes de entrada, lo que permite realizar tareas de localización visual.
En este trabajo se expone esta técnica, se presentan las estructuras que pueden
tener estas redes y los resultados tras la experimentación. Se evalúa la tarea de
localización en entornos heterogéneos en los que el principal problema viene
dado por cambios en la iluminación de la escena. Con las redes siamesas se
trata de resolver el problema de estimación de estancia, el problema de
localización jerárquica y el de localización absoluta
Indoor Mapping and Reconstruction with Mobile Augmented Reality Sensor Systems
Augmented Reality (AR) ermöglicht es, virtuelle, dreidimensionale Inhalte direkt
innerhalb der realen Umgebung darzustellen. Anstatt jedoch beliebige virtuelle
Objekte an einem willkürlichen Ort anzuzeigen, kann AR Technologie auch genutzt
werden, um Geodaten in situ an jenem Ort darzustellen, auf den sich die Daten
beziehen. Damit eröffnet AR die Möglichkeit, die reale Welt durch virtuelle, ortbezogene
Informationen anzureichern. Im Rahmen der vorliegenen Arbeit wird diese
Spielart von AR als "Fused Reality" definiert und eingehend diskutiert.
Der praktische Mehrwert, den dieses Konzept der Fused Reality bietet, lässt sich
gut am Beispiel seiner Anwendung im Zusammenhang mit digitalen Gebäudemodellen
demonstrieren, wo sich gebäudespezifische Informationen - beispielsweise der
Verlauf von Leitungen und Kabeln innerhalb der Wände - lagegerecht am realen
Objekt darstellen lassen. Um das skizzierte Konzept einer Indoor Fused Reality
Anwendung realisieren zu können, müssen einige grundlegende Bedingungen erfüllt
sein. So kann ein bestimmtes Gebäude nur dann mit ortsbezogenen Informationen
augmentiert werden, wenn von diesem Gebäude ein digitales Modell verfügbar ist.
Zwar werden größere Bauprojekt heutzutage oft unter Zuhilfename von Building
Information Modelling (BIM) geplant und durchgeführt, sodass ein digitales Modell
direkt zusammen mit dem realen Gebäude ensteht, jedoch sind im Falle älterer
Bestandsgebäude digitale Modelle meist nicht verfügbar. Ein digitales Modell eines
bestehenden Gebäudes manuell zu erstellen, ist zwar möglich, jedoch mit großem
Aufwand verbunden. Ist ein passendes Gebäudemodell vorhanden, muss ein AR
Gerät außerdem in der Lage sein, die eigene Position und Orientierung im Gebäude
relativ zu diesem Modell bestimmen zu können, um Augmentierungen lagegerecht
anzeigen zu können.
Im Rahmen dieser Arbeit werden diverse Aspekte der angesprochenen Problematik
untersucht und diskutiert. Dabei werden zunächst verschiedene Möglichkeiten
diskutiert, Indoor-Gebäudegeometrie mittels Sensorsystemen zu erfassen. Anschließend
wird eine Untersuchung präsentiert, inwiefern moderne AR Geräte, die
in der Regel ebenfalls über eine Vielzahl an Sensoren verfügen, ebenfalls geeignet
sind, als Indoor-Mapping-Systeme eingesetzt zu werden. Die resultierenden Indoor
Mapping Datensätze können daraufhin genutzt werden, um automatisiert
Gebäudemodelle zu rekonstruieren. Zu diesem Zweck wird ein automatisiertes,
voxel-basiertes Indoor-Rekonstruktionsverfahren vorgestellt. Dieses wird außerdem
auf der Grundlage vierer zu diesem Zweck erfasster Datensätze mit zugehörigen
Referenzdaten quantitativ evaluiert. Desweiteren werden verschiedene
Möglichkeiten diskutiert, mobile AR Geräte innerhalb eines Gebäudes und des zugehörigen
Gebäudemodells zu lokalisieren. In diesem Kontext wird außerdem auch
die Evaluierung einer Marker-basierten Indoor-Lokalisierungsmethode präsentiert.
Abschließend wird zudem ein neuer Ansatz, Indoor-Mapping Datensätze an den
Achsen des Koordinatensystems auszurichten, vorgestellt
A one decade survey of autonomous mobile robot systems
Recently, autonomous mobile robots have gained popularity in the modern world due to their relevance technology and application in real world situations. The global market for mobile robots will grow significantly over the next 20 years. Autonomous mobile robots are found in many fields including institutions, industry, business, hospitals, agriculture as well as private households for the purpose of improving day-to-day activities and services. The development of technology has increased in the requirements for mobile robots because of the services and tasks provided by them, like rescue and research operations, surveillance, carry heavy objects and so on. Researchers have conducted many works on the importance of robots, their uses, and problems. This article aims to analyze the control system of mobile robots and the way robots have the ability of moving in real-world to achieve their goals. It should be noted that there are several technological directions in a mobile robot industry. It must be observed and integrated so that the robot functions properly: Navigation systems, localization systems, detection systems (sensors) along with motion and kinematics and dynamics systems. All such systems should be united through a control unit; thus, the mission or work of mobile robots are conducted with reliability
Recent Advances in Indoor Localization Systems and Technologies
Despite the enormous technical progress seen in the past few years, the maturity of indoor localization technologies has not yet reached the level of GNSS solutions. The 23 selected papers in this book present the recent advances and new developments in indoor localization systems and technologies, propose novel or improved methods with increased performance, provide insight into various aspects of quality control, and also introduce some unorthodox positioning methods
- …