A review of sensor technology and sensor fusion methods for map-based localization of service robot

Service robot is currently gaining traction, particularly in hospitality, geriatric care and healthcare industries. The navigation of service robots requires high adaptability, flexibility and reliability. Hence, map-based navigation is suitable for service robot because of the ease in updating changes in environment and the flexibility in determining a new optimal path. For map-based navigation to be robust, an accurate and precise localization method is necessary. Localization problem can be defined as recognizing the robot’s own position in a given environment and is a crucial step in any navigational process. Major difficulties of localization include dynamic changes of the real world, uncertainties and limited sensor information. This paper presents a comparative review of sensor technology and sensor fusion methods suitable for map-based localization, focusing on service robot applications

Escaneado láser 3D y renderizado multiplataforma del Castillo de Bétera

[ES] El presente proyecto pretende abordar la creación de un entorno virtual interactivo del castillo de Bétera mediante la combinación de datos obtenidos mediante un escaneado 3D del patio interior del castillo, planos proporcionados por el Ayuntamiento de Bétera y fotografías del entorno exterior del castillo. La combinación de estos tres elementos ha permitido la realización de un modelo completo de los exteriores del catillo, la fachada y su estructura interna. Para concluir este modelo se importaría a un motor de renderizado a tiempo real para que el usuario que desee visualizarlo pueda ver y conocer el castillo, permitiendo un libre movimiento por todo el entorno generado (Fig. 2.1). El proyecto es compatible con navegadores compatibles con HTML5, PC y dispositivos Android. La fluidez del mismo estará limitada por las características técnicas del propio dispositivo, aunque se ha tenido en cuenta la mayor optimización del mismo para que resulte ser fluido en la mayoría de dispositivos actuales.[EN] Terrestrial laser scanning project of the Bétera Castle, modelling and texturing, as well as virtual engine exportation for rendering in real-time.Giménez Martínez, R. (2016). Escaneado láser 3D y renderizado multiplataforma del Castillo de Bétera. Universitat Politècnica de València. http://hdl.handle.net/10251/68375TFG

Monokulare Visuelle Odometrie auf Multisensorplattformen für autonome Fahrzeuge

Automatisierte Fahrzeuge müssen ihre Umgebung präzise modellieren, um diese erfassen und mit ihr interagieren zu können. Essentiell hierfür ist die Schätzung der Fahrzeugbewegung mittels propriozeptiver Sensorik, um Messungen aus einzelnen Zeitpunkten im Umgebungsmodell zu vereinen. Eine Ausprägung davon ist die sogenannte Odometrie, welche somit einen Grundstein für das autonome Fahren darstellt. Kameras werden vielfältig auf aktuellen automatisierten Fahrzeugen eingesetzt, da sie der menschlichen Wahrnehmung sehr ähneln und somit leicht für Fahrerassistenzsysteme eingesetzt werden können. Darüber hinaus sind sie leicht, klein und kostengünstig, was auch die Bewegungsschätzung mithilfe von Kameras sehr attraktiv macht. Die Zielsetzung dieser Arbeit besteht darin, die Grenzen aktueller Odometrieschätzung mithilfe monokularer Kamerasysteme zu identifizieren und zu erweitern, sodass die Fahrzeug-Eigenbewegung über lange Strecken hinweg akkurat geschätzt werden kann. Die in dieser Arbeit vorgestellten Weiterentwicklungen basieren auf einer etablierten Methode, in welcher Punkte in zeitlichen Bildsequenzen verfolgt werden und mit ihrer Hilfe die Umgebungsstruktur rekonstruiert sowie die Bewegung der Kamera gleichzeitig geschätzt werden. Aufgrund der hohen Dichte an Information im Bild können viele Punktmessungen extrahiert werden, wodurch die Genauigkeit dieser Bewegungsschätzung sehr hoch ausfällt. Um diese jedoch zur Laufzeit auf dem Fahrzeug durchzuführen, muss der dadurch entstehende Rechenaufwand gesenkt werden. Diese Arbeit widmet sich daher vertieft der Frage, wie Messungen ausgewählt werden können, um den Rechenaufwand zu verringern, ohne die Genauigkeit der Bewegungsschätzung zu reduzieren. Außerdem ist für die schnelle und akkurate Lösung des Optimierungsproblems, welches der Bewegungsschätzung zugrunde liegt, ein guter Startwert von großer Wichtigkeit. Hierfür wird eine Methode vorgestellt, welche diesen Startwert effizient und robust schätzt. Zudem wird die Methodik auf Multikamerasysteme erweitert und differenziert evaluiert. Das zentrale Problem der kamerabasierten Bewegungsschätzung folgt aus deren Messprinzip: Durch die Projektion auf die Bildebene geht die Tiefeninformation der Umgebung verloren. Die Rotation kann zwar somit bestimmt werden, jedoch kann die Translation nur bis auf einen Skalierungsfaktor bestimmt werden --- die sogenannte Skale. Ein besonderer Fokus dieser Arbeit liegt daher auf der Frage, wie die Skale effizient und genau bestimmt werden kann. Hierzu wird unter anderem Wissen über die Geometrie der Umgebung genutzt. Insbesondere die Einbauhöhe der Kameras über Grund wird genutzt, um die Skale zu extrahieren. Um die Bodenoberfläche zu schätzen, werden drei Varianten untersucht: - Fluchtpunktstabilisierte Schätzung aus zwei aufeinanderfolgenden Zeitpunkten. - Schätzung mithilfe der Umgebungsrekonstruktion aus der unskalierten Bewegungsschätzung. - Gleichzeitige Schätzung der Umgebungsrekonstruktion, der Bewegung und der Skale. Zusätzlich wird in dieser Arbeit untersucht, wie die Skalenschätzung mithilfe eines Light-Detection-And-Ranging-Sensors (LIDAR) umgesetzt werden kann, welcher auf den meisten aktuellen autonomen Plattformen vorhanden ist. Die Nutzung von LIDAR- und Kamera-Messungen setzt allerdings das Wissen über die Transformation zwischen LIDAR- und Kamerakoordinatensystem voraus. Darum wird zudem eine Methode vorgestellt, um diese Transformation zu erhalten. Diese zeichnet sich durch die Fähigkeit aus, auch LIDAR-Sensoren verwenden zu können, welche nur über eine sehr geringe Auflösung verfügen. Die Algorithmen werden auf dem KITTI-Datensatz evaluiert und verglichen. Eine sehr hohe Genauigkeit der Methoden konnte hierbei gezeigt werden. Des Weiteren wird die Multikamera-Variante der Startwertschätzung auf einem Versuchsträger des Instituts für Mess- und Regelungstechnik des KIT evaluiert. Um die Anwendbarkeit dieser Algorithmen in einem realen System zu demonstrieren, wird abschließend ein Advanced-Driver-Assistance-System vorgestellt, welches zur Kollisionsvermeidung zwischen Lastkraftwägen und Fahrradfahrern konzipiert, umgesetzt sowie in einer Probandenstudie getestet wurde

Monokulare Visuelle Odometrie auf Multisensorplattformen für autonome Fahrzeuge

In dieser Arbeit werden die Grenzen aktueller Odometrieschätzung mithilfe monokularer Kamerasysteme identifiziert und erweitert. Die Basis bildet der Bündelblockausgleich, für welchen Punkte in zeitlichem Bildsequenzen verfolgt werden. Hieraus wird sowohl die Kamerabewegung geschätzt als auch die Umgebungsstruktur rekonstruiert. Mithilfe eines LIDAR wird die Tiefeninformation zu den Kameradaten extrahiert und in das Optimierungsproblem integriert

Real-Time Multi-Fisheye Camera Self-Localization and Egomotion Estimation in Complex Indoor Environments

In this work a real-time capable multi-fisheye camera self-localization and egomotion estimation framework is developed. The thesis covers all aspects ranging from omnidirectional camera calibration to the development of a complete multi-fisheye camera SLAM system based on a generic multi-camera bundle adjustment method