Stixel Based Scene Understanding for Autonomous Vehicles

We propose a stereo vision based obstacle detection and scene segmentation algorithm appropriate for autonomous vehicles. Our algorithm is based on an innovative extension of the Stixel world, which neglects computing a disparity map. Ground plane and stixel distance estimation is improved by exploiting an online learned color model. Furthermore, the stixel height estimation is leveraged by an innovative joined membership scheme based on color and disparity information. Stixels are then used as an input for the semantic scene segmentation providing scene understanding, which can be further used as a comprehensive middle level representation for high-level object detectors

An evaluation framework for stereo-based driver assistance

This is the post-print version of the Article - Copyright @ 2012 Springer VerlagThe accuracy of stereo algorithms or optical flow methods is commonly assessed by comparing the results against the Middlebury database. However, equivalent data for automotive or robotics applications rarely exist as they are difficult to obtain. As our main contribution, we introduce an evaluation framework tailored for stereo-based driver assistance able to deliver excellent performance measures while circumventing manual label effort. Within this framework one can combine several ways of ground-truthing, different comparison metrics, and use large image databases. Using our framework we show examples on several types of ground truthing techniques: implicit ground truthing (e.g. sequence recorded without a crash occurred), robotic vehicles with high precision sensors, and to a small extent, manual labeling. To show the effectiveness of our evaluation framework we compare three different stereo algorithms on pixel and object level. In more detail we evaluate an intermediate representation called the Stixel World. Besides evaluating the accuracy of the Stixels, we investigate the completeness (equivalent to the detection rate) of the StixelWorld vs. the number of phantom Stixels. Among many findings, using this framework enables us to reduce the number of phantom Stixels by a factor of three compared to the base parametrization. This base parametrization has already been optimized by test driving vehicles for distances exceeding 10000 km

Interlacing Self-Localization, Moving Object Tracking and Mapping for 3D Range Sensors

This work presents a solution for autonomous vehicles to detect arbitrary moving traffic participants and to precisely determine the motion of the vehicle. The solution is based on three-dimensional images captured with modern range sensors like e.g. high-resolution laser scanners. As result, objects are tracked and a detailed 3D model is built for each object and for the static environment. The performance is demonstrated in challenging urban environments that contain many different objects

LiDAR-Based Object Tracking and Shape Estimation

Umfeldwahrnehmung stellt eine Grundvoraussetzung für den sicheren und komfortablen Betrieb automatisierter Fahrzeuge dar. Insbesondere bewegte Verkehrsteilnehmer in der unmittelbaren Fahrzeugumgebung haben dabei große Auswirkungen auf die Wahl einer angemessenen Fahrstrategie. Dies macht ein System zur Objektwahrnehmung notwendig, welches eine robuste und präzise Zustandsschätzung der Fremdfahrzeugbewegung und -geometrie zur Verfügung stellt. Im Kontext des automatisierten Fahrens hat sich das Box-Geometriemodell über die Zeit als Quasistandard durchgesetzt. Allerdings stellt die Box aufgrund der ständig steigenden Anforderungen an Wahrnehmungssysteme inzwischen häufig eine unerwünscht grobe Approximation der tatsächlichen Geometrie anderer Verkehrsteilnehmer dar. Dies motiviert einen Übergang zu genaueren Formrepräsentationen. In der vorliegenden Arbeit wird daher ein probabilistisches Verfahren zur gleichzeitigen Schätzung von starrer Objektform und -bewegung mittels Messdaten eines LiDAR-Sensors vorgestellt. Der Vergleich dreier Freiform-Geometriemodelle mit verschiedenen Detaillierungsgraden (Polygonzug, Dreiecksnetz und Surfel Map) gegenüber dem einfachen Boxmodell zeigt, dass die Reduktion von Modellierungsfehlern in der Objektgeometrie eine robustere und präzisere Parameterschätzung von Objektzuständen ermöglicht. Darüber hinaus können automatisierte Fahrfunktionen, wie beispielsweise ein Park- oder Ausweichassistent, von einem genaueren Wissen über die Fremdobjektform profitieren. Es existieren zwei Einflussgrößen, welche die Auswahl einer angemessenen Formrepräsentation maßgeblich beeinflussen sollten: Beobachtbarkeit (Welchen Detaillierungsgrad lässt die Sensorspezifikation theoretisch zu?) und Modell-Adäquatheit (Wie gut bildet das gegebene Modell die tatsächlichen Beobachtungen ab?). Auf Basis dieser Einflussgrößen wird in der vorliegenden Arbeit eine Strategie zur Modellauswahl vorgestellt, die zur Laufzeit adaptiv das am besten geeignete Formmodell bestimmt. Während die Mehrzahl der Algorithmen zur LiDAR-basierten Objektverfolgung ausschließlich auf Punktmessungen zurückgreift, werden in der vorliegenden Arbeit zwei weitere Arten von Messungen vorgeschlagen: Information über den vermessenen Freiraum wird verwendet, um über Bereiche zu schlussfolgern, welche nicht von Objektgeometrie belegt sein können. Des Weiteren werden LiDAR-Intensitäten einbezogen, um markante Merkmale wie Nummernschilder und Retroreflektoren zu detektieren und über die Zeit zu verfolgen. Eine ausführliche Auswertung auf über 1,5 Stunden von aufgezeichneten Fremdfahrzeugtrajektorien im urbanen Bereich und auf der Autobahn zeigen, dass eine präzise Modellierung der Objektoberfläche die Bewegungsschätzung um bis zu 30%-40% verbessern kann. Darüber hinaus wird gezeigt, dass die vorgestellten Methoden konsistente und hochpräzise Rekonstruktionen von Objektgeometrien generieren können, welche die häufig signifikante Überapproximation durch das einfache Boxmodell vermeiden

Genauigkeitsuntersuchung von binokularen Normalenvektoren für die Umfeldwahrnehmung

In der vorliegenden Arbeit wird eine Genauigkeitsuntersuchung von Normalenvektoren aus binokularen Kamerasystemen vorgestellt, die eine Modellierung der Orientierungsunsicherheit der Normalenvektoren aus wenigen Parametern ermöglicht. Die Ergebnisse der Genauigkeitsuntersuchung werden verwendet, um zwei Methoden zur Umfelderfassung aus Orientierungsinformationen auszulegen: eine Freibereichsschätzung für Fahrzeuge sowie eine Treppendetektion für Menschen mit eingeschränkter Sehfähigkeit

Detection and Tracking of Objects using Local Grid Maps based on Stereo Camera Data

Die vorliegende Arbeit befasst sich mit der Thematik der Umfeldwahrnehmung für Fahrerassistenzsysteme. Die Modellierung des Fahrzeugumfelds adressiert unter anderem die Problematik der Detektion und Verfolgung von Umfeldobjekten mittels diverser Sensoren. Besonders anspruchsvoll ist der Einsatz intelligenter Fahrzeuge in städtischen Verkehrsszenarien. Die Methoden der gegenwärtigen Umfeldwahrnehmung, basierend auf fahrzeugtauglichen Sensoren, repräsentieren einzelne Verkehrsteilnehmer meist durch einfache geometrische Modelle. In vielen Fällen ist diese Art der Umfelderfassung für hochautomatisierte Fahrfunktionen Fahrerassistenzsysteme unzureichend. Demnach ist eine Verbesserung der Umfeldwahrnehmung notwendig, um einen Fortschritt für das hochautomatisierte Fahren durch Fahrerassistenzsysteme zu erzielen. Der Fokus dieser Arbeit liegt auf der Kopplung modellbasierter mit modellfreien Methoden der Umfeldwahrnehmung. Ziel ist es, die Vorteile beider Methoden für eine verbesserte Objektbeschreibung zu nutzen. Das vorgestellte Konzept wird anhand von Daten eines Stereokamerasystems validiert. Neben der Schätzung der Objektzustände erfolgt eine detaillierte modellfreie Beschreibung der Objektkontur durch lokale Belegungskarten. Dabei sind Messungen in die objekt-spezifische Belegungskarte zu integrieren, die zur Aktualisierung des Objekts in der modellbasierten Objektverfolgung führen. Das Ergebnis stellt einen erhöhten Informationsgehalt der modellfreien Konturbeschreibung der Objekte gegenüber konventionellen geometrischen Formmodellen dar. Die Objektverfolgung mit objektlokalen Belegungskarten wirkt sich positiv auf die modellbasierte Zustandsschätzung der Objekte aus. Darüber hinaus ist dieses Konzept der Objektverfolgung vorteilhaft für die Integration fehlerhafter, durch ungünstige Messbedingungen hervorgerufene, Messungen.The work in hand deals with environment perception of advanced driver assistance systems. Modeling the vehicle environment has been a research topic for years. Among others, it addresses the problem of detecting and tracking objects using data from various onboard vehicle sensors. In particular, the use of intelligent vehicle in urban environment is very demanding and followed by high requirements. Methods of the present environment perception systems based on data from automotive sensors are modeling road users by means of simple geometries. In many cases, this approach of perceiving vehicle surroundings may be insufficient to fulfill the requirements of highly automated driving. Hence, an improvement of perception methods is necessary to make progress towards automated driving with advanced driver assistance systems. This work presents a novel approach of perceiving dynamic objects by combining model based and model free perception methods for object tracking. That concept takes advantages of both methods to improve the tracking process. The proposed concept is being validated using data from a stereo camera system that suits automotive requirements. Besides estimating the object state, a detailed and model free description of the object shape is being determined by means of local occupancy grid maps. Measurements that leads to an update of the model based object tracking will be integrated into the dedicated occupancy grid. That results in a model free and precise object contour containing more information than conventional geometric form models. The object tracking using local occupancy grid maps improves the Kalman filter based state estimation of objects. Furthermore, this concept shows advantages for integrating incorrect measurements being observed in bad measurement conditions