Sensor Data Fusion and Image Processing for Object and Hazard Detection

Schwerpunkte der vorliegenden Arbeit sind die automatische Erkennung und Verfolgung von Objekten in Fahrsituationen sowie die Ableitung von potentiellen Gefahren. Hierzu werden die Daten eines Laserscanners und einer Kamera verarbeitet und fusioniert. Die Arbeit stellt neue Methoden der unmittelbaren Umfelderfassung dar und dient als Grundlage für innovative Assistenz- und Automationssysteme im Fahrzeug. Solche Systeme unterstützen den Fahrer zur Erhöhung der Fahrsicherheit, der Verkehrseffizienz und des Komforts. Die entwickelten Methoden sind auf unterschiedlichen Abstraktionsebenen angesiedelt: Auf Sensordatenebene werden die Daten vorbereitet und reduziert. Insbesondere liegt der Fokus auf der Erkennung von Fahrschwankungen aus Kamerabildern und auf der Erkennung des Fahrkorridors als Interessenbereich aus den Daten mehrerer Sensoren. Auf Objektebene findet die zentrale Datenfusion statt. Durch die Auswahl einer konkurrierenden Objektfusion wird eine hohe Sensorunabhängigkeit, Zuverlässigkeit und Verfügbarkeit erreicht. Hierzu werden im Vorfeld Objektbeobachtungen aus beiden Sensoren extrahiert. Diese werden zur Objekterkennung und -verfolgung fusioniert, mit besonderem Fokus auf die Robustheit gegenüber manövrierenden Objekten, Messausreißern, split- und merge-Effekten und der partiellen Beobachtbarkeit der Objekte. Auf der Anwendungsebene der Arbeit wird die frühzeitige Erkennung von potentiellen Gefahrensituationen vorgestellt. Hierzu wurde ein statistischer Ansatz entwickelt, in dem Gefahren als atypische Situationen behandelt werden. Dieser allgemeingültige und erweiterbare Ansatz wird beispielhaft auf Basis der Objektdaten umgesetzt. Die vorgestellten Ansätze wurden systematisch entwickelt, prototypisch und modular implementiert sowie mit simulierten und realen Daten getestet. Die Ergebnisse zeigen hierbei eine Steigerung der Qualität und Robustheit der Daten, so dass ein wichtiger Beitrag zur Verbesserung von Assistenz und Automation geleistet wird.The present work deals with automatic detection and tracking of objects in driving situations as well as derivation of potential hazards. To do this, the data of a laser scanner and a camera is processed and fused. The work provides new methods in the area of immediate environment detection and modeling. Thus, it creates a basis for innovative driver assistance and automation systems. The aim of such systems is to improve driving safety, traffic efficiency and driving comfort. The methods introduced in this work can be classified into different abstraction levels: At sensor data level, the data is prepared and reduced. In this work, the focus is especially set on the detection of driving oscillations from camera images and on the detection of the driving corridor from the data of different sensors, used later as the primary area of interest. At object level the central data fusion is done. High reliability, availability and sensor independency are achieved by choosing a competitive object fusion approach. As an input of the data fusion, object observations from camera and laser scanner data are extracted. These are then fused at the aim of object detection and tracking, where aspects such as robustness against manoeuvring objects, measurement outliers, split and merge effects, as well as partial object observability are addressed. At application level, early detection of potential hazards is addressed. A statistical approach has been chosen and developed, in which hazards are handled as atypical situations. This general and expandable approach is exemplarily shown based on the detected object data. The presented strategies and methods have been developed systematically, implemented in a modular prototype and tested with simulated and real data. The test results of the data fusion system show a win in data quality and robustness, with which an improvement of driver assistance and automation systems can be reached

Informationsfusion in der Mess- und Sensortechnik

Die Entwicklung und Beherrschung der immer komplexer werdenden technischen Systeme führt in zunehmenden Maße zu Anforderungen an die Mess- und Sensortechnik, die mit dem Einsatz eines Einzelsensors oft nicht mehr erfüllt werden können. Dies hat in den letzten Jahren zu einem starken Entwicklungsschub für Multisensorsysteme und die Grundlagenforschung zur Fusion von Messdaten und Information aus unterschiedlichen Quellen geführt. Dieses Buch greift diese Entwicklung sowohl hinsichtlich ihrer theoretischen Grundlagen als auch wichtiger Anwendungsfelder auf

Probabilistische Vorhersage von Fahrstreifenwechseln für hochautomatisiertes Fahren auf Autobahnen

Die vorliegende Arbeit stellt ein Konzept zur zeitlichen Vorhersage von Fahrstreifenwechselmanövern auf Autobahnen für Systeme zur automatischen Fahrzeugführung vor. Derartige Systeme benötigen ein Verständnis der Fahrumgebung zur konfliktfreien und nachvollziehbaren Durchführung der Fahraufgabe. Dies beinhaltet die Wahrnehmung und Interpretation der Fahrumgebung zur Erkennung und Vorhersage von Fahrmanövern des umgebenden Verkehrs