Detection and Tracking of Objects using Local Grid Maps based on Stereo Camera Data

Die vorliegende Arbeit befasst sich mit der Thematik der Umfeldwahrnehmung für Fahrerassistenzsysteme. Die Modellierung des Fahrzeugumfelds adressiert unter anderem die Problematik der Detektion und Verfolgung von Umfeldobjekten mittels diverser Sensoren. Besonders anspruchsvoll ist der Einsatz intelligenter Fahrzeuge in städtischen Verkehrsszenarien. Die Methoden der gegenwärtigen Umfeldwahrnehmung, basierend auf fahrzeugtauglichen Sensoren, repräsentieren einzelne Verkehrsteilnehmer meist durch einfache geometrische Modelle. In vielen Fällen ist diese Art der Umfelderfassung für hochautomatisierte Fahrfunktionen Fahrerassistenzsysteme unzureichend. Demnach ist eine Verbesserung der Umfeldwahrnehmung notwendig, um einen Fortschritt für das hochautomatisierte Fahren durch Fahrerassistenzsysteme zu erzielen. Der Fokus dieser Arbeit liegt auf der Kopplung modellbasierter mit modellfreien Methoden der Umfeldwahrnehmung. Ziel ist es, die Vorteile beider Methoden für eine verbesserte Objektbeschreibung zu nutzen. Das vorgestellte Konzept wird anhand von Daten eines Stereokamerasystems validiert. Neben der Schätzung der Objektzustände erfolgt eine detaillierte modellfreie Beschreibung der Objektkontur durch lokale Belegungskarten. Dabei sind Messungen in die objekt-spezifische Belegungskarte zu integrieren, die zur Aktualisierung des Objekts in der modellbasierten Objektverfolgung führen. Das Ergebnis stellt einen erhöhten Informationsgehalt der modellfreien Konturbeschreibung der Objekte gegenüber konventionellen geometrischen Formmodellen dar. Die Objektverfolgung mit objektlokalen Belegungskarten wirkt sich positiv auf die modellbasierte Zustandsschätzung der Objekte aus. Darüber hinaus ist dieses Konzept der Objektverfolgung vorteilhaft für die Integration fehlerhafter, durch ungünstige Messbedingungen hervorgerufene, Messungen.The work in hand deals with environment perception of advanced driver assistance systems. Modeling the vehicle environment has been a research topic for years. Among others, it addresses the problem of detecting and tracking objects using data from various onboard vehicle sensors. In particular, the use of intelligent vehicle in urban environment is very demanding and followed by high requirements. Methods of the present environment perception systems based on data from automotive sensors are modeling road users by means of simple geometries. In many cases, this approach of perceiving vehicle surroundings may be insufficient to fulfill the requirements of highly automated driving. Hence, an improvement of perception methods is necessary to make progress towards automated driving with advanced driver assistance systems. This work presents a novel approach of perceiving dynamic objects by combining model based and model free perception methods for object tracking. That concept takes advantages of both methods to improve the tracking process. The proposed concept is being validated using data from a stereo camera system that suits automotive requirements. Besides estimating the object state, a detailed and model free description of the object shape is being determined by means of local occupancy grid maps. Measurements that leads to an update of the model based object tracking will be integrated into the dedicated occupancy grid. That results in a model free and precise object contour containing more information than conventional geometric form models. The object tracking using local occupancy grid maps improves the Kalman filter based state estimation of objects. Furthermore, this concept shows advantages for integrating incorrect measurements being observed in bad measurement conditions

Objektverfolgung durch Fusion von Radar- und Monokameradaten auf Merkmalsebene für zukünftige Fahrerassistenzsysteme

Die vorliegende Arbeit beschreibt eine neuartige Objektverfolgung durch Fusion von Radar- und Monokameradaten auf Merkmalsebene. In dieser Arbeit wird ein neues Assoziationsverfahren auf Basis der PDA-Methodik untersucht. Es wird ein Interacting Multiple Model Filter (IMMF) mit einer vollständigen, adaptiven Modellierung der Objektdynamik in Längs- und Querrichtung vorgestellt. Die Thematik Objektklassifikation sowie Gassenbreiteschätzung wird auch beleuchtet

Objektverfolgung durch Fusion von Radar- und Monokameradaten auf Merkmalsebene für zukünftige Fahrerassistenzsysteme

Die vorliegende Arbeit beschreibt eine neuartige Objektverfolgung durch Fusion von Radar- und Monokameradaten auf Merkmalsebene. Dabei werden zuerst die statistischen Fehlermodelle der Sensoren analysiert. Anschließend wird ein neues Assoziationsverfahren auf Basis der PDA-Methodik untersucht. Der Schwerpunkt dieser Arbeit ist die Behandlung der Objektdynmaik mit Hilfe eines adaptiven IMM-Filters. Schließlich wird die Thematik Objektklassifikation sowie Gassenbreiteschätzung beleuchtet

Detection, tracking and distance estimation of objects in robot-vision systems through online adaptation of models

Bildsequenzen, aufgenommen mittels einer einfachen oder professionellen Kamera, bilden mittlerweile in vielen Anwendungen eine wichtige Informationsquelle. Sei es Verkehrsüberwachung, Personen-Monitoring oder Roboternavigation. In allen diesen Bereichen ist eine verlässliche Auswertung der Kamerabilder von fundamentaler Bedeutung. Im Rahmen dieser Arbeit wurden in den drei wichtigen Bereichen der Objektdetektion, Objektwiedererkennung und Rekonstruktion der lokalen Umgebung neue Ansätze und Verfahren entwickelt. Den Grundgerüst aller Verfahren bildete hier die Konstruktion eines anwendungsspezifischen Modells und eine online stattfindende Adaption der entsprechenden Parameter. Zur Detektion von bewegten Objekten im Bild wurde ein Vordergrund-Hintergrund Separationsverfahren entwickelt, welches als Hintergrundmodell der Szene sich die Grauwertstruktur des Bildes zu Nutze macht. Die Extraktion der Struktur erfolgte hier mittels der diskreten Kosinustransformation. Ein entscheidender Vorteil lag damit in einer deutlich geringeren Anzahl an freiwählbaren Parameter bei dem Verfahren. Der Focus des Verfahrens auf die Struktur des Bildes resultierte ebenfalls in einem hohen Grad an Stabilität desjenigen gegenüber sich ändernden Lichtverhälltnissen in der Umgebung. Im Bereich Objektverfolgung und -wiedererkennung wurde ein Verfahren konzipiert, welches bereits im Online-Betrieb ein 'multiview appearance' Modell von dem interessierenden Objekt erzeugt und dieses während der darauf folgenden Objektverfolgung immer weiter verfeinert. Anders als bei den bereits etablierten Verfahren wurde hier eine offline stattfindende Trainingsphase nicht benötigt. Auch sind die im Modell gespeicherten Ansichten des Objektes optimal an die jeweilige Anwendungsumgebung angepasst. Abhängig von der Position und dem Orientierungswinkel der Kamera werden nur solche Ansichten im Modell gespeichert, die auch von dieser Kamera während der Objektbewegung aufgenommen werden können. Ein weiterer wissenschaftlicher Beitrag dieser Arbeit liegt in dem innovativen Verfahren zur Berechnung von Time-To-Contact (Zeit bis zum Zusammenstoß). Ausgehend von der Bildinformation und der Bewegung der Kamera läßt sich damit die verbleibende Distanz zu den bevorstehenden Hindernissen online ausrechnen. Um einen hohen Grad an Stabilität und Robustheit in den berechneten Werten zu erzielen, wurden hierzu Modellgleichungen hergeleitet, die die theoretisch richtige Positionen der Merkmale in den Bildern der Kamera während der Bewegung vorhersagen. Die Herleitung der Gleichungen basiert ausschließlich auf den Gesetzen der projektiven Geometrie und den zugrunde liegenden Annahmen zur Kamerabewegung. Alle im Rahmen dieser Arbeit entwickelten Ansätze wurden zur Performanzevaluierung umfangreichen Experimentenreihen unterzogen. In einer Fallstudie zur Simulation eines Lagerhausszenarios wurde auch der kombinierte Einsatz der Verfahren untersucht. Alle hierbei erzielten Ergebnisse zeugen von der praktischen Anwendbarkeit dieser Verfahren

ORIENTATION TRACKING WITH MEMS INERTIAL SENSORS

In many applications orientation tracking needs to be done, for example in inertial navigation, autonomous mobile robot, virtual reality or industries. This paper proposes a method of doing the orientation tracking using MEMS inertial sensors such as accelerometer, gyro and magnetoresistive sensor. The error problems with this type of sensors are discussed. As results, a comparison of measurements between the three sensors is made. Finally a recommendation on how sensor fusion algorithm could be implemented to get an accurate result

Video-Based Environment Perception for Automated Driving using Deep Neural Networks

Automatisierte Fahrzeuge benötigen eine hochgenaue Umfeldwahrnehmung, um sicher und komfortabel zu fahren. Gleichzeitig müssen die Perzeptionsalgorithmen mit der verfügbaren Rechenleistung die Echtzeitanforderungen der Anwendung erfüllen. Kamerabilder stellen eine sehr wichtige Informationsquelle für automatisierte Fahrzeuge dar. Sie beinhalten mehr Details als Daten von anderen Sensoren wie Lidar oder Radar und sind oft vergleichsweise günstig. Damit ist es möglich, ein automatisiertes Fahrzeug mit einem Surround-View Sensor-Setup auszustatten, ohne die Gesamtkosten zu stark zu erhöhen. In dieser Arbeit präsentieren wir einen effizienten und genauen Ansatz zur videobasierten Umfeldwahrnehmung für automatisierte Fahrzeuge. Er basiert auf Deep Learning und löst die Probleme der Objekterkennung, Objektverfolgung und der semantischen Segmentierung von Kamerabildern. Wir schlagen zunächst eine schnelle CNN-Architektur zur gleichzeitigen Objekterkennung und semantischen Segmentierung vor. Diese Architektur ist skalierbar, so dass Genauigkeit leicht gegen Rechenzeit eingetauscht werden kann, indem ein einziger Skalierungsfaktor geändert wird. Wir modifizieren diese Architektur daraufhin, um Embedding-Vektoren für jedes erkannte Objekt vorherzusagen. Diese Embedding-Vektoren werden als Assoziationsmetrik bei der Objektverfolgung eingesetzt. Sie werden auch für einen neuartigen Algorithmus zur Non-Maximum Suppression eingesetzt, den wir FeatureNMS nennen. FeatureNMS kann in belebten Szenen, in denen die Annahmen des klassischen NMS-Algorithmus nicht zutreffen, einen höheren Recall erzielen. Wir erweitern anschlie{\ss}end unsere CNN-Architektur für Einzelbilder zu einer Mehrbild-Architektur, welche zwei aufeinanderfolgende Videobilder als Eingabe entgegen nimmt. Die Mehrbild-Architektur schätzt den optischen Fluss zwischen beiden Videobildern innerhalb des künstlichen neuronalen Netzwerks. Dies ermöglicht es, einen Verschiebungsvektor zwischen den Videobildern für jedes detektierte Objekt zu schätzen. Diese Verschiebungsvektoren werden ebenfalls als Assoziationsmetrik bei der Objektverfolgung eingesetzt. Zuletzt präsentieren wir einen einfachen Tracking-by-Detection-Ansatz, der wenig Rechenleistung erfordert. Er benötigt einen starken Objektdetektor und stützt sich auf die Embedding- und Verschiebungsvektoren, die von unserer CNN-Architektur geschätzt werden. Der hohe Recall des Objektdetektors führt zu einer häufigen Detektion der verfolgten Objekte. Unsere diskriminativen Assoziationsmetriken, die auf den Embedding- und Verschiebungsvektoren basieren, ermöglichen eine zuverlässige Zuordnung von neuen Detektionen zu bestehenden Tracks. Diese beiden Bestandteile erlauben es, ein einfaches Bewegungsmodell mit Annahme einer konstanten Geschwindigkeit und einem Kalman-Filter zu verwenden. Die von uns vorgestellten Methoden zur videobasierten Umfeldwahrnehmung erreichen gute Resultate auf den herausfordernden Cityscapes- und BDD100K-Datensätzen. Gleichzeitig sind sie recheneffizient und können die Echtzeitanforderungen der Anwendung erfüllen. Wir verwenden die vorgeschlagene Architektur erfolgreich innerhalb des Wahrnehmungs-Moduls eines automatisierten Versuchsfahrzeugs. Hier hat sie sich in der Praxis bewähren können

Wahrscheinlichkeitsbasierte Methoden zur autonomen Führung von Fahrzeugen in unsicherer Umgebung

[no abstract

Entwicklung und vergleichende Bewertung einer bildbasierten Markierungslichtsteuerung für Kraftfahrzeuge

In der automotiven Lichttechnik wird seit einigen Jahren aktiv an adaptiven Lichtsystemen geforscht, um eine flexible Beleuchtungsstärkeverteilung optimal angepasst an die situativ vorherrschenden Verkehrs- und Witterungsverhältnisse erzeugen zu können. Dieser Beitrag beschreibt in diesem Kontext die Entwicklung und vergleichende Bewertung einer bildbasierten Markierungslichtsteuerung für Kraftfahrzeuge

Ein generisches System zur automatischen Detektion, Verfolgung und Wiedererkennung von Personen in Videodaten

An important area in computer vision is the person-centered video analysis. Applications cover many areas of today's life like driver assistance, human-machine-interaction, threat assessment in military context and specifically visual surveillance. The basis of this person-centered analysis is person detection and tracking in video data. This is a precondition for all subsequent analysis or interpretation approaches. Moreover, person reidentification is a substantial component of many applications. Such a reidentification of persons is necessary in cases where a long time period or a large spatial area is considered. In these cases, connections between the occurrences of people that are not directly temporally or spatially connected are to be established. A typical example of this is the surveillance of large public spaces like airports where multiple networked cameras are utilised and a long time period is relevant. Due to the diversity of application areas for person detection, tracking, and reidentification, it is desirable to develop a generic system that is most independent of certain aspects of application scenarios and thus universally applicable. In this work, such a system for person detection, tracking and reidentification is introduced. This system is generic regarding different aspects. The system is independent of the application scenario, meaning that no assumptions on the application environment are made. For instance, it is not assumed that the scene background is known or other information regarding the scene is available. It is also not assumed that the recording sensor is stationary, which means the system introduced in this work is applicable in the case of a moving camera. Equally, the system is not limited to certain object classes since no object class specific knowledge other than a set of training samples is used. In addition, the system is mostly independent of the used sensor since no other than the intensity-gradient based local features are used. Thus, the overall system is applicable in the visible and the infrared spectral range since no features like color or depth are employed. The system generality is specifically accomplished by the exclusive use of the Implicit Shape Model approach and local image features for all three system levels, whereby the levels are closely connected and merge in an integrated approach. For person tracking, an extension of the Implicit Shape Model, which combines bottom-up tracking-by-detection with top-down model-based strategies, is introduced. By that, a stabilisation of person detection and automatic tracking through short-term occlusion is accomplished. Likewise, separate steps and heuristics for data association, i.e the association of object hypotheses over time, and model update become redundant. During person tracking, an Implicit Shape Model based identity model, that is used for person reidentification, is established. By that tight coupling of all levels from detection to reidentification, the system is independently applicable under real conditions