Night vision obstacle detection and avoidance based on Bio-Inspired Vision Sensors

Moving towards autonomy, unmanned vehicles rely heavily on state-of-the-art collision avoidance systems (CAS). However, the detection of obstacles especially during night-time is still a challenging task since the lighting conditions are not sufficient for traditional cameras to function properly. Therefore, we exploit the powerful attributes of event-based cameras to perform obstacle detection in low lighting conditions. Event cameras trigger events asynchronously at high output temporal rate with high dynamic range of up to 120 $dB$. The algorithm filters background activity noise and extracts objects using robust Hough transform technique. The depth of each detected object is computed by triangulating 2D features extracted utilising LC-Harris. Finally, asynchronous adaptive collision avoidance (AACA) algorithm is applied for effective avoidance. Qualitative evaluation is compared using event-camera and traditional camera.Comment: Accepted to IEEE SENSORS 202

Overview of Environment Perception for Intelligent Vehicles

This paper presents a comprehensive literature review on environment perception for intelligent vehicles. The state-of-the-art algorithms and modeling methods for intelligent vehicles are given, with a summary of their pros and cons. A special attention is paid to methods for lane and road detection, traffic sign recognition, vehicle tracking, behavior analysis, and scene understanding. In addition, we provide information about datasets, common performance analysis, and perspectives on future research directions in this area

Automatic vehicle detection and tracking in aerial video

This thesis is concerned with the challenging tasks of automatic and real-time vehicle detection and tracking from aerial video. The aim of this thesis is to build an automatic system that can accurately localise any vehicles that appear in aerial video frames and track the target vehicles with trackers. Vehicle detection and tracking have many applications and this has been an active area of research during recent years; however, it is still a challenge to deal with certain realistic environments. This thesis develops vehicle detection and tracking algorithms which enhance the robustness of detection and tracking beyond the existing approaches. The basis of the vehicle detection system proposed in this thesis has different object categorisation approaches, with colour and texture features in both point and area template forms. The thesis also proposes a novel Self-Learning Tracking and Detection approach, which is an extension to the existing Tracking Learning Detection (TLD) algorithm. There are a number of challenges in vehicle detection and tracking. The most difficult challenge of detection is distinguishing and clustering the target vehicle from the background objects and noises. Under certain conditions, the images captured from Unmanned Aerial Vehicles (UAVs) are also blurred; for example, turbulence may make the vehicle shake during flight. This thesis tackles these challenges by applying integrated multiple feature descriptors for real-time processing. In this thesis, three vehicle detection approaches are proposed: the HSV-GLCM feature approach, the ISM-SIFT feature approach and the FAST-HoG approach. The general vehicle detection approaches used have highly flexible implicit shape representations. They are based on training samples in both positive and negative sets and use updated classifiers to distinguish the targets. It has been found that the detection results attained by using HSV-GLCM texture features can be affected by blurring problems; the proposed detection algorithms can further segment the edges of the vehicles from the background. Using the point descriptor feature can solve the blurring problem, however, the large amount of information contained in point descriptors can lead to processing times that are too long for real-time applications. So the FAST-HoG approach combining the point feature and the shape feature is proposed. This new approach is able to speed up the process that attains the real-time performance. Finally, a detection approach using HoG with the FAST feature is also proposed. The HoG approach is widely used in object recognition, as it has a strong ability to represent the shape vector of the object. However, the original HoG feature is sensitive to the orientation of the target; this method improves the algorithm by inserting the direction vectors of the targets. For the tracking process, a novel tracking approach was proposed, an extension of the TLD algorithm, in order to track multiple targets. The extended approach upgrades the original system, which can only track a single target, which must be selected before the detection and tracking process. The greatest challenge to vehicle tracking is long-term tracking. The target object can change its appearance during the process and illumination and scale changes can also occur. The original TLD feature assumed that tracking can make errors during the tracking process, and the accumulation of these errors could cause tracking failure, so the original TLD proposed using a learning approach in between the tracking and the detection by adding a pair of inspectors (positive and negative) to constantly estimate errors. This thesis extends the TLD approach with a new detection method in order to achieve multiple-target tracking. A Forward and Backward Tracking approach has been proposed to eliminate tracking errors and other problems such as occlusion. The main purpose of the proposed tracking system is to learn the features of the targets during tracking and re-train the detection classifier for further processes. This thesis puts particular emphasis on vehicle detection and tracking in different extreme scenarios such as crowed highway vehicle detection, blurred images and changes in the appearance of the targets. Compared with currently existing detection and tracking approaches, the proposed approaches demonstrate a robust increase in accuracy in each scenario

Entwicklung und Evaluierung eines kooperativen Interaktionskonzepts an Entscheidungspunkten für die teilautomatisierte, manöverbasierte Fahrzeugführung

Moderne Fahrerassistenzsysteme ermöglichen einen hohen Standard hinsichtlich Fahrkomfort und Sicherheit. Eine Lösung für die Problematik zunehmender Komplexität durch Kombination mehrerer Einzelsysteme und einen wichtigen Schritt in Richtung Vollautomatisierung bieten teilautomatisierte, kooperative Ansätze wie das manöverbasierte Fahrzeugführungskonzept Conduct-by-Wire. Gegenstand dieser Arbeit ist die Untersuchung der Fragestellung, ob eine kooperative Interaktion zwischen Fahrer und Automation zur Entscheidungsfindung hinsichtlich der Ausführbarkeit von Fahrmanövern im Kontext der teilautomatisierten, manöverbasierten Fahrzeugführung darstellbar ist. In dieser Arbeit wird ein Interaktionskonzept entwickelt, das die Anforderungen des Fahrers und der Automation gleichermaßen berücksichtigt. Zudem erfolgt eine Untersuchung der technischen Realisierbarkeit sowie der Gebrauchstauglichkeit im Rahmen einer Probandenstudie

Situationsklassifikation und Bewegungsprognose in Verkehrssituationen mit mehreren Fahrzeugen

Käfer E. Situationsklassifikation und Bewegungsprognose in Verkehrssituationen mit mehreren Fahrzeugen. Bielefeld: Universitätsbibliothek Bielefeld; 2013.Fahrerassistenzsysteme sind in der heutigen Zeit einer der erfolgversprechendsten Beiträge zu mehr Sicherheit auf unseren Straßen. Die intelligenten Helferlein unterstützen den Fahrer aktiv in kritischen Situationen oder erhöhen den Komfort während der Fahrt. Sie sind ein Meilenstein auf dem Weg zu der Vision vom unfallfreien Fahren. Mit Sensoren wie Stereokamera und Radarsystemen ausgestattete Fahrzeuge sind in der Lage die Umwelt wahrzunehmen und die Bewegungsrichtung der Verkehrsteilnehmer zu schätzen. Mit Methoden der künstlichen Intelligenz erfolgt eine Bewertung der Verkehrssituation auf Kritikalität. Je nach Kritikalität einer Situation werden unterschiedliche Warn- und Unterstützungskonzepte eingesetzt. Das Ziel ist es, den Fahrer auf eine gefährliche Situation hinzuweisen oder bei einem unvermeidbaren Unfall die Aufprallenergie durch einen Bremseingriff zu reduzieren. Gegen Auffahrunfälle im Längsverkehr gibt es bereits ein aktives Sicherheitssystem, den Bremsassistenten. Diese Arbeit hat das Ziel die Situationsanalyse für heutige Sicherheitssysteme auf Kreuzungssituationen zu erweitern. Dazu werden Algorithmen zur frühzeitigen Erkennung von gefährlichen Kreuzungssituationen vorgeschlagen. Der Fokus des ersten Ansatzes liegt auf der Analyse aller Fahreraktionen zweier kreuzender Fahrzeuge. Die kollisionsfreien Kombinationen von Bewegungsoptionen spannen einen zusammengesetzten Aktionsraum zweier Fahrer auf. Aus diesem Aktionsraum wird eine Wahrscheinlichkeit für die Gefahr einer Situation abgeleitet. In einem Versuchsträger integriert zeigt unsere Gefahrenschätzung im Realverkehr eine hohe Performanz und Zuverlässigkeit. Die Vermeidung der Falschwarnungen solcher Systeme ist eine der Herausforderungen, die es hier zu minimieren gilt. Gemessene Bewegungsmuster eines Fahrzeugs werden im zweiten Ansatz als Wissensbasis für eine Prognose eingesetzt. Bei mehreren Fahrzeugen lässt sich in den meisten Kreuzungssituationen eine Interaktion der Fahrer beobachten. Ein Modell für das Interaktionsverhalten ermöglicht eine realistischere Bewegungsprognose für mehrere Fahrzeuge. Im letzten Ansatz werden Bewegungsmuster zweier kreuzender Fahrzeuge in Betracht gezogen. Ein Interaktionsverhalten zwischen den Fahrern liegt dort bereits in den Daten vor. Eine anschauliche und kompakte Repräsentation der interaktiven Bewegungsmuster zweier Fahrzeuge fungiert als Wissensbasis für eine Situationserkennung und Bewegungsprognose

Situationsklassifikation und Bewegungsprognose in Verkehrssituationen mit mehreren Fahrzeugen

Käfer E. Situationsklassifikation und Bewegungsprognose in Verkehrssituationen mit mehreren Fahrzeugen. Bielefeld: Universitätsbibliothek Bielefeld; 2013.Fahrerassistenzsysteme sind in der heutigen Zeit einer der erfolgversprechendsten Beiträge zu mehr Sicherheit auf unseren Straßen. Die intelligenten Helferlein unterstützen den Fahrer aktiv in kritischen Situationen oder erhöhen den Komfort während der Fahrt. Sie sind ein Meilenstein auf dem Weg zu der Vision vom unfallfreien Fahren. Mit Sensoren wie Stereokamera und Radarsystemen ausgestattete Fahrzeuge sind in der Lage die Umwelt wahrzunehmen und die Bewegungsrichtung der Verkehrsteilnehmer zu schätzen. Mit Methoden der künstlichen Intelligenz erfolgt eine Bewertung der Verkehrssituation auf Kritikalität. Je nach Kritikalität einer Situation werden unterschiedliche Warn- und Unterstützungskonzepte eingesetzt. Das Ziel ist es, den Fahrer auf eine gefährliche Situation hinzuweisen oder bei einem unvermeidbaren Unfall die Aufprallenergie durch einen Bremseingriff zu reduzieren. Gegen Auffahrunfälle im Längsverkehr gibt es bereits ein aktives Sicherheitssystem, den Bremsassistenten. Diese Arbeit hat das Ziel die Situationsanalyse für heutige Sicherheitssysteme auf Kreuzungssituationen zu erweitern. Dazu werden Algorithmen zur frühzeitigen Erkennung von gefährlichen Kreuzungssituationen vorgeschlagen. Der Fokus des ersten Ansatzes liegt auf der Analyse aller Fahreraktionen zweier kreuzender Fahrzeuge. Die kollisionsfreien Kombinationen von Bewegungsoptionen spannen einen zusammengesetzten Aktionsraum zweier Fahrer auf. Aus diesem Aktionsraum wird eine Wahrscheinlichkeit für die Gefahr einer Situation abgeleitet. In einem Versuchsträger integriert zeigt unsere Gefahrenschätzung im Realverkehr eine hohe Performanz und Zuverlässigkeit. Die Vermeidung der Falschwarnungen solcher Systeme ist eine der Herausforderungen, die es hier zu minimieren gilt. Gemessene Bewegungsmuster eines Fahrzeugs werden im zweiten Ansatz als Wissensbasis für eine Prognose eingesetzt. Bei mehreren Fahrzeugen lässt sich in den meisten Kreuzungssituationen eine Interaktion der Fahrer beobachten. Ein Modell für das Interaktionsverhalten ermöglicht eine realistischere Bewegungsprognose für mehrere Fahrzeuge. Im letzten Ansatz werden Bewegungsmuster zweier kreuzender Fahrzeuge in Betracht gezogen. Ein Interaktionsverhalten zwischen den Fahrern liegt dort bereits in den Daten vor. Eine anschauliche und kompakte Repräsentation der interaktiven Bewegungsmuster zweier Fahrzeuge fungiert als Wissensbasis für eine Situationserkennung und Bewegungsprognose

Cooperative Vehicle Tracking in Large Environments

Vehicle position tracking and prediction over large areas is of significant importance in many industrial applications, such as mining operations. In a small area, this can be easily achieved by providing vehicles with a constant communication link to a control centre and having the vehicles broadcast their position. The problem changes dramatically when vehicles operate within a large environment of potentially hundreds of square kilometres and in difficult terrain. This thesis presents algorithms for cooperative tracking of vehicles based on a vehicle motion model that incorporates the properties of the working area, and information collected by infrastructure collection points and other mobile agents. The probabilistic motion prediction approach provides long-term estimates of vehicle positions using motion profiles built for the particular environment and considering the vehicle stopping probability. A limited number of data collection points distributed around the field are used to update the position estimates, with negative information also used to improve the estimation. The thesis introduces the concept of observation harvesting, a process in which peer-to-peer communication between vehicles allows egocentric position updates and inter-vehicle measurements to be relayed among vehicles and finally conveyed to the collection points for an improved position estimate. It uses a store-and-synchronise concept to deal with intermittent communication and aims to disseminate data in an opportunistic manner. A nonparametric filtering algorithm for cooperative tracking is proposed to incorporate the information harvested, including the negative, relative, and time delayed observations. An important contribution of this thesis is to enable the optimisation of fleet scheduling when full coverage networks are not available or feasible. The proposed approaches were validated with comprehensive experimental results using data collected from a large-scale mining operation

Cooperative Vehicle Tracking in Large Environments

Vehicle position tracking and prediction over large areas is of significant importance in many industrial applications, such as mining operations. In a small area, this can be easily achieved by providing vehicles with a constant communication link to a control centre and having the vehicles broadcast their position. The problem changes dramatically when vehicles operate within a large environment of potentially hundreds of square kilometres and in difficult terrain. This thesis presents algorithms for cooperative tracking of vehicles based on a vehicle motion model that incorporates the properties of the working area, and information collected by infrastructure collection points and other mobile agents. The probabilistic motion prediction approach provides long-term estimates of vehicle positions using motion profiles built for the particular environment and considering the vehicle stopping probability. A limited number of data collection points distributed around the field are used to update the position estimates, with negative information also used to improve the estimation. The thesis introduces the concept of observation harvesting, a process in which peer-to-peer communication between vehicles allows egocentric position updates and inter-vehicle measurements to be relayed among vehicles and finally conveyed to the collection points for an improved position estimate. It uses a store-and-synchronise concept to deal with intermittent communication and aims to disseminate data in an opportunistic manner. A nonparametric filtering algorithm for cooperative tracking is proposed to incorporate the information harvested, including the negative, relative, and time delayed observations. An important contribution of this thesis is to enable the optimisation of fleet scheduling when full coverage networks are not available or feasible. The proposed approaches were validated with comprehensive experimental results using data collected from a large-scale mining operation