A contribution to situation analysis in predictive pedestrian protection

The subject of this thesis is the development and prototypical realization of a driver assistance system with the purpose of predictive pedestrian protection. The system shall help the driver to avoid collisions with pedestrians by issuing a noticeable warning to the driver prior to a possible collision. If the driver fails to react to the warning and the criticality of the situation increases, the system will initiate an automatic braking intervention in order to prevent or mitigate the collision. One of the main challenges for the system is to correctly estimate the risk of an impending collision. For a successful driver warning it is necessary to issue the warning early enough, enabling the driver to react. Therefore, the time before the collision, at which the decision to warn the driver is made, has to be significantly longer than the reaction time of the driver (up to 2 s). Because of this comparatively long time span it is vital for the system to predict the possible movements of the pedestrian as accurately as possible. This also holds true for the automatic braking intervention. With a high assumption placed upon the movement capabilities of pedestrians, the decision for an automatic braking is not possible up to a few hundred milliseconds before the collision, rendering the benefit of the system comparatively small. Therefore, the first part of the thesis concentrates on the development of a situation analysis approach which considers the movement capabilities of pedestrians. The possible and relevant trajectories of pedestrians in typical accident scenarios are analyzed and contribute to the development of the pedestrian motion model. For this model, a test study is designed and conducted to measure the movement capabilities of different test persons in relevant situations. The results of the study are analyzed and integrated into the model. The prediction of the movement capabilities depends on the current velocity of the pedestrian, as well as the available time and direction of movement, which yields significant improvements of the results in the situation analysis. The results show that a decision for an automatic braking intervention based upon the prediction of an unavoidable collision can be made earlier which leads to a reduction in the collision velocity. The second part of the thesis analyzes the sensor system which is used to recognize pedestrians in front of the vehicle and the impact of this system's errors in the situation analysis. The prototypical realization of the system uses a stereo-vision system in order to detect pedestrians and to measure relevant data, for instance position and velocity of the pedestrian relative to the vehicle. The quality of this data is vital for the system to function, therefore, the implications of erroneous data are analyzed, and the requirements for the relevant input data are derived. For this purpose, a sensitivity analysis with a series of simulations is conducted. The artificial sensor data in the simulations is superimposed by artificial noise in order to determine the acceptable degree of noise for the system. The type of noise depends on the data and is derived from the analysis (theoretical as well as practical) of the stereo-vision system. The thesis is concluded by presenting the test-vehicle and an analysis of the system performance in 50 hours of test driving in urban areas

Fahrerzustandserkennung zur Optimierung von Spurhalteassistenzsystemen

Aktuelle Fahrerassistenzsysteme der Längs- und Querführung bleiben immer noch hinter Ihren potentiellen Leistungen zurück. Die Regelung erfolgt derzeit nur über Zustandsgrößen des Fahrzeugs und Sensordaten der Umgebung, lässt den Zustand und die Intentionen des Fahrers aber unberücksichtigt. So zeigen beispielsweise Untersuchungen zur Wirksamkeit von Spurhalteassistenzsystemen, dass in einer Vielzahl der Fälle Warnungen unnötig sind, da der Fahrer ohnehin aufmerksam fährt. Nur durch die Berücksichtigung des Fahrers im Regelkreis Fahrer-Fahrzeug-Umwelt können Warnungen gezielt erfolgen und kann die Wirksamkeit von Assistenzsystemen erhöht werden. Der erste Teil der Dissertation beschäftigt sich generell mit verschiedenen Möglichkeiten einer Echtzeit-Erkennung des Fahrerzustands im Fahrzeug. Im zweiten Teil wird aufbauend darauf speziell das Potential der Adaption von Spurhalteassistenzsystemen an den Fahrerzustand analysiert. Die Fahrerzustandsschätzung wird über drei Ansätze näher betrachtet. Zunächst wird eine Schätzung der Aufmerksamkeitsausrichtung des Fahrers über die Erfassung seiner Augenbewegungen und der Kopforientierung untersucht. Dabei zeigt sich, dass Systeme zur Blickbewegungserfassung viel Potential bieten, dass diese aber noch nicht im automobilen Bereich nutzbar sind. Die Aussagekraft der Kopforientierung hinsichtlich einer Ablenkung des Fahrers wurde in einer eigenen experimentellen Studie im realen Verkehr über eigens entwickelte Algorithmen analysiert. Zwar ist eine solche Erfassung schon heute in Serienfahrzeugen möglich, die Aussagekraft der Daten ist jedoch begrenzt. Eine weitere Möglichkeit zur Erfassung des Fahrerzustands besteht darin, direkt Nebentätigkeiten des Fahrers zu detektieren. Eine eigene Probandenstudie verdeutlicht dabei, dass es schon heute möglich ist, die Ablenkung des Fahrers aufgrund von Bedienhandlungen am Infotainment-System eines Fahrzeugs zu erkennen. In einem letzten Schritt wird die Erfassbarkeit des Fahrerzustands aufgrund der schon heute in Fahrzeugen verfügbaren Sensorik untersucht. Verschiedene Studien aus der Literatur zeigen auffälliges Lenk- und Spurhalteverhalten abgelenkter Fahrer. Darauf basierend wird mit Hilfe maschinellen Lernens ein Algorithmus zur Fahrerzustandserkennung entwickelt, der eine prinzipielle Verwendbarkeit dieses Ansatzes aufzeigt. Die beschrieben Methoden zur Fahrerzustandserkennung werden im zweiten Teil der Arbeit hinsichtlich einer konkreten Anwendung im Bereich der Spurhalteassistenzsysteme untersucht. Fremde und eigene experimentelle Studien zur adaptiven Parametrierung von Spurhalteassistenzsystemen zeigen, dass diese Anpassungen im realen Straßenverkehr nicht nur zu einer objektiven Verbesserung der Spurhaltung und damit der Verkehrssicherheit führen, sondern dass diese von den Probanden auch positiv beurteilt werden. Für eine Fahrerzustands-adaptive Auslegung von Spurhalteassistenten eignen sich dabei vorrangig Blickbewegungsdaten und die Erfassung von Bedienhandlungen. Schätzungen des Fahrerzustands über Lenkverhalten und die Kopforientierung des Fahrers sind weniger geeignet. Zusammenfassend gibt diese Arbeit somit einen Einblick in Methoden einer Fahrerzustandserfassung im Fahrzeug und zeigt basierend darauf den Akzeptanz- und Sicherheitsgewinn einer Fahrerzustands-adaptiven Auslegung von Spurhalteassistenzsystemen