CUEING: a lightweight model to Capture hUman attEntion In driviNG

Discrepancies in decision-making between Autonomous Driving Systems (ADS) and human drivers underscore the need for intuitive human gaze predictors to bridge this gap, thereby improving user trust and experience. Existing gaze datasets, despite their value, suffer from noise that hampers effective training. Furthermore, current gaze prediction models exhibit inconsistency across diverse scenarios and demand substantial computational resources, restricting their on-board deployment in autonomous vehicles. We propose a novel adaptive cleansing technique for purging noise from existing gaze datasets, coupled with a robust, lightweight convolutional self-attention gaze prediction model. Our approach not only significantly enhances model generalizability and performance by up to 12.13% but also ensures a remarkable reduction in model complexity by up to 98.2% compared to the state-of-the art, making in-vehicle deployment feasible to augment ADS decision visualization and performance

Understanding and Modeling the Effects of Task and Context on Drivers' Gaze Allocation

Understanding what drivers look at is important for many applications, including driver training, monitoring, and assistance, as well as self-driving. Traditionally, factors affecting human visual attention have been divided into bottom-up (involuntary attraction to salient regions) and top-down (task- and context-driven). Although both play a role in drivers' gaze allocation, most of the existing modeling approaches apply techniques developed for bottom-up saliency and do not consider task and context influences explicitly. Likewise, common driving attention benchmarks lack relevant task and context annotations. Therefore, to enable analysis and modeling of these factors for drivers' gaze prediction, we propose the following: 1) address some shortcomings of the popular DR(eye)VE dataset and extend it with per-frame annotations for driving task and context; 2) benchmark a number of baseline and SOTA models for saliency and driver gaze prediction and analyze them w.r.t. the new annotations; and finally, 3) a novel model that modulates drivers' gaze prediction with explicit action and context information, and as a result significantly improves SOTA performance on DR(eye)VE overall (by 24\% KLD and 89\% NSS) and on a subset of action and safety-critical intersection scenarios (by 10--30\% KLD). Extended annotations, code for model and evaluation will be made publicly available.Comment: 12 pages, 8 figures, 8 table

Situation-Aware Environment Perception Using a Multi-Layer Attention Map

Within the field of automated driving, a clear trend in environment perception tends towards more sensors, higher redundancy, and overall increase in computational power. This is mainly driven by the paradigm to perceive the entire environment as best as possible at all times. However, due to the ongoing rise in functional complexity, compromises have to be considered to ensure real-time capabilities of the perception system. In this work, we introduce a concept for situation-aware environment perception to control the resource allocation towards processing relevant areas within the data as well as towards employing only a subset of functional modules for environment perception, if sufficient for the current driving task. Specifically, we propose to evaluate the context of an automated vehicle to derive a multi-layer attention map (MLAM) that defines relevant areas. Using this MLAM, the optimum of active functional modules is dynamically configured and intra-module processing of only relevant data is enforced. We outline the feasibility of application of our concept using real-world data in a straight-forward implementation for our system at hand. While retaining overall functionality, we achieve a reduction of accumulated processing time of 59%.Comment: Update 1: Removed minor typos, corrected FKZ. Update 2: Extension of Section III-E. Rewording in some sections to improve clarity. Added IEEE Copyright Notic

Simultaner Safety-Check von Trajektorien beim Automatisierten Fahren im Urbanen Verkehr

Beim automatisierten Fahren kommen zunehmend Ansätze der künstlichen Intelligenz (KI) und des maschinellen Lernens zum Einsatz. Das Ziel ist, mit dieser Technologie auch komplexe Sachverhalte, die vom Menschen mit seiner kognitiven Intelligenz und Erfahrung schnell und präzise erfassbar sind, mit maschinellen Systemen in ausreichender Qualität zu erfassen. Das bedeutet, dass durch das automatisierte Fahrzeug nicht mehr Unfälle passieren dürfen als durch menschliche Fahrer. Ein Nachteil von KI-Ansätzen ist die geringe Nachvollziehbarkeit der Funktionsweise und Entscheidungsfindung der entsprechenden Algorithmen. Damit ist auch nicht im Detail bekannt, welche Fehlfunktionen bei derartigen Ansätzen auftreten können. Der Stand der Technik enthält bereits verschiedene Konzepte zur Absicherung von automatisierten Fahrzeugen und auch wenige theoretische Konzepte zur direkten Absicherung von KI-Algorithmen. Meist werden dabei allerdings vereinfachende Annahmen wie bspw. fehlerfrei funktionierende Umfeldsensorik getroffen. Auch der Komplettausfall von funk-tionalen Modulen wie Perzeption oder Trajektorienplanung wird in der Literatur kaum adressiert. Zur Schließung dieser Lücke wird der Ansatz verfolgt, die Schwächen des Planers durch ein nachgeschaltetes Modul zu kompensieren, das nicht die KI-Funktionen selbst, sondern lediglich deren Ergebnis in Form der Solltrajektorie absichert. In der vorliegenden Dissertation entspricht das dem Konzept des „Safety Checks“ (SC), das für den Einsatz im urbanen Verkehr vorgestellt wird. Dieses Modul befindet sich in der Architektur des automatisierten Systems zwischen Trajektorienplaner und Trajektorienregler. Bevor eine vom KI-basierten Planer ausgegebene Trajektorie zum Regler weitergeleitet wird, prüft das SC-Modul deren Sicherheit durch erklärbare deterministische Diagnosen ohne Einsatz von KI. Die im Fahrzeug vorhandenen und auch vom abzusichernden System verwendeten Sensordaten werden dafür mit diversitären Ansätzen auf einer anderen Verarbeitungsebene zur Sicherheitsprüfung genutzt. Im Fall einer unsicheren Trajektorie des Planers greift das SC-Modul ein und überführt das automatisierte Fahrzeug in einen risikominimalen Zustand. Regelung und Aktoransteuerung werden vom SC nicht abgesichert, da sie sich mit bestehenden konventionellen Methoden bereits zuverlässig absichern lassen. Im Zuge der Anforderungsdefinition an das Absicherungskonzept wird mittels Fehlerbaumanalyse systematisch hergeleitet, welche Ursachen zu unsicheren geplanten Trajektorien führen können. Das sind einerseits funktionale Unzulänglichkeiten im Bereich der Trajektorienplanung oder in der Interpretation der Umwelt, andererseits ein Komplettausfall von Modulen oder Sensoren. Daraus leitet sich die Anforderung an das SC-Modul ab, dass neben der Sicherheitsprüfung der Trajektorie auch die Überwachung des Gesundheitszustands von Sensoren und anderen Modulen erforderlich ist. Weitere Anforderungen sind, angemessen und ausreichend schnell auf das Auftreten eines unsicheren Zustands zu reagieren und die Falsch-Positiv-Eingriffsrate des SC-Moduls zu minimieren. Zur Identifizierung situationsgemäßer Reaktionen bei einem unsicheren Zustand wird der Lösungsraum für mögliche Notmanöver aufgespannt und diskutiert, welche Voraussetzungen für die Anwendung der verschiedenen Optionen jeweils zu erfüllen sind. Darauf basierend wird für das SC-Modul die primäre Notstrategie gewählt, entlang des aktuell oder zuletzt geplanten sicheren Pfades in den Stillstand zu bremsen. Aus den verschiedenen Unsicherheitsarten und Anforderungen werden funktionale Submodule abgeleitet, die der Informationsprüfung bzw. -plausibilisierung, der Trajektorienprüfung oder der Nottrajektoriengenerierung dienen. Daraus wird eine beispielhafte Ge-samtarchitektur des SC-Moduls gebildet, im realen Testfahrzeug implementiert und sowohl auf dem Testgelände als auch im öffentlichen Verkehr in einem Wohngebiet getestet. Die Detektionsreichweite der logik-basierten Objektlistenplausibilisierung, die vom Perzeptionsmodul nicht erfasste und somit in der Objektliste fehlende Objekte detektiert, ist unter Verwendung von Radar- und Lidardaten ausreichend für den absicherungsrelevanten Bereich. Da im Testfahrzeug nur ein nach vorne gerichteter Radarsensor vorhanden ist, offenbaren sich in Kreuzungsszenarien jedoch Schwierigkeiten in der Schätzung der Dynamik von querenden Objekten. Davon abgesehen erfolgt die Detektion von potenziell kollisionskritischen Objekten zuverlässig. Die Evaluation der Objektkritikalitätsprüfung zeigt, dass eine der größten Herausforderungen die Bewegungsprädiktion von anderen Verkehrsteilnehmern ist. Während in Open-Loop-Testfahrten im Realverkehr beim Folgen gerader Straßen keine Falscheingriffe des SC-Moduls auftreten, erweisen sich auch hier Kreuzungsszenarien als herausfordernd. Aufgrund der konservativen Objektbewegungsprädiktion, die der Prädiktion des menschlichen Testfahrers unterlegen ist, kommt es in eigentlich unkritischen Situationen mehrfach zu Eingriffen des SC-Moduls