From Simulation Data to Test Cases for Fully Automated Driving and ADAS

Part 3: Practical Applications International audience Within this paper we present a new concept on deriving test cases from simulation data and outline challenging tasks when testing and validating fully automated driving functions and Advanced Driver Assistance Systems (ADAS). Open questions on topics like virtual simulation and identification of relevant situations for consistent testing of fully automated vehicles are given. Well known criticality metrics are assessed and discussed with regard to their potential to test fully automated vehicles and ADAS. Upon our knowledge most of them are not applicable to identify relevant traffic situations which are of importance for fully automated driving and ADAS. To overcome this limitation, we present a concept including filtering and rating of potentially relevant situations. Identified situations are described in a formal, abstract and human readable way. Finally, a situation catalogue is built up and linked to system requirements to derive test cases using a Domain Specific Language (DSL). Document type: Part of book or chapter of boo

Autonomes Fahren – ein Top-Down-Ansatz

This paper presents a functional system architecture for an “autonomous vehicle” in the sense of amodular building block system. It is developed in a topdown approach based on the definition of the functional requirements for an autonomous vehicle and explicitly combines perception-based and localization-based approaches. Both the definition and the functional system architecture consider the aspects operating by the human being, mission accomplishment, map data, localization, environmental and self-perception as well as cooperation. The functional system architecture is developed in the context of the research project “Stadtpilot” at the Technische Universität Braunschweig.In diesem Artikel stellen wir eine funktionale Systemarchitektur für ein “autonom fahrendes Straßenfahrzeug” vor, die im Sinne eines modularen Baukastensystems entworfen ist. Sie wurde in einemTop- Down-Ansatz ausgehend von einerDefinition des Funktionsumfangs eines “autonom fahrenden Straßenfahrzeugs” entwickelt und führt explizit wahrnehmungsbasierte und lokalisierungsbasierte Ansätze zusammen. Sowohl dieDefinition des Funktionsumfanges als auch die funktionale Systemarchitektur berücksichtigen die Aspekte Bedienung, Missionsumsetzung, Karten, Lokalisierung, Umfeld- und Selbstwahrnehmung sowie Kooperation. Die Ergebnisse basieren unter anderem auf Erkenntnissen aus dem Projekt “Stadtpilot” der Technischen Universität Braunschweig

Environment Modeling, Action Classification, and Control for Urban Automated Driving

This thesis discusses the design and implementation of WATonomous' Automated Driving Stack (ADS), which is capable of performing robo-taxi services in specific operational domains when deployed to WATonomous' research vehicle (Bolty). Three ADS modules are discussed in detail: (1) mapping, environment modeling, and behavioral planning, (2) action classification in video streams, and (3) trajectory planning and control. Additionally, the software architecture within which the ADS is developed and deployed, and the ADS data pipeline itself, are outlined. The thesis begins with preliminaries on WATonomous' Dockerized software architecture (coined watod) which runs and orchestrates the communication of the ADS modules. The watod ecosystem, due to its Dockerized and cloud-based design, enables rapid prototyping of new software modules, rapid onboarding of new team members, and parallel execution of many ADS development instances on the WATonomous server cluster's Virtual Machines (VMs). Cloud-based CARLA simulation development of the ADS and deployment to the Bolty research vehicle are also encapsulated in and facilitated by the watod ecosystem. The ADS can be developed in simulation and deployed to the physical research vehicle without modifications to the ADS modules due to the replication of the physical platform in the Carla ROS Bridge sensor configuration. The design of the ADS data pipeline is also presented, from raw sensor input to the Controlled Area Network Bus (CAN Bus) interface, as well as the human-computer interface. The first ADS module discussed is the mapping and environment modeling module. Environment modeling is the backbone of how autonomous agents understand the world, and therefore has significant implications for decision-making and verification. Motivated by the success of relational mapping tools such as Lanelet2, we present the Dynamic Relation Graph (DRG). The DRG is a novel method for extending prior relational maps to include online observations, creating a unified environment model which incorporates both prior and online data sources. Our prototype implementation models a finite set of heterogeneous features including road signage and pedestrian movement. However, the methodology behind the DRG can be expanded to a wider range of features in a fashion that does not increase the complexity of behavioral planning. Simulated stress tests indicate the DRG's effectiveness in decreasing decision-making complexity, and deployment to the WATonomous research vehicle demonstrates its practical utility. The prototype code is available at https://github.com/WATonomous/DRG. The second ADS module discussed is the action classification module. When applied in the context of Autonomous Vehicles (AVs), action classification algorithms can help enrich an AV's environment model and understanding of the world to improve behavioral planning decisions. Towards these improvements in AV decision-making, we propose a novel online action recognition system, coined the Road Action Detection Network (RAD-Net). RAD-Net formulates the problem of active agent detection and adapts ideas about actor-context relations from human activity recognition in a straightforward two-stage pipeline for action detection and classification. We show that our proposed scheme can outperform the baseline on the ICCV 2021 Road Challenge dataset. Furthermore, by integrating RAD-Net with the ADS' perception stack and the DRG, we demonstrate how a higher-order understanding of agent actions in the environment can improve decisions on a real AV system. The last ADS module discussed is trajectory planning and control. Trajectory planning and control have historically been separated into two modules in automated driving stacks. Trajectory planning focuses on higher-level tasks like avoiding obstacles and staying on the road surface, whereas the controller tries its best to follow an ever changing reference trajectory. We argue that this separation is (1) flawed due to the mismatch between planned trajectories and what the controller can feasibly execute, and (2) unnecessary due to the flexibility of the Model Predictive Control (MPC) paradigm. Instead, in this thesis, we present a unified MPC-based trajectory planning and control scheme that guarantees feasibility with respect to road boundaries, the static and dynamic environment, and enforces passenger comfort constraints. The scheme is evaluated rigorously in a variety of scenarios focused on proving the effectiveness of the OCP design and real-time solution methods. The prototype code is available at github.com/WATonomous/control

Holistic Temporal Situation Interpretation for Traffic Participant Prediction

For a profound understanding of traffic situations including a prediction of traf- fic participants’ future motion, behaviors and routes it is crucial to incorporate all available environmental observations. The presence of sensor noise and depen- dency uncertainties, the variety of available sensor data, the complexity of large traffic scenes and the large number of different estimation tasks with diverging requirements require a general method that gives a robust foundation for the de- velopment of estimation applications. In this work, a general description language, called Object-Oriented Factor Graph Modeling Language (OOFGML), is proposed, that unifies formulation of esti- mation tasks from the application-oriented problem description via the choice of variable and probability distribution representation through to the inference method definition in implementation. The different language properties are dis- cussed theoretically using abstract examples. The derivation of explicit application examples is shown for the automated driv- ing domain. A domain-specific ontology is defined which forms the basis for four exemplary applications covering the broad spectrum of estimation tasks in this domain: Basic temporal filtering, ego vehicle localization using advanced interpretations of perceived objects, road layout perception utilizing inter-object dependencies and finally highly integrated route, behavior and motion estima- tion to predict traffic participant’s future actions. All applications are evaluated as proof of concept and provide an example of how their class of estimation tasks can be represented using the proposed language. The language serves as a com- mon basis and opens a new field for further research towards holistic solutions for automated driving

On Compositional Hierarchical Models for holistic Lane and Road Perception in Intelligent Vehicles

This work is a contribution to the vision based perception of multi lane roads of urban intersections. Given multiple input features the proposed probabilistic hierarchical model infers the lane structure as well as the location of stoplines and the turn directions of individual lanes. Thereby, it expresses prior expectations on the road topology using weak probabilistic constraints which allows for the detection of parallel lanes as well as splitting and merging lanes

Semantische Situationsrepräsentation und Aktionsbewertung zur Planung von Fahrmanöversequenzen

Hochautomatisiertes Fahren und autonome Fahrzeuge stehen seit einigen Jahren im Fokus der Forschung von Automobilherstellern, Zulieferern aber auch IT-Unternehmen sowie Forschungseinrichtungen. Selbstfahrende Fahrzeuge nehmen ihre Umgebung mittels Sensoren wahr und führen Fahraktionen aus, um ihr Ziel sicher und effizient zu erreichen. Dabei wird häufig ein Modell der Verkehrssituation erstellt, das sowohl aktuelle Sensordaten als auch Hintergrundwissen wie Kartendaten zusammenführt. Darauf aufbauend können dann Fahrmanöver geplant werden, die von der Aktorik des Fahrzeugs ausgeführt werden. In den letzten Jahren wurden große Fortschritte auf dem Gebiet des hochautomatisierten Fahrens erzielt. Herausforderungen, die sich dabei gezeigt haben, sind das automatisierte Verstehen von komplexen Verkehrssituationen und darauf aufbauend die Generierung von optimalen Fahrstrategien. Automatisierte Fahrzeuge müssen gerade im innerstädtischen Bereich mit einer Vielzahl von unterschiedlichen Straßentopologien zurechtkommen. Situationsabhängige Speziallösungen stoßen dabei an ihre Grenzen. Hinzu kommt die durch dynamische Verkehrsteilnehmer induzierte kombinatorische Komplexität im Planungsprozess. Ziel dieser Arbeit ist die aktive und passive Unterstützung des Fahrers sowie die Bereitstellung von abstrakten Fahrmanöversequenzen für automatisiertes Fahren. Wissenschaftliche Beiträge sind dabei - eine Abstraktion der Verkehrssituation durch eine relationale, semantische Szenenrepräsentation sowie darauf aufbauend - Methoden zur effizienten Planung und dynamischen Validierung von Fahrmanöversequenzen. Durch eine relationale Modellierung kann der Planungsraum für Fahrmanöver an semantischen Grenzen diskretisiert werden. Dies erlaubt eine einheitliche und durch die Reduktion des Raums effiziente Planung. Die Rückführung der semantischen Pläne in eine geometrische Darstellung ermöglicht die dynamische Validierung und Optimierung resultierender Pläne hinsichtlich Energieeffizienz und Komfort. Hinweise zur optimalen Fahrweise werden als Teil einer Assistenzfunktion dem Fahrer kommuniziert oder für die Trajektorienplanung automatisierter Fahrzeuge zur Verfügung gestellt. Die Verfahren werden sowohl auf synthetischen Daten als auch im realen Fahrversuch evaluiert

Ein Beitrag zur taktischen Verhaltensplanung für Fahrstreifenwechsel bei automatisierten Fahrzeugen

Automated driving within one lane is a fascinating experience. Yet, it is even more interesting to go a step ahead: Making automated lane changes without human driver interaction. This thesis presents a concept and implementation demonstrated in "Jack", the Audi A7 piloted driving concept vehicle. Given that automated driving is in the media every other day already, why is it still such a big issue to do tactical behavior planning for automated vehicles? It is one of the core areas where it is surprisingly obvious why humans are currently so much smarter than machines: Tactical driving behavior planning is a social task that requires cooperation, intention recognition, and complex situation assessment. Without complex cognitive capabilities in today's automated vehicles, it is core of this thesis to find simple algorithms that pretend intelligence in behavior planning. In fact, such behavior planning in automated driving is a constant trade-off between utility and risk: The vehicle has to balance value dimensions such as safety, legality, mobility, and additional aspects like creating user and third party satisfaction. This thesis provides a framework to boil down such abstract dimensions into a working implementation. Several of the foundations for this thesis were developed as part of the Stadtpilot project at TU Braunschweig. While there has been plenty of research on concepts being tested in perfect, simulated worlds only, the approaches in this thesis have been implemented and evaluated in real world traffic with uncertain and imperfect sensor data. The implementation has been tested, tweaked, and used in "Jack" for more than 50,000 km of automated driving in everyday traffic.Automatisiertes Fahren innerhalb eines Fahrstreifens ist eine faszinierende Erfahrung. Noch spannender ist es jedoch noch einen Schritt weiter zu gehen: Auch Fahrstreifenwechsel automatisiert auszuführen, ohne Interaktion mit einem Menschen als Fahrer. In dieser Dissertation wird hierfür ein Konzept und dessen Umsetzung in „Jack“ präsentiert, dem Audi A7 piloted driving concept Fahrzeug. Automatisiertes Fahren ist aktuell in den Medien in aller Munde. Warum ist es dennoch eine große Herausforderung taktische Verhaltensplanung für automatisierte Fahrzeuge wirklich umzusetzen? Es ist einer der Kernbereiche, in denen offensichtlich wird, warum Menschen aktuell Maschinen im Straßenverkehr noch weitaus überlegen sind: Taktische Verhaltensplanung ist eine soziale Aufgabe, welche Kooperation, das Erkennen von Absichten und der Bewertung komplexer Situationen bedarf. Mangels wirklicher kognitiver Fähigkeiten in den heutigen automatisierten Fahrzeugen ist es Kern dieser Dissertation Algorithmen zu finden, welche zumindest den Eindruck intelligenter Verhaltensplanung erzeugen. Eine solche Verhaltensplanung ist ein permanentes Abwägen von Nutzen und Risiken. Das Fahrzeug muss permanent Entscheidungen im Spannungsfeld zwischen Sicherheit, Legalität, Mobilität und weiten Aspekten wie Nutzerzufriedenheit und Zufriedenheit Dritter treffen. In dieser Dissertation wird ein Konzept entwickelt, um solche abstrakten Entscheidungsdimensionen in ein implementierbares Konzept herunterzubrechen. Viele Grundlagen dafür wurden im Rahmen des Stadtpilot Projekts der TU Braunschweig erarbeitet. In vorausgehenden Arbeiten wurden bereits viele Ansätze entwickelt und auf Basis von perfekten, simulierten Daten evaluiert. Der in dieser Arbeit präsentierte Ansatz ist in der Lage mit unsicherheits- und fehlerbehafteten Messdaten umzugehen. Der Ansatz aus dieser Dissertation wurde in dem automatisiert fahrenden Fahrzeug „Jack“ implementiert und bereits über 50.000 km im normalen Straßenverkehr genutzt und getestet

Context Exploitation in Data Fusion

Complex and dynamic environments constitute a challenge for existing tracking algorithms. For this reason, modern solutions are trying to utilize any available information which could help to constrain, improve or explain the measurements. So called Context Information (CI) is understood as information that surrounds an element of interest, whose knowledge may help understanding the (estimated) situation and also in reacting to that situation. However, context discovery and exploitation are still largely unexplored research topics. Until now, the context has been extensively exploited as a parameter in system and measurement models which led to the development of numerous approaches for the linear or non-linear constrained estimation and target tracking. More specifically, the spatial or static context is the most common source of the ambient information, i.e. features, utilized for recursive enhancement of the state variables either in the prediction or the measurement update of the filters. In the case of multiple model estimators, context can not only be related to the state but also to a certain mode of the filter. Common practice for multiple model scenarios is to represent states and context as a joint distribution of Gaussian mixtures. These approaches are commonly referred as the join tracking and classification. Alternatively, the usefulness of context was also demonstrated in aiding the measurement data association. Process of formulating a hypothesis, which assigns a particular measurement to the track, is traditionally governed by the empirical knowledge of the noise characteristics of sensors and operating environment, i.e. probability of detection, false alarm, clutter noise, which can be further enhanced by conditioning on context. We believe that interactions between the environment and the object could be classified into actions, activities and intents, and formed into structured graphs with contextual links translated into arcs. By learning the environment model we will be able to make prediction on the target\u2019s future actions based on its past observation. Probability of target future action could be utilized in the fusion process to adjust tracker confidence on measurements. By incorporating contextual knowledge of the environment, in the form of a likelihood function, in the filter measurement update step, we have been able to reduce uncertainties of the tracking solution and improve the consistency of the track. The promising results demonstrate that the fusion of CI brings a significant performance improvement in comparison to the regular tracking approaches

Urban Multi-Object Tracking in the Context of Hybrid Environment Models

Durch die zunehmende Urbanisierung und die verhältnismäßig hohe Anzahl von Unfällen mit Personenschäden in Kreuzungsbereichen gibt es einen wachsenden Bedarf an maschinellen Wahrnehmungssystemen für das urbane Umfeld. Die Wahrnehmung von bewegten Objekten in urbanen Umgebungen stellt Sensorik und weiterverarbeitende Algorithmen vor erweiterte Herausforderungen. Tracking-Algorithmen müssen gleichzeitig eine Vielzahl von Objekthypothesen stabil verfolgen und dabei sowohl Längs- als auch Querverkehr beherrschen. Bisher verfügbare Seriensysteme sind auf Längsverkehr und eine eingeschränkte Anzahl an Objekthypothesen optimiert. Realisierungen in aktuellen Forschungsbeiträgen nutzen zum Teil aufwändige Sensorsetups und fusionieren diese beispielsweise in objekt-, gitter- und graphenbasierten Darstellungsformen. Zur Verbesserung des Szenenverständnisses werden diese Darstellungsformen anschließend typischerweise zu einem Umfeldmodell kombiniert. Im Rahmen dieser Arbeit wird auf aufwändige Sensorsetups verzichtet. Stattdessen wird eine konkrete Realisierung eines maschinellen Wahrnehmungssystems für das urbane Umfeld mittels eines seriennahen Laserscanners analysiert. Hierfür wird eine strukturelle Erweiterung des sogenannten Interacting-Multi-Modell-Filters um Fusionen mit graphen- und gitterbasierten Darstellungsformen erarbeitet, die die Unsicherheit der Zustandsschätzung in Kreuzungsbereichen minimiert. Die Eigenschaften der neuartigen Erweiterung zum Active-Interacting-Multi-Modell-Filters (AIMM) werden anschließend anhand realer Messdaten validiert.Increasing urbanization results in a higher risk of accidents at intersections. This makes it necessary to improve machine perception systems in urban environments. The perception of moving objects in urban environments poses new challenges for sensors and tracking algorithms. Tracking algorithms must estimate the movement of a large number of objects simultaneously while taking into account longitudinal as well as crossing traffic. The systems currently available are only able to handle motorway traffic and a limited number of objects. In order to extend the application area of machine perception systems, several ongoing research projects attempt to use sophisticated sensor setups and fuse the data into object-, grid and graph-based representations. These representations are combinded to a single model of the environment, which is necessary to transfer the output to application scenarios. Aiming at closing this gap, the work presented in this thesis analyzes a concrete realization of a machine perception system for urban environments using a close-to-production laser scanner. An extension of the interacting multi model filter is used to minimize the uncertainty of state estimation in urban crossroads so that graph and grid-based forms of representation can be merged. Finally, the active interacting multi model filter (AIMM) is evaluated by using real sensor data

9. Workshop Fahrerassistenzsysteme : FAS 2014

Fahrerassistenzsysteme mit maschineller Wahrnehmung sind inzwischen im Automobil bis in die Mittelklasse hinein etabliert. Dadurch rücken Fragen der Leistungs- und Kostenoptimierung immer stärker in den Vordergrund. Ferner werden neue Mobilitätskonzepte wie auch die Elektromobilität weitere Chancen aber auch neue Herausforderungen für die Fahrer-assistenzsysteme, insbesondere für das HMI, schaffen. Zukünftige funktionale Heraus-forderungen liegen im innerstädtischen Bereich, bei der Realisierung hoch automatisierter Assistenzfunktionen sowie bei Funktionen für spezielle Zielgruppen mit erhöhtem Assistenzbedarf. Der steigende Grad der Autonomie erfordert allerdings neben funktionalen Herausforderungen die sorgfältige Diskussion von Fragen der Systemsicherheit, Systemtransparenz aber auch der möglichen Überautomatisierung. Wie in den vergangenen Jahren bietet der Workshop in Walting ein Diskussionsforum für ausgewiesene Experten im deutschsprachigen Raum, auf dem technische, gesellschaftliche aber auch ethische Frage-stellungen der Fahrerassistenz interdisziplinär diskutiert werden