Self-awareness in autonomous automotive systems

Self-awareness has been used in many research fields in order to add autonomy to computing systems. In automotive systems, we face several system layers that must be enriched with self-awareness to build truly autonomous vehicles. This includes functional aspects like autonomous driving itself, its integration on the hardware/software platform, and among others dependability, real-time, and security aspects. However, self-awareness mechanisms of all layers must be considered in combination in order to build a coherent vehicle self-awareness that does not cause conflicting decisions or even catastrophic effects. In this paper, we summarize current approaches for establishing self-awareness on those layers and elaborate why self-awareness needs to be addressed as a cross-layer problem, which we illustrate by practical examples

SOTIF Entropy: Online SOTIF Risk Quantification and Mitigation for Autonomous Driving

Autonomous driving confronts great challenges in complex traffic scenarios, where the risk of Safety of the Intended Functionality (SOTIF) can be triggered by the dynamic operational environment and system insufficiencies. The SOTIF risk is reflected not only intuitively in the collision risk with objects outside the autonomous vehicles (AVs), but also inherently in the performance limitation risk of the implemented algorithms themselves. How to minimize the SOTIF risk for autonomous driving is currently a critical, difficult, and unresolved issue. Therefore, this paper proposes the "Self-Surveillance and Self-Adaption System" as a systematic approach to online minimize the SOTIF risk, which aims to provide a systematic solution for monitoring, quantification, and mitigation of inherent and external risks. The core of this system is the risk monitoring of the implemented artificial intelligence algorithms within the AV. As a demonstration of the Self-Surveillance and Self-Adaption System, the risk monitoring of the perception algorithm, i.e., YOLOv5 is highlighted. Moreover, the inherent perception algorithm risk and external collision risk are jointly quantified via SOTIF entropy, which is then propagated downstream to the decision-making module and mitigated. Finally, several challenging scenarios are demonstrated, and the Hardware-in-the-Loop experiments are conducted to verify the efficiency and effectiveness of the system. The results demonstrate that the Self-Surveillance and Self-Adaption System enables dependable online monitoring, quantification, and mitigation of SOTIF risk in real-time critical traffic environments.Comment: 16 pages, 10 figures, 2 tables, submitted to IEEE TIT

Runtime Restriction of the Operational Design Domain: A Safety Concept for Automated Vehicles

Automated vehicles need to operate safely in a wide range of environments and hazards. The complex systems that make up an automated vehicle must also ensure safety in the event of system failures. This thesis proposes an approach and architectural design for achieving maximum functionality in the case of system failures. The Operational Design Domain (ODD) defines the domain over which the automated vehicle can operate safely. We propose modifying a runtime representation of the ODD based on current system capabilities. This enables the system to react with context-appropriate responses depending on the remaining degraded functionality. In addition to proposing an architectural design, we have implemented the approach to prove its viability. An analysis of the approach also highlights the strengths and weaknesses of the approach and how best to apply it. The proof of concept has shown promising directions for future work and moved our automated vehicle research platform closer to achieving level 4 automation. A ROS-based architecture extraction tool is also presented. This tool helped guide the architectural development and integration of the automated vehicle research platform in use at the University of Waterloo, and improve the visibility of safety and testing procedures for the team

Skill and ability graphs as basis for a safe operation of automated vehicles in public traffic in urban environments

In der vorliegenden Arbeit wird ein Beitrag zur Sicherheit automatisierter Fahrzeuge für den öffentlichen Straßenverkehr geleistet. Im ersten Teil werden die Rahmenbedingungen für automatisierte Fahrzeuge betrachtet und wesentliche Begriffe definiert. Im Fokus steht dabei eine Betrachtung der Automatisierungsgrade für automatisierte Fahrzeuge. Der Stand der Forschung zur Automatisierung von Fahrzeugen schließt diesen Teil. Im zweiten Teil wird der Entwicklungsprozess nach Norm ISO 26262 betrachtet und auf automatisierte Fahrzeuge angewendet. Hierfür werden die Prozessschritte zur Erstellung einer Item-Definition für das vollständig automatisierte Fahrzeug auf Abruf als Anwendungsfall des automatisierten Fahrens in der Stadt exemplarisch durchgeführt. Da eine vollständige Item-Definition mit einer Betrachtung von allen Szenarien im Rahmen einer Dissertation nicht erstellt werden kann, werden ausgewählte pathologische Szenarien genutzt, um die Anforderungen abzuleiten. Zusätzlich werden Fertigkeitengraphen zur Modellierung von Fahrzeugführungssystemen in die Konzepthase integriert. Diese ermöglichen eine Modellierung des Systems angelehnt an die Aktivitäten, die ein Mensch bei der Fahrzeugführung ausführt. Im dritten Teil wird ein funktionales Sicherheitskonzept entwickelt, das den Betrieb von automatisierten Fahrzeugen im städtischen Straßenverkehr ermöglichen soll. Als erster Schritt wird eine Gefährdungsanalyse und Risikobewertung für die pathologischen Szenarien des vollständig automatisierten Fahrzeugs auf Abruf durchgeführt. Als Ergebnis stehen die Sicherheitsziele zur Verfügung. Das funktionale Sicherheitskonzept setzt diese Sicherheitsziele durch eine Selbstwahrnehmung und Selbstrepräsentation des automatisierten Fahrzeugs um. Die Selbstrepräsentation wird durch eine Überführung des Fertigkeitengraphen in einen Fähigkeitengraph erreicht. In diesem werden aggregierte Gütemaße berechnet, die ein Abbild der aktuellen Leistungsfähigkeit des automatisierten Fahrzeugs unter Berücksichtigung der aktuellen Situation ermöglichen. Die Selbstrepräsentation kann anschließend als Eingangsgröße für Fahrentscheidungen genutzt werden. Die Erhaltung eines sicheren Zustands wird durch die funktionale Degradation erreicht und durch Selbstheilung kann sich die Leistungsfähigkeit im Betrieb verbessern.This work contributes to the safety of automated road vehicles for public traffic. The first part covers surrounding conditions for automated vehicles and important terms are defined. Especially automation levels for automated vehicles are focused. The state of research for vehicle automation closes this part. The second part considers the development process according to the ISO 26262 standard and its applicability to automated vehicles. The development steps to create an Item Definition for a fully automated vehicle on demand as an example of automated driving are applied. A complete Item Definition covering all scenarios is not feasible in a single dissertation. Thus, part two uses selected pathological scenarios to deviate requirements. Additionally, skill graphs to model vehicle guidance systems are integrated into the concept phase. Theses graphs allow a modeling of systems adapted from the activities performed by humans while driving. In the third part a functional safety concept is developed. This should enable the operation of automated vehicles in public traffic. As a first step, a hazard identification and risk assessment for the pathological scenarios of the fully automated vehicle on demand is performed. This results in safety goals, which need to be fulfilled by the resulting system. The functional safety concept implements the safety goals by introducing a self-perception and a self-representation for automated vehicles. The self-representation is achieved with a transfer of the skill graph to an ability graph. In the ability gaph, aggregated performance metrics are calculated, which create a representation of the current performance capabilities of the automated vehicle in respect to the current driving situation. The resulting self-representation can then be used as an input to the driving decisions. The preservation of a safe operating state is reached by functional degradation. With self-healing, the performance capabilities can be improved

Towards testing of automated driving functions in virtual driving environments

In dieser Arbeit wird ein Beitrag für den methodischen Test von automatisierten Fahrfunktionen mit Hilfe von virtuellen Umgebungen geleistet. Im ersten Teil wird die Notwendigkeit eines systematischen Testkonzepts begründet und die These aufgestellt, dass ein szenariobasiertes Testkonzept eine mögliche Lösung für das Testdilemma darstellen könnte. Dazu werden sechs Forschungsfragen aufgestellt, die für die Entwicklung eines szenariobasierten Ansatzes beantwortet werden müssen. Im zweiten Teil werden die Grundlagen und Voraussetzungen der Arbeit dargestellt. Hierfür werden Begriffe und Definitionen vorgestellt. Weiterhin wird der Begriff der Komplexität von Szenarien untersucht. Die Automatisierungsgrade und eine funktionale Systemarchitektur für automatisierte Fahrfunktionen werden vorgestellt. Der Teil schließt mit einer Klassifikation von verschiedenen X-in-the-Loop-Verfahren ab. Im dritten Teil wird das Testkonzept des modularen virtuellen Testbaukastens vorgestellt. Es werden Anforderungen definiert sowie der Aufbau und die Schnittstellen zwischen den Modulen des Testbaukastens präsentiert. Für die Auswahl und Analyse der Einflussparameter, die Testfallerstellung und die Testdurchführung mittels X-in-the-Loop-Verfahren werden Anforderungen definiert und der relevante Stand der Technik vorgestellt. Daraus wird der Forschungsbedarf abgeleitet. Für die Auswahl und Analyse der Einflussparameter wird ein Schema zur Beschreibung der Einflussparameter hergeleitet und Informationsquellen für die Auswahl und Analyse von Einflussparametern werden bewertet. Für die Testfallerstellung wird ein generisches Modell zur Beschreibung von Szenarien vorgestellt und eine kombinatorische Testfallableitung präsentiert. Für die Testdurchführung wird eine Zuordnungsmethode für Testfälle auf verschiedene X-in-the-Loop-Verfahren beschrieben. Zusätzlich werden Testtreiber für die Module einer funktionalen Systemarchitektur analysiert und die Testtreiber des modularen virtuellen Testbaukastens vorgestellt. Für die Testfallauswertung werden Anforderungen definiert und Methoden aus dem Stand der Technik zur Bewertung und zur Analyse der Testergebnissen präsentiert. Der Teil schließt mit einer Beschreibung der Limitationen des Testbaukastens ab. Der vierte Teil beschreibt die Anwendung des Testbaukastens im Fallbeispiel des Engstellenassistenten. Das Projekt wird vorgestellt und die verschiedenen Module des Testbaukastens werden angewendet.This dissertation contributes to the systematical test of driving functions with virtual environments. The first part establishes the necessity of a systematic test concept for automated driving functions. The challenge of testing automated driving functions is presented and the assumption that scenario-based test concept can be a possible solution. Six research questions will be asked in this section, which have to be answered for the development of a scenario-based test concept. The second part defines important terms and analyses prior art as a foundation for this dissertation. Furthermore the levels of automated driving functions are presented and a functional system architecture is suggested. Finally, methods of software testing, traffic simulations, and classification methods for x-in-the-loop techniques are discussed. The third part purposes a concept for a modular virtual testing toolbox. The structure and interfaces between modules of the toolbox are described. Furthermore, requirements are stated for the following modules: selection and analysis of influence parameters, test case generation, test execution with x-in-the-loop techniques, and test case evaluation. For each of these modules selected state of the art methods are presented. Hence, the need for research is deduced. For the selection and analysis of influence parameters, a schema for describing influence parameters is introduced. Furthermore, resources for the selection and analysis of influence parameters are evaluated. For the test case generation, a unified model for the description of scenarios is presented. Additionally, a combinatorial test case deduction is described. For the test case execution, a method for assigning test cases to x-in-the-loop techniques is suggested. For the test case evaluation, a method for the evaluation and analysis of the test result is presented. A review of the limitation of the modular virtual testing toolbox closes this part. The fourth part presents the application of the modular virtual test toolbox to the constriction assistance system. The project is described and the single modules of the toolbox are applied to the assistance system