Design and Formal Verification of a Safe Stop Supervisor for an Automated Vehicle

Autonomous vehicles apply pertinent planning and control algorithms under different driving conditions. The mode switch between these algorithms should also be autonomous. On top of the nominal planners, a safe fallback routine is needed to stop the vehicle at a safe position if nominal operational conditions are violated, such as for a system failure. This paper describes the design and formal verification of a supervisor to manage all requirements for mode switching between nominal planners, and additional requirements for switching to a safe stop trajectory planner that acts as the fallback routine. The supervisor is designed via a model-based approach and its abstraction is formally verified by model checking. The supervisor is implemented and integrated with the Research Concept Vehicle, an experimental research and demonstration vehicle developed at the KTH Royal Institute of Technology. Simulations and experiments show that the vehicle is able to autonomously drive in a safe manner between two parking lots and can successfully come to a safe stop upon GPS sensor failure

On Provably Correct Decision-Making for Automated Driving

The introduction of driving automation in road vehicles can potentially reduce road traffic crashes and significantly improve road safety. Automation in road vehicles also brings several other benefits such as the possibility to provide independent mobility for people who cannot and/or should not drive. Many different hardware and software components (e.g. sensing, decision-making, actuation, and control) interact to solve the autonomous driving task. Correctness of such automated driving systems is crucial as incorrect behaviour may have catastrophic consequences. Autonomous vehicles operate in complex and dynamic environments, which requires decision-making and planning at different levels. The aim of such decision-making components in these systems is to make safe decisions at all times. The challenge of safety verification of these systems is crucial for the commercial deployment of full autonomy in vehicles. Testing for safety is expensive, impractical, and can never guarantee the absence of errors. In contrast, formal methods, which are techniques that use rigorous mathematical models to build hardware and software systems can provide a mathematical proof of the correctness of the system. The focus of this thesis is to address some of the challenges in the safety verification of decision-making in automated driving systems. A central question here is how to establish formal verification as an efficient tool for automated driving software development.A key finding is the need for an integrated formal approach to prove correctness and to provide a complete safety argument. This thesis provides insights into how three different formal verification approaches, namely supervisory control theory, model checking, and deductive verification differ in their application to automated driving and identifies the challenges associated with each method. It identifies the need for the introduction of more rigour in the requirement refinement process and presents one possible solution by using a formal model-based safety analysis approach. To address challenges in the manual modelling process, a possible solution by automatically learning formal models directly from code is proposed

Simultaner Safety-Check von Trajektorien beim Automatisierten Fahren im Urbanen Verkehr

Beim automatisierten Fahren kommen zunehmend Ansätze der künstlichen Intelligenz (KI) und des maschinellen Lernens zum Einsatz. Das Ziel ist, mit dieser Technologie auch komplexe Sachverhalte, die vom Menschen mit seiner kognitiven Intelligenz und Erfahrung schnell und präzise erfassbar sind, mit maschinellen Systemen in ausreichender Qualität zu erfassen. Das bedeutet, dass durch das automatisierte Fahrzeug nicht mehr Unfälle passieren dürfen als durch menschliche Fahrer. Ein Nachteil von KI-Ansätzen ist die geringe Nachvollziehbarkeit der Funktionsweise und Entscheidungsfindung der entsprechenden Algorithmen. Damit ist auch nicht im Detail bekannt, welche Fehlfunktionen bei derartigen Ansätzen auftreten können. Der Stand der Technik enthält bereits verschiedene Konzepte zur Absicherung von automatisierten Fahrzeugen und auch wenige theoretische Konzepte zur direkten Absicherung von KI-Algorithmen. Meist werden dabei allerdings vereinfachende Annahmen wie bspw. fehlerfrei funktionierende Umfeldsensorik getroffen. Auch der Komplettausfall von funk-tionalen Modulen wie Perzeption oder Trajektorienplanung wird in der Literatur kaum adressiert. Zur Schließung dieser Lücke wird der Ansatz verfolgt, die Schwächen des Planers durch ein nachgeschaltetes Modul zu kompensieren, das nicht die KI-Funktionen selbst, sondern lediglich deren Ergebnis in Form der Solltrajektorie absichert. In der vorliegenden Dissertation entspricht das dem Konzept des „Safety Checks“ (SC), das für den Einsatz im urbanen Verkehr vorgestellt wird. Dieses Modul befindet sich in der Architektur des automatisierten Systems zwischen Trajektorienplaner und Trajektorienregler. Bevor eine vom KI-basierten Planer ausgegebene Trajektorie zum Regler weitergeleitet wird, prüft das SC-Modul deren Sicherheit durch erklärbare deterministische Diagnosen ohne Einsatz von KI. Die im Fahrzeug vorhandenen und auch vom abzusichernden System verwendeten Sensordaten werden dafür mit diversitären Ansätzen auf einer anderen Verarbeitungsebene zur Sicherheitsprüfung genutzt. Im Fall einer unsicheren Trajektorie des Planers greift das SC-Modul ein und überführt das automatisierte Fahrzeug in einen risikominimalen Zustand. Regelung und Aktoransteuerung werden vom SC nicht abgesichert, da sie sich mit bestehenden konventionellen Methoden bereits zuverlässig absichern lassen. Im Zuge der Anforderungsdefinition an das Absicherungskonzept wird mittels Fehlerbaumanalyse systematisch hergeleitet, welche Ursachen zu unsicheren geplanten Trajektorien führen können. Das sind einerseits funktionale Unzulänglichkeiten im Bereich der Trajektorienplanung oder in der Interpretation der Umwelt, andererseits ein Komplettausfall von Modulen oder Sensoren. Daraus leitet sich die Anforderung an das SC-Modul ab, dass neben der Sicherheitsprüfung der Trajektorie auch die Überwachung des Gesundheitszustands von Sensoren und anderen Modulen erforderlich ist. Weitere Anforderungen sind, angemessen und ausreichend schnell auf das Auftreten eines unsicheren Zustands zu reagieren und die Falsch-Positiv-Eingriffsrate des SC-Moduls zu minimieren. Zur Identifizierung situationsgemäßer Reaktionen bei einem unsicheren Zustand wird der Lösungsraum für mögliche Notmanöver aufgespannt und diskutiert, welche Voraussetzungen für die Anwendung der verschiedenen Optionen jeweils zu erfüllen sind. Darauf basierend wird für das SC-Modul die primäre Notstrategie gewählt, entlang des aktuell oder zuletzt geplanten sicheren Pfades in den Stillstand zu bremsen. Aus den verschiedenen Unsicherheitsarten und Anforderungen werden funktionale Submodule abgeleitet, die der Informationsprüfung bzw. -plausibilisierung, der Trajektorienprüfung oder der Nottrajektoriengenerierung dienen. Daraus wird eine beispielhafte Ge-samtarchitektur des SC-Moduls gebildet, im realen Testfahrzeug implementiert und sowohl auf dem Testgelände als auch im öffentlichen Verkehr in einem Wohngebiet getestet. Die Detektionsreichweite der logik-basierten Objektlistenplausibilisierung, die vom Perzeptionsmodul nicht erfasste und somit in der Objektliste fehlende Objekte detektiert, ist unter Verwendung von Radar- und Lidardaten ausreichend für den absicherungsrelevanten Bereich. Da im Testfahrzeug nur ein nach vorne gerichteter Radarsensor vorhanden ist, offenbaren sich in Kreuzungsszenarien jedoch Schwierigkeiten in der Schätzung der Dynamik von querenden Objekten. Davon abgesehen erfolgt die Detektion von potenziell kollisionskritischen Objekten zuverlässig. Die Evaluation der Objektkritikalitätsprüfung zeigt, dass eine der größten Herausforderungen die Bewegungsprädiktion von anderen Verkehrsteilnehmern ist. Während in Open-Loop-Testfahrten im Realverkehr beim Folgen gerader Straßen keine Falscheingriffe des SC-Moduls auftreten, erweisen sich auch hier Kreuzungsszenarien als herausfordernd. Aufgrund der konservativen Objektbewegungsprädiktion, die der Prädiktion des menschlichen Testfahrers unterlegen ist, kommt es in eigentlich unkritischen Situationen mehrfach zu Eingriffen des SC-Moduls