Decentralized Cooperative Planning for Automated Vehicles with Hierarchical Monte Carlo Tree Search

Today's automated vehicles lack the ability to cooperate implicitly with others. This work presents a Monte Carlo Tree Search (MCTS) based approach for decentralized cooperative planning using macro-actions for automated vehicles in heterogeneous environments. Based on cooperative modeling of other agents and Decoupled-UCT (a variant of MCTS), the algorithm evaluates the state-action-values of each agent in a cooperative and decentralized manner, explicitly modeling the interdependence of actions between traffic participants. Macro-actions allow for temporal extension over multiple time steps and increase the effective search depth requiring fewer iterations to plan over longer horizons. Without predefined policies for macro-actions, the algorithm simultaneously learns policies over and within macro-actions. The proposed method is evaluated under several conflict scenarios, showing that the algorithm can achieve effective cooperative planning with learned macro-actions in heterogeneous environments

CoopQ: Questionnaire for measuring the subjective evaluation of cooperation in road traffic encounters

In nowadays traffic, most encounters of road users are highly regulated. Nevertheless, traffic situations arise that are not explicitly regulated and therefore require communication and cooperation. This will also be true if self-driving vehicles enter our traffic system. It is therefore of great importance that self-driving vehicles are able to react to and show cooperative behavior. Exactly how humans cooperate in traffic is not fully understood yet. The systematic study of cooperative behavior requires appropriate tools and measures. We contribute to the development of tools by developing a questionnaire that assesses the subjective evaluation of cooperation in a traffic encounter. In this work, we present a first version of this questionnaire, which is divided into two parts: The first part of the questionnaire is intended to measure whether a given encounter between road users could be considered cooperation, and the second part of the questionnaire is intended to evaluate the encounter. Based on a literature survey, 39 items, which cover different aspects of cooperation, like altruism, interference, costs and benefits, were formulated for the first part of the questionnaire, i.e. for assessing the occurrence of cooperation. For the second part, i.e. for the evaluation of a given encounter, 40 pairs of adjectives were created based on typical motives in road traffic, e.g. safety and efficiency. In an online survey, 123 participants then rated seven videos of drivers encountering a narrow passage with varying degrees of interaction. Based on factor analysis and descriptive statistics, ten items and 22 pairs of adjectives were selected for a final version. The final version will be tested in future studies to assess the questionnaire’s reliability

License to Supervise:Influence of Driving Automation on Driver Licensing

To use highly automated vehicles while a driver remains responsible for safe driving, places new – yet demanding, requirements on the human operator. This is because the automation creates a gap between drivers’ responsibility and the human capabilities to take responsibility, especially for unexpected or time-critical transitions of control. This gap is not being addressed by current practises of driver licensing. Based on literature review, this research collects drivers’ requirements to enable safe transitions in control attuned to human capabilities. This knowledge is intended to help system developers and authorities to identify the requirements on human operators to (re)take responsibility for safe driving after automation

Eine Referenzarchitektur für die assistierte und automatisierte Fahrzeugführung mit Fahrereinbindung

Gegenstand der Arbeit ist die Entwicklung einer funktionalen Systemarchitektur, die den Anforderungen des assistierten, teilautomatisierten bis hin zum vollautomatisierten Fahrens gerecht werden soll. Dabei steht insbesondere die Architektur als wissenschaftliche Disziplin im Vordergrund, in der Entscheidungsalternativen erarbeitet und durch Abwägung der sich daraus ergebenden Konsequenzen bewertet und dokumentiert werden. Im ersten Schritt erfolgt eine Anforderungsanalyse, in der die funktionalen Systemanforderungen in Form notwendiger Fahrmanöver hergeleitet sowie relevante nichtfunktionale Anforderungen (insbes. Test- und Erweiterbarkeit) an die Architektur identifiziert werden. Darauf aufbauend erfolgt die Entwicklung der Referenzarchitektur auf Basis hybrider Robotik-Basisarchitekturen, beginnend mit einer Festlegung des 3-Ebenen Fahrzeugführungsmodelles nach Donges als zugrunde liegendes hierarchisches Abstraktionsmodell. Von besonderer Bedeutung dabei ist das Zusammenspiel zwischen deliberativen Systemelementen zur Zielerreichung einerseits und reaktiven Systemelementen zur schnellen Reaktion auf sich ändernde Situationsparameter andererseits. Als Ergebnis liegt ein hierarchisches Mehrebenensystem mit vier Systemebenen vor. Neben der Festlegung der Kontrollhierarchie wird zusätzlich der Informationsbedarf der Planungsmodule in Richtung des Umfeldmodells skizziert sowie die notwendigen Mensch-Maschine-Schnittstellen zur Fahrereinbindung

A cooperative advanced driver assistance and safety system for connected and automated vehicles

Konfliktsituationen mit mehreren Beteiligten sind für Fahrzeugführer und konventionelle Fahrerassistenz- und Sicherheitssysteme durch ihre hohe Komplexität schwer beherrschbar. So geschehen viele Unfälle auf den Straßen dieser Welt, die durch gemeinschaftlich abgestimmte Fahrmanöver verhindert oder in ihren Unfallfolgen gemindert werden könnten. Die vorliegende Arbeit adressiert dieses Potenzial und beschäftigt sich mit der Entwicklung und prototypischen Umsetzung eines fahrzeugübergreifenden kooperativen Fahrerassistenz- und Sicherheitssystems, welches mehrere Fahrzeuge über eine funkbasierte Kommunikation miteinander verbindet, sowie unfallfreie Lösungen berechnet und durchführt. In diesem Zusammenhang werden drei Forschungsfragen aufgestellt, die eine Definition von kooperativem Verhalten, eine Methode zur Koordination der anfallenden Aufgaben (Aufgabenkoordination) und eine Methode zur gemeinsamen Fahrmanöverplanung (Fahrmanöverkoordination) adressieren. Der Stand der Wissenschaft und Technik bezüglich der Forschungsfragen wird mithilfe einer systematischen Literaturstudie ermittelt, die für den Leser in einem Überblick dargestellt und hinsichtlich einer möglichen Beantwortung der Forschungsfragen ausgewertet wird. Es zeigt sich, dass die drei Forschungsfragen mit ihren Anforderungen bislang unbeantwortet sind. Zur Definition von kooperativem Verhalten werden Eigenschaften von diesem aufgezeigt, die in notwendige und hinreichende Bedingungen überführt werden. Mit der zusätzlichen Berücksichtigung von Reziprozität ergibt sich eine Definition von kooperativem Verhalten, welche durch die Steigerung des Gesamtnutzens die Unterscheidung zwischen unkooperativem Verhalten auf der einen Seite und rational-kooperativem, altruistisch-kooperativem bzw. egoistisch-kooperativem Verhalten auf der anderen Seite ermöglicht. Ein Vergleich mit den aus dem Stand der Technik bekannten Definitionen zeigt den Neuigkeitswert der entwickelten Definition. In ausgewählten Situationen wird die Definition in Simulationen angewandt.Critical situations involving multiple vehicles are rarely controlled by the associated drivers. This is one reason for the remaining number of accidents which could possibly be prevented or at least mitigated with jointly planned and conducted driving maneuvers. This potential is addressed in the dissertation at hand by developing a prototypical cooperative driver assistance and safety system coordinating multiple vehicles cooperatively using vehicle-to-vehicle-communication. In this context, three research questions reflect challenges on the road towards such a system. The research questions deal with defining a cooperative behavior, creating a method allowing to allocate coordinative tasks (task coordination), and generating a method enabling to plan joint cooperative maneuvers (maneuver coordination). Regarding the proposed research questions, a systematic literature review reveals the state-of-the-art which is first presented in an overview and afterwards used to derive open issues. The result is that the three research questions remain relevant and unanswered. In order to define cooperative behavior, properties are identified and categorized in sufficient and necessary conditions. An additional consideration of reciprocity enables the derivation of a definition of cooperative behavior which aims to increase the total utility. Cooperative behavior may further be separated into rational-cooperative, altruistic-cooperative, and egoistic-cooperative behavior. A comparison with known definitions of the state-of-the-art demonstrates the innovation of the novel definition, which is applied in chosen situations

Ein Beitrag zur taktischen Verhaltensplanung für Fahrstreifenwechsel bei automatisierten Fahrzeugen

Automated driving within one lane is a fascinating experience. Yet, it is even more interesting to go a step ahead: Making automated lane changes without human driver interaction. This thesis presents a concept and implementation demonstrated in "Jack", the Audi A7 piloted driving concept vehicle. Given that automated driving is in the media every other day already, why is it still such a big issue to do tactical behavior planning for automated vehicles? It is one of the core areas where it is surprisingly obvious why humans are currently so much smarter than machines: Tactical driving behavior planning is a social task that requires cooperation, intention recognition, and complex situation assessment. Without complex cognitive capabilities in today's automated vehicles, it is core of this thesis to find simple algorithms that pretend intelligence in behavior planning. In fact, such behavior planning in automated driving is a constant trade-off between utility and risk: The vehicle has to balance value dimensions such as safety, legality, mobility, and additional aspects like creating user and third party satisfaction. This thesis provides a framework to boil down such abstract dimensions into a working implementation. Several of the foundations for this thesis were developed as part of the Stadtpilot project at TU Braunschweig. While there has been plenty of research on concepts being tested in perfect, simulated worlds only, the approaches in this thesis have been implemented and evaluated in real world traffic with uncertain and imperfect sensor data. The implementation has been tested, tweaked, and used in "Jack" for more than 50,000 km of automated driving in everyday traffic.Automatisiertes Fahren innerhalb eines Fahrstreifens ist eine faszinierende Erfahrung. Noch spannender ist es jedoch noch einen Schritt weiter zu gehen: Auch Fahrstreifenwechsel automatisiert auszuführen, ohne Interaktion mit einem Menschen als Fahrer. In dieser Dissertation wird hierfür ein Konzept und dessen Umsetzung in „Jack“ präsentiert, dem Audi A7 piloted driving concept Fahrzeug. Automatisiertes Fahren ist aktuell in den Medien in aller Munde. Warum ist es dennoch eine große Herausforderung taktische Verhaltensplanung für automatisierte Fahrzeuge wirklich umzusetzen? Es ist einer der Kernbereiche, in denen offensichtlich wird, warum Menschen aktuell Maschinen im Straßenverkehr noch weitaus überlegen sind: Taktische Verhaltensplanung ist eine soziale Aufgabe, welche Kooperation, das Erkennen von Absichten und der Bewertung komplexer Situationen bedarf. Mangels wirklicher kognitiver Fähigkeiten in den heutigen automatisierten Fahrzeugen ist es Kern dieser Dissertation Algorithmen zu finden, welche zumindest den Eindruck intelligenter Verhaltensplanung erzeugen. Eine solche Verhaltensplanung ist ein permanentes Abwägen von Nutzen und Risiken. Das Fahrzeug muss permanent Entscheidungen im Spannungsfeld zwischen Sicherheit, Legalität, Mobilität und weiten Aspekten wie Nutzerzufriedenheit und Zufriedenheit Dritter treffen. In dieser Dissertation wird ein Konzept entwickelt, um solche abstrakten Entscheidungsdimensionen in ein implementierbares Konzept herunterzubrechen. Viele Grundlagen dafür wurden im Rahmen des Stadtpilot Projekts der TU Braunschweig erarbeitet. In vorausgehenden Arbeiten wurden bereits viele Ansätze entwickelt und auf Basis von perfekten, simulierten Daten evaluiert. Der in dieser Arbeit präsentierte Ansatz ist in der Lage mit unsicherheits- und fehlerbehafteten Messdaten umzugehen. Der Ansatz aus dieser Dissertation wurde in dem automatisiert fahrenden Fahrzeug „Jack“ implementiert und bereits über 50.000 km im normalen Straßenverkehr genutzt und getestet