Entwicklung einer Multi-Sensor-Datenfusion für ein autonomes Straßenfahrzeug / Sebastian Ohl

In dieser Arbeit wurde ein System zur Wahrnehmung des Fahrzeugumfeldes im urbanen Gebiet entwickelt. Dieses wird im Rahmen des DARPA Urban Challenge von dem Team CarOLO eingesetzt. Die DARPA Urban Challenge ist ein Wettbewerb für autonome Fahrzeuge im Stadtverkehr. Die teilnehmenden PKWs müssen dabei Verkehrsregeln sowie andere Verkehrsteilnehmer berücksichtigen. Das als Versuchsträger verwendete Fahrzeug, ein 2006 VW Passat, wurde dazu mit Laserscanner-, Radar- und Infrarotsensoren ausgerüstet. Diese Sensorkonfiguration bietet die Möglichkeit, ein vollständiges Bild des Fahrzeugumfelds zu erstellen. Durch Überschneidung der Sensorbereiche können die redundanten Messdaten genutzt werden, um eine wirksame Plausibilisierung der Sensormessdaten durchzuführen und so Falschdetektionen zu minimieren. Diese Eigenschaft ist von erheblicher Bedeutung, da im Vergleich zu Sensorkonzepten für die Autobahn sehr viel mehr ungewollte Objekte, beispielsweise durch Senken oder Hügel, von den Sensoren wahrgenommen werden. Aktuelle Fahrerassistenzsysteme zielen eher auf außerstädtische Umgebungen, etwa im Rahmen des ACC, ab. Bei einer Ausweitung des Einsatzgebietes auf urbane Umgebungen ist eine weitaus komplexere Umfelderfassung vonnöten. Für ein Umfelderkennungssystem im urbanen Gebiet spielt, bedingt durch die vergleichsweise geringen Geschwindigkeiten, das nahe Umfeld um das Fahrzeug eine sehr bedeutende Rolle. Dieses muss neben dem Wissen über die Existenz von Hindernissen auch Informationen über die genauen Konturen der Objekte enthalten. Die in dieser Arbeit entwickelte Sensor-Daten-Fusion ermöglicht es, mehrere Sensorobjekte von verschiedenen Sensoren zu Konturen zusammenzufassen sowie die durch Laserscanner gewonnen Konturinformationen zu verwerten und mit Hilfe eines Extended Kalmanfilter zu tracken. Auf diese Weise kann das Fahrzeug sich in einem urbanen Umfeld mit höchster Genauigkeit bewegen. Ein weiterer Schwerpunkt bei der Entwicklung dieses Systems ist das Softwaredesign. Die Grundlage der Architektur dieser Software stellt das Pipes and Filters Muster dar. Es stellt durch die strikte Trennung von Datenkanälen und Verarbeitungsstufen eine größtmögliche Flexibilität zur Verfügung. Auf diese Weise ist es möglich, weitere Sensortypen durch Vorverarbeitungsstufen mit wenig Aufwand an die interne Datenrepräsentation anzupassen, ohne die anderen Verarbeitungsstufen zu verändern. Um den hohen Durchsatz von Sensorobjekten verarbeiten zu können ist ein intelligentes Speicherkonzept der verfolgten Objekte nötig. Zu diesem Zweck wurde eine objektorientierte Datenbank entwickelt, die den Zugriff von allen Stufen der Software optimal unterstützt. Die hier entwickelte Sensor-Daten-Fusion stellt einen real funktionierenden Ansatz für die Umfelderkennung der nächsten Generation dar. Durch die Genauigkeit und modulare Struktur kann sie weiter entwickelt und in andere Systeme integriert werden

Environmental perception using Multi Sensor Data Fusion in Urban Environments

In den letzten Jahren habe sich moderne Fahrerassiszentsysteme immer mehr zu Alleinstellungsmerkmalen von Automobilen entwickelt. Einem Großteil der Systeme ist gemein, dass sie zur Erfüllung ihrer Aufgabe die Fahrzeugumgebung wahrnehmen müssen. Durch den Einsatz von Sensordatenfusionssystemen lassen sich Sensoren unterschiedlicher Systeme kombinieren und so Schwächen in den Messdaten ausgleichen. Im Rahmen dieser Dissertation wird eine Softwarearchitektur vorgestellt welche aus einer Domänenarchitektur und projektunabhängigen Anforderungen abgeleitet wurde. Diese wird im Folgenden aus statischer und dynamischer Sicht beschrieben und dient als Grundlage für eine Realisierung im Projekt Stadtpilot. Das Projekt Stadtpilot an der TU Braunschweig hat sich zum Ziel gesetzt, teilautomatisches Fahren im innerstädtischen Bereich auf dem Braunschweiger Stadtring mit realem Verkehr umzusetzen. Die eingesetze Sensordatenfusion teilt sich in die Bereiche objekthypothesenbasierte und gitterbasierte Fusion. Die objekthypothesenbasierte Fusion setzt ein neuartiges konturschätzendes Kalman Filter um. Dabei passt sich das Objekthypothesenmodell den aktuellen Messungen der Sensoren an und beschreibt eine Objekthypothese immer mit der minimal notwendigen Anzahl an Stützpunkten. Der gitterbasierte Fusionsteil bildet eine Fusion mithilfe des binären Bayesfilters ab. Dabei werden die Daten auf drei Arten ausgewertet. Zunächst werden die aktuellen Messbereiche der Sensoren bestimmt. Das zweite Verfahren bestimmt Fahrbahnverengungen wie sie durch parkende Fahrzeuge vorkommen. Der letzte Verfahren konstruiert Objekthypothesen aus der Gitterdatenstruktur. Hierzu kommt ein innovatives 2D-Split-and-Merge-Verfahren zum Einsatz. Abgeschlossen wird die Dissertation durch Auswertungen von Messdaten.Recently, the development of modern innovative driver assistance systems gained an emerging interest in the automotive industry. Most of these systems perceive the vehicle's environment to fulfill their task. By using sensor data fusion systems, sensors of different systems can be combinded and the overall system becomes more reliable. In this PhD thesis, a software architecture for defining environmental perception systems is described which is derived from a domain architecture and project specific requirements. Afterward, the static and the dynamic views of the software architecture are discussed. This provides the basis for the architecture's realization in the project Stadtpilot. The Stadtpilot-project is dedicated to semi-autonomous driving in urban environments with real world traffic. The used sensor data fusion of the vehicle's environmental perception systems consists of a grid-based as well as a object hypotheses-based sensor data fusion system. The object hypotheses-based data fusion contains a new contour classifying Kalman-filter. This filter can adapt its object hypothesis model to the data of the perception sensors. This way, the filter describes different object hypotheses with the minimal necessary contour point count. The grid-based data fusion contains a binary Bayes-filter. Three different algorithms with different goals process the grid-based fusion's data. The first algorithm detects areas that can currently not be measured by the sensors. The second algorithm sense lane constrictions by parking vehicles, as they occur in inner-city environments very often. The third algorithm is developed to create object hypotheses of static objects from grid based data. The newly developed algorithm is based on the split-and-merge-algorithm family from the robotics domain. In addition to the research work done in this thesis, it is enriched by an assessment of the defined requirements and presented algorithms

Inquiry-based learning on climate change in upper secondary education: a design-based approach

Education is of great importance in the context of climate change, as it can promote pro-environmental behaviour. However, climate change education is accompanied by didactic and pedagogical challenges because, among other reasons, climate change is a complex phenomenon and many people have a psychological distance to the topic. A promising approach to face these challenges is inquiry-based learning (IBL), as several studies show. To date, however, there are barely any empirically tested instructional designs, especially for close-to-science IBL, focusing on climate change. The study presented here therefore addresses the question of how a science propaedeutic seminar for upper secondary schools on the regional implications of climate change should be designed to ensure successful learning processes. Based on the design-based research approach, qualitative research methods (focus group discussions, semi-standardised written teacher surveys, and participant observations) were used to identify target-oriented design guidelines and implementation principles for such seminars. In the seminars, 769 students have so far researched different aspects of climate change in their own regions. The identified design guidelines and implementation principles were further operationalised for teaching practice, so that the research generated both a contribution to theory building and an applicable concept for schools

Fahrzeugsystemtechnik im Projekt Stadtpilot am Beispiel der Architektur der Objekt basierten Sensordatenfusion

In der heutigen Zeit werden Fahrzeugprojekte immer komplexer. Fast jedes Subsystem benötigt Informationen von Anderen, um seine Funktion erfüllen zu können. Dies sorgt für einen höheren Abstimmungs- und Planungsaufwand. Fahrzeugsystemtechnik bietet hier eine Möglichkeit Komplexität beherrschbar zu machen. In diesem Vortrag wird kurz auf Fahrzeugsystemtechnik im Allgemeinen und anschließend auf den Zusammenhang mit dem Projekt Stadtpilot eingegangen. Am Beispiel eines Subsystems wird darauf folgend die Architektur des objektbasierten Sensordatenfusion des Projekts vorgestellt

Entwicklung einer Software Produktlinie zur flexiblen Erstellung von Umfeldwahrnehmungssystemen

Der Trend zu komplexeren und gleichzeitig flexiblen Fahrerassistenzsystemen stellt neue Anforderungen an die maschinelle Umfeldwahrnehmung. Ein breites Spektrum an Sensoren und die Unterstützung vieler unterschiedlicher Applikationstypen, je nach Fahrzeug, macht die Entwicklung und Wartung von Umfeldwahrnehmungen aufwändig und erhöht dadurch die Entwicklungskosten signifikant. Dieser Beitrag stellt eine Anwendung des Software Produktlinien Ansatzes für in unterschiedlichen Projekten einsetzbare Umfeldwahrnehmungen vor, um Komplexität und Wartung beherrschbar zu machen. Bei der Abbildung der Umfeldwahrnehmung als Software Produktlinie wird das System in unabhängig entwickelbare Komponenten (Core-Assets) aufgeteilt. Jedes dieser Core-Assets enthält seinen eigenen Entwicklungsprozess und bleibt damit beherrschbar. Für jede Anwendung wird eine spezielle Kombination daraus gebildet. So dass nicht eine in jeder Applikation einsetzbare Umfeldwahrnehmung, sondern eine spezielles Ausprägung für jede Anwendung erstellt wird. Durch Regeln bei der Zusammenstellung und automatische Blackbox-Testfälle wird sicher gestellt, dass mit jedem neuen Release eines Core-Assets alle Applikationen automatisch eine neue Version der Umfeldwahrnehmung erhalten. So können Bugfixes oder neue Features unmittelbar in alte Produkte einfließen und führen somit zu kürzeren Produktzyklen und geringeren Wartungskosten. Zur Erzeugung einer für eine Applikation optimalen Umfeldwahrnehmung ist eine Kombination verschiedener Core-Assets nötig. Mit Hilfe von Bewertungsmetriken für Umfeldwahrnehmungsalgorithmen, Randbedingungen hinsichtlich Rechenleistung und verfügbarer Sensorik sowie den Anforderungen der Applikation lässt sich auf diesem Weg für jede Anwendung eine Umfeldwahrnehmung kombinieren. Ferner kann mit Hilfe der eingesetzten Metriken die zu erwartende Qualität des Systems bereits vor dem Einsatz eingeschätzt werden

Ein Kontur schätzendes Kalmanfilter mithilfe der Evidentheorie

Im Projekt Stadtpilot wurde die im Urban Challenge Team CarOLO der TU Braunschweig eingesetzte objektbasierte Umfeldwahrnehmung weiterentwickelt. Bedingt durch das veränderte Szenario wurde der Einsatzbereich des Versuchsträgers von abgesperrten Testgeländen in den öffentlichen Straßenverkehr verlagert. In dieser veränderten Umgebung werden Fremdfahrzeuge von den eingesetzten Sensoren durch einen offenen Polygonzug (Kontur) mit einer Vielzahl von Stützpunkten beschrieben. Teilweise liegen sie auf Geraden oder bilden das Rauschen der Kontur ab und leisten so keinen Beitrag zur Beschreibung der Kontur. Diese überflüssigen Punkte erschweren ein erfolgreiches Tracking und verzerren die Kontur der Objekthypothese. Aufgrund des zahlreichen Fremdverkehrs, bedingt durch die Veränderung des Umfelds, treten ferner häufig Perspektivwechsel durch überholende und überholte Fahrzeuge auf. Aus diesem Grund erfahren einzelne Stützpunkte der Kontur keine weiteren Aktualisierungen durch Messungen und können so ebenfalls zu Verzerrungen der Kontur führen. Um diesen Problemen zu begegnen, wurde das Kontur schätzende Kalmanfilter um verbesserte Konturaktualisierungen sowie einen Konturklassifikator auf Basis der Evidenztheorie erweitert. Diese Verbesserungen ermöglichen eine Reduzierung der verwendeten Stützpunkte. Ferner werden Perspektivwechsel von überholenden Fahrzeugen besser unterstützt, da diese durch den Klassifikator explizit erkannt werden.In project Stadtpilot, described in, the object based environment perception system developed by the urban challenge team CarOLO at TU-Braunschweig, as presented in, was enhanced. In this new project context, the scenario is further complicated to include public traffic on large inner-city loops. Other vehicles are described by the projects sensor data fusion by an open polyline (contour) with lots of points. Partially, these points lie on straight lines or represent noise of the contour, which do not contribute to the objects description. These extra points complicate an effective tracking and deform the contour of the object hypothesis. Because of the numerous traffic and due to the change in the environment’s type, surrounded vehicles create a change of view very often. This results in no or less measurement updates of some points in the contour and can result in deformation of the contour. In an effort to overcome this problem, the contour estimating Kalman filter, presented in, was enhanced by improved point update algorithms as well as a contour classifier based upon evidence theory. These enhancements allow the decrease of the used points. Changes of view, due to passing traffic, are better identified because the classifier identifies the most likely shape explicitly

A Contour Classifying Kalman Filter Based On Evidence Theory / Sebastian Ohl and Markus Maurer

In the project Stadtpilot, introduced in Nothdurft (2011), the object based environment perception system developed by the urban challenge team CarOLO at Technische Universität Braunschweig, as presented in Rauskolb (2008), has been enhanced. The context of this new project is more challenging as now because it includes public traffic on large inner-city loops. Other vehicles are described by the project's sensor data fusion by an open polyline (contour) with many points. Some of these points lie on straight lines or they represent noise of the contour which do not contribute to the object's description. These extra points complicate an effective tracking and deform the contour of the object hypothesis. Because of the numerous traffic and due to the change in the environment’s type, surrounded vehicles very often create a change of view. This results in no or less measurement updates of some points in the contour and can result in its deformation. In an effort to overcome this problem, the contour estimating Kalman filter, presented in Effertz (2009), has been enhanced by improved point update algorithms as well as a contour classifier based upon evidence theory. These enhancements allow the decrease of the used points. Changes of view, due to passing traffic, are better identified because the classifier identifies the most likely shape explicitly

Autonomes Fahren im Straßenbetriebsdienst auf Autobahnen / Sebastian Ohl, Markus Maurer, Katharina Häusler, Christian Holldorb

In diesem Beitrag werden Einsatzmöglichkeiten für autonome Fahrzeuge im Straßenbetriebsdienst diskutiert. Vorgestellt werden dabei zwei unterschiedliche Ausbaustufen mit verschiedenen Einsatzszenarien. Die Systeme wurden nach dem "Systematischen Entwurf für Fahrerassistenzsysteme" entwickelt. Die Motivation zur Entwicklung und zum Einsatz von autonomen Straßenfahrzeugen im Straßenbetriebsdienst liegt in der Erhöhung der Arbeitssicherheit für die Mitarbeiter. Mögliche Einsatzbereiche stellen hierbei vor allem die Regelpläne D III 2a/3b/7 den Richtlinien für die Sicherung von Arbeitsstellen an Straßen dar. Diese beschäftigen sich auch mit mobilen Arbeitsstellen, welche durch Absperr- und Vorwarnfahrzeuge abgesichert werden

Softwarearchitektur der gitterbasierten Sensordatenfusion des Projekts Stadtpilot

In den letzten Jahren hat sich die gitterbasierte Sensordatenfusion im Forschungsumfeld der Fahrerassistenz immer mehr etabliert. Beschrieben wird das Umfeld eines Fahrzeugs dabei durch eine fahrzeug-, orts- oder objektfeste Gitterstruktur (Grid). Jede Zelle dieses Gitters enthält einen Zustandsvektor wie beispielsweise eine Information über die Wahrscheinlichkeit der Befahrbarkeit einer Zelle (Occupancy Grid) oder einen Höhenwert (Height Map). Bedingt durch die lückenlose flächige Struktur kann die gridbasierte Fusion gegenüber der schon länger genutzten objektbasierten Sensordatenfusion nicht nur Wissen über die Existenz von Hindernissen im Fahrzeugumfeld, sondern über den gesamten Erfassungsbereich des Grids abbilden. Insbesondere die Informationen über die so bekannten Freibereiche können beispielsweise von einer Bahnplanung genutzt werden, um kollisionsfreie Bahnen zu ermitteln. Ziel des Projektes Stadtpilot ist die vollständige automatische Fahrt auf dem Braunschweiger Stadtring. Eine gitterbasierte Sensordatenfusion soll in diesem Fall genutzt werden, die Bahn des Testträgers um statische Hindernisse herum zu planen. Zur maschinellen Wahrnehmung der Umgebung werden hierzu unterschiedliche Lasersensoren eingesetzt und mithilfe der Bayes-Rule-Of-Combination fusioniert. Auf Basis der aufgestellten Architektur können flexibel gitterbasierte Umfeldwahrnehmungen zusammengestellt werden. Diese können, durch die einheitlichen Schnittstellen, in unterschiedlichen Projekten und Versuchsträgern eingesetzt werden. Durch die erreichte Modularität lassen sich einzelne Algorithmen innerhalb der Fusionsebene austauschen, was die Erprobung von unterschiedlichen Ansätzen erheblich vereinfacht. Im Rahmen des Beitrags werden wir detailliert auf die einzelnen Schnittstellen innerhalb und zwischen den Ebenen sowie die Modularität eingehen und aufzeigen, wie eine große Bandbreite an unterschiedlichen gitterbasierten Sensordatenfusionen mit der Architektur abgedeckt wird