Informationsgewinnung im cyberphysischen Produktionssystem

Im Fokus vieler industrieller Forschungsprojekte steht die intelligente Vernetzung von Entitäten im produktionstechnischen Umfeld. Im Rahmenkonzept Industrie 4.0 wird zum Wandel bestehender hierarchischer Betriebsstrukturen in ein cyberphysisches Produktionssystem beigetragen. Priorität haben Untersuchungen sensorischer Komponenten und deren Verkettung als Führungselement im zukünftigen Produktionsumfeld, welches durch Selbstanalyse, Selbstorganisation und Selbstoptimierung geprägt sein wird. Ziel des Hochschulprojektes (iSensPK) ist die Abwandlung bestehender Sensorkonzepte und deren Nutzbarmachung für das Internet der Dinge. Einen Schwerpunkt wird dabei insbesondere die Definition und Verknüpfung stabiler Kommunikationswege darstellen. Als Demonstrator erfolgt der Aufbau eines 6-Komponenten Kraftmesssystems zur Prüfung und Kalibrierung moderner Greifertechnologien unter Feldbedingungen. Durch die umfangreiche Vernetzung verschiedener Sensoren erfolgt die Erfassung von Störgrößen im Testumfeld. Das gewonnene Abbild der physischen Umgebung dient zur Korrektur der Kraftmessungsergebnisse. Für die Realisierung eines derartigen Kraftmess- und Umfelderfassungssystems wird in den sensorisch relevanten Bereichen der Kommunikation, Sensordatenfusion, Multifunktionsintegration und Selbstorganisation nach Lösungsansätzen gesucht.The main focus of different industrial R&D projects explores possible starting points for the intelligent interconnection of entities in a productional environment. Against a background of ‘Industrie 4.0‘, this contributes to a transformation of existing, hierarchical structures into a cyber physical production system. The focus here is on investigating sensor components and their interlinking as a main element in a future production environment which will be characterised by self-analysis, self-organisation and self-optimisation. The aim of the project iSensPK is to modify sensor concepts in being to facilitate their utilisation in the Internet of Things. Emphasis rests on defining and combining stable lines of communication. A demonstrator is set up, including a six-component force measuring system to enable inspecting and calibration of modern gripping technologies within field conditions. Through adequate linkage of different sensors, the capture of disturbance variables is made possible. The resulting image of the physical environments serves to readjust any measured force values. To implement such a force measuring and environment detecting system, sensorial relevant fields of communication, sensor data fusion, multifunctional integration and self-organisation are searched to conclude approaches to solutions

Probabilistic environment perception for driver assistance systems

Viele aktuelle Fahrerassistenzsysteme wie beispielsweise die adaptive Geschwindigkeitsregelung, Spurwechselassistenten und Systeme zur Anhaltewegverkürzung sind auf eine verlässliche Detektion anderer Verkehrsteilnehmer und Hindernisse angewiesen. Zukünftige Assistenzsysteme wie beispielsweise Systeme für das Automatische Fahren erhöhen diese Zuverlässigkeitsanforderung weiter. Die Dissertation befasst sich mit der statistisch genauen Bewertung von Objekthypothesen innerhalb einer Sensordatenfusion, welche aus Messdaten gewonnen wurden. Für jede Hypothese wird eine Wahrscheinlichkeit bestimmt, welche angibt, ob diese vom Fahrerassistenzsystem berücksichtigt werden muss. Hierbei werden widersprüchliche Messdaten systematisch in probabilistischen Modellen aufgelöst, wobei zur Approximation der Wahrscheinlichkeitsdichtefunktion geeignete Modelle aus dem Bereich des Maschinellen Lernens eingesetzt werden. Als Ergebnis erhält man einen Schätzer, der eine präzise Relevanzwahrscheinlichkeit für beliebige Objekthypothesen erzeugt, sodass das Fahrerassistenzsystem frühzeitig und angemessen auf ein aktuelles Umfeld reagieren kann. Neben dem Objekthypothesenmodell ist als zweiter Typ von Umfeldmodellen das Belegungsgitter verbreitet, welches den Raum um das Fahrzeug in Zellen diskretisiert. Die Messdaten werden mit den jeweiligen örtlich zugehörigen Zellen assoziiert und deren Zustand wird aktualisiert. Als Ergebnis erhält man eine Menge von Zellen mit unterschiedlichen Zuständen, die beispielsweise die Überfahrbarkeit repräsentieren. Die Dissertation entwickelt formale Eigenschaften, die Fusions- und Abfragealgorithmen aufweisen müssen, um eine statistisch belastbare Aussage über die Befahrbarkeit eines aus vielen Zellen bestehenden Korridors liefern zu können. Zusätzlich werden exemplarische Algorithmen entwickelt, die diese Eigenschaften berücksichtigen und somit eine präzisere Schätzung als bekannte Ansätze erlauben.Many of today's driver assistance systems, like adaptive cruise control, lane change assistant or collision avoidance and mitigation systems require a reliable perception of other traffic participants and obstacles. Future driver assistance systems like automatic driving will further increase the requirement of a reliable environment perception. This thesis deals with the validation of object hypotheses that are generated on the base of measurements inside a sensor data fusion software. A statistically accurate probability of each object hypothesis is generated, which indicates if it should be considered by the driver assistance system. Contradictory data will be resolved systematically using probabilistic models. To approximate the underlying probabilistic density function, proper Machine Learning algorithms are used. As a result, an estimator can be presented that generates a accurate relevance probability for every object hypothesis. Driver assistance systems can now react more early and more adequately to the current environment. Beside the object model, a second type of environment model is common: The occupancy grid discretises the space around the vehicle into cells, in which each of them contains a cell state. These cell states are updated with measurements that can be associated with the cell's position. As a result, a set of cell states is generated that may represent, for instance, their trafficability. To provide a trafficability estimation of a corridor consisting of many cells, formal mathematical standards are developed. These standards must be considered from both fusion and query algorithms to perform a statistically correct estimation. Additionally, exemplary algorithms with these features are developed which can do a more accurate estimation than common approaches

Fahrzeugsystemtechnik im Projekt Stadtpilot am Beispiel der Architektur der Objekt basierten Sensordatenfusion

In der heutigen Zeit werden Fahrzeugprojekte immer komplexer. Fast jedes Subsystem benötigt Informationen von Anderen, um seine Funktion erfüllen zu können. Dies sorgt für einen höheren Abstimmungs- und Planungsaufwand. Fahrzeugsystemtechnik bietet hier eine Möglichkeit Komplexität beherrschbar zu machen. In diesem Vortrag wird kurz auf Fahrzeugsystemtechnik im Allgemeinen und anschließend auf den Zusammenhang mit dem Projekt Stadtpilot eingegangen. Am Beispiel eines Subsystems wird darauf folgend die Architektur des objektbasierten Sensordatenfusion des Projekts vorgestellt

Ein Kontur schätzendes Kalmanfilter mithilfe der Evidentheorie

Im Projekt Stadtpilot wurde die im Urban Challenge Team CarOLO der TU Braunschweig eingesetzte objektbasierte Umfeldwahrnehmung weiterentwickelt. Bedingt durch das veränderte Szenario wurde der Einsatzbereich des Versuchsträgers von abgesperrten Testgeländen in den öffentlichen Straßenverkehr verlagert. In dieser veränderten Umgebung werden Fremdfahrzeuge von den eingesetzten Sensoren durch einen offenen Polygonzug (Kontur) mit einer Vielzahl von Stützpunkten beschrieben. Teilweise liegen sie auf Geraden oder bilden das Rauschen der Kontur ab und leisten so keinen Beitrag zur Beschreibung der Kontur. Diese überflüssigen Punkte erschweren ein erfolgreiches Tracking und verzerren die Kontur der Objekthypothese. Aufgrund des zahlreichen Fremdverkehrs, bedingt durch die Veränderung des Umfelds, treten ferner häufig Perspektivwechsel durch überholende und überholte Fahrzeuge auf. Aus diesem Grund erfahren einzelne Stützpunkte der Kontur keine weiteren Aktualisierungen durch Messungen und können so ebenfalls zu Verzerrungen der Kontur führen. Um diesen Problemen zu begegnen, wurde das Kontur schätzende Kalmanfilter um verbesserte Konturaktualisierungen sowie einen Konturklassifikator auf Basis der Evidenztheorie erweitert. Diese Verbesserungen ermöglichen eine Reduzierung der verwendeten Stützpunkte. Ferner werden Perspektivwechsel von überholenden Fahrzeugen besser unterstützt, da diese durch den Klassifikator explizit erkannt werden.In project Stadtpilot, described in, the object based environment perception system developed by the urban challenge team CarOLO at TU-Braunschweig, as presented in, was enhanced. In this new project context, the scenario is further complicated to include public traffic on large inner-city loops. Other vehicles are described by the projects sensor data fusion by an open polyline (contour) with lots of points. Partially, these points lie on straight lines or represent noise of the contour, which do not contribute to the objects description. These extra points complicate an effective tracking and deform the contour of the object hypothesis. Because of the numerous traffic and due to the change in the environment’s type, surrounded vehicles create a change of view very often. This results in no or less measurement updates of some points in the contour and can result in deformation of the contour. In an effort to overcome this problem, the contour estimating Kalman filter, presented in, was enhanced by improved point update algorithms as well as a contour classifier based upon evidence theory. These enhancements allow the decrease of the used points. Changes of view, due to passing traffic, are better identified because the classifier identifies the most likely shape explicitly

Softwarearchitektur der gitterbasierten Sensordatenfusion des Projekts Stadtpilot

In den letzten Jahren hat sich die gitterbasierte Sensordatenfusion im Forschungsumfeld der Fahrerassistenz immer mehr etabliert. Beschrieben wird das Umfeld eines Fahrzeugs dabei durch eine fahrzeug-, orts- oder objektfeste Gitterstruktur (Grid). Jede Zelle dieses Gitters enthält einen Zustandsvektor wie beispielsweise eine Information über die Wahrscheinlichkeit der Befahrbarkeit einer Zelle (Occupancy Grid) oder einen Höhenwert (Height Map). Bedingt durch die lückenlose flächige Struktur kann die gridbasierte Fusion gegenüber der schon länger genutzten objektbasierten Sensordatenfusion nicht nur Wissen über die Existenz von Hindernissen im Fahrzeugumfeld, sondern über den gesamten Erfassungsbereich des Grids abbilden. Insbesondere die Informationen über die so bekannten Freibereiche können beispielsweise von einer Bahnplanung genutzt werden, um kollisionsfreie Bahnen zu ermitteln. Ziel des Projektes Stadtpilot ist die vollständige automatische Fahrt auf dem Braunschweiger Stadtring. Eine gitterbasierte Sensordatenfusion soll in diesem Fall genutzt werden, die Bahn des Testträgers um statische Hindernisse herum zu planen. Zur maschinellen Wahrnehmung der Umgebung werden hierzu unterschiedliche Lasersensoren eingesetzt und mithilfe der Bayes-Rule-Of-Combination fusioniert. Auf Basis der aufgestellten Architektur können flexibel gitterbasierte Umfeldwahrnehmungen zusammengestellt werden. Diese können, durch die einheitlichen Schnittstellen, in unterschiedlichen Projekten und Versuchsträgern eingesetzt werden. Durch die erreichte Modularität lassen sich einzelne Algorithmen innerhalb der Fusionsebene austauschen, was die Erprobung von unterschiedlichen Ansätzen erheblich vereinfacht. Im Rahmen des Beitrags werden wir detailliert auf die einzelnen Schnittstellen innerhalb und zwischen den Ebenen sowie die Modularität eingehen und aufzeigen, wie eine große Bandbreite an unterschiedlichen gitterbasierten Sensordatenfusionen mit der Architektur abgedeckt wird

Environmental perception using Multi Sensor Data Fusion in Urban Environments

In den letzten Jahren habe sich moderne Fahrerassiszentsysteme immer mehr zu Alleinstellungsmerkmalen von Automobilen entwickelt. Einem Großteil der Systeme ist gemein, dass sie zur Erfüllung ihrer Aufgabe die Fahrzeugumgebung wahrnehmen müssen. Durch den Einsatz von Sensordatenfusionssystemen lassen sich Sensoren unterschiedlicher Systeme kombinieren und so Schwächen in den Messdaten ausgleichen. Im Rahmen dieser Dissertation wird eine Softwarearchitektur vorgestellt welche aus einer Domänenarchitektur und projektunabhängigen Anforderungen abgeleitet wurde. Diese wird im Folgenden aus statischer und dynamischer Sicht beschrieben und dient als Grundlage für eine Realisierung im Projekt Stadtpilot. Das Projekt Stadtpilot an der TU Braunschweig hat sich zum Ziel gesetzt, teilautomatisches Fahren im innerstädtischen Bereich auf dem Braunschweiger Stadtring mit realem Verkehr umzusetzen. Die eingesetze Sensordatenfusion teilt sich in die Bereiche objekthypothesenbasierte und gitterbasierte Fusion. Die objekthypothesenbasierte Fusion setzt ein neuartiges konturschätzendes Kalman Filter um. Dabei passt sich das Objekthypothesenmodell den aktuellen Messungen der Sensoren an und beschreibt eine Objekthypothese immer mit der minimal notwendigen Anzahl an Stützpunkten. Der gitterbasierte Fusionsteil bildet eine Fusion mithilfe des binären Bayesfilters ab. Dabei werden die Daten auf drei Arten ausgewertet. Zunächst werden die aktuellen Messbereiche der Sensoren bestimmt. Das zweite Verfahren bestimmt Fahrbahnverengungen wie sie durch parkende Fahrzeuge vorkommen. Der letzte Verfahren konstruiert Objekthypothesen aus der Gitterdatenstruktur. Hierzu kommt ein innovatives 2D-Split-and-Merge-Verfahren zum Einsatz. Abgeschlossen wird die Dissertation durch Auswertungen von Messdaten.Recently, the development of modern innovative driver assistance systems gained an emerging interest in the automotive industry. Most of these systems perceive the vehicle's environment to fulfill their task. By using sensor data fusion systems, sensors of different systems can be combinded and the overall system becomes more reliable. In this PhD thesis, a software architecture for defining environmental perception systems is described which is derived from a domain architecture and project specific requirements. Afterward, the static and the dynamic views of the software architecture are discussed. This provides the basis for the architecture's realization in the project Stadtpilot. The Stadtpilot-project is dedicated to semi-autonomous driving in urban environments with real world traffic. The used sensor data fusion of the vehicle's environmental perception systems consists of a grid-based as well as a object hypotheses-based sensor data fusion system. The object hypotheses-based data fusion contains a new contour classifying Kalman-filter. This filter can adapt its object hypothesis model to the data of the perception sensors. This way, the filter describes different object hypotheses with the minimal necessary contour point count. The grid-based data fusion contains a binary Bayes-filter. Three different algorithms with different goals process the grid-based fusion's data. The first algorithm detects areas that can currently not be measured by the sensors. The second algorithm sense lane constrictions by parking vehicles, as they occur in inner-city environments very often. The third algorithm is developed to create object hypotheses of static objects from grid based data. The newly developed algorithm is based on the split-and-merge-algorithm family from the robotics domain. In addition to the research work done in this thesis, it is enriched by an assessment of the defined requirements and presented algorithms

Konzepte, Methoden und Anwendungen zur Analyse und Optimierung von eingebetteten Inertialsensorsubsystemen bei menschlicher Interaktion

Inertialsensoren spielen eine zentrale Rolle bei der Umsetzung von Anwendungen für die Interaktion zwischen Nutzer:Innen und eingebetteten Systemen. Dazu zählen Gestensteuerung, virtuelle Realität sowie Indoor-Navigation. Diese Dissertationsschrift stellt Arbeiten vor, mit denen es auf einfache Weise und ohne externe Hilfsmittel möglich ist, die Qualität der Inertialsensoren und der Sensordatenfusion zu bewerten. Die Arbeiten umfassen Bewertungsmethoden für Smartphone-Sensoren, Untersuchungen von Sensorfusionsalgorithmen sowie Methoden zur Augmentation von Sensordaten und Debugging.Inertial sensors play an important role in the implementation of applications for interaction between users and embedded systems. These include methods such as gesture control, virtual reality and indoor navigation. This dissertation paper presents work that makes it possible to evaluate the quality of inertial sensors and fusion of sensor data in a simple way and without external tools. The works include evaluation methods for smartphone sensors, investigations of sensor fusion algorithms, and methods for sensor data augmentation and debugging

Evidenzkarten-basierte Sensorfusion zur Umfelderkennung und Interpretation in der Ernte

Korthals T, Skiba A, Krause T, Jungeblut T. Evidenzkarten-basierte Sensorfusion zur Umfelderkennung und Interpretation in der Ernte. In: Ruckelshausen A, Meyer-Aurich A, Rath T, Recke G, Theuvsen B, eds. Informatik in der Land-, Forst- und Ernährungswirtschaft - Intelligente Systeme - Stand der Technik und neue Möglichkeiten. 2016: 97-100