Cooperative Localization under Limited Connectivity

We report two decentralized multi-agent cooperative localization algorithms in which, to reduce the communication cost, inter-agent state estimate correlations are not maintained but accounted for implicitly. In our first algorithm, to guarantee filter consistency, we account for unknown inter-agent correlations via an upper bound on the joint covariance matrix of the agents. In the second method, we use an optimization framework to estimate the unknown inter-agent cross-covariance matrix. In our algorithms, each agent localizes itself in a global coordinate frame using a local filter driven by local dead reckoning and occasional absolute measurement updates, and opportunistically corrects its pose estimate whenever it can obtain relative measurements with respect to other mobile agents. To process any relative measurement, only the agent taken the measurement and the agent the measurement is taken from need to communicate with each other. Consequently, our algorithms are decentralized algorithms that do not impose restrictive network-wide connectivity condition. Moreover, we make no assumptions about the type of agents or relative measurements. We demonstrate our algorithms in simulation and a robotic~experiment.Comment: 9 pages, 5 figure

A decentralized motion coordination strategy for dynamic target tracking

This paper presents a decentralized motion planning algorithm for the distributed sensing of a noisy dynamical process by multiple cooperating mobile sensor agents. This problem is motivated by localization and tracking tasks of dynamic targets. Our gradient-descent method is based on a cost function that measures the overall quality of sensing. We also investigate the role of imperfect communication between sensor agents in this framework, and examine the trade-offs in performance between sensing and communication. Simulations illustrate the basic characteristics of the algorithms

Automotive sensor fusion systems for traffic aware adaptive cruise control

The autonomous driving (AD) industry is advancing at a rapid pace. New sensing technology for tracking vehicles, controlling vehicle behavior, and communicating with infrastructure are being added to commercial vehicles. These new automotive technologies reduce on road fatalities, improve ride quality, and improve vehicle fuel economy. This research explores two types of automotive sensor fusion systems: a novel radar/camera sensor fusion system using a long shortterm memory (LSTM) neural network (NN) to perform data fusion improving tracking capabilities in a simulated environment and a traditional radar/camera sensor fusion system that is deployed in Mississippi State’s entry in the EcoCAR Mobility Challenge (2019 Chevrolet Blazer) for an adaptive cruise control system (ACC) which functions in on-road applications. Along with vehicles, pedestrians, and cyclists, the sensor fusion system deployed in the 2019 Chevrolet Blazer uses vehicle-to-everything (V2X) communication to communicate with infrastructure such as traffic lights to optimize and autonomously control vehicle acceleration through a connected corrido

Co-Fusion: Real-time Segmentation, Tracking and Fusion of Multiple Objects

In this paper we introduce Co-Fusion, a dense SLAM system that takes a live stream of RGB-D images as input and segments the scene into different objects (using either motion or semantic cues) while simultaneously tracking and reconstructing their 3D shape in real time. We use a multiple model fitting approach where each object can move independently from the background and still be effectively tracked and its shape fused over time using only the information from pixels associated with that object label. Previous attempts to deal with dynamic scenes have typically considered moving regions as outliers, and consequently do not model their shape or track their motion over time. In contrast, we enable the robot to maintain 3D models for each of the segmented objects and to improve them over time through fusion. As a result, our system can enable a robot to maintain a scene description at the object level which has the potential to allow interactions with its working environment; even in the case of dynamic scenes.Comment: International Conference on Robotics and Automation (ICRA) 2017, http://visual.cs.ucl.ac.uk/pubs/cofusion, https://github.com/martinruenz/co-fusio

Distributed Estimation Using Partial Knowledge about Correlated Estimation Errors

Sensornetzwerke werden in vielen verschiedenen Anwendungen, z. B. zur Überwachung des Flugraumes oder zur Lokalisierung in Innenräumen eingesetzt. Dabei werden Sensoren häufig räumlich verteilt, um eine möglichst gute Abdeckung des zu beobachtenden Prozesses zu ermöglichen. Sowohl der Prozess als auch die Sensormessungen unterliegen stochastischem Rauschen. Daher wird oftmals eine Zustandsschätzung, z. B. durch ein Kalmanfilter durchgeführt, welcher die Unsicherheiten aus dem Prozess- und Messmodel systematisch berücksichtigt. Die Kooperation der individuellen Sensorknoten erlaubt eine verbesserte Schätzung des Systemzustandes des beobachteten Prozesses. Durch die lokale Verarbeitung der Sensordaten direkt in den Sensorknoten können Sensornetzwerke flexibel und modular entworfen werden und skalieren auch bei steigender Anzahl der Einzelkomponenten gut. Zusätzlich werden Sensornetzwerke dadurch robuster, da die Funktionsfähigkeit des Systems nicht von einem einzigen zentralen Knoten abhängt, der alle Sensordaten sammelt und verarbeitet. Ein Nachteil der verteilten Schätzung ist jedoch die Entstehung von korrelierten Schätzfehlern durch die lokale Verarbeitung in den Filtern. Diese Korrelationen müssen systematisch berücksichtigt werden, um genau und zuverlässig den Systemzustand zu schätzen. Dabei muss oftmals ein Kompromiss zwischen Schätzgenauigkeit und den begrenzt verfügbaren Ressourcen wie Bandbreite, Speicher und Energie gefunden werden. Eine zusätzliche Herausforderung sind unterschiedliche Netzwerktopologien sowie die Heterogenität lokaler Informationen und Filter, welche das Nachvollziehen der individuellen Verarbeitungsschritte innerhalb der Sensorknoten und der korrelierten Schätzfehler erschweren. Diese Dissertation beschäftigt sich mit der Fusion von Zustandsschätzungen verteilter Sensorknoten. Speziell wird betrachtet, wie korrelierte Schätzfehler entweder vollständig oder teilweise gelernt werden können, um eine präzisere und weniger unsichere fusionierte Zustandsschätzung zu erhalten. Um Wissen über korrelierte Schätzfehler zu erhalten, werden in dieser Arbeit sowohl analytische als auch simulations-basierte Ansätze verfolgt. Eine analytische Berechnung der Korrelationen zwischen Zustandsschätzungen ist möglich, wenn alle Verarbeitungsschritte und Parameter der lokalen Filter bekannt sind. Dadurch kann z. B. ein zentraler Fusionsknoten die die Korrelation zwischen den Schätzfehlern rekonstruieren. Dieses zentralisierte Vorgehen ist jedoch oft sehr aufwendig und benötigt entweder eine hohe Kommunikationsrate oder Vorwissen über die lokale Verarbeitungsschritte und Filterparameter. Daher wurden in den letzten Jahren zunehmend dezentrale Methoden zur Rekonstruktion von Korrelationen zwischen Zustandsschätzungen erforscht. In dieser Arbeit werden Methoden zur dezentralen Nachverfolgung und Rekonstruktion von korrelierten Schätzfehlern diskutiert und weiterentwickelt. Dabei basiert der erste Ansatz auf der Verwendung deterministischer Samples und der zweite auf der Wurzelzerlegung korrelierter Rauschkovarianzen. Um die Verwendbarkeit dieser Methoden zu steigern, werden mehrere wichtige Erweiterungen erarbeitet. Zum Einen schätzen verteilte Sensorknoten häufig den Zustand desselben Systems. Jedoch unterscheiden sie sich in ihrer lokalen Berechnung, indem sie unterschiedliche Zustandsraummodelle nutzen. Ein Beitrag dieser Arbeit ist daher die Verallgemeinerung dezentraler Methoden zur Nachverfolgung in unterschiedlichen (heterogenen) Zustandsräumen gleicher oder geringerer Dimension, die durch lineare Transformationen entstehen. Des Weiteren ist die Rekonstruktion begrenzt auf Systeme mit einem einzigen zentralen Fusionsknoten. Allerdings stellt die Abhängigkeit des Sensornetzwerkes von einem solchen zentralen Knoten einen Schwachpunkt dar, der im Fehlerfall zum vollständigen Ausfall des Netzes führen kann. Zudem verfügen viele Sensornetzwerke über komplexe und variierende Netzwerktopologien ohne zentralen Fusionsknoten. Daher ist eine weitere wichtige Errungenschaft dieser Dissertation die Erweiterung der Methodik auf die Rekonstruktion korrelierter Schätzfehler unabhängig von der genutzten Netzwerkstruktur. Ein Nachteil der erarbeiteten Algorithmen sind die wachsenden Anforderungen an Speicherung, Verarbeitung und Kommunikation der zusätzlichen Informationen, welche für die vollständige Rekonstruktion notwendig sind. Um diesen Mehraufwand zu begrenzen, wird ein Ansatz zur teilweisen Rekonstruktion korrelierter Schätzfehler erarbeitet. Das resultierende partielle Wissen über korrelierte Schätzfehler benötigt eine konservative Abschätzung der Unsicherheit, um genaue und zuverlässige Zustandsschätzungen zu erhalten. Es gibt jedoch Fälle, in denen keine Rekonstruktion der Korrelationen möglich ist oder es eine Menge an möglichen Korrelationen gibt. Dies ist zum Einen der Fall, wenn mehrere Systemmodelle möglich sind. Dies führt dann zu einer Menge möglicher korrelierter Schätzfehler, beispielsweise wenn die Anzahl der lokalen Verarbeitungsschritte bis zur Fusion ungewiss ist. Auf der anderen Seite ist eine Rekonstruktion auch nicht möglich, wenn die Systemparameter nicht bekannt sind oder die Rekonstruktion aufgrund von begrenzter Rechenleistung nicht ausgeführt werden kann. In diesem Fall kann ein Simulationsansatz verwendet werden, um die Korrelationen zu schätzen. In dieser Arbeit werden Ansätze zur Schätzung von Korrelationen zwischen Schätzfehlern basierend auf der Simulation des gesamten Systems erarbeitet. Des Weiteren werden Ansätze zur vollständigen und teilweisen Rekonstruktion einer Menge korrelierter Schätzfehler für mehrere mögliche Systemkonfigurationen entwickelt. Diese Mengen an Korrelationen benötigen entsprechende Berücksichtigung bei der Fusion der Zustandsschätzungen. Daher werden mehrere Ansätze zur konservativen Fusion analysiert und angewendet. Zuletzt wird ein Verfahren basierend auf Gaußmischdichten weiterentwickelt, dass die direkte Verwendung von Mengen an Korrelationen ermöglicht. Die in dieser Dissertation erforschten Methoden bieten sowohl Nutzern als auch Herstellern von verteilten Schätzsystemen einen Baukasten an möglichen Lösungen zur systematischen Behandlung von korrelierten Schätzfehlern. Abhängig von der Art und den Umfang des Wissens über Korrelationen, der Kommunikationsbandbreite sowie der gewünschten Qualität der fusionierten Schätzung kann eine Methode passgenau aus den beschriebenen Methoden zusammengesetzt und angewendet werden. Die somit geschlossene Lücke in der Literatur eröffnet neue Möglichkeiten für verteilte Sensorsysteme in verschiedenen Anwendungsgebieten