Extended Object Tracking: Introduction, Overview and Applications

This article provides an elaborate overview of current research in extended object tracking. We provide a clear definition of the extended object tracking problem and discuss its delimitation to other types of object tracking. Next, different aspects of extended object modelling are extensively discussed. Subsequently, we give a tutorial introduction to two basic and well used extended object tracking approaches - the random matrix approach and the Kalman filter-based approach for star-convex shapes. The next part treats the tracking of multiple extended objects and elaborates how the large number of feasible association hypotheses can be tackled using both Random Finite Set (RFS) and Non-RFS multi-object trackers. The article concludes with a summary of current applications, where four example applications involving camera, X-band radar, light detection and ranging (lidar), red-green-blue-depth (RGB-D) sensors are highlighted.Comment: 30 pages, 19 figure

Three-Dimensional Extended Object Tracking and Shape Learning Using Gaussian Processes

In this study, we investigate the problem of tracking objects with unknown shapes using three-dimensional (3D) point cloud data. We propose a Gaussian process-based model to jointly estimate object kinematics, including position, orientation and velocities, together with the shape of the object for online and offline applications. We describe the unknown shape by a radial function in 3D, and induce a correlation structure via a Gaussian process. Furthermore, we propose an efficient algorithm to reduce the computational complexity of working with 3D data. This is accomplished by casting the tracking problem into projection planes which are attached to the object's local frame. The resulting algorithms can process 3D point cloud data and accomplish tracking of a dynamic object. Furthermore, they provide analytical expressions for the representation of the object shape in 3D, together with confidence intervals. The confidence intervals, which quantify the uncertainty in the shape estimate, can later be used for solving the gating and association problems inherent in object tracking. The performance of the methods is demonstrated both on simulated and real data. The results are compared with an existing random matrix model, which is commonly used for extended object tracking in the literature

Tracking Extended Objects in Noisy Point Clouds with Application in Telepresence Systems

We discuss theory and application of extended object tracking. This task is challenging as sensor noise prevents a correct association of the measurements to their sources on the object, the shape itself might be unknown a priori, and due to occlusion effects, only parts of the object are visible at a given time. We propose an approach to track the parameters of arbitrary objects, which provides new solutions to the above challenges, and marks a significant advance to the state of the art

Simultaneous Tracking and Shape Estimation of Extended Objects

This work is concerned with the simultaneous tracking and shape estimation of a mobile extended object based on noisy sensor measurements. Novel methods are developed for coping with the following two main challenges: i) The computational complexity due to the nonlinearity and high-dimensionality of the problem and ii) the lack of statistical knowledge about possible measurement sources on the extended object

Random Matrix Based Extended Target Tracking with Orientation: A New Model and Inference

In this study, we propose a novel extended target tracking algorithm which is capable of representing the extent of dynamic objects as an ellipsoid with a time-varying orientation angle. A diagonal positive semi-definite matrix is defined to model objects' extent within the random matrix framework where the diagonal elements have inverse-Gamma priors. The resulting measurement equation is non-linear in the state variables, and it is not possible to find a closed-form analytical expression for the true posterior because of the absence of conjugacy. We use the variational Bayes technique to perform approximate inference, where the Kullback-Leibler divergence between the true and the approximate posterior is minimized by performing fixed-point iterations. The update equations are easy to implement, and the algorithm can be used in real-time tracking applications. We illustrate the performance of the method in simulations and experiments with real data. The proposed method outperforms the state-of-the-art methods when compared with respect to accuracy and robustness.Comment: 12 pages, 6 figures, submitted to IEEE TS

Tracking Extended Objects in Noisy Point Clouds with Application in Telepresence Systems

We discuss theory and application of extended object tracking. This task is challenging as sensor noise prevents a correct association of the measurements to their sources on the object, the shape itself might be unknown a priori, and due to occlusion effects, only parts of the object are visible at a given time. We propose an approach to track the parameters of arbitrary objects, which provides new solutions to the above challenges, and marks a significant advance to the state of the art

Tracking Extended Objects with Active Models and Negative Measurements

Extended object tracking deals with estimating the shape and pose of an object based on noisy point measurements. This task is not straightforward, as we may be faced with scarce low-quality measurements, little a priori information, or we may be unable to observe the entire target. This work aims to address these challenges by incorporating ideas from active contours and exploiting information from negative measurements, which tell us where the target cannot be

Tracking Extended Objects with Active Models and Negative Measurements

Beim Tracking von ausgedehnten Objekten (auf Englisch ‚extended object tracking‘, kurz EOT) geht es darum, die Form und Lage eines Zielobjekts anhand von verrauschten Punktmessungen zu schätzen. EOT wird traditionell zur Verfolgung von Großobjekten wie Flugzeugen, Schiffen, oder Autos verwendet. Allerdings ermöglichen Technologiefortschritte bei Tiefenkameras wie Microsoft Kinects mittlerweile sogar Laien, Punktwolken aus ihrer Umgebung aufzunehmen. Das stellt eine neue Herausforderung für EOT-Ansätze dar, die in modernen Anwendungen, wie z.B. Objektmanipulation in Augmented Reality oder in der Robotik, Zielobjekte mit vielen möglichen Formen anhand von Messungen unterschiedlicher Qualität verfolgen müssen. In diesem Kontext ist die Auswahl der Formmodelle ausschlaggebend, denn sie bestimmen, wie robust und leistungsfähig der Schätzer sein wird, was wiederum eine sorgfältige Betrachtung der Modalitäten und Qualität der verfügbaren Informationen erfordert. Solch ein Informationsparadigma kann als ein Spektrum visualisiert werden: auf der einen Seite, eine große Anzahl an genauen Messungen, und auf der anderen Seite, nur wenige verrauschte Beobachtungen. Allerdings haben sich die Verfahren in der Literatur traditionell auf einen schmalen Teil dieses Spektrums konzentriert. Einerseits assoziieren ‚gierige‘ Verfahren, die auf der Methode der kleinsten Quadrate basieren, Messungen mit der nächsten Quelle auf der Form. Diese Verfahren sind effizient und liefern sogar für komplizierte Formen akkurate Ergebnisse, allerdings nur solange das Messrauschen niedrig bliebt. Ansonsten kann nicht gewährleistet werden, dass der nächste Punkt immer noch eine passende Approximation der wahren Quelle ist, was zu verzerrten Ergebnissen führt. Andererseits sind probabilistische Modelle wie Raumverteilungen präzise für einfache Formen, sogar bei extrem hohem Messrauschen, allerdings werden sie schon für wenig komplexe Formen unlösbar oder numerisch instabil. Die Schwierigkeit besteht darin, dass in vielen modernen Trackingszenarien die Menge an verfügbarer Information sich drastisch mit der Zeit ändern kann. Das unterstreicht den Bedarf an Ansätzen, die nicht nur die Stärken beider Modelle kombinieren, sondern auch alle Bereiche des Spektrums und nicht nur dessen Grenzfälle abdecken können. Das Ziel dieser Arbeit ist es, diese Lücke zu füllen und somit die oben angesprochenen Herausforderungen zu lösen. Dazu schlagen wir vier Beiträge vor, die den aktuellen Stand der Technik signifikant erweitern. Zuerst schlagen wir Level-set Partial Information Models vor, einen probabilistischen Ansatz zur erwartungstreuen Formschätzung für Szenarien mit Verdeckungen und hohem Messrauschen. Zusätzlich führen wir Level-set Active Random Hypersurface Models ein, die von Konzepten aus EOT und Computervision inspiriert sind, eine flexible Formparametrisierung für konvexe und nicht-konvexe Formen ermöglichen, und die auch mit wenig Information umgehen können. Darüber hinaus machen Negative Information Models sogenannte ‚negative‘ Information nutzbar, indem Messungen verarbeitet werden, die uns sagen, wo das Zielobjekt nicht sein kann. Schließlich zeigen wir eine einfach zu implementierende Erweiterung von diesen Beiträgen, Extrusion Models, um dreidimensionale Objekte mit realen Sensordaten zu verfolgen

Nonlinear State Estimation Using Optimal Gaussian Sampling with Applications to Tracking

This thesis is concerned with the ubiquitous problem of estimating the hidden state of a discrete-time stochastic nonlinear dynamic system. The focus is on the derivation of new Gaussian state estimators and the improvement of existing approaches. Also the challenging task of distributed state estimation is addressed by proposing a sample-based fusion of local state estimates. The proposed estimation techniques are applied to extended object tracking