La percepción como muestreo estocástico en grafos dinámicos

Esta tesis estudia y desarrolla técnicas novedosas que permiten a los robots percibir apropiadamente el entorno de forma autónoma. Para conseguir esto es posible y conveniente usar la información del entorno de la que se disponga. Generalmente, dicha información queda plasmada en el código del robot como construcciones if-then-else difíciles de entender cuando el mundo del robot es considerablemente complejo. Se propone el uso de “Active Grammar-based Modeling” (AGM), una técnica desarrollada dentro de la tesis, que usa descripciones de muy alto nivel que permiten al desarrollador obtener más flexibilidad y escalabilidad, así como reducir el tiempo de desarrollo y la cantidad de errores que se cometen al programar los robots. La solución propuesta pasa por describir la gramática del entorno en un lenguaje específico de dominio que posteriormente se traduce a PDDL, permitiendo usar así planificadores de Inteligencia Artificial clásicos para decidir qué ha de hacer el robot para cumplir sus objetivos y comprobar que las modificaciones que el robot hace al modelo del entorno son válidas de acuerdo a la gramática. Además, AGM permite coordinar fácilmente diferentes filtros de partículas para su ejecución simultánea, pudiendo además elegir distintos filtros de partículas dependiendo del contexto en el que el robot se encuentre, optimizando así el sistema perceptivo de los robots. Además de dicha técnica la tesis presenta diferentes algoritmos usados dentro de AGM, así como varios experimentos relacionados con el modelado activo de entornos de interior usando cámaras RGBD.This thesis develops and studies novel techniques that allow robots to properly model their environments autonomously. For this purpose it is possible and feasible to use all the available information that robots can use. Generally this information results in if-then-else constructs that are hard to understand then the environments of the robots are considerably complex. It is proposed to use “Active Grammar-based Modeling” (AGM), a new technique developed within this thesis. It uses very high-level descriptions that allow developers to achieve higher flexibility and scalability, as well as reducing the development time and the amount of programming errors. The solution consists on describing the grammar of the environment using a domain-specific language that is compiled into PDDL, allowing AGM-based systems to use classic AI planners to decide what robots should do to achieve their goales and incrementally verify that the model generated is valid according to the grammar described. Moreover, AGM can coordinate different particle filters so they can work simultaneously, allowing to choose the most appropriate filters depending on the context. This enhances the accuracy and effectivenes of the perceptual systems of the robots Along AGM, this thesis also presents the different algorithms used by AGM, as well as different experiment related to active indoor modeling using RGBD cameras

Visual Tracking of Human Hand and Head Movements and Its Applications

Tracking of human body movements is an important problem in computer vision with applications in visual surveillance and human-computer interaction. Tracking of a single hand moving in space is addressed and a set of applications in human computer interaction are presented. In this approach, a disparity map and motion fields extracted from a stereo camera set are modelled using a robust estimation method. Then, the absolute position and orientation of the hand in space are estimated and the central region of the hand is tracked over time. Virtual drawing in space, a virtual marble game, and 3D object construction are shown as the applications of the single hand tracking. Algorithms are presented for tracking the hands and head of a person or several interacting people viewed by a set of cameras in 3D. The problem is first defined as a general multiple object tracking problem in a multiple sensor environment and a two layered solution is proposed. The proposed solution includes a low level particle filtering layer to track individual targets in parallel, and a finite state machine to analyze the interactions between the targets and apply application specific heuristics. A set of activity recognition experiments in visual surveillance show the usefulness of the system. The recognized activities involve interactions between the hands and head of people and objects. A color analysis scheme and a technique for combining information from different cameras are presented. They are used to detect carried objects and exchanges between the hands

Proceedings of the 2009 Joint Workshop of Fraunhofer IOSB and Institute for Anthropomatics, Vision and Fusion Laboratory

The joint workshop of the Fraunhofer Institute of Optronics, System Technologies and Image Exploitation IOSB, Karlsruhe, and the Vision and Fusion Laboratory (Institute for Anthropomatics, Karlsruhe Institute of Technology (KIT)), is organized annually since 2005 with the aim to report on the latest research and development findings of the doctoral students of both institutions. This book provides a collection of 16 technical reports on the research results presented on the 2009 workshop

LiDAR-Based Object Tracking and Shape Estimation

Umfeldwahrnehmung stellt eine Grundvoraussetzung für den sicheren und komfortablen Betrieb automatisierter Fahrzeuge dar. Insbesondere bewegte Verkehrsteilnehmer in der unmittelbaren Fahrzeugumgebung haben dabei große Auswirkungen auf die Wahl einer angemessenen Fahrstrategie. Dies macht ein System zur Objektwahrnehmung notwendig, welches eine robuste und präzise Zustandsschätzung der Fremdfahrzeugbewegung und -geometrie zur Verfügung stellt. Im Kontext des automatisierten Fahrens hat sich das Box-Geometriemodell über die Zeit als Quasistandard durchgesetzt. Allerdings stellt die Box aufgrund der ständig steigenden Anforderungen an Wahrnehmungssysteme inzwischen häufig eine unerwünscht grobe Approximation der tatsächlichen Geometrie anderer Verkehrsteilnehmer dar. Dies motiviert einen Übergang zu genaueren Formrepräsentationen. In der vorliegenden Arbeit wird daher ein probabilistisches Verfahren zur gleichzeitigen Schätzung von starrer Objektform und -bewegung mittels Messdaten eines LiDAR-Sensors vorgestellt. Der Vergleich dreier Freiform-Geometriemodelle mit verschiedenen Detaillierungsgraden (Polygonzug, Dreiecksnetz und Surfel Map) gegenüber dem einfachen Boxmodell zeigt, dass die Reduktion von Modellierungsfehlern in der Objektgeometrie eine robustere und präzisere Parameterschätzung von Objektzuständen ermöglicht. Darüber hinaus können automatisierte Fahrfunktionen, wie beispielsweise ein Park- oder Ausweichassistent, von einem genaueren Wissen über die Fremdobjektform profitieren. Es existieren zwei Einflussgrößen, welche die Auswahl einer angemessenen Formrepräsentation maßgeblich beeinflussen sollten: Beobachtbarkeit (Welchen Detaillierungsgrad lässt die Sensorspezifikation theoretisch zu?) und Modell-Adäquatheit (Wie gut bildet das gegebene Modell die tatsächlichen Beobachtungen ab?). Auf Basis dieser Einflussgrößen wird in der vorliegenden Arbeit eine Strategie zur Modellauswahl vorgestellt, die zur Laufzeit adaptiv das am besten geeignete Formmodell bestimmt. Während die Mehrzahl der Algorithmen zur LiDAR-basierten Objektverfolgung ausschließlich auf Punktmessungen zurückgreift, werden in der vorliegenden Arbeit zwei weitere Arten von Messungen vorgeschlagen: Information über den vermessenen Freiraum wird verwendet, um über Bereiche zu schlussfolgern, welche nicht von Objektgeometrie belegt sein können. Des Weiteren werden LiDAR-Intensitäten einbezogen, um markante Merkmale wie Nummernschilder und Retroreflektoren zu detektieren und über die Zeit zu verfolgen. Eine ausführliche Auswertung auf über 1,5 Stunden von aufgezeichneten Fremdfahrzeugtrajektorien im urbanen Bereich und auf der Autobahn zeigen, dass eine präzise Modellierung der Objektoberfläche die Bewegungsschätzung um bis zu 30%-40% verbessern kann. Darüber hinaus wird gezeigt, dass die vorgestellten Methoden konsistente und hochpräzise Rekonstruktionen von Objektgeometrien generieren können, welche die häufig signifikante Überapproximation durch das einfache Boxmodell vermeiden

Proceedings of the 2011 Joint Workshop of Fraunhofer IOSB and Institute for Anthropomatics, Vision and Fusion Laboratory

This book is a collection of 15 reviewed technical reports summarizing the presentations at the 2011 Joint Workshop of Fraunhofer IOSB and Institute for Anthropomatics, Vision and Fusion Laboratory. The covered topics include image processing, optical signal processing, visual inspection, pattern recognition and classification, human-machine interaction, world and situation modeling, autonomous system localization and mapping, information fusion, and trust propagation in sensor networks

Particle Filtering Methods for Subcellular Motion Analysis

Advances in fluorescent probing and microscopic imaging technology have revolutionized biology in the past decade and have opened the door for studying subcellular dynamical processes. However, accurate and reproducible methods for processing and analyzing the images acquired for such studies are still lacking. Since manual image analysis is time consuming, potentially inaccurate, and poorly reproducible, many biologically highly relevant questions are either left unaddressed, or are answered with great uncertainty. The subject of this thesis is particle filtering methods and their application for multiple object tracking in different biological imaging applications. Particle filtering is a technique for implementing recursive Bayesian filtering by Monte Carlo sampling. A fundamental concept behind the Bayesian approach for performing inference is the possibility to encode the information about the imaging system, possible noise sources, and the system dynamics in terms of probability density functions. In this thesis, a set of novel PF based metho