Attributierte Grammatiken zur Rekonstruktion und Interpretation von Fassaden

Dem Bedarf und Nutzen hoch detaillierter 3D-Stadt- und Gebäudemodelle steht deren aufwendige Erfassung gegenüber. Ist die automatische Ableitung vereinfachter Dachstrukturen aus Luftbildern oder Laseraltimetrie weitestgehend gelöst, so existieren für terrestrisch erfasste Daten nur erste Ansätze zur automatischen Rekonstruktion der Fassadenstruktur. Diese zielen zumeist auf die Interpretation großer, planarer Fassaden ab und reduzieren sie auf die regelmäßige Anordnung von Fenstern. Im Wesentlichen mangelt es daher sowohl an Verfahren zur Rekonstruktion weiterer Fassadenelemente wie Treppen oder Türen als auch an Methoden zur Interpretation heterogener, komplexer Fassaden mit Vorsprüngen, Erkern sowie einer geringen Anzahl von Fenstern. Die vorliegende Arbeit thematisiert die Interpretation von 3D-Punktwolkee, die mittels terrestrischem Laserscanning in urbanen Räumen erfasst wurden. Der Fokus liegt dabei auf 3D-Punktwolkee heterogener Fassaden, die sich durch eine geringe Breite sowie durch Vorsprünge und Erker auszeichnen. Das Ziel der Arbeit ist die Rekonstruktion und Interpretation von Fassaden durch einen Parser, der attributierte Grammatiken und robuste Schätzer kombiniert. Aufgrund der Generizität der verwendeten Attributgrammatiken ist die Schätzung von Modellen mit einer vorab unbekannten Anzahl von Parametern möglich und der Varianz der Objekte wird somit Rechnung getragen. Das vorgestellte Konzept zeichnet sich durch die starke Integration von Vorwissen aus. Es wird sowohl ein geometrisches als auch ein semantisches Modell von Fassaden aufgestellt und in die attributierte Grammatik überführt. Darüber hinaus werden Wahrscheinlichkeitsdichten der Form- und Lageparameter der betrachteten Fassadenteile aus gemessenen Daten geschätzt und in der attributierten Grammatik kodiert. Die entsprechenden a priori Wahrscheinlichkeiten sind wesentlicher Bestandteil des vorgestellten robusten Schätzverfahrens MOSAP sowie des Parsing-Algorithmusparse3d. Die Relationen zwischen einzelnen Fassadenteilen werden auf die Grammatik abgebildet, die somit zur Repräsentation der komplexen Strukturen dient und die Basis des Parsing-Algorithmus darstellt. Beginnend mit dem allgemeinsten Symbol werden durch parse3d iterativ Produktionsregeln angewendet und so Modellhypothesen in Form von Ableitungsbäumen erzeugt, von denen schließlich die Wahrscheinlichste gewählt wird. Die Selektion der abzuleitenden Symbole sowie der anzuwendenden Regeln basiert auf den a priori Wahrscheinlichkeiten sowie den Wahrscheinlichkeitsdichten, die aus Kontextinformation wie den Parametern bereits rekonstruierter Objekte oder Teilmengen der 3D-Punktwolkee geschätzt werden. Die Schnittstelle zwischen Grammatik und 3D-Punktwolke wird durch den robusten Schätzer MOSAP sowie die eingeführten Guards realisiert. Letztere bestimmen die Wahrscheinlichkeit einer Produktionsregel und ermöglichen so deren Selektion. Die Grammatiksymbole, die durch eine geringe Anzahl von Parametern geometrisch definiert sind, werden durch einen robusten Schätzer rekonstruiert. Es wird der Algorithmus MOSAP (Model Based Sampling and Prediction) eingeführt, der auf dem hypothesize-and-verify Paradigma basiert und sich durch das modellbasierte Sampling auszeichnet, in das Modellwissen in Form von Wahrscheinlichkeitsdichten der Form- und Lageparameter der zu bestimmenden Objekte eingebracht wird. Darüber hinaus wird die Prädiktionsgüte als neuartiges Kriterium zur Bewertung der Modellhypothesen eingeführt.Attribute Grammars for the Reconstruction and Interpretation of Facades The needs and benefits of highly detailed 3D city and building models is opposed to their expensive acquisition. Though the automatic derivation of simplified roof structures from aerial images or laser altimetry is mostly solved, only a few approaches for the automatic reconstruction of facade structures from terrestrial data were presented yet. Most of the existing work is on the interpretation of large, planar facades that are reduced to a regular arrangement of windows. Therefore, it lacks in both, the reconstruction of additional facade elements such as stairs or doors as well as methods for the interpretation of heterogeneous and complex facades with protrusions, oriels and only a small number of windows. This thesis deals with the interpretation of 3D point clouds that have been captured by terrestrial laser scanning of urban areas. The focus is on 3D point clouds of heterogeneous facades, that are characterized by their narrow width and by protrusions and oriels. The main contribution is the reconstruction and interpretation of facades by a parser that combines attribute grammars and robust estimators. Due to the generic attribute grammar the estimation of models with a previously unknown number of parameters is possible and the heterogeneity of the objects is thus considered. The concept is distinguished by the heavily integration of prior knowledge. The geometric and the semantic model of facades are defined and transferred to the attributed grammar. Furthermore, the probability densities of the shape and position parameters of the considered facade parts are estimated and incorporated in the attributed grammar. The corresponding a priori probabilities are essential for the presented robust estimator MOSAP and the parsing algorithm parse3d. The relations between single parts of a facade are mapped to the attribute grammar. Therefore, the grammar represents the complex structures of facades and constitutes the foundation of the parsing algorithm. Beginning with the most common symbol parse3d iteratively applies production rules and, thus, generates hypothesis represented by derivation trees. Finally the most likely derivation tree is selected. Both, the selection of the symbol to be derived and the selection of the production rule to be applied base on the a priori probabilities and the densities that are estimated from the context information like the parameters of already reconstructed objects or subsets of the 3D point cloud. The interface between the grammar and the 3D point clouds is realized by the robust estimator MOSAP and guards. The latter determine the likelihood of a production rule and, therefore, provide a selection criterion. The symbols of the grammar that are geometrically defined by a small set of parameters are reconstructed by a robust estimator. MOSAP (Model Based Sampling and Prediction) bases on the hypothesize-and-verify paradigm and is characterized by the model-based sampling strategy that takes advantage of the probability densities of the shape and position parameters of the objects to be reconstructed. Furthermore, MOSAP evaluates the hypothesis by the newly introduced 'goodness of prediction' criterion

Begriffliche Situationsanalyse aus Videodaten bei unvollständiger und fehlerhafter Information

Diese Arbeit beschäftigt sich mit der automatischen Erkennung komplexer Situationen in Bildfolgen im Videoüberwachungskontext. Bei der Behandlung von Daten aus natürlichen Umgebungen ergeben sich Schwierigkeiten. Diese Arbeit erweitert dazu den verwendeten Formalismus um die Behandlung von Unschärfe, fehlender Information und Komplexität, zeigt die Robustheit der Situationserkennung bei natürlichen Szenarien und stellt die generische Anwendbarkeit auch über Diskursbereichsgrenzen hinaus heraus

Realisierung nutzeradaptiven Interaktionsverhaltens für mobile Assistenzroboter

Im Zentrum dieser Dissertation steht die soziale Assistenzrobotik. In den letzten Jahren hat die Bedeutung dieses Teilgebietes der mobilen Robotik stark zugenommen und zusammen mit der Diversifizierung robotischer Fähigkeiten hat sich die Nutzergruppe hin zur breiten Masse mit potentiellen technischen Laien gewandelt. Aus dieser Situation heraus erwachsen an die Interaktionsfähigkeiten sozialer Assistenzroboter umfangreiche Anforderungen. Insbesondere stehen in dieser Arbeit die Multimodalität der Interaktion und die Anpassungsfähigkeiten an den konkreten Nutzer im Vordergrund. Am Beispiel eines Serviceroboters für die häusliche Gesundheitsassistenz, wie er in einem vom Autor mit bearbeiteten Forschungsprojekt realisiert wurde, wird zunächst der Analyse- und Entwurfsprozess für dessen Umsetzung geschildert. Im Anschluss daran wird gezeigt, wie sich aus der Systemspezifikation eine mehrschichtige Systemarchitektur ableiten lässt, welche auch auf andere Robotikanwendungen übertragbar ist. Der Fokus liegt dabei auf der modularen Realisierung einer Ablauf- und Dialogsteuerung. Um dem System eine Persönlichkeit zu geben und ein im Langzeiteinsatz akzeptierbares Dialogverhalten zu generieren, wurde ein frame-basierter Dialogmanager konzipiert und umgesetzt. Dabei wurden Aspekte wie Modularität durch ein App-Konzept, leichte Erweiterbarkeit und die Möglichkeit, nutzeradaptive Dialoge zu realisieren, berücksichtigt. Im Kern des vorgestellten Dialogsystems kommt eine gänzlich neue Methode der probabilistischen online-Planung von Dialogsequenzen zum Einsatz. Ein eigens konzipiertes Realweltexperiment konnte zeigen, dass es mit diesem System möglich ist, anhand von systeminternen aber auch nutzergetriebenen Bewertungen, das Dialogverhalten im Rahmen von durch den Designer vorgegebenen Freiheiten zur Laufzeit zu optimieren. Die Gestaltung des robotischen Gesundheitsassistenten wurde durch weitere Teilsysteme abgerundet. Unter diesen spielen verschiedene taktile Sensoriken und ein Emotionsmodell eine entscheidende Rolle für die Realisierung eines liebenswerten Begleiters. Letztendlich konnte in sehr erfolgreichen teils mehrtägigen Nutzerstudien mit Senioren die Praktikabilität des entwickelten Interaktionskonzepts und der Systemarchitektur nachgewiesen werden.The central topic of this thesis concerns social service robotics. In recent years this branch of mobile robotics in general has seen increasing interest. Due to increasing capabilities and growing fields of application of such robots, the group of potential users has changed. Unexperienced users raise extensive requirements regarding the interaction capabilities of such robots. The multi-modality of human-robot dialog and its adaptivity regarding user's preferences and needs are in the focus of this thesis. First, the analysis and specification process for such a system is explained by means of an example, which is a service robot for health assistance in home environments, as it has been developed in a research project at which the author participated. Following this, it is shown how a multi-layer system architecture is derived from that specification, which is applicable to other robotic applications as well. Though the main focus is on a modular realization for the control structures and the dialog handling. In order to enable a long term acceptability of such a system and to give it a personality, a frame-based dialog manager has been designed and is explained in detail. Aspects of interest there are modularity by means of an app-concept, extendablility, and adaptivity of the interaction skills regarding users' qirks and demands. In the core of the presented dialog system, there is a unique planning mechanism based on probabilistic reasoning in a factor graph model of the dialog going on. In a real world experiment it could be shown that this online learning concept is able to optimize dialog behavior regarding system internal as well as user driven reward signals. During the implementation of the health assistant robot further system components have been developed in order to realize a likeable companion. Among them, there are two kinds of tactile sensors and an emotion model, which are presented in this thesis as well. Finally, very successful real world user trials of the health assistant robot involving 9 elderly people are described to show that the presented concepts for system architecture and dialog modelling are viable

Automatische auflösungsabhängige Anpassung von Bildanalyse-Objektmodellen am Beispiel Straßen

[no abstract

Entwicklung und Gegenüberstellung von Methoden zur automatisierten Verifikation von ausführbaren Systemspezifikationen

Für die Entwicklung komplexer eingebetteter Systeme werden Techniken eingesetzt, die eine frühe Validierung der zu entwickelnden Systeme in Bezug auf funktionale Aspekte ermöglichen. Diese Techniken greifen in der Regel auf ausführbare Spezifikationsmodelle zurück. Eingebettete Systeme stellen meist auch Echtzeitsysteme dar. Dabei sind funktionale Anforderungen in der Regel zeitvariant, also zustandsabhängig und besitzen zeitliche Randbedingungen, so dass zeitliche und funktionale Aspekte gemeinsam betrachtet werden müssen. Für die Modellierung solcher ausführbaren Spezifikationen ist der Discrete-Event Formalismus besonders geeignet, da er eine vergleichsweise abstrakte parametrisierbare Beschreibung, unabhängig von Implementierungsdetails, ermöglicht. Für den systematischen Einsatz solcher Discrete-Event Modelle als ausführbare Spezifikationen, werden Methoden und Techniken zur Verifikation benötigt, um eine möglichst frühe Fehlererkennung bei der Systementwicklung zu ermöglichen.Gegenstand der Arbeit ist die Entwicklung und Gegenüberstellung von Methoden, die eine automatisierte Verifikation zeitbeschränkter funktionaler Eigenschaften in ausführbaren Spezifikation ermöglichen. Solche Methoden stehen für komplexe Multi-Domänen Modelle, wie sie in der Arbeit betrachtet werden, noch nicht zur Verfügung. Bei den Betrachtungen werden insbesondere die Spezifika der zugrunde liegenden Modelle und Eigenschaften sowie die möglichst automatisierte Anwendbarkeit der Verifikationsmethoden berücksichtigt.Ausgehend von grundlegenden Erwägungen werden zwei Anwendungsszenarien entwickelt, wobei im ersten Fall die vollständige formale Verifikation im Vordergrund steht und im zweiten Fall eine dynamische Überprüfung der Eigenschaften während der szenariobasierten Simulation favorisiert wird. Für die formale Verifikation wird ein Transformation-basierter Ansatz entwickelt, der eine Transformation des Verifikationsproblems in eine mathematische Beschreibung realisiert. Für die dynamische Überprüfung der Eigenschaften wird ein Assertion-basierter Ansatz benutzt, bei dem die geforderten Eigenschaften als temporallogische Formeln notiert werden. Es werden zur Prüfung der Eigenschaften unterschiedliche Techniken zur algorithmischen Auswertung bzw. zur symbolischen Cosimulation entwickelt.Beide Ansätze sind prototypisch für die Entwicklungsumgebung MLDesigner realisiert worden. Ausgehend von den Ergebnissen der Validierung werden Abschätzungen für das weitere Potential der Ansätze abgeleitet. Abschließend werden die Ansätze vergleichend gegenübergestellt und bewertet