High-Level Facade Image Interpretation using Marked Point Processes

In this thesis, we address facade image interpretation as one essential ingredient for the generation of high-detailed, semantic meaningful, three-dimensional city-models. Given a single rectified facade image, we detect relevant facade objects such as windows, entrances, and balconies, which yield a description of the image in terms of accurate position and size of these objects. Urban digital three-dimensional reconstruction and documentation is an active area of research with several potential applications, e.g., in the area of digital mapping for navigation, urban planning, emergency management, disaster control or the entertainment industry. A detailed building model which is not just a geometric object enriched with texture, allows for semantic requests as the number of floors or the location of balconies and entrances. Facade image interpretation is one essential step in order to yield such models. In this thesis, we propose the interpretation of facade images by combining evidence for the occurrence of individual object classes which we derive from data, and prior knowledge which guides the image interpretation in its entirety. We present a three-step procedure which generates features that are suited to describe relevant objects, learns a representation that is suited for object detection, and that enables the image interpretation using the results of object detection while incorporating prior knowledge about typical configurations of facade objects, which we learn from training data. According to these three sub-tasks, our major achievements are: We propose a novel method for facade image interpretation based on a marked point process. Therefor, we develop a model for the description of typical configurations of facade objects and propose an image interpretation system which combines evidence derived from data and prior knowledge about typical configurations of facade objects. In order to generate evidence from data, we propose a feature type which we call shapelets. They are scale invariant and provide large distinctiveness for facade objects. Segments of lines, arcs, and ellipses serve as basic features for the generation of shapelets. Therefor, we propose a novel line simplification approach which approximates given pixel-chains by a sequence of lines, circular, and elliptical arcs. Among others, it is based on an adaption to Douglas-Peucker's algorithm, which is based on circles as basic geometric elements We evaluate each step separately. We show the effects of polyline segmentation and simplification on several images with comparable good or even better results, referring to a state-of-the-art algorithm, which proves their large distinctiveness for facade objects. Using shapelets we provide a reasonable classification performance on a challenging dataset, including intra-class variations, clutter, and scale changes. Finally, we show promising results for the facade interpretation system on several datasets and provide a qualitative evaluation which demonstrates the capability of complete and accurate detection of facade objectsHigh-Level Interpretation von Fassaden-Bildern unter Benutzung von Markierten PunktprozessenDas Thema dieser Arbeit ist die Interpretation von Fassadenbildern als wesentlicher Beitrag zur Erstellung hoch detaillierter, semantisch reichhaltiger dreidimensionaler Stadtmodelle. In rektifizierten Einzelaufnahmen von Fassaden detektieren wir relevante Objekte wie Fenster, Türen und Balkone, um daraus eine Bildinterpretation in Form von präzisen Positionen und Größen dieser Objekte abzuleiten. Die digitale dreidimensionale Rekonstruktion urbaner Regionen ist ein aktives Forschungsfeld mit zahlreichen Anwendungen, beispielsweise der Herstellung digitaler Kartenwerke für Navigation, Stadtplanung, Notfallmanagement, Katastrophenschutz oder die Unterhaltungsindustrie. Detaillierte Gebäudemodelle, die nicht nur als geometrische Objekte repräsentiert und durch eine geeignete Textur visuell ansprechend dargestellt werden, erlauben semantische Anfragen, wie beispielsweise nach der Anzahl der Geschosse oder der Position der Balkone oder Eingänge. Die semantische Interpretation von Fassadenbildern ist ein wesentlicher Schritt für die Erzeugung solcher Modelle. In der vorliegenden Arbeit lösen wir diese Aufgabe, indem wir aus Daten abgeleitete Evidenz für das Vorkommen einzelner Objekte mit Vorwissen kombinieren, das die Analyse der gesamten Bildinterpretation steuert. Wir präsentieren dafür ein dreistufiges Verfahren: Wir erzeugen Bildmerkmale, die für die Beschreibung der relevanten Objekte geeignet sind. Wir lernen, auf Basis abgeleiteter Merkmale, eine Repräsentation dieser Objekte. Schließlich realisieren wir die Bildinterpretation basierend auf der zuvor gelernten Repräsentation und dem Vorwissen über typische Konfigurationen von Fassadenobjekten, welches wir aus Trainingsdaten ableiten. Wir leisten dazu die folgenden wissenschaftlichen Beiträge: Wir schlagen eine neuartige Me-thode zur Interpretation von Fassadenbildern vor, die einen sogenannten markierten Punktprozess verwendet. Dafür entwickeln wir ein Modell zur Beschreibung typischer Konfigurationen von Fassadenobjekten und entwickeln ein Bildinterpretationssystem, welches aus Daten abgeleitete Evidenz und a priori Wissen über typische Fassadenkonfigurationen kombiniert. Für die Erzeugung der Evidenz stellen wir Merkmale vor, die wir Shapelets nennen und die skaleninvariant und durch eine ausgesprochene Distinktivität im Bezug auf Fassadenobjekte gekennzeichnet sind. Als Basismerkmale für die Erzeugung der Shapelets dienen Linien-, Kreis- und Ellipsensegmente. Dafür stellen wir eine neuartige Methode zur Vereinfachung von Liniensegmenten vor, die eine Pixelkette durch eine Sequenz von geraden Linienstücken und elliptischen Bogensegmenten approximiert. Diese basiert unter anderem auf einer Adaption des Douglas-Peucker Algorithmus, die anstelle gerader Linienstücke, Bogensegmente als geometrische Basiselemente verwendet. Wir evaluieren jeden dieser drei Teilschritte separat. Wir zeigen Ergebnisse der Liniensegmen-tierung anhand verschiedener Bilder und weisen dabei vergleichbare und teilweise verbesserte Ergebnisse im Vergleich zu bestehende Verfahren nach. Für die vorgeschlagenen Shapelets weisen wir in der Evaluation ihre diskriminativen Eigenschaften im Bezug auf Fassadenobjekte nach. Wir erzeugen auf einem anspruchsvollen Datensatz von skalenvariablen Fassadenobjekten, mit starker Variabilität der Erscheinung innerhalb der Klassen, vielversprechende Klassifikationsergebnisse, die die Verwendbarkeit der gelernten Shapelets für die weitere Interpretation belegen. Schließlich zeigen wir Ergebnisse der Interpretation der Fassadenstruktur anhand verschiedener Datensätze. Die qualitative Evaluation demonstriert die Fähigkeit des vorgeschlagenen Lösungsansatzes zur vollständigen und präzisen Detektion der genannten Fassadenobjekte

Ocean Eddy Identification and Tracking using Neural Networks

Global climate change plays an essential role in our daily life. Mesoscale ocean eddies have a significant impact on global warming, since they affect the ocean dynamics, the energy as well as the mass transports of ocean circulation. From satellite altimetry we can derive high-resolution, global maps containing ocean signals with dominating coherent eddy structures. The aim of this study is the development and evaluation of a deep-learning based approach for the analysis of eddies. In detail, we develop an eddy identification and tracking framework with two different approaches that are mainly based on feature learning with convolutional neural networks. Furthermore, state-of-the-art image processing tools and object tracking methods are used to support the eddy tracking. In contrast to previous methods, our framework is able to learn a representation of the data in which eddies can be detected and tracked in more objective and robust way. We show the detection and tracking results on sea level anomalies (SLA) data from the area of Australia and the East Australia current, and compare our two eddy detection and tracking approaches to identify the most robust and objective method.Comment: accepted for International Geoscience and Remote Sensing Symposium 201

Die unspezifische bronchiale Provokation mit Methacholin

C. Wenzel1, P. Brand2, C. Herpich2, S. Häußermann2, T. Meyer2, B. Müllinger3, G. Scheuch3, K. Häußinger1 1 Asklepios Fachkliniken München-Gauting, Gauting 2 Inamed Research GmbH & Co. KG, Gauting 3 Activaero GmbH, Gemünden Abstract Einleitung: Die Verwendung von kontrollierten Atemmanövern bei der Inhalation von Medikamenten zeichnet sich durch eine hohe Dosis-Reproduzierbarkeit aus, die auch bei der Durchführung von bronchialen Provokationstests von Vorteil sein kann. Material und Methodik: In der vorliegenden Studie wurde bei 30 Probanden mit Atopie-Anamnese in einem cross-over Design je ein bronchialer Provokationstest mit Methacholin und dem Viasys-Jäger-APS sowie mit kontrollierter Inhalation (AKITA-System) (vorgegebenes Inhalationsvolumen und -fluss) durchgeführt. Gemessen wurde die Häufigkeit positiver Befunde im Studienkollektiv, wobei „positiv” entweder als 20 %-iger Abfall des FEV1, oder als 100 %-Anstieg des sRaw definiert war. Ergebnisse: Es zeigten sich keine signifikanten Unterschiede in der Prävalenz positiver Testergebnisse zwischen beiden Methoden: APS-FEV1 : 8, AKITA-FEV1 : 9; APS-sRaw: 18, AKITA-sRaw: 17. Es reagierten also erheblich mehr Personen mit einem 100 %-igen Anstieg des sRaw, als mit einem Abfall des FEV1. Allerdings hat sich gezeigt, dass zwischen den Ergebnissen der beiden Methoden Diskrepanzen bestehen. Nur in 25 (sRaw: 21) von 30 Fällen stimmte das Ergebnis (positiv oder negativ) zwischen beiden Methoden tatsächlich überein. Zusammenfassung: Trotz dieser Diskrepanzen kann gefolgert werden, dass das AKITA-System mit kontrollierter Inhalation von Methacholin eine Alternative zum APS-System darstellt

Predicting child problem behaviour at school age: The role of maternal sensitivity, child temperament and theory of mind

The present longitudinal study aims at investigating the interplay between child temperament, mother–child interaction quality and child Theory of Mind (ToM) at preschool age with regard to the development of child problem behavior at school age in 115 participants. Maternal sensitivity and child temperament were assessed when children were 4 years old. At 5 years of age, child ToM was assessed. At 8 years of age, child problem behavior was assessed. Results showed that child problem behavior was independently predicted by child temperamental negative affectivity and maternal sensitivity. The current study underlines the important role of both endogenous as well as exogenous factors for healthy child development

In conditions of limited chromophore supply rods entrap 11-cis-retinal leading to loss of cone function and cell death

RPE65 is a retinoid isomerase required for the production of 11-cis-retinal, the chromophore of both cone and rod visual pigments. We recently established an R91W knock-in mouse strain as homologous animal model for patients afflicted by this mutation in RPE65. These mice have impaired vision and can only synthesize minute amounts of 11-cis-retinal. Here, we investigated the consequences of this chromophore insufficiency on cone function and pathophysiology. We found that the R91W mutation caused cone opsin mislocalization and progressive geographic cone atrophy. Remnant visual function was mostly mediated by rods. Ablation of rod opsin corrected the localization of cone opsin and improved cone retinal function. Thus, our analyses indicate that under conditions of limited chromophore supply rods and cones compete for 11-cis-retinal that derives from regeneration pathway(s) which are reliant on RPE65. Due to their higher number and the instability of cone opsin, rods are privileged under this condition while cones suffer chromophore deficiency and degenerate. These findings reinforce the notion that in patients any effective gene therapy with RPE65 needs to target the cone-rich macula directly to locally restore the cones' chromophore supply outside the reach of rod