VISUAL SEMANTIC SEGMENTATION AND ITS APPLICATIONS

This dissertation addresses the difficulties of semantic segmentation when dealing with an extensive collection of images and 3D point clouds. Due to the ubiquity of digital cameras that help capture the world around us, as well as the advanced scanning techniques that are able to record 3D replicas of real cities, the sheer amount of visual data available presents many opportunities for both academic research and industrial applications. But the mere quantity of data also poses a tremendous challenge. In particular, the problem of distilling useful information from such a large repository of visual data has attracted ongoing interests in the fields of computer vision and data mining. Structural Semantics are fundamental to understanding both natural and man-made objects. Buildings, for example, are like languages in that they are made up of repeated structures or patterns that can be captured in images. In order to find these recurring patterns in images, I present an unsupervised frequent visual pattern mining approach that goes beyond co-location to identify spatially coherent visual patterns, regardless of their shape, size, locations and orientation. First, my approach categorizes visual items from scale-invariant image primitives with similar appearance using a suite of polynomial-time algorithms that have been designed to identify consistent structural associations among visual items, representing frequent visual patterns. After detecting repetitive image patterns, I use unsupervised and automatic segmentation of the identified patterns to generate more semantically meaningful representations. The underlying assumption is that pixels capturing the same portion of image patterns are visually consistent, while pixels that come from different backdrops are usually inconsistent. I further extend this approach to perform automatic segmentation of foreground objects from an Internet photo collection of landmark locations. New scanning technologies have successfully advanced the digital acquisition of large-scale urban landscapes. In addressing semantic segmentation and reconstruction of this data using LiDAR point clouds and geo-registered images of large-scale residential areas, I develop a complete system that simultaneously uses classification and segmentation methods to first identify different object categories and then apply category-specific reconstruction techniques to create visually pleasing and complete scene models

Cloud geometry for passive remote sensing

An important cause for disagreements between current climate models is lack of understanding of cloud processes. In order to test and improve the assumptions of such models, detailed and large scale observations of clouds are necessary. Passive remote sensing methods are well-established to obtain cloud properties over a large observation area in a short period of time. In case of the visible to near infrared part of the electromagnetic spectrum, a quick measurement process is achieved by using the sun as high-intensity light source to illuminate a cloud scene and by taking simultaneous measurements on all pixels of an imaging sensor. As the sun as light source can not be controlled, it is not possible to measure the time light travels from source to cloud to sensor, which is how active remote sensing determines distance information. But active light sources do not provide enough radiant energy to illuminate a large scene, which would be required to observe it in an instance. Thus passive imaging remains an important remote sensing method. Distance information and accordingly cloud surface location information is nonetheless crucial information: cloud fraction and cloud optical thickness largely determines the cloud radiative effect and cloud height primarily influences a cloud's influence on the Earth's thermal radiation budget. In combination with ever increasing spatial resolution of passive remote sensing methods, accurate cloud surface location information becomes more important, as the largest source of retrieval uncertainties at this spatial scale, influences of 3D radiative transfer effects, can be reduced using this information. This work shows how the missing location information is derived from passive remote sensing. Using all sensors of the improved hyperspectral and polarization resolving imaging system specMACS, a unified dataset, including classical hyperspectral measurements as well as cloud surface location information and derived properties, is created. This thesis shows how RGB cameras are used to accurately derive cloud surface geometry using stereo techniques, complementing the passive remote sensing of cloud microphysics on board the German High-Altitude Long-Range research aircraft (HALO). Measured surface locations are processed into a connected surface representation, which in turn is used to assign height and location to other passive remote sensing observations. Furthermore, cloud surface orientation and a geometric shadow mask are derived, supplementing microphysical retrieval methods. The final system is able to accurately map visible cloud surfaces while flying above cloud fields. The impact of the new geometry information on microphysical retrieval uncertainty is studied using theoretical radiative transfer simulations and measurements. It is found that in some cases, information about surface orientation allows to improve classical cloud microphysical retrieval methods. Furthermore, surface information helps to identify measurement regions where a good microphysical retrieval quality is expected. By excluding likely biased regions, the overall microphysical retrieval uncertainty can be reduced. Additionally, using the same instrument payload and based on knowledge of the 3D cloud surface, new approaches for the retrieval of cloud droplet radius exploiting measurements of parts of the polarized angular scattering phase function become possible. The necessary setup and improvements of the hyperspectral and polarization resolving measurement system specMACS, which have been developed throughout four airborne field campaigns using the HALO research aircraft are introduced in this thesis.Ein wichtiger Grund für Unterschiede zwischen aktuellen Klimamodellen sind nicht ausreichend verstandene Wolkenprozesse. Um die zugrundeliegenden Annahmen dieser Modelle zu testen und zu verbessern ist es notwendig detaillierte und großskalige Beobachtungen von Wolken durch zu führen. Methoden der passiven Fernerkundung haben sich für die schnelle Erfassung von Wolkeneigenschaften in einem großen Beobachtungsgebiet etabliert. Für den sichtbaren bis nahinfraroten Bereich des elektromagnetischen Spektrums kann eine schnelle Messung erreicht werden, in dem die Sonne als starke Lichtquelle genutzt wird und die Wolkenszene durch simultane Messung über alle Pixel eines Bildsensors erfasst wird. Da die Sonne als Lichtquelle nicht gesteuert werden kann, ist es nicht möglich die Zeit zu messen die von einem Lichtstrahl für den Weg von der Quelle zur Wolke und zum Sensor benötigt wird, so wie es bei aktiven Verfahren zur Distanzbestimmung üblich ist. Allerdings können aktive Lichtquellen nicht genügend Energie bereitstellen um eine große Szene gut genug zu beleuchten um diese Szene in einem kurzen Augenblick vollständig zu erfassen. Aus diesem Grund werden passive bildgebende Verfahren weiterhin eine wichtige Methode zur Fernerkundung bleiben. Trotzdem ist der Abstand zur beobachteten Wolke und damit der Ort der Wolke eine entscheidende Information: Wolkenbedeckungsgrad und die optische Dicke einer Wolke bestimmen einen Großteil des Strahlungseffektes von Wolken und die Höhe der Wolken ist der Haupteinflussfaktor von Wolken auf die thermische Strahlungsbilanz der Erde. Einhergehend mit der weiterhin zunehmenden Auflösung von passiven Fernerkundungsmethoden werden genaue Informationen über den Ort von Wolkenoberflächen immer wichtiger. Dreidimensionale Strahlungstransporteffekte werden auf kleineren räumlichen Skalen zum dominierenden Faktor für Fehler in Messverfahren für Wolkenmikrophysik. Dieser Einfluss auf die Messverfahren kann durch die Nutzung von Informationen über die Lage der Wolken reduziert und die Ergebnisse somit verbessert werden. Diese Arbeit zeigt, wie die fehlenden Ortsinformationen aus passiven Fernerkundungsmethoden gewonnen werden können. Damit kann ein vereinheitlichter Datensatz aller Sensoren des verbesserten specMACS-Systems für hyperspektrale und polarisationsaufgelöste Bilderfassung erstellt werden, in dem außer den gemessenen Strahlungsdichten auch die Positionen der beobachteten Wolkenoberflächen und daraus abgeleitete Größen enthalten sind. In dieser Arbeit wird gezeigt, wie RGB-Kameras genutzt werden, um mit Hilfe stereographischer Techniken die Geometrie der beobachteten Wolken ab zu leiten und so die Möglichkeiten zur passiven Fernerkundung auf dem Forschungsflugzeug HALO zu erweitern. Aus den so gemessenen Positionen der Wolkenoberflächen wird eine geschlossene Darstellung der Wolkenoberflächen berechnet. Dies ermöglicht es die Daten aus anderen passiven Fernerkundungsmethoden um Höhe und Ort der Messung zu erweitern. Außerdem ist es so möglich die Orientierung der Wolkenoberflächen und eine Schattenmaske auf Grund der nun bekannten Beobachtungsgeometrie zu berechnen. Das fertige System ist in der Lage, die sichtbaren Wolkenoberflächen aus Daten von einem Überflug zu rekonstruieren. Mit Hilfe theoretischer Strahlungstransportsimulationen und Messungen wird der Einfluss der neu gewonnenen Informationen auf bestehende Rekonstruktionsmethoden für Wolkenmikrophysik untersucht. In manchen Fällen helfen die neu gewonnenen Informationen direkt die Ergebnisse dieser Methoden zu verbessern und in jedem Fall ermöglichen es die Positionsdaten Bereiche zu identifizieren für die bekannt ist, dass bisherige Rekonstruktionsmethoden nicht funktionieren. Durch Ausschluss solcher Bereiche wird der Gesamtfehler von Mirkophysikrekonstruktionen weiterhin reduziert. Das aktuelle specMACS System ermöglicht auch polarisationsaufgelöste Messungen, wodurch eine sehr genaue Bestimmung der Wolkentropfengrößen möglich wird. Die nun verfügbaren Positionsdaten der Wolkenoberflächen helfen die Genauigkeit dieses Verfahrens deutlich zu verbessern. Die notwendigen Auf- und Umbauten des hyperspektralen und polarisationsauflösenden Messsystems specMACS, die während vier Flugzeuggestützer Messkampagnen auf dem Forschungsflugzeug HALO entwickelt wurden sind in dieser Arbeit beschrieben

Cloud geometry for passive remote sensing

An important cause for disagreements between current climate models is lack of understanding of cloud processes. In order to test and improve the assumptions of such models, detailed and large scale observations of clouds are necessary. Passive remote sensing methods are well-established to obtain cloud properties over a large observation area in a short period of time. In case of the visible to near infrared part of the electromagnetic spectrum, a quick measurement process is achieved by using the sun as high-intensity light source to illuminate a cloud scene and by taking simultaneous measurements on all pixels of an imaging sensor. As the sun as light source can not be controlled, it is not possible to measure the time light travels from source to cloud to sensor, which is how active remote sensing determines distance information. But active light sources do not provide enough radiant energy to illuminate a large scene, which would be required to observe it in an instance. Thus passive imaging remains an important remote sensing method. Distance information and accordingly cloud surface location information is nonetheless crucial information: cloud fraction and cloud optical thickness largely determines the cloud radiative effect and cloud height primarily influences a cloud's influence on the Earth's thermal radiation budget. In combination with ever increasing spatial resolution of passive remote sensing methods, accurate cloud surface location information becomes more important, as the largest source of retrieval uncertainties at this spatial scale, influences of 3D radiative transfer effects, can be reduced using this information. This work shows how the missing location information is derived from passive remote sensing. Using all sensors of the improved hyperspectral and polarization resolving imaging system specMACS, a unified dataset, including classical hyperspectral measurements as well as cloud surface location information and derived properties, is created. This thesis shows how RGB cameras are used to accurately derive cloud surface geometry using stereo techniques, complementing the passive remote sensing of cloud microphysics on board the German High-Altitude Long-Range research aircraft (HALO). Measured surface locations are processed into a connected surface representation, which in turn is used to assign height and location to other passive remote sensing observations. Furthermore, cloud surface orientation and a geometric shadow mask are derived, supplementing microphysical retrieval methods. The final system is able to accurately map visible cloud surfaces while flying above cloud fields. The impact of the new geometry information on microphysical retrieval uncertainty is studied using theoretical radiative transfer simulations and measurements. It is found that in some cases, information about surface orientation allows to improve classical cloud microphysical retrieval methods. Furthermore, surface information helps to identify measurement regions where a good microphysical retrieval quality is expected. By excluding likely biased regions, the overall microphysical retrieval uncertainty can be reduced. Additionally, using the same instrument payload and based on knowledge of the 3D cloud surface, new approaches for the retrieval of cloud droplet radius exploiting measurements of parts of the polarized angular scattering phase function become possible. The necessary setup and improvements of the hyperspectral and polarization resolving measurement system specMACS, which have been developed throughout four airborne field campaigns using the HALO research aircraft are introduced in this thesis.Ein wichtiger Grund für Unterschiede zwischen aktuellen Klimamodellen sind nicht ausreichend verstandene Wolkenprozesse. Um die zugrundeliegenden Annahmen dieser Modelle zu testen und zu verbessern ist es notwendig detaillierte und großskalige Beobachtungen von Wolken durch zu führen. Methoden der passiven Fernerkundung haben sich für die schnelle Erfassung von Wolkeneigenschaften in einem großen Beobachtungsgebiet etabliert. Für den sichtbaren bis nahinfraroten Bereich des elektromagnetischen Spektrums kann eine schnelle Messung erreicht werden, in dem die Sonne als starke Lichtquelle genutzt wird und die Wolkenszene durch simultane Messung über alle Pixel eines Bildsensors erfasst wird. Da die Sonne als Lichtquelle nicht gesteuert werden kann, ist es nicht möglich die Zeit zu messen die von einem Lichtstrahl für den Weg von der Quelle zur Wolke und zum Sensor benötigt wird, so wie es bei aktiven Verfahren zur Distanzbestimmung üblich ist. Allerdings können aktive Lichtquellen nicht genügend Energie bereitstellen um eine große Szene gut genug zu beleuchten um diese Szene in einem kurzen Augenblick vollständig zu erfassen. Aus diesem Grund werden passive bildgebende Verfahren weiterhin eine wichtige Methode zur Fernerkundung bleiben. Trotzdem ist der Abstand zur beobachteten Wolke und damit der Ort der Wolke eine entscheidende Information: Wolkenbedeckungsgrad und die optische Dicke einer Wolke bestimmen einen Großteil des Strahlungseffektes von Wolken und die Höhe der Wolken ist der Haupteinflussfaktor von Wolken auf die thermische Strahlungsbilanz der Erde. Einhergehend mit der weiterhin zunehmenden Auflösung von passiven Fernerkundungsmethoden werden genaue Informationen über den Ort von Wolkenoberflächen immer wichtiger. Dreidimensionale Strahlungstransporteffekte werden auf kleineren räumlichen Skalen zum dominierenden Faktor für Fehler in Messverfahren für Wolkenmikrophysik. Dieser Einfluss auf die Messverfahren kann durch die Nutzung von Informationen über die Lage der Wolken reduziert und die Ergebnisse somit verbessert werden. Diese Arbeit zeigt, wie die fehlenden Ortsinformationen aus passiven Fernerkundungsmethoden gewonnen werden können. Damit kann ein vereinheitlichter Datensatz aller Sensoren des verbesserten specMACS-Systems für hyperspektrale und polarisationsaufgelöste Bilderfassung erstellt werden, in dem außer den gemessenen Strahlungsdichten auch die Positionen der beobachteten Wolkenoberflächen und daraus abgeleitete Größen enthalten sind. In dieser Arbeit wird gezeigt, wie RGB-Kameras genutzt werden, um mit Hilfe stereographischer Techniken die Geometrie der beobachteten Wolken ab zu leiten und so die Möglichkeiten zur passiven Fernerkundung auf dem Forschungsflugzeug HALO zu erweitern. Aus den so gemessenen Positionen der Wolkenoberflächen wird eine geschlossene Darstellung der Wolkenoberflächen berechnet. Dies ermöglicht es die Daten aus anderen passiven Fernerkundungsmethoden um Höhe und Ort der Messung zu erweitern. Außerdem ist es so möglich die Orientierung der Wolkenoberflächen und eine Schattenmaske auf Grund der nun bekannten Beobachtungsgeometrie zu berechnen. Das fertige System ist in der Lage, die sichtbaren Wolkenoberflächen aus Daten von einem Überflug zu rekonstruieren. Mit Hilfe theoretischer Strahlungstransportsimulationen und Messungen wird der Einfluss der neu gewonnenen Informationen auf bestehende Rekonstruktionsmethoden für Wolkenmikrophysik untersucht. In manchen Fällen helfen die neu gewonnenen Informationen direkt die Ergebnisse dieser Methoden zu verbessern und in jedem Fall ermöglichen es die Positionsdaten Bereiche zu identifizieren für die bekannt ist, dass bisherige Rekonstruktionsmethoden nicht funktionieren. Durch Ausschluss solcher Bereiche wird der Gesamtfehler von Mirkophysikrekonstruktionen weiterhin reduziert. Das aktuelle specMACS System ermöglicht auch polarisationsaufgelöste Messungen, wodurch eine sehr genaue Bestimmung der Wolkentropfengrößen möglich wird. Die nun verfügbaren Positionsdaten der Wolkenoberflächen helfen die Genauigkeit dieses Verfahrens deutlich zu verbessern. Die notwendigen Auf- und Umbauten des hyperspektralen und polarisationsauflösenden Messsystems specMACS, die während vier Flugzeuggestützer Messkampagnen auf dem Forschungsflugzeug HALO entwickelt wurden sind in dieser Arbeit beschrieben

Deep Learning Methods for 3D Aerial and Satellite Data

Recent advances in digital electronics have led to an overabundance of observations from electro-optical (EO) imaging sensors spanning high spatial, spectral and temporal resolution. This unprecedented volume, variety, and velocity is overwhelming our capacity to manage and translate that data into actionable information. Although decades of image processing research have taken the human out of the loop for many important tasks, the human analyst is still an irreplaceable link in the image exploitation chain, especially for more complex tasks requiring contextual understanding, memory, discernment, and learning. If knowledge discovery is to keep pace with the growing availability of data, new processing paradigms are needed in order to automate the analysis of earth observation imagery and ease the burden of manual interpretation. To address this gap, this dissertation advances fundamental and applied research in deep learning for aerial and satellite imagery. We show how deep learning---a computational model inspired by the human brain---can be used for (1) tracking, (2) classifying, and (3) modeling from a variety of data sources including full-motion video (FMV), Light Detection and Ranging (LiDAR), and stereo photogrammetry. First we assess the ability of a bio-inspired tracking method to track small targets using aerial videos. The tracker uses three kinds of saliency maps: appearance, location, and motion. Our approach achieves the best overall performance, including being the only method capable of handling long-term occlusions. Second, we evaluate the classification accuracy of a multi-scale fully convolutional network to label individual points in LiDAR data. Our method uses only the 3D-coordinates and corresponding low-dimensional spectral features for each point. Evaluated using the ISPRS 3D Semantic Labeling Contest, our method scored second place with an overall accuracy of 81.6\%. Finally, we validate the prediction capability of our neighborhood-aware network to model the bare-earth surface of LiDAR and stereo photogrammetry point clouds. The network bypasses traditionally-used ground classifications and seamlessly integrate neighborhood features with point-wise and global features to predict a per point Digital Terrain Model (DTM). We compare our results with two widely used softwares for DTM extraction, ENVI and LAStools. Together, these efforts have the potential to alleviate the manual burden associated with some of the most challenging and time-consuming geospatial processing tasks, with implications for improving our response to issues of global security, emergency management, and disaster response

From the semantic point cloud to heritage-building information modeling: A semiautomatic approach exploiting machine learning

This work presents a semi-automatic approach to the 3D reconstruction of Heritage-Building Information Models from point clouds based on machine learning techniques. The use of digital information systems leveraging on three-dimensional (3D) representations in architectural heritage documentation and analysis is ever increasing. For the creation of such repositories, reality-based surveying techniques, such as photogrammetry and laser scanning, allow the fast collection of reliable digital replicas of the study objects in the form of point clouds. Besides, their output is raw and unstructured, and the transition to intelligible and semantic 3D representations is still a scarcely automated and time-consuming process requiring considerable human intervention. More refined methods for 3D data interpretation of heritage point clouds are therefore sought after. In tackling these issues, the proposed approach relies on (i) the application of machine learning techniques to semantically label 3D heritage data by identification of relevant geometric, radiometric and intensity features, and (ii) the use of the annotated data to streamline the construction of Heritage-Building Information Modeling (H-BIM) systems, where purely geometric information derived from surveying is associated with semantic descriptors on heritage documentation and management. The “Grand-Ducal Cloister” dataset, related to the emblematic case study of the Pisa Charterhouse, is discussed

An investigation into semi-automated 3D city modelling

Creating three dimensional digital representations of urban areas, also known as 3D city modelling, is essential in many applications, such as urban planning, radio frequency signal propagation, flight simulation and vehicle navigation, which are of increasing importance in modern society urban centres. The main aim of the thesis is the development of a semi-automated, innovative workflow for creating 3D city models using aerial photographs and LiDAR data collected from various airborne sensors. The complexity of this aim necessitates the development of an efficient and reliable way to progress from manually intensive operations to an increased level of automation. The proposed methodology exploits the combination of different datasets, also known as data fusion, to achieve reliable results in different study areas. Data fusion techniques are used to combine linear features, extracted from aerial photographs, with either LiDAR data or any other source available including Very Dense Digital Surface Models (VDDSMs). The research proposes a method which employs a semi automated technique for 3D city modelling by fusing LiDAR if available or VDDSMs with 3D linear features extracted from stereo pairs of photographs. The building detection and the generation of the building footprint is performed with the use of a plane fitting algorithm on the LiDAR or VDDSMs using conditions based on the slope of the roofs and the minimum size of the buildings. The initial building footprint is subsequently generalized using a simplification algorithm that enhances the orthogonality between the individual linear segments within a defined tolerance. The final refinement of the building outline is performed for each linear segment using the filtered stereo matched points with a least squares estimation. The digital reconstruction of the roof shapes is performed by implementing a least squares-plane fitting algorithm on the classified VDDSMs, which is restricted by the building outlines, the minimum size of the planes and the maximum height tolerance between adjacent 3D points. Subsequently neighbouring planes are merged using Boolean operations for generation of solid features. The results indicate very detailed building models. Various roof details such as dormers and chimneys are successfully reconstructed in most cases