Ein hierarchischer Ansatz zur Interpretation von Gebäudeaufnahmen

Durch die Fortschritte bei der 3D-Visualisierung von Landschaften und urbanen Räumen in den vergangenen Jahren wächst die Nachfrage nach semantischen und detailgenauen 3D-Stadtmodellen. Die Interpretation von Digitalbildern ist dabei ein wesentlicher Schritt zur Informationsgewinnung für die Verfeinerung und Aktualisierung der Gebäudemodelle. Wegen der großen Datenmenge muss diese Bildinterpretation soweit möglich automatisiert durchgeführt werden, um kostengünstig und zeitnah Ergebnisse liefern zu können. Bei der Interpretation eines Gebäudebildes wird das gegebene Farbbild in eine Klassifikationskarte überführt, in der die Bildpixel entsprechend ihrer Semantik eingefärbt werden. Dieser Vorgang ist wegen der fehlenden 3D-Information über das Gebäude und seine Umgebung sowie der starken Ähnlichkeiten zwischen einigen Gebäudeteilen besonders schwierig. Hinzu kommt noch die große Vielfalt der Gebäude in Bezug auf deren Größe, Beschaffenheit und Stil sowie in der Art und Anzahl der Fassadenbestandteile und Dachaufbauten und deren räumlicher Anordnung. Das in der vorliegenden Arbeit vorgestellte Verfahren untersucht die Leistungsfähigkeit der Erkennung von Objekten und Objektteilen in Gebäudeaufnahmen bei Verwendung der Bestandteilshierarchien. Diese werden in eine Hierarchie von segmentierten Bildregionen abgebildet und zur Konstruktion eines Bedingten Bayes-Netzes verwendet. Die Gesamtwahrscheinlichkeit dieses Bedingten Bayes-Netzes wird effizient als Produkt von zwei Termen bestimmt, die einerseits durch die Klassifikation der Regionen auf der Basis regionenspezifischer Merkmale und andererseits aus den Klassenzugehörigkeiten von in der Regionenhierarchie benachbarten Regionen bestimmt werden. Für diesen Ansatz werden folgende Teilschritte zusammengeführt: die Segmentierung von geometrisch präzisen Regionen in mehreren Maßstabsebenen des Bildes und deren hierarchische Anordnung, die Auswahl stabiler Regionen, der Vergleich von Regionen mit manuell angefertigten Annotationen, die Extraktion und Selektion geeigneter Merkmale sowie die Klassifikation der Regionen. Die stabilen Regionen der hierarchischen Bildsegmentierung eignen sich gut zur Detektion von komplexen Objekten und ihren Bestandteilen und bilden die Relationen der Bestandteilshierarchie von Objekten in die Regionenhierarchie ab. Die klassenspezifischen Verteilungen der regionenspezifischen Merkmale unterscheiden sich und eignen sich für eine maßstabsabhängige Klassifikation der Regionen. Dazu wird die Methode der Alternierenden Entscheidungsbäume vom Zwei- auf den Mehrklassenfall verallgemeinert. Diese Klassifikationsergebnisse werden als initiale Belegung der Zufallsvariablen in das Bedingte Bayes-Netz integriert. Für die anschließende Inferenz der Information kann wegen der baumartigen Struktur des Bayes-Netzes ein sehr einfacher Algorithmus verwendet werden, der lediglich einen zweimaligen Durchlauf durch den Baum vorsieht. Die Bildinterpretation nach Anwendung des Bayes-Netzes liefert leicht verbesserte Ergebnisse für die Klassifikation der Regionen. Das Verfahren wurde auf insgesamt vier Datensätzen mit zusammen über 600 Bildern evaluiert. Bei der Segmentierung und Konstruktion der Regionenhierarchie werden sehr zufrieden stellende Ergebnisse erzielt, da zu 70 bis 90% der vorhandenen Objekte passende Regionen und Relationen zwischen den Regionen gefunden werden können. Auf dem Benchmark-Datensatz von Korč & Förstner (2009) erzielen wir bei der Klassifikation ohne Nutzung der Bestandteilshierarchie mit sieben Klassen einen akzeptablen Erfolg von 54,9%. Allerdings werden die drei besonders häufig vorkommenden Klassen Gebäude, Fenster und Vegetation extrem durch den Klassifikator bevorzugt. Durch die Propagierung der Information im Bedingten Bayes-Netz wird die Erfolgsrate auf 60,7% verbessert, aber die starken Unterschiede bei den Fehlklassifikationen bleiben bestehen.A Hierarchical Approach for Interpreting Images of Buildings The recent progress in 3D visualization of landscapes and urban spaces has increased the demand for very detailed 3D city models with semantics. Therefore, the interpretation of digital imagery is an important step for gaining information used to enrich building models or for updating them. Due to the large amount of data, image interpretation should be done automatically as far as possible for a fast and affordable delivery of results. Interpreting building images means to derive a symbolic map for a given color image where each pixel is visualized by its semantic. This procedure is extremely difficult if no additional 3D information about the objects in the scene is used. Regarding buildings, their parts often appear too similar, especially w. r. t. their shape or the color of the representing pixels. Furthermore, the large variability among buildings w. r. t. their size, nature and style as well as the kind and number of facade parts and roof structures and their spatial arrangement. In the approach of this work, the capability of detecting objects and their parts in building images is analyzed with a focus on the integration of object hierarchies. The relations between the objects and their parts are mapped into a hierarchy of segmented image regions which is further used to construct a Bayesian network. Features of these regions are determined, thus the Bayesian network can be formulated as a conditional one. The overall probability of this Conditional Bayesian Network can be efficiently determined as product of two terms. The first term is derived from classification results based on observed region-specific features, the second term is derived from the co-occurrence of class targets defined by neighbored regions in the region hierarchy. The following methods are combined within this approach: segmentation of geometrically precise regions at several image scales and their hierarchical arrangement, choosing stable regions for further processes, comparison between automatically segmented image regions with manually labeled annotations, extraction and selection of appropriate features and classification of the regions. The stable regions of the hierarchical image segmentation are suitable for detecting complex objects and their parts. The relations of the object hierarchy are mostly mapped into the region hierarchy. The class-specific distributions of the region-specific features can be distinguished from each other and, therefore, can be used for scale-dependent classification of the stable regions. This is done by applying alternating decision trees, which have been extended from binary to multiclass classification. The results are used for initializing the states of the random variables of the Conditional Bayesian Network. A simple algorithm can be applied for propagating the information through the net because of its tree-like structure. The image interpretation yields slightly better results for region classification after applying the Bayesian network. The approach has been tested and evaluated on four data sets with a total of 600 images. Obtained results on image segmentation and region hierarchy construction are satisfying since 70 to 90% of all objects of interest are represented by at least one of the segmented regions, and the relations between the regions reflect the object hierarchy. On the benchmark dataset of Korč & Förstner (2009), the overall classification result of 54.9% is obtained when classifying the regions without considering the hierarchical relations and belonging to seven classes. But the three classes vegetation, building and window which appear in images more often than other classes are favored by the classifier. After propagating the information through the Conditional Bayesian Network the classification rate is increased to 60.7% but the obvious differences regarding classification mistakes remain

Automatic Generation of Building Models with Levels of Detail 1-3

We present a workflow for the automatic generation of building models with levels of detail (LOD) 1 to 3 according to the CityGML standard (Gröger et al., 2012). We start with orienting unsorted image sets employing (Mayer et al., 2012), we compute depth maps using semi-global matching (SGM) (Hirschmüller, 2008), and fuse these depth maps to reconstruct dense 3D point clouds (Kuhn et al., 2014). Based on planes segmented from these point clouds, we have developed a stochastic method for roof model selection (Nguatem et al., 2013) and window model selection (Nguatem et al., 2014). We demonstrate our workflow up to the export into CityGML

Ein hierarchischer Ansatz zur Interpration von Gebäudeaufnahmen

Durch die Fortschritte bei der 3D-Visualisierung von Landschaften und urbanen Räumen in den vergangenen Jahren wächst die Nachfrage nach semantischen und detailgenauen 3D-Stadtmodellen. Die Interpretation von Digitalbildern ist dabei ein wesentlicher Schritt zur Informationsgewinnung für die Verfeinerung und Aktualisierung der Gebäudemodelle. Wegen der großen Datenmenge muss diese Bildinterpretation soweit möglich automatisiert durchgeführt werden, um kostengünstig und zeitnah Ergebnisse liefern zu können. Bei der Interpretation eines Gebäudebildes wird das gegebene Farbbild in eine Klassifikationskarte überführt, in der die Bildpixel entsprechend ihrer Semantik eingefärbt werden. Dieser Vorgang ist wegen der fehlenden 3D-Information über das Gebäude und seine Umgebung sowie der starken Ähnlichkeiten zwischen einigen Gebäudeteilen besonders schwierig. Hinzu kommt noch die große Vielfalt der Gebäude in Bezug auf deren Größe, Beschaffenheit und Stil sowie in der Art und Anzahl der Fassadenbestandteile und Dachaufbauten und deren räumlicher Anordnung. Das in der vorliegenden Arbeit vorgestellte Verfahren untersucht die Leistungsfähigkeit der Erkennung von Objekten und Objektteilen in Gebäudeaufnahmen bei Verwendung der Bestandteilshierarchien. Diese werden in eine Hierarchie von segmentierten Bildregionen abgebildet und zur Konstruktion eines Bedingten Bayes-Netzes verwendet. Die Gesamtwahrscheinlichkeit dieses Bedingten Bayes-Netzes wird effizient als Produkt von zwei Termen bestimmt, die einerseits durch die Klassifikation der Regionen auf der Basis regionenspezifischer Merkmale und andererseits aus den Klassenzugehörigkeiten von in der Regionenhierarchie benachbarten Regionen bestimmt werden. Für diesen Ansatz werden folgende Teilschritte zusammengeführt: die Segmentierung von geometrisch präzisen Regionen in mehreren Maßstabsebenen des Bildes und deren hierarchische Anordnung, die Auswahl stabiler Regionen, der Vergleich von Regionen mit manuell angefertigten Annotationen, die Extraktion und Selektion geeigneter Merkmale sowie die Klassifikation der Regionen. Die stabilen Regionen der hierarchischen Bildsegmentierung eignen sich gut zur Detektion von komplexen Objekten und ihren Bestandteilen und bilden die Relationen der Bestandteilshierarchie von Objekten in die Regionenhierarchie ab. Die klassenspezifischen Verteilungen der regionenspezifischen Merkmale unterscheiden sich und eignen sich für eine maßstabsabhängige Klassifikation der Regionen. Dazu wird die Methode der Alternierenden Entscheidungsbäume vom Zwei- auf den Mehrklassenfall verallgemeinert. Diese Klassifikationsergebnisse werden als initiale Belegung der Zufallsvariablen in das Bedingte Bayes-Netz integriert. Für die anschließende Inferenz der Information kann wegen der baumartigen Struktur des Bayes-Netzes ein sehr einfacher Algorithmus verwendet werden, der lediglich einen zweimaligen Durchlauf durch den Baum vorsieht. Die Bildinterpretation nach Anwendung des Bayes-Netzes liefert leicht verbesserte Ergebnisse für die Klassifikation der Regionen. Das Verfahren wurde auf insgesamt vier Datensätzen mit zusammen über 600 Bildern evaluiert. Bei der Segmentierung und Konstruktion der Regionenhierarchie werden sehr zufrieden stellende Ergebnisse erzielt, da zu 70 bis 90% der vorhandenen Objekte passende Regionen und Relationen zwischen den Regionen gefunden werden können. Auf dem Benchmark-Datensatz von Korč & Förstner (2009) erzielen wir bei der Klassifikation ohne Nutzung der Bestandteilshierarchie mit sieben Klassen einen akzeptablen Erfolg von 54,9%. Allerdings werden die drei besonders häufig vorkommenden Klassen Gebäude, Fenster und Vegetation extrem durch den Klassifikator bevorzugt. Durch die Propagierung der Information im Bedingten Bayes-Netz wird die Erfolgsrate auf 60,7% verbessert, aber die starken Unterschiede bei den Fehlklassifikationen bleiben bestehen.A Hierarchical Approach for Interpreting Images of Buildings The recent progress in 3D visualization of landscapes and urban spaces has increased the demand for very detailed 3D city models with semantics. Therefore, the interpretation of digital imagery is an important step for gaining information used to enrich building models or for updating them. Due to the large amount of data, image interpretation should be done automatically as far as possible for a fast and affordable delivery of results. Interpreting building images means to derive a symbolic map for a given color image where each pixel is visualized by its semantic. This procedure is extremely difficult if no additional 3D information about the objects in the scene is used. Regarding buildings, their parts often appear too similar, especially w. r. t. their shape or the color of the representing pixels. Furthermore, the large variability among buildings w. r. t. their size, nature and style as well as the kind and number of facade parts and roof structures and their spatial arrangement. In the approach of this work, the capability of detecting objects and their parts in building images is analyzed with a focus on the integration of object hierarchies. The relations between the objects and their parts are mapped into a hierarchy of segmented image regions which is further used to construct a Bayesian network. Features of these regions are determined, thus the Bayesian network can be formulated as a conditional one. The overall probability of this Conditional Bayesian Network can be efficiently determined as product of two terms. The first term is derived from classification results based on observed region-specific features, the second term is derived from the co-occurrence of class targets defined by neighbored regions in the region hierarchy. The following methods are combined within this approach: segmentation of geometrically precise regions at several image scales and their hierarchical arrangement, choosing stable regions for further processes, comparison between automatically segmented image regions with manually labeled annotations, extraction and selection of appropriate features and classification of the regions. The stable regions of the hierarchical image segmentation are suitable for detecting complex objects and their parts. The relations of the object hierarchy are mostly mapped into the region hierarchy. The class-specific distributions of the region-specific features can be distinguished from each other and, therefore, can be used for scale-dependent classification of the stable regions. This is done by applying alternating decision trees, which have been extended from binary to multiclass classification. The results are used for initializing the states of the random variables of the Conditional Bayesian Network. A simple algorithm can be applied for propagating the information through the net because of its tree-like structure. The image interpretation yields slightly better results for region classification after applying the Bayesian network. The approach has been tested and evaluated on four data sets with a total of 600 images. Obtained results on image segmentation and region hierarchy construction are satisfying since 70 to 90% of all objects of interest are represented by at least one of the segmented regions, and the relations between the regions reflect the object hierarchy. On the benchmark dataset of Korč & Förstner (2009), the overall classification result of 54.9% is obtained when classifying the regions without considering the hierarchical relations and belonging to seven classes. But the three classes vegetation, building and window which appear in images more often than other classes are favored by the classifier. After propagating the information through the Conditional Bayesian Network the classification rate is increased to 60.7% but the obvious differences regarding classification mistakes remai

Detection and description of repeated structures in rectified facade images

symmetry, repeated structures, window arrays, compact description, model selection Summary: We present a method for detecting repeated structures, which is applied on facade images for describing the regularity of their windows. Our approach finds and explicitly represents repetitive structures and thus gives initial representation of facades. No explicit notion of a window is used, thus the method also appears to be able to identify other man made structures, e.g. paths with regular tiles. A method for detection of dominant symmetries is adapted for detection of multiple repeated structures. A compact description of repetitions is derived from translations detected in an image by a heuristic search method and the model selection criterion of the minimum description length. Zusammenfassung: Erkennung und Beschreibung wiederholter Strukturen in entzerrten Fassadenbildern. In dieser Arbeit wird eine Methode zur Detektion wiederholter Strukturen vorgestellt. Da