Luftbildkamerasysteme mit Nadir blickenden Kameras werden zunehmend zu Oblique-Kamerasystemen erweitert. Diese Systeme erlauben es, eine 3D-Punktwolke der beobachteten Szene zu generieren anstelle der üblichen 2.5D-Informationen. Zusätzlich bedarf es robuster und automatisierter Methoden zur Rekonstruktion von Gebäuden und Gebäudeszenen, im Idealfall ganzer Dörfer und Städte. Mit der vorgestellten Methode werden größere Szenen von Gebäuden automatisiert aus Luftbilddaten rekonstruiert. Es wird gezeigt, wie zunächst die Grundrisse bestimmt werden und anschließend durch Analyse der Punktwolke ein topologisches und geometrisches Modell der Szene erstellt wird, wobei jedes Objekt mit Dachelementen und Fassaden rekonstruiert wird (LOD 2). Ohne Hinzunahme von Daten der Automatisierten Liegenschaftskarte (ALK) werden somit größere Szenen (mehr als 50 Gebäude) automatisiert abgeleitet und bezüglich Vollständigkeit und Korrektheit beurteilt

Linkiewicz, Magdalena Monika

Meißner, Henry

Institute of Transport Research:Publications

Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 1 AUTOMATISIERTE 3D REKONSTRUKTION VON GEBÄUDESZENEN AUS 3D PUNKTWOLKEN MAGDALENA LINKIEWICZ 1 & HENRY MEIßNER 1 Zusammenfassung: Luftbildkamerasysteme mit Nadir blickenden Kameras werden zunehmend zu Oblique-Kamerasystemen erweitert. Diese Systeme erlauben es, eine 3D-Punktwolke der beobachteten Szene zu generieren anstelle der üblichen 2.5D-Informationen. Zusätzlich bedarf es robuster und automatisierter Methoden zur Rekonstruktion von Gebäuden und Gebäudeszenen, im Idealfall ganzer Dörfer und Städte. Mit der vorgestellten Methode werden größere Szenen von Gebäuden automatisiert aus Luftbilddaten rekonstruiert. Es wird gezeigt, wie zunächst die Grundrisse bestimmt werden und anschließend durch Analyse der Punktwolke ein topologisches und geometrisches Modell der Szene erstellt wird, wobei jedes Objekt mit Dachelementen und Fassaden rekonstruiert wird (LOD 2). Ohne Hinzunahme von Daten der Automatisierten Liegenschaftskarte (ALK) werden somit größere Szenen (mehr als 50 Gebäude) automatisiert abgeleitet und bezüglich Vollständigkeit und Korrektheit beurteilt. 1 Einleitung In den vergangenen zwei Jahrzehnten wurden große wissenschaftliche Anstrengungen unternommen, um mit den verfügbaren und neu entwickelten Luftbildkamera- und LIDAR-Systemen größere Gebiete flächendeckend zu erfassen. Neben der genauen Erstellung und fortlaufenden Verbesserung von  digitalen Oberflächenmodellen (DOM) gab und gibt es ein stetig wachsendes Interesse an der Rekonstruktion von Objekten. Im Bereich Städteplanung, Sicherheit und Katastrophenmanagement sind dabei insbesondere Bauwerke mit deren Fassaden, Dachstrukturen und Dachaufbauten von Interesse. HAALA & BRENNER zeigen einen Weg um ebene Dachflächen aus Laserdaten und vorliegenden Grundrissen zu erzeugen. VOSSELMAN & DIJKMAN nutzen die Hough Transformation um Punktwolken zu analysieren und deren geometrische Gebäuderekonstruktion zu ermitteln. Darüber hinaus zeigen XIAO, GERKE & VOSSELMAN, wie man Oblique-Bilder und deren Texturmerkmale auf Fassaden nutzen kann um Grundrisse zu detektieren. ROTTENSTEINER & BRIESE veröffentlichten zusätzlich eine Methode, bei der Adresspunkte genutzt werden, um die äußeren Grenzen von Gebäuden zu ermitteln, ohne auf Liegenschaftskarten zurückgreifen zu müssen. In der vorliegenden Veröffentlichung wird ein weiterer Weg vorgestellt, der ohne Hinzunahme von Grundrissen aus Liegenschaftskarten Gebäudegrenzen extrahiert und anschließend die zugehörigen, ebenen Fassaden- und Dachflächen rekonstruiert. Ausgangspunkt ist dabei eine 3D Punktwolke aus Luftbilddaten eines Oblique-Kamerasystems.      1) Deutsches Zentrum für Luft- und Raumfahrt, Institut für Optische Sensorsysteme (OS), Anwendungen und Sensorkonzepte (ASK), Rutherfordstraße 2, 12489 Berlin; E-Mail: Magdalena.Linkiewicz@dlr.de & Henry.Meissner@dlr.de Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 2 2 Datengrundlage 2.1 Oblique-Kamerasysteme Aktuelle Luftbildkamerasysteme werden vermehrt zu Oblique-Kamerasystemen weiterentwickelt (LEHMANN U.A.). Zu der üblichen, senkrecht-blickenden Kamera werden dabei ein oder mehrere, zusätzliche Kamera(s) derart angeordnet, dass bei jedem synchronen Auslösezeitpunkt ein Nadir-Bild und ein oder mehrere Schrägbilder aufgenommen werden. Bei geplanter Kreuzbefliegung einer Szene wird dabei jeder verdeckungsfreie Punkt aus mehreren verschiedenen Perspektiven aufgenommen.  2.2 Prozessieren der 3D Information aus mehreren 2.5D Datensätzen Ein bekannter Weg aus Senkrechtaufnahmen eine Oberflächenhülle (2.5D) zu generieren, ist die Aufnahmepositionen näherungsweise zu bestimmen (GPS/INS), Merkmale zu extrahieren und nach einer Aerotriangulation für jedes Bodenpixel alle zugehörigen Aufnahmeposition und deren Fehler bzw. Matching-Kosten zu minimieren (vgl. Hirschmüller). Das Ergebnis ist ein 2.5D Oberflächen-Modell (Abb. 1).   Abb. 1: Eingefärbte 3D Punktwolke (unten rechts) und entsprechende DOMs der lokalen Räume.  Wieden und Linkiewicz zeigten, dass die jeweiligen Bildblöcke jeder einzelnen Kamera des Oblique-Systems in einen lokalen Raum transformiert werden können und ein lokales 2.5D Oberflächen-Modell abgeleitet werden kann. Dabei wird neben der Koordinatenrotation eine Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 3 Projektionsebene eingeführt, die lotrecht zum realen Aufnahmewinkel steht, damit die gängigen photogrammetrischen Werkzeuge zur Oberflächengenerierung (hier Semi-Global-Matching) genutzt werden können. Durch Rücktransformation vom jeweiligen, lokalen Oblique-Raum in den globalen Objektraum und anschließender Kombination der verschiedenen Punktwolken entsteht eine 3D Hülle. Hauptmerkmal ist dabei, dass Fassadenflächen mehrere Punkte in Z-Richtung besitzen.  3  Extraktion der Grundrisse Mit dieser 3D-Repräsentation als Ausgangspunkt werden die Grundrisse extrahiert. Dazu wird die 3D-Punktwolke automatisch gefiltert, um Objekte auszuschließen, die keine Gebäudestruktur besitzen (z.B. parkende Fahrzeuge, Vegetation). Bei diesem von LINKIEWICZ vorgestellten Verfahren werden anschließend alle verbliebenen Punkte in die XY-Ebene projiziert. Danach wird diese Ebene in ein Raster eingeteilt und für jede Rasterzelle eine Regression nach Pearson durchgeführt. Hierbei wird für die projizierte 2D-Punktwolke 𝑝 = { 𝑝𝑖 = (𝑥𝑖, 𝑦𝑖  ) ∈ ℝ2, 𝑖 =1, … , 𝑛} die Kovarianzmatrix und deren Eigenwerte und Eigenvektoren berechnet (Abb. 2, oben links):   𝑀cov(𝑝) ≔  (cov(𝑥, 𝑥) cov(𝑥, 𝑦)cov(𝑥, 𝑦) cov(𝑦, 𝑦)).  Die beiden Eigenvektoren geben die Richtung der kleinsten und der größten Streuung der Punktwolke in der jeweiligen Rasterzelle an. Der Quotient 𝜚 Gleichung der dazugehörenden Quadratwurzeln der Eigenwerte 𝜎min und 𝜎max ist ein Indikator, ob es sich bei dem beobachteten Ausschnitt um linear orientierte Punkte, also um ein Fassadenfragment, handelt. Je kleiner der Quotient ist, desto linienhafter liegen die Punkte in der Rasterzelle.  𝜚 ≔𝜎min𝜎max  Eine Gruppierung aller Fassadenfragmente (Abb. 2, oben rechts) erfolgt durch Analyse der Nachbarschaft und Richtung des größten Eigenvektors. Für diese Fragmente wird nun erneut eine Regression nach PEARSON durchgeführt um die  Ausgleichsgerade durch die gruppierten Fassadenstücke zu bestimmen (Abb. 2, Mitte links). Die Fassadeneck- bzw. Fassadenverbindungspunkte ergeben sich aus dem Schnittpunkt zweier Ausgleichsgeraden benachbarter Fassadenfragmente. Abschließend wird auf Grund der berechneten Fassadenecken ein geschlossenes Polygon (Abb. 2, Mitte rechts und unten) bestimmt. Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 4  Abb. 2: Gefilterte und projizierte 3D Punktwolke mit Eigenvektoren (oben links),  gruppierte Fassadenfragmente (oben rechts), Ausgleichsgeraden durch die Fassadenfragmente (Mitte links), geschlossenes Polygon (Mitte rechts), Grundrissszene Berlin-Adlershof (unten). 4 Dachrekonstruktion Die Methode zur Gebäuderekonstruktion wird in zwei Etappen entwickelt und umgesetzt. Die erste Etappe, die in diesem Artikel beschrieben wird, konzentriert sich auf die Rekonstruktion der kontinuierlichen Dächer (frei von Höhensprüngen). Dazu wird die Punktwolke aus dem Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 5 Nadir-Blick verwendet. In der zweiten Etappe, die Gegenstand einer weiteren Veröffentlichung ist, werden die nicht-kontinuierlichen Dächer unter Verwendung der Schräg- und Nadir-Oberflächen-Modelle rekonstruiert. 4.1 Segmentierung der Dachflächen Die Bestimmung der Dächer erfolgt durch eine Erweiterung des Algorithmus aus dem vorangegangen Abschnitt. Zuerst wird die Punktwolke unter der Annahme der bekannten Grundrisse erneut in ein Raster unterteilt (Abb. 3, links) und dann für jedes Feld lokal die Kovarianzmatrix berechnet. Diese besitzt mit 𝑝 = { 𝑝𝑖 = (𝑥𝑖 , 𝑦𝑖, 𝑧𝑖) ∈ ℝ3, 𝑖 = 1, … , 𝑛} folgende Form: 𝑀cov(𝑝) ≔ [cov(𝑥, 𝑥) cov(𝑥, 𝑦) cov(𝑥, 𝑧)cov(𝑦, 𝑥) cov(𝑦, 𝑦) cov(𝑦, 𝑧)cov(𝑧, 𝑥)  cov(𝑧, 𝑦) cov(𝑧, 𝑧)].  Der zum kleinsten Eigenwert gehörende Eigenvektor entspricht dabei dem Normalenvektor des Flächensegments. Die Quadratwurzeln der Eigenwerte entsprechen den Standardabweichungen in Richtung des jeweiligen Eigenvektors. Das Verhältnis zwischen kleinster Standardabweichung 𝜎𝑛 und der Summe der beiden anderen Standardabweichungen (𝜎2 ,  𝜎3  ) ist ein Maß für die Ebenheit der Punktwolke im Raster: 𝜚 ≔𝜎𝑛𝜎2  + 𝜎3    Nachdem für jede Zelle des Rasters die entsprechende Ausrichtung berechnet wurde (Abb. 3, Mitte), werden benachbarte Zellen einer übergeordneten Fläche zugeordnet, wenn sie innerhalb definierter Grenzen in Neigung und Ausrichtung ähnlich sind. Das Ergebnis ist  eine initiale Unterteilung der Punktwolke (Abb. 3, rechts) innerhalb des Grundrisses.   Abb. 3: Gerasterte 3D-Punktwolke (links),  berechnete Zellenausrichtung (Mitte), Unterteilung der Punkwolke (rechts).  Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 6 Die Größenwahl des Regressionsfensters ist dabei bisher nicht abschließend geklärt. Mit einem  zu großen Fenster werden kleine Dachflächen nicht extrahiert. Bei der Wahl eines zu kleinen Fensters kommt es häufig vor, dass auf Grund von Rauschen in die Normalenvektoren zu stark in ihrer Richtung differieren und mehrere kleine Flächen anstelle des gemeinsamen Dachelements extrahiert werden. 4.2 Ableiten der Topologie der Dachflächen Um im folgenden Schritt die Topologie des Daches zu bestimmen, werden alle Zellen in die XY-Ebene projiziert. Nach der initialen Unterteilung der Dächer sind die einzelnen Flächen sehr häufig nicht miteinander verbunden. Um sie zu verbinden, werden Zellen, die keinem Dachelement zugeordnet sind genau dann einer Fläche hinzugefügt, wenn sie eine gemeinsame Kante besitzen. Dieser Schritt wird solange wiederholt, bis alle Rasterfelder einer Fläche zugeschrieben werden konnten (Abb. 4, links). Zur Bestimmung der topologischen Kanten und Knoten wird das umschließende Polygon erneut vollständig mit einem Suchfenster durchlaufen. Entsprechend der sich einstellenden Konstellation von gefundener Flächenzugehörigkeit kann dann zwischen Kanten (zwei Flächen berühren sich innerhalb des Suchbereichs) und Knoten (drei oder mehr Flächen berühren sich) unterschieden werden.  Um die Topologie  an den Polygonaußenkanten zu vervollständigen wird der Grundriss diskret abgetastet. An Stellen, an denen die extrahierte Gebäudekante genau eine Gruppe von Dachzellen berührt wird eine Kante angenommen. Berühren sich zwei Grundrisskanten und genau eine Gruppe von Dachzellen wird ein Gebäude-Eck-Knoten extrahiert. Treffen an einer Polygonkante zwei oder mehrere Gruppen von Dachflächen aufeinander, werden Firstknoten detektiert (Abb. 4, rechts).   Abb. 4: Region growing (links), Erstellung der Topologie (rechts).  Diese Prozedur wird für alle Gebäude, die mit der in Abschnitt 3 beschriebenen Methode separiert wurden, wiederholt. Somit kann für jedes einzelne Objekt die topologische Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 7 Verknüpfung erstellt werden und im letzten Schritt in eine geometrische Repräsentation überführt werden. 4.3 Ableiten der Geometrie der Dachflächen Das Ableiten der Geometrie beruht auf der Annahme, dass die Topologie vollständig ist und die Ausgleichsebenen, welche die Dächer beschreiben frei von Sprüngen sind. Solche Sprünge treten häufig bei  Garagen, Terrassen und ähnlichen Anbauten auf. In der wissenschaftlich relevanten Literatur gibt es viele Vorschläge, wie mit solchen Sprüngen bzw. Diskontinuitäten umgegangen werden kann (z.B. VOSSELMAN & DIJKMAN). Sind diese Annahmen erfüllt, wird für jede Kante die Lage im 3D Raum durch den Schnitt der dedizierten Ebenen bestimmt. An den Grundrisskanten wird zusätzlich angenommen, dass die Fassaden lotrecht zur XY-Ebene sind und der entsprechende Einheitsvektor genutzt um die Fassadenfläche und Ausrichtung zu beschreiben und mit der angrenzenden Dachfläche geometrisch zu verschneiden. Im letzten Schritt wird die Lage der Knoten berechnet. Auf Grund eines Rauschanteils in den Daten und numerischen Fehlern bei der Bestimmung der  Ausgleichsebenen schneiden sich die berechneten Kanten  nicht exakt sondern verlaufen windschief zueinander. Für einen Knoten wird daher für jede Kombination aller Kantenpaare (𝑔1: 𝑝 = 𝑝1 +  𝜆1 ∗ 𝑎1 und 𝑔2: 𝑝 = 𝑝2 + 𝜆2 ∗ 𝑎2) der kürzeste Abstand nach HILBERT berechnet und anschließend das geometrische Mittel als Knotenposition genutzt:  𝑑 = |(𝑎1 × 𝑎2) ∗ (𝑝2 − 𝑝1)‖𝑎1 × 𝑎2‖|.  Nach der Zuordnung aller Knoten zu den jeweiligen Flächen erhält man das geometrische Modell des Daches (Abb. 5).    Abb. 5: Geometrische Rekonstruktion.  Durch Wiederholung der in diesem Abschnitt beschriebenen Schritte für alle Gebäude erhält man die geometrisch rekonstruierte Gebäudeszene. Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 8 5 Verifizierung Die Verifizierung der vorgestellten Methode erfolgt anhand einer Gebäudeszene eines Dorfes. Die Oblique-Befliegung und das Prozessieren der Daten fand im Jahr 2012 statt. Aufnahmesystem war die MACS-TumbleCam entwickelt am Institut für Optische Informationssysteme des DLR (vgl. RÜTHER-KINDL & BRAUCHLE). Der Eingangsdatensatz ist eine 2,5D Punktwolke der Nadir-Kamera mit einer Bodenauflösung von 5cm und einer Höhenauflösung 2cm. Da zum gegenwärtigen Zeitpunkt die vollständige Oblique-Prozessierung nicht abgeschlossen ist, werden die Grundrisse simuliert. Die Gebäude der Szene sind nicht zusammenhängend und besitzen keine Sprünge bzw. Diskontinuitäten.  Von den vorhandenen 71 Gebäuden konnten 68 Dächer rekonstruiert werden (Abb. 6), was einer Vollständigkeit von 98% entspricht. Die Rekonstruktion erfolgte in drei Iterationen mit Rasterzellengrößen von 30cm, 50cm bzw. 70cm. Die meisten Dachflächen (~90%) wurden mit der Zellengröße von 30cm, also mit 25 Punkten pro Rasterzelle, bestimmt. Die Rasterzellengröße wurde empirisch bestimmt (vgl. Abschnitt 4.1). Als Maß für die Korrektheit wird für alle Dachflächen und alle dazugehörenden Punkte der mittlere Abstand von rekonstruierter Ebene zu den Punkten, die zu dieser Ebene zugeordnet sind, berechnet. Überschreitet dieser Wert eine definierte Schwelle nicht, wird das Dach als korrekt bestimmt erachtet. Die 68 detektierten Gebäude wurden mit insgesamt 165 Dachflächen extrahiert. Bei einem Schwellwert von 10cm werden 123 der 165 Flächen bestimmt, was etwa 75% aller Flächen entspricht (Abb. 6). Innerhalb einer Grenze von 15cm werden 139 (~84%) Dachflächen korrekt extrahiert.   Abb. 6: Rekonstruierte Dorfszene in 3D, blau markierte Dächer sind innerhalb der Grenze von 10cm rekonstruiert. Gemeinsame Tagung 2014 der DGfK, der DGPF, der GfGI und des GiN (DGPF Tagungsband 23 / 2014) 9  6 Konklusion Es konnte gezeigt werden, dass die Umsetzung der Methode in der ersten Etappe bei einer Vollständigkeit von mehr als  90% und einer Korrektheit von mehr als 75% funktioniert.  Mit diesen Ergebnissen als Grundlage und den vorhandenen Algorithmen wird aktuell angestrengt, diese auf den 3D-Raum zu adaptieren und so Gebäude mit Höhensprüngen und Diskontinuitäten zu erfassen. Des Weiteren stellen diese Daten die Grundlage dar, um mit rekonstruierter Gebäudestruktur in Verbindung mit einer Analyse der Punktwolke die realen Endpunkte eines Daches zu bestimmen und somit automatisiert Dachüberstande aus Luftbilddaten abzuleiten. 7 Literaturverzeichnis HAALA, N. & BRENNER, C., 1997: Generation of 3D city models from airborne laser scanning data, Proc. Of 3rd EARSeL Workshop LIDAR Remote Sensing of Land and Sea, S. 105-112. VOSSELMAN, G. & DIJKMAN, S., 2001: 3D building model reconstruction from point clouds and ground plans, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol 34. XIAO, J., GERKE, M. & VOSSELMAN, G., 2012: Building extraction from oblique airborne imagery based on robust façade detection, ISPRS Journal of Photogrammetry and Remote Sensing 68: 157-165. ROTTENSTEINER , F.& BRIESE, CH., 2002: A new method for building extraction in urban areas from high-resolution LIDAR data, International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences 34.3/A (2002): 295-301. LEHMANN, F., BERGER, R., BRAUCHLE, J., HEIN, D., MEIßNER, H., PLESS, S., STRACKENBROCK, B., WIEDEN, A., 2011: MACS – Modular Airborne CameraSystem for Generating Photogrammetric High- Resolution Products, PFG2011/6,0435–0446. HIRSCHMÜLLER,H. 2005:Accurate and efficient stereo processing by semi-global matching and mutual information, Computer Vision and Pattern Recognition, 2005. CVPR 2005. IEEE Computer Society Conference on. Vol. 2. IEEE. WIEDEN, A. & LINKIEWICZ, M. 2013: True- Oblique- Orthomosaik aus Schrägluftbildern zur Extraktion von 3D-Geoinformationen, DGPF Tagungsband. LINKIEWICZ, M.,  2013 : Extraktion von senkrechten Fassadenebenen aus 3D-Punktwolken von Schraegluftbildern, DGPF Tagungsband. PEARSON, K., 1901: On lines and planes of closest fit to systems of points in space, Philosophical Magazine 2:559-572. HILBERT, A., 1987: Mathematik, Nachschlagebücher für Grundlagenfächer, S.528. RÜTHER-KINDL, W. & BRAUCHLE, J., 2013: The SALSA Project high-end aerial 3d camera, International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Volume XL-1/W2.   

Automatisierte 3D Rekonstruktion von Gebäudeszenen aus 3D Punktwolken

Abstract

Similar works

Full text

Available Versions

Institute of Transport Research:Publications