RegGAN: An End-to-End Network for Building Footprint Generation with Boundary Regularization

Accurate and reliable building footprint maps are of great interest in many applications, e.g., urban monitoring, 3D building modeling, and geographical database updating. When compared to traditional methods, the deep-learning-based semantic segmentation networks have largely boosted the performance of building footprint generation. However, they still are not capable of delineating structured building footprints. Most existing studies dealing with this issue are based on two steps, which regularize building boundaries after the semantic segmentation networks are implemented, making the whole pipeline inefficient. To address this, we propose an end-to-end network for the building footprint generation with boundary regularization, which is termed RegGAN. Our method is based on a generative adversarial network (GAN). Specifically, a multiscale discriminator is proposed to distinguish the input between false and true, and a generator is utilized to learn from the discriminator’s response to generate more realistic building footprints. We propose to incorporate regularized loss in the objective function of RegGAN, in order to further enhance sharp building boundaries. The proposed method is evaluated on two datasets with varying spatial resolutions: the INRIA dataset (30 cm/pixel) and the ISPRS dataset (5 cm/pixel). Experimental results show that RegGAN is able to well preserve regular shapes and sharp building boundaries, which outperforms other competitors

Automatic Extraction of Tall Buildings from Off-Nadir High Resolution Satellite Images Using Model-Based Approach

학위논문 (석사)-- 서울대학교 대학원 : 건설환경공학부, 2015. 2. 김용일.최근 다양한 고해상도 지구관측위성이 발사 되고, 고해상도 위성영상의 상업적인 보급이 활발해 짐에 따라 이를 이용한 다양한 연구들이 이루어지고 있다. 특히 1m 이하의 높은 공간해상도는 지상에 위치한 건물, 도로, 차량 등 다양한 물체에 관한 정보를 제공하고 있으며, 영상으로부터 건물의 2차원 정보를 추출하는 연구는 도시 모니터링, 재난관리 등의 분야에 사용될 수 있어 필요성이 대두되고 있다. 그러나 건물 추출 정확도에 영향을 미치는 요소가 다양하여 대다수의 건물 추출 연구가 연직영상을 사용한 저층 건물 추출에 제한되어 있다. 이러한 기존 연구를 이용하여 비연직 방향으로 촬영된 고층건물을 추출하는 데는 한계가 따르며, 이는 다양한 제원의 영상을 이용하여 다양한 높이의 건물을 추출하는데 어려움이 존재하게 만든다. 따라서 본 연구는 비연직 영상에서 고층건물의 상단을 자동으로 추출하는 알고리즘을 제안하여 기존 연구의 한계를 극복하고자 하였다. 제안하는 알고리즘은 고층건물 영역 자동 추출과 고층건물 상단 추출의 두 단계로 구분된다. 건물영역 자동 탐지 과정에서는 Otsu 기법과 영역확장 기법을 사용하여 그림자 영상과 건물 영역을 자동으로 추출한다. 추출된 두 영역과 영상의 메타데이터, 에지 정보를 이용하여 고층건물 상단의 선을 실제 건물 선에 최적화시킨 후, 건물의 구조적 특징과 영역적인 특징을 반영한 모델 기반 기법을 통해 고층건물 상단영역을 자동으로 완성하였다. 제안 방법을 주거지구와 업무지구의 IKONOS-2, QuickBird-2 영상에 적용하여 알고리즘의 우수성을 검증하였다. 화소 및 객체 기반의 정확도 분석 결과, 모든 경우에 대하여 사용자 정확도는 0.87, 생산자 정확도는 0.79, 그리고 F 측정치는 0.83 이상으로 나타나 영상의 종류와 실험 지역의 속성과 무관하게 알고리즘이 유용함을 보여주었다. 또한 객체 기반의 평균 F 측정치는 0.89로 나타났으며, 이는 기존 건물 추출 연구와 비교하여 비슷하거나 높았다. 본 연구에서는 흑백의 단영상만을 사용하여 다중 분광 영상이나 부가 데이터를 사용하는 기존의 연구에 비해 비용 효율적인 기법을 제안한다. 비연직 영상에서 고층건물의 상단을 다른 면과 구분하는 자동화된 방법을 제안하여 기존 건물 추출의 한계를 극복하고 고해상도 영상으로부터 고층건물의 정보를 추출할 수 있는 방안을 제시하였다. 기법의 우수성을 바탕으로, 제안 기법은 다양한 도시 지역의 고층건물 상단을 추출하는 연구에 적용될 수 있을 뿐만 아니라 건물 상단 간의 매칭을 통한 3차원 건물 모델 생성, 도시건물변화탐지 등의 분야에 적용될 수 있다. 이는 추출될 수 있는 건물 정보를 다양화하여 영상을 이용한 건물 추출 분야가 더욱 발전할 수 있는 기반을 제공한다.1. 서론 1 1.1 연구 배경 및 동기 1 1.2 연구동향 2 1.3 연구의 목적 및 범위 7 2. 고층건물 영역 자동 추출 11 2.1 영상 전처리 12 2.2 Otsu 기법을 이용한 건물 그림자 영역 추출 15 2.3 영역확장 기법을 이용한 건물 영역 추출 16 2.3.1 영역확장 기법을 위한 초기 시드 추출 16 2.3.2 고층건물 영역 중첩 및 오추출 제거 18 3. 고층건물 상단 추출 21 3.1 고층건물 상단 선 추출 23 3.1.1 LSD를 이용한 영상 내 초기 건물 영역 선 추출 23 3.1.2 고층건물 상단 영역 선 추출 25 3.2 고층건물 상단 선 최적화 32 3.3 고층건물 상단 영역 추출 36 3.3.1 수직관계를 이용한 건물 상단 영역 추출 36 3.3.2 평행관계를 이용한 건물 상단 영역 추출 39 3.3.3 추출된 건물 상단 영역 통합 및 최적화 43 4. 실험 및 적용 47 4.1 실험 지역 및 자료 47 4.2 실험 결과 48 4.2.1 고층건물 영역 자동 추출 결과 48 4.2.2 고층건물 상단 추출 결과 53 4.2.2.1 고층건물 상단 선 추출 및 최적화 결과 53 4.2.2.2 고층건물 상단 영역 추출 결과 59 5. 결론 71 6. 참고문헌 74Maste

Very High Resolution (VHR) Satellite Imagery: Processing and Applications

Recently, growing interest in the use of remote sensing imagery has appeared to provide synoptic maps of water quality parameters in coastal and inner water ecosystems;, monitoring of complex land ecosystems for biodiversity conservation; precision agriculture for the management of soils, crops, and pests; urban planning; disaster monitoring, etc. However, for these maps to achieve their full potential, it is important to engage in periodic monitoring and analysis of multi-temporal changes. In this context, very high resolution (VHR) satellite-based optical, infrared, and radar imaging instruments provide reliable information to implement spatially-based conservation actions. Moreover, they enable observations of parameters of our environment at greater broader spatial and finer temporal scales than those allowed through field observation alone. In this sense, recent very high resolution satellite technologies and image processing algorithms present the opportunity to develop quantitative techniques that have the potential to improve upon traditional techniques in terms of cost, mapping fidelity, and objectivity. Typical applications include multi-temporal classification, recognition and tracking of specific patterns, multisensor data fusion, analysis of land/marine ecosystem processes and environment monitoring, etc. This book aims to collect new developments, methodologies, and applications of very high resolution satellite data for remote sensing. The works selected provide to the research community the most recent advances on all aspects of VHR satellite remote sensing

Deep Learning for Building Footprint Generation from Optical Imagery

Auf Deep Learning basierende Methoden haben vielversprechende Ergebnisse für die Aufgabe der Erstellung von Gebäudegrundrissen gezeigt, aber sie haben zwei inhärente Einschränkungen. Erstens zeigen die extrahierten Gebäude verschwommene Gebäudegrenzen und Klecksformen. Zweitens sind für das Netzwerktraining massive Annotationen auf Pixelebene erforderlich. Diese Dissertation hat eine Reihe von Methoden entwickelt, um die oben genannten Probleme anzugehen. Darüber hinaus werden die entwickelten Methoden in praktische Anwendungen umgesetzt

Building Detection With Decision Fusion

A novel decision fusion approach to building detection problem in VHR optical satellite images is proposed. The method combines the detection results of multiple classifiers under a hierarchical architecture, called Fuzzy Stacked Generalization (FSG). After an initial segmentation and pre-processing step, a large variety of color, texture and shape features are extracted from each segment. Then, the segments, represented in different feature spaces are classified by different base-layer classifiers of the FSG architecture. The class membership values of the segments, which represent the decisions of different base-layer classifiers in a decision space, are aggregated to form a fusion space which is then fed to a meta-layer classifier of the FSG to label the vectors in the fusion space. The paper presents the performance results of the proposed decision fusion model by a comparison with the state of the art machine learning algorithms. The results show that fusing the decisions of multiple classifiers improves the performance, when they are ensembled under the suggested hierarchical learning architecture

Building Detection With Decision Fusion

A novel decision fusion approach to building detection problem in VHR optical satellite images is proposed. The method combines the detection results of multiple classifiers under a hierarchical architecture, called Fuzzy Stacked Generalization (FSG). After an initial segmentation and pre-processing step, a large variety of color, texture and shape features are extracted from each segment. Then, the segments, represented in different feature spaces are classified by different base-layer classifiers of the FSG architecture. The class membership values of the segments, which represent the decisions of different base-layer classifiers in a decision space, are aggregated to form a fusion space which is then fed to a meta-layer classifier of the FSG to label the vectors in the fusion space. The paper presents the performance results of the proposed decision fusion model by a comparison with the state of the art machine learning algorithms. The results show that fusing the decisions of multiple classifiers improves the performance, when they are ensembled under the suggested hierarchical learning architecture