A Study on Image Registration between High Resolution Optical and SAR Images Using SAR-SIFT and DLSS

학위논문 (석사)-- 서울대학교 대학원 : 공과대학 건설환경공학부, 2018. 8. 김용일.최근 위성센서 기술의 발달로 다양한 센서를 탑재한 지구관측위성이 발사되면서, 다중센서 위성영상을 융합 분석하는 연구가 활발히 진행되고 있다. 특히, 광학영상과 SAR영상은 취급하는 파장대가 달라 동시에 활용할 경우 지표면에 대해 보다 구체적인 정보를 취득할 수 있으며, 더 나아가, 객체 추출, 변화탐지, 재난재해 모니터링 등 원격탐사 분야에 폭넓게 적용이 가능하다. 이를 위해서는 전처리 작업으로 두 영상 간 정합이 필수적으로 이루어져야 한다. 그러나, 광학영상과 SAR영상은 영상 취득시 위성센서 자세 및 취급하는 파장대의 상이함으로 기하 및 분광 정보 차이를 유발하여 영상 정합에 있어 유독 어려움이 존재한다. 이러한 차이는 건물이 밀집된 도심지역에서 부각되며, 중·저해상도 영상보다 고해상도 영상에서 두드러진다. 따라서, 본 연구에서는 도심지역에 대한 고해상도 광학영상과 SAR영상 간 정합에 효과적인 방법론을 제안하였다. 기존 광학영상과 SAR영상 간 정합 관련 연구는 크게 특징기반 정합기법과 강도기반 정합기법으로 진행되었다. 강도기반 정합기법은 분광 특성이 다른 영상 간 정합에 효과적이나, 영상 간 왜곡이 존재하지 않거나 기하학적 위치 차이가 적을 때에만 적용 가능하다. 고해상도 광학영상과 SAR영상은 지역적 왜곡이 존재하며, 두 영상 간 수십m 이상의 기하학적 위치 차이가 발생할 수 있다. 따라서, 고해상도 광학영상과 SAR영상 간 정합 연구는 강도기반 정합기법 보다 특징기반 정합기법이 중점적으로 진행되고 있다. 그러나, 특징기반 정합기법은 분광 특성이 다른 광학영상과 SAR영상에서 오정합쌍을 다수 추출하여 정합 성능이 떨어진다. 이를 해결하기 위해, 강도기반 정합기법과 특징기반 정합기법을 결합한 기법들이 제안되었으나, 도심지역에서 원 형상이 존재하는 지역이나 건물밀집지역을 제외한 지역 등과 같이 제한된 지역에서만 적용 가능하다는 한계점을 보였다. 이를 개선하기 위해, 본 연구에서는 특징기반 정합기법인 SAR-SIFT 기법과 강도기반 정합기법인 DLSS 기법을 결합한 정합기법을 제안하였다. 또한, 정합쌍을 추출하기 위해, 전처리 단계, 후보 정합쌍 추출 단계, 정밀 정합쌍 추출 단계인 총 세 단계를 추가하였다. 고해상도 광학영상과 SAR영상 간 정합을 위해서, SAR-SIFT 기법을 이용하여 특징점을 추출하고, 추출된 특징점에서 DLSS 기법을 이용하여 정합쌍을 추출하였다. 그러나, 추출된 정합쌍에 다수의 오정합쌍이 포함되는 문제점이 존재하였다. 이를 해결하기 위해, 추출된 정합쌍에서 임계치와 특징점 간 변위량을 이용한 전처리 단계와 후보 정합쌍 추출 단계를 통해 후보 정합쌍을 추출하고, 후보 정합쌍에 RANSAC 기법을 적용하여 정밀 정합쌍을 추출하는 방법을 제안하였다. 최종적으로 추출된 정밀 정합쌍을 이용하여 어핀 변환식(affine transformation)을 구성하고, 이를 적용하여 광학영상에 정합된 SAR영상을 생성하였다. 본 연구의 정확도를 검증하기 위하여, 대표적인 고해상도 광학영상인 KOMPSAT-2영상과 고해상도 SAR영상인 TerraSAR-X, Cosmo-SkyMed영상을 사용하였고, 시각적, 정량적 평가를 진행하였다. 시각적 평가를 위해서 모자이크 영상을 생성하였으며, 두 영상 간 경계에서 객체의 형상이 유지됨을 통해 정합이 우수하게 수행됨을 확인하였다. 정량적 평가를 위해서 수동 검사점을 통한 RMSE Ⅰ과 교차검증을 통한 RMSE Ⅱ를 사용하였으며, 모든 실험지역에 대해 RMSE Ⅰ은 1.51m에서 2.04m, RMSE Ⅱ는 1.34m에서 1.69m로 정확도가 도출되었다. 이는, 선행연구결과와 비교하였을 때 우수한 수준의 정확도로 확인되었다. 이를 통해, 제안 기법이 고해상도 광학영상과 SAR영상 간 정합에 효과적이며, 두 영상 간 융합 분석을 위해 효과적인 정합 기술로 활용될 것으로 사료된다.1. 서 론 1 1.1 연구배경 1 1.2 연구동향 4 1.3 연구의 목적 및 범위 7 2. 특징점 추출 10 2.1 영상 전처리 10 2.2 SAR-SIFT 기법을 통한 특징점 추출 11 2.2.1. SIFT 기법의 문제점 11 2.2.2. SAR-SIFT 기법 15 3. 정합쌍 추출 18 3.1 DLSS 기법을 통한 정합쌍 추출 18 3.1.1. 형상 서술자 LSS 19 3.1.2. 형상 서술자 벡터 DLSS 21 3.1.3. DLSS 기법의 문제점 22 3.2 제안된 정합쌍 추출 방법 24 3.2.1. 전처리 단계 24 3.2.2. 후보 정합쌍 추출 단계 26 3.2.3. 정밀 정합쌍 추출 단계 28 3.3 정합 및 정확도 평가 방법 29 3.3.1. 어핀 변환식 29 3.3.2. 정확도 평가 방법 31 4. 실험의 적용 및 평가 32 4.1 실험지역 및 자료 32 4.2 특징점 추출 결과 35 4.2.1. SIFT 기법을 통한 특징점 추출 결과 35 4.2.2. SAR-SIFT 기법을 통한 특징점 추출 결과 37 4.3 정합쌍 추출 결과 40 4.3.1. 기존 기법을 통한 정합쌍 추출 결과 40 4.3.2. 제안 기법을 통한 정합쌍 추출 결과 44 4.4 정합 결과 및 평가 49 5. 결론 55 Abstract 67Maste

Multimodal Remote Sensing Image Registration with Accuracy Estimation at Local and Global Scales

This paper focuses on potential accuracy of remote sensing images registration. We investigate how this accuracy can be estimated without ground truth available and used to improve registration quality of mono- and multi-modal pair of images. At the local scale of image fragments, the Cramer-Rao lower bound (CRLB) on registration error is estimated for each local correspondence between coarsely registered pair of images. This CRLB is defined by local image texture and noise properties. Opposite to the standard approach, where registration accuracy is only evaluated at the output of the registration process, such valuable information is used by us as an additional input knowledge. It greatly helps detecting and discarding outliers and refining the estimation of geometrical transformation model parameters. Based on these ideas, a new area-based registration method called RAE (Registration with Accuracy Estimation) is proposed. In addition to its ability to automatically register very complex multimodal image pairs with high accuracy, the RAE method provides registration accuracy at the global scale as covariance matrix of estimation error of geometrical transformation model parameters or as point-wise registration Standard Deviation. This accuracy does not depend on any ground truth availability and characterizes each pair of registered images individually. Thus, the RAE method can identify image areas for which a predefined registration accuracy is guaranteed. The RAE method is proved successful with reaching subpixel accuracy while registering eight complex mono/multimodal and multitemporal image pairs including optical to optical, optical to radar, optical to Digital Elevation Model (DEM) images and DEM to radar cases. Other methods employed in comparisons fail to provide in a stable manner accurate results on the same test cases.Comment: 48 pages, 8 figures, 5 tables, 51 references Revised arguments in sections 2 and 3. Additional test cases added in Section 4; comparison with the state-of-the-art improved. References added. Conclusions unchanged. Proofrea