Enhanced phase congruency feature-based image registration for multimodal remote sensing imagery

Multimodal image registration is an essential image processing task in remote sensing. Basically, multimodal image registration searches for optimal alignment between images captured by different sensors for the same scene to provide better visualization and more informative images. Manual image registration is a tedious task and requires more effort, hence developing an automated image registration is very crucial to provide a faster and reliable solution. However, image registration faces many challenges from the nature of remote sensing image, the environment, and the technical shortcoming of the current methods that cause three issues, namely intensive processing power, local intensity variation, and rotational distortion. Since not all image details are significant, relying on the salient features will be more efficient in terms of processing power. Thus, the feature-based registration method was adopted as an efficient method to avoid intensive processing. The proposed method resolves rotation distortion issue using Oriented FAST and Rotated BRIEF (ORB) to produce invariant rotation features. However, since it is not intensity invariant, it cannot support multimodal data. To overcome the intensity variations issue, Phase Congruence (PC) was integrated with ORB to introduce ORB-PC feature extraction to generate feature invariance to rotation distortion and local intensity variation. However, the solution is not complete since the ORB-PC matching rate is below the expectation. Enhanced ORB-PC was proposed to solve the matching issue by modifying the feature descriptor. While better feature matches were achieved, a high number of outliers from multimodal data makes the common outlier removal methods unsuccessful. Therefore, the Normalized Barycentric Coordinate System (NBCS) outlier removal was utilized to find precise matches even with a high number of outliers. The experiments were conducted to verify the registration qualitatively and quantitatively. The qualitative experiment shows the proposed method has a broader and better features distribution, while the quantitative evaluation indicates improved performance in terms of registration accuracy by 18% compared to the related works

A Study on Image Registration between High Resolution Optical and SAR Images Using SAR-SIFT and DLSS

학위논문 (석사)-- 서울대학교 대학원 : 공과대학 건설환경공학부, 2018. 8. 김용일.최근 위성센서 기술의 발달로 다양한 센서를 탑재한 지구관측위성이 발사되면서, 다중센서 위성영상을 융합 분석하는 연구가 활발히 진행되고 있다. 특히, 광학영상과 SAR영상은 취급하는 파장대가 달라 동시에 활용할 경우 지표면에 대해 보다 구체적인 정보를 취득할 수 있으며, 더 나아가, 객체 추출, 변화탐지, 재난재해 모니터링 등 원격탐사 분야에 폭넓게 적용이 가능하다. 이를 위해서는 전처리 작업으로 두 영상 간 정합이 필수적으로 이루어져야 한다. 그러나, 광학영상과 SAR영상은 영상 취득시 위성센서 자세 및 취급하는 파장대의 상이함으로 기하 및 분광 정보 차이를 유발하여 영상 정합에 있어 유독 어려움이 존재한다. 이러한 차이는 건물이 밀집된 도심지역에서 부각되며, 중·저해상도 영상보다 고해상도 영상에서 두드러진다. 따라서, 본 연구에서는 도심지역에 대한 고해상도 광학영상과 SAR영상 간 정합에 효과적인 방법론을 제안하였다. 기존 광학영상과 SAR영상 간 정합 관련 연구는 크게 특징기반 정합기법과 강도기반 정합기법으로 진행되었다. 강도기반 정합기법은 분광 특성이 다른 영상 간 정합에 효과적이나, 영상 간 왜곡이 존재하지 않거나 기하학적 위치 차이가 적을 때에만 적용 가능하다. 고해상도 광학영상과 SAR영상은 지역적 왜곡이 존재하며, 두 영상 간 수십m 이상의 기하학적 위치 차이가 발생할 수 있다. 따라서, 고해상도 광학영상과 SAR영상 간 정합 연구는 강도기반 정합기법 보다 특징기반 정합기법이 중점적으로 진행되고 있다. 그러나, 특징기반 정합기법은 분광 특성이 다른 광학영상과 SAR영상에서 오정합쌍을 다수 추출하여 정합 성능이 떨어진다. 이를 해결하기 위해, 강도기반 정합기법과 특징기반 정합기법을 결합한 기법들이 제안되었으나, 도심지역에서 원 형상이 존재하는 지역이나 건물밀집지역을 제외한 지역 등과 같이 제한된 지역에서만 적용 가능하다는 한계점을 보였다. 이를 개선하기 위해, 본 연구에서는 특징기반 정합기법인 SAR-SIFT 기법과 강도기반 정합기법인 DLSS 기법을 결합한 정합기법을 제안하였다. 또한, 정합쌍을 추출하기 위해, 전처리 단계, 후보 정합쌍 추출 단계, 정밀 정합쌍 추출 단계인 총 세 단계를 추가하였다. 고해상도 광학영상과 SAR영상 간 정합을 위해서, SAR-SIFT 기법을 이용하여 특징점을 추출하고, 추출된 특징점에서 DLSS 기법을 이용하여 정합쌍을 추출하였다. 그러나, 추출된 정합쌍에 다수의 오정합쌍이 포함되는 문제점이 존재하였다. 이를 해결하기 위해, 추출된 정합쌍에서 임계치와 특징점 간 변위량을 이용한 전처리 단계와 후보 정합쌍 추출 단계를 통해 후보 정합쌍을 추출하고, 후보 정합쌍에 RANSAC 기법을 적용하여 정밀 정합쌍을 추출하는 방법을 제안하였다. 최종적으로 추출된 정밀 정합쌍을 이용하여 어핀 변환식(affine transformation)을 구성하고, 이를 적용하여 광학영상에 정합된 SAR영상을 생성하였다. 본 연구의 정확도를 검증하기 위하여, 대표적인 고해상도 광학영상인 KOMPSAT-2영상과 고해상도 SAR영상인 TerraSAR-X, Cosmo-SkyMed영상을 사용하였고, 시각적, 정량적 평가를 진행하였다. 시각적 평가를 위해서 모자이크 영상을 생성하였으며, 두 영상 간 경계에서 객체의 형상이 유지됨을 통해 정합이 우수하게 수행됨을 확인하였다. 정량적 평가를 위해서 수동 검사점을 통한 RMSE Ⅰ과 교차검증을 통한 RMSE Ⅱ를 사용하였으며, 모든 실험지역에 대해 RMSE Ⅰ은 1.51m에서 2.04m, RMSE Ⅱ는 1.34m에서 1.69m로 정확도가 도출되었다. 이는, 선행연구결과와 비교하였을 때 우수한 수준의 정확도로 확인되었다. 이를 통해, 제안 기법이 고해상도 광학영상과 SAR영상 간 정합에 효과적이며, 두 영상 간 융합 분석을 위해 효과적인 정합 기술로 활용될 것으로 사료된다.1. 서 론 1 1.1 연구배경 1 1.2 연구동향 4 1.3 연구의 목적 및 범위 7 2. 특징점 추출 10 2.1 영상 전처리 10 2.2 SAR-SIFT 기법을 통한 특징점 추출 11 2.2.1. SIFT 기법의 문제점 11 2.2.2. SAR-SIFT 기법 15 3. 정합쌍 추출 18 3.1 DLSS 기법을 통한 정합쌍 추출 18 3.1.1. 형상 서술자 LSS 19 3.1.2. 형상 서술자 벡터 DLSS 21 3.1.3. DLSS 기법의 문제점 22 3.2 제안된 정합쌍 추출 방법 24 3.2.1. 전처리 단계 24 3.2.2. 후보 정합쌍 추출 단계 26 3.2.3. 정밀 정합쌍 추출 단계 28 3.3 정합 및 정확도 평가 방법 29 3.3.1. 어핀 변환식 29 3.3.2. 정확도 평가 방법 31 4. 실험의 적용 및 평가 32 4.1 실험지역 및 자료 32 4.2 특징점 추출 결과 35 4.2.1. SIFT 기법을 통한 특징점 추출 결과 35 4.2.2. SAR-SIFT 기법을 통한 특징점 추출 결과 37 4.3 정합쌍 추출 결과 40 4.3.1. 기존 기법을 통한 정합쌍 추출 결과 40 4.3.2. 제안 기법을 통한 정합쌍 추출 결과 44 4.4 정합 결과 및 평가 49 5. 결론 55 Abstract 67Maste

Computer aided detection of defects in FRP bridge decks using infrared thermography

The objective of this research is to develop a turn-key system that is able to interface with the FLIR ThermaCAM S60 infrared camera and automatically capture and analyze defects in infrared images of FRP bridge decks. Infrared thermography is one of the nondestructive evaluation (NDE) techniques that are being used to locate defects (debonds and delaminations) in bridge components. It is a rapid data collection and interpretation technique having high sensitivity and reliability. Analysis of infrared images by human interpretation is dependent on the users knowledge and hence introduces ambiguity in the defect detection process.;This thesis investigates the use of an automated defect detection system to locate defects in infrared images of FRP bridge decks to eliminate/reduce human intervention. Air-filled and water-filled debonds were inserted between the wearing surface and the underlying FRP deck. Also, simulated subsurface delaminations (of various sizes and thickness) were created at the flange-to-flange junction between two FRP deck modules. (Abstract shortened by UMI.)

Reports to the President

A compilation of annual reports for the 1985-1986 academic year, including a report from the President of the Massachusetts Institute of Technology, as well as reports from the academic and administrative units of the Institute. The reports outline the year's goals, accomplishments, honors and awards, and future plans

Reports to the President

A compilation of annual reports for the 1986-1987 academic year, including a report from the President of the Massachusetts Institute of Technology, as well as reports from the academic and administrative units of the Institute. The reports outline the year's goals, accomplishments, honors and awards, and future plans

Housing quality and lost (public) space in Croatia

IN ENGLISH: In the post-socialist period and within the current social transition context, urban and rural Croatia has, just like other transition countries, experienced many changes in the social structure and space. One example is the housing quality which is a replica of the situation in the Croatian society and has also undergone some major changes. Socially oriented housing construction co-financed by the state and the cities is in an unfavourable position compared to private housing construction. In the last twenty years the amount of the social housing construction has been only a minor part of the total contruction work in the country. For instance, out of nine newly planned residential housing developments in Zagreb, the capital city, only three have been completed and the work on the rest of them has stopped and is unlikely to continue. Private construction work prevails especially on the edge of the city and is characterised by high density housing. This type of housing construction doesn't benefit the majority of citizens in search of accommodation (price per square meter is too high, low-quality building). There is also a big problem of the community facilities (primary and secondary infrastructure, schools, kindergartens, playgrounds, green areas, sidewalks, public transport etc.). The existing globalisation-transition circumstances of the Croatian society corroborate the fact which experts of various profiles often point out: ignoring the process of (urban) planning will irreparably damage the space. The city transformation shows the absence of comprehensive urban planning which results in an ever increasing number of random buildings which do not fit in the surroundings. This leads up to yet another important issue – the shrinking and, in some cases, disappearance of public space which becomes the “lost space“. In recent years there has been a lot of building in the city core and on the edge which does not quite fit in the existing urban structure, image or the skyline of the city. The current situation in the process of planning can be characterized as a conflict and imbalance between the powerful actors (mostly political and economic) and less powerful actors (mostly professional and civil). The actors who have the political power and influence and the ones who possess the capital are forming an “alliance” between two important layers of the social structure. The lack of civil and professional actors, “lost spatial actors”, and therefore of civic aggregation is also present and that is also the cause of public space “disappearance” and undermined process of public participation. --------------- IN CROATIAN: U postsocijalističkom razdoblju i trenutnom tranzicijskom kontekstu urbana i ruralna Hrvatska su, kao i ostale tranzicijske zemlje, doživjele mnoge promjene u društvenoj strukturi i samom prostoru. Na primjeru kvalitete stanovanja kao replike stanja u hrvatskom društvu mogu se vidjeti značajne promjene. Društveno usmjerena stambena izgradnja sufinancirana od strane države i gradova je stoga rjeđa i u nepovoljnijoj je situaciji prema privatnoj stanogradnji. Zadnjih dvadeset godina udjel socijalne stambene gradnje je zanemariv u ukupnoj izgradnji na razini zemlje. Primjerice, od devet planiranih stambenih naselja izgrađenih po modelu POS-a u Zagrebu samo su tri i završena. Na ostalima je proces gradnje zastao i ne čini se da će se privesti kraju. Privatna je gradnje prisutnija, posebno na rubovima grada, a obilježava je visoka gustoća gradnje. Ovakav tip gradnje ne odgovara većini stanovnika koji su u procesu potražnje stambene nekretnine (visoka cijena kvadratnog metra, a slaba kvaliteta gradnje). Postoji također i problem nedostatne opremljenosti susjedstva (primarna i sekundarna infrastruktura, škole, vrtići, igrališta, zelene površine, pješačke staze, javni transport itd.). Navedene globalizacijsko-tranzicijske okolnosti hrvatskog društva potvrđuju ono što eksperti različitih profila ističu, a to je da će ignoriranje procesa (urbanog) planiranja nepovratno uništiti prostor gradova. Ovakve transformacije pokazuju nedostatak sustavnog urbanog planiranja što rezultira sve većim brojem zgrada koje se ne uklapaju u neposrednu okolinu. To nadalje dovodi do drugog važnog aspekta – smanjivanja i u nekim slučajevima, nestanka javnog prostora koji postaje „izgubljeni prostor“. Posljednjih je godina izgrađen velik broj zgrada, i u središtu i na rubovima grada, koje se ne uklapaju u postojeću urbanu strukturu, izgled ili vizuru grada. Ovakvu situaciju obilježavaju sukob i neravnoteža između moćnijih društvenih aktera (većinom političkih i ekonomskih) i onih manje moćnih (većinom profesionalnih i civilnih). Politički i ekonomski akteri se često povezuju u „savez“ dvaju najjačih u društvenoj strukturi. S druge strane nedostatak utjecaja civilnih i profesionalnih aktera kao „izgubljenih prostornih aktera“ dovodi do „nestanka“ javnih prostora te smanjenja važnosti procesa participacije (sudjelovanja javnosti)