Automated Image Registration Using Morphological Region of Interest Feature Extraction

With the recent explosion in the amount of remotely sensed imagery and the corresponding interest in temporal change detection and modeling, image registration has become increasingly important as a necessary first step in the integration of multi-temporal and multi-sensor data for applications such as the analysis of seasonal and annual global climate changes, as well as land use/cover changes. The task of image registration can be divided into two major components: (1) the extraction of control points or features from images; and (2) the search among the extracted features for the matching pairs that represent the same feature in the images to be matched. Manual control feature extraction can be subjective and extremely time consuming, and often results in few usable points. Automated feature extraction is a solution to this problem, where desired target features are invariant, and represent evenly distributed landmarks such as edges, corners and line intersections. In this paper, we develop a novel automated registration approach based on the following steps. First, a mathematical morphology (MM)-based method is used to obtain a scale-orientation morphological profile at each image pixel. Next, a spectral dissimilarity metric such as the spectral information divergence is applied for automated extraction of landmark chips, followed by an initial approximate matching. This initial condition is then refined using a hierarchical robust feature matching (RFM) procedure. Experimental results reveal that the proposed registration technique offers a robust solution in the presence of seasonal changes and other interfering factors. Keywords-Automated image registration, multi-temporal imagery, mathematical morphology, robust feature matching

Recent Advances in Registration, Integration and Fusion of Remotely Sensed Data: Redundant Representations and Frames

In recent years, sophisticated mathematical techniques have been successfully applied to the field of remote sensing to produce significant advances in applications such as registration, integration and fusion of remotely sensed data. Registration, integration and fusion of multiple source imagery are the most important issues when dealing with Earth Science remote sensing data where information from multiple sensors, exhibiting various resolutions, must be integrated. Issues ranging from different sensor geometries, different spectral responses, differing illumination conditions, different seasons, and various amounts of noise need to be dealt with when designing an image registration, integration or fusion method. This tutorial will first define the problems and challenges associated with these applications and then will review some mathematical techniques that have been successfully utilized to solve them. In particular, we will cover topics on geometric multiscale representations, redundant representations and fusion frames, graph operators, diffusion wavelets, as well as spatial-spectral and operator-based data fusion. All the algorithms will be illustrated using remotely sensed data, with an emphasis on current and operational instruments

Evaluating Fourier Cross-Correlation Sub-Pixel Registration in Landsat Images

[EN] Multi-temporal analysis is one of the main applications of remote sensing, and Landsat imagery has been one of the main resources for many years. However, the moderate spatial resolution (30 m) restricts their use for high precision applications. In this paper, we simulate Landsat scenes to evaluate, by means of an exhaustive number of tests, a subpixel registration process based on phase correlation and the upsampling of the Fourier transform. From a high resolution image (0.5 m), two sets of 121 synthetic images of fixed translations are created to simulate Landsat scenes (30 m). In this sense, the use of the point spread function (PSF) of the Landsat TM (Thematic Mapper) sensor in the downsampling process improves the results compared to those obtained by simple averaging. In the process of obtaining sub-pixel accuracy by upsampling the cross correlation matrix by a certain factor, the limit of improvement is achieved at 0.1 pixels. We show that image size affects the cross correlation results, but for images equal or larger than 100 x 100 pixels similar accuracies are expected. The large dataset used in the tests allows us to describe the intra-pixel distribution of the errors obtained in the registration process and how they follow a waveform instead of random/stochastic behavior. The amplitude of this waveform, representing the highest expected error, is estimated at 1.88 m. Finally, a validation test is performed over a set of sub-pixel shorelines obtained from actual Landsat-5 TM, Landsat-7 ETM+ (Enhanced Thematic Mapper Plus) and Landsat-8 OLI (Operation Land Imager) scenes. The evaluation of the shoreline accuracy with respect to permanent seawalls, before and after the registration, shows the importance of the registering process and serves as a non-synthetic validation test that reinforce previous results.This study has been supported by a research project from the Spanish Ministry of Economy and Competitiveness (CGL2015-69906-R).Almonacid Caballer, J.; Pardo Pascual, JE.; Ruiz Fernández, LÁ. (2017). Evaluating Fourier Cross-Correlation Sub-Pixel Registration in Landsat Images. Remote Sensing. 9(10). https://doi.org/10.3390/rs9101051S91

Geometrični popravki optičnih satelitskih posnetkov

The monograph presents a fully automated procedure for geometric correction of optical satellite images, without any manual intervention during the processing. The resulting orthorectified image is in the national coordinate system and constitutes a suitable source for spatial analyses. In the monograph the original procedure connects several different methods into a single, robust system for automatic generation of orthoimages is documented in detail. The work describes the whole automatic orthorectification process, which comprises four basic modules: a module for extracting and preparing the metadata, a module for automatic extraction of ground control points, a module for calculation of parameters of the geometric model, and a module for orthorectification. The experiments and results with RapidEye and WorldView-2 images are also presented. The experiments evaluate the procedure for automatic extraction of points, the geometric model, the elimination of gross errors, and the positional accuracy of the orthoimages. The analisys of the results indicate that the automated procedure produces orthoimages with a positional accuracy of about two pixels or better, even if several gross errors are present among the automatically extracted ground control points.V knjigi je opisan popolnoma samodejen postopek geometričnih popravkov optičnih satelitskih posnetkov, ki deluje brez posredovanja operaterja med obdelavo. Dobljeni ortorektificiran posnetek je v državnem koordinatnem sistemu in predstavlja primerno podlago za prostorske analize. V knjigi je detajlno dokumentiran izviren postopek, ki povezuje več različnih metod v enoten in robusten sistem za samodejno izdelavo satelitskega ortofota. Opisan je celoten postopek samodejne ortorektifikacije, ki ga sestavljajo štirje osnovni moduli: modul za branje in pripravo metapodatkov, modul za samodejno določanje oslonilnih točk, modul za izračun parametrov geometričnega modela in modul za izvedbo ortorektifikacije. Poleg modulov so predstavljeni tudi poskusi s posnetki RapidEye in WorldView-2. Opravljeni poskusi so omogočili ovrednotenje delovanja samodejnega postopka določanja točk, geometričnega modela, izločanja grobih napak in oceno položajne točnosti ortoposnetkov. Analiza rezultatov testov kaže, da lahko samodejni postopek izdela ortoposnetke s položajno točnostjo okrog dveh pikslov ali manj, tudi če je med samodejno določenimi oslonilnimi točkami prisotnih več grobih napak

Obtención de líneas de costa con precisión sub-píxel a partir de imágenes Landsat (TM, ETM + y OLI)

En esta tesis se presenta un método y una serie de herramientas informáticas para obtener automáticamente la posición de líneas de costa partiendo de imágenes registradas por los satélites Landsat (5,7 y 8) con un nivel de precisión cercano a 5,5 m (EMC). Para conseguirlo se han resuelto tres cuestiones: (i) la definición de un algoritmo de extracción automática de la línea de costa a nivel subpíxel, (ii) la georreferenciación de las sucesivas imágenes también a nivel sub-píxel y (iii) la adaptación específica a los distintos tipos de imágenes Landsat. El método desarrollado se sustenta en el análisis de las bandas del infrarojo próximo y medio, en las que existe una diferencia muy marcada en la respuesta radiométrica del agua y el suelo. Una umbralización inicial permite la detección de la línea de costa a nivel píxel. Alrededor de tal línea, se aplica el algoritmo propuesto para alcanzar la precisión sub-píxel. Concretamente, se ajusta una función alrededor de cada píxel de la línea aproximada y, sobre dicha función matemática, se deducen, realizando perfiles transversales, los puntos de máximo gradiente. Finalmente, el promedio de tales puntos define la posición de la línea de costa. En primer lugar se ha evaluado el algoritmo sobre imágenes QuickBird (2,4 m de resolución espacia) definido la posición verdadera de la línea de costa mediante fotointerpretación para servir de referencia. Posteriormente, se han remuestreado esas mismas imágenes a tamaños de píxeles similares a los de las imágenes Landsat, se ha aplicado al algoritmo propuesto y evaluado frente a la línea de referencia. En segundo lugar, se ha propuesto y evaluado un método de georreferenciación basado en la correlación cruzada. Para realizar una evaluación independiente de las líneas de costa, se ha generado un conjunto de imágenes de traslación conocida. Al aplicar el método propuesto y comparar sus resultados con la traslación conocida se ha podido describir el comportamiento de los errores. Los errores observados se acercan a los 0,1 píxeles. Esto implica, al aplicarse sobre imágenes con una resolución igual a la de Landsat (30m/píxel), un error esperable de 2 m. En tercer lugar, se han unificado los procesos de obtención de la línea de costa y de georreferenciación para su aplicación sobre las bandas infrarrojas de Landsat TM/ETM/OLI. Para la validación, se han tomado como referencia ciertas zonas de costa que no han sufrido variaciones en el tiempo de estudio. Se ha demostrado que la reflectancia de las zonas terrestres próximas a la costa afecta a la posición de la línea de costa que obtiene el algoritmo. Este comportamiento ha podido ser descrito estadísticamente. De esta manera, en función de qué sensor y banda se empleen, es posible corregir la línea de costa y llevarla a su posición definitiva. Tomando el total de líneas de costa analizadas se obtiene un error medio cuadrático de 5,5 m. Una vez establecido el nivel de precisión que se consigue con la metodología propuesta en la tesis se abordan dos aplicaciones específicas: (i) un estudio sobre el impacto de una serie de temporales costeros sobre un amplio segmento de playas arenosas (100 km) y los procesos de recuperación de esas playas y (ii) un estudio de la tendencia a medio plazo (casi treinta años) de un segmento costero (14 km). Estos dos estudios han permitido mostrar la utilidad de las líneas de costa así obtenidas, evidenciando que aportan una nueva fuente de información para los estudios de la dinámica de las playas. Si bien la metodología presenta algunas limitaciones, resulta claro que también resuelve otras que son propias del resto del fuentes de datos disponibles para los estudios de la dinámica costera.Almonacid Caballer, J. (2014). Obtención de líneas de costa con precisión sub-píxel a partir de imágenes Landsat (TM, ETM + y OLI) [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/48462TESISPremios Extraordinarios de tesis doctorale