DESHADOWING OF HIGH SPATIAL RESOLUTION IMAGERY APPLIED TO URBAN AREA DETECTION

Different built-up structures usually lead to large regions covered by shadows, causing partial or total loss of information present in urban environments. In order to mitigate the presence of shadows while improving the urban target discrimination in multispectral images, this paper proposes an automated methodology for both detection and recovery of shadows. First, the image bands are preprocessed in order to highlight their most relevant parts. Secondly, a shadow detection procedure is performed by using morphological filtering so that a shadow mask is obtained. Finally, the reconstruction of shadow-occluded areas is accomplished by an image inpainting strategy. The experimental evaluation of our methodology was carried out in four study areas acquired from a WorldView-2 (WV-2) satellite scene over the urban area of São Paulo city. The experiments have demonstrated a high performance of the proposed shadow detection scheme, with an average overall accuracy up to 92%. Considering the results obtained by our shadow removal strategy, the pre-selected shadows were substantially recovered, as verified by visual inspections. Comparisons involving both VrNIR-BI and VgNIR-BI spectral indices computed from original and shadow-free images also attest the substantial gain in recovering anthropic targets such as streets, roofs and buildings initially damaged by shadows

Joint interpolation of multi-sensor sea surface geophysical fields using non-local and statistical priors

This work addresses the joint analysis of multi-source and multi-resolution remote sensing data for the interpolation of high-resolution geophysical fields. As case-study application, we consider the interpolation of sea surface temperature fields. We propose a novel statistical model, which combines two key features: an exemplar-based prior and second-order statistical priors. The exemplar-based prior, referred to as a non-local prior, exploits similarities between local patches (small field regions) to interpolate missing data areas from previously observed exemplars. This non-local prior also sets an explicit conditioning between the multi-sensor data. Two complementary statistical priors, namely a prior on the spatial covariance and a prior on the marginal distribution of the high-resolution details, are considered as sea surface geophysical fields are expected to depict specific spectral and marginal features in relation to the underlying turbulent ocean dynamics. We report experiments on both synthetic data and real SST data. These experiments demonstrate the contributions of the proposed combination of non-local and statistical priors to interpolate visually-consistent and geophysically-sound SST fields from multi-source satellite data. We further discuss the key features and parameterizations of this model as well as its relevance with respect to classical interpolation techniques

Cloud Detection And Information Cloning Technique For Multi Temporal Satellite Images

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2017Thesis (Ph.D.) -- İstanbul Technical University, Institute of Science and Technology, 2017Uzaktan algılanmış uydu görüntülerinde atmosfer etkilerinden kaynaklı olarak ortaya çıkan bölgesel bulutlar ve bu bulutların gölgeleri, yapılan çalışmalarda problem oluşturan temel gürültü kaynaklarındandır. Değişim analizi, NDVI hesaplama gibi önemli dijital işlemlerde bulut ve gölge bölgeleri, genel olarak yanıltıcı sonuçlar veren bölgeler olduğundan dijital işlemler çoğu zaman bu alanlar maskelenerek gerçekleştirilmektedir. Bu problem birçok çalışmada aynı bölgeden farklı zamanlarda elde edilmiş uydu görüntüleri ile mozaikleme yapılarak aşılmıştır. Ancak, mozaikleme sırasında oluşan spektral ve dokusal bozulmalar çalışmaları olumsuz etkilemektedir. Görüntünün çekilme anına bir daha dönülemeyeceğinden, bulutsuz bir görüntü elde etmek önemli bir süreç haline gelmektedir. Google Earth gibi sık kullanılan harita araçları aynı bölgeye ait çekilmiş birçok görüntü kullanarak bu görüntülerin ortalamalarından bulutsuz mozaikler elde ederek kullanıcılara sunmaktadır. Bu çalışmada bulutlu görüntüler çok zamanlı bulutsuz görüntülerden klonlama yapılarak bulutsuz hale getirilecektir. Diğer benzer çalışmalara ek olarak, klonlama süreci bir fotoğraf düzenleme işleminden öte görüntünün spektral özellikleri kullanılarak gerçekleştirilerek en yakın tarih ve spektral benzerlik göz önünde bulundurularak bulutsuz görüntü elde edilecektir. Üretilen bulutsuz görüntüde oluşan kenar bozulma etkileri çeşitli filtreler ile azaltılacaktır. Geliştirilen yöntem farklı zamanlarda çekilmiş Landsat-8 uydu görüntüleri ile test edilmiştir. Görüntüde bulunan bulutların belirlenmesi, bulut klonlama işleminin gerçekleştirilmesi için ilk aşama ve doğruluğu direkt olarak klonlama doğruluğu etkileyen bir süreçtir. Bulutların oluşturduğu parlaklık ve gölgelerinin oluşturduğu kararmalar birçok veri analizini olumsuz etkilemektedir. Bu etkiler, atmosferik düzeltmede oluşacak zorluklar, NDVI değerlerinin yükselmesi, sınıflandırmadaki hatalar ve değişim analizinin yanlış gerçekleştirilmesi şeklinde olabilir. Tüm bu etkilerin doğrultusunda, uzaktan algılama görüntülerinde bulutlar ve gölgeleri önemli bir gürültü kaynağı olduğundan bunların dijital işlemlerden önceki ilk aşamada belirlenmesi önem taşımaktadır. Bu çalışmada, Landsat-8 görüntüleri kullanılarak ve mevcut ısıl bantların da yardımıyla, bulut ve gölgelerinin belirlenmesi için bölütleme tabanlı bir kural dizisi ile uygulanan bir yöntem önerilmiş ve test edilmiştir. Çalışmaya temel olan bulut belirleme algoritması, ACCA ve Fmask algoritmalarının geliştirilmiş, sadeleştirilmiş, otomatize edilmiş ve bölütleme tabanlı uyarlanmış bir sürümü olarak değerlendirilebilir . Bu yöntem sayesinde, spektral özellikler ve geometrik özellikler bir arada kullanılarak Landsat 8 görüntülerinden bulut ve bulut gölgeleri belirlenmiştir. Spektral ve geometrik özelliklerin yanı sıra Landsat ısıl bant verileri ile, bulut-gölge ve soğuk yüzey (kar, buz) ayırımı güçlendirilmiştir. Komşuluk ilişkileri kullanılarak, belirlenen bulut alanları etrafındaki bulut gölgelerinin belirleme doğruluğu arttırılmıştır. Geliştirilen algoritma, dört farklı bölge için farklı zamanlarda çekilmiş Landsat görüntüleri üzerinde test edilerek değerlendirilmiştir. Bulut belirleme algoritmasında temel olarak Landsat 8 görüntülerinin OLI ve ısıl bantları kullanılmaktadır. Landsat-8 verileri, DN değerler olarak işlenmemiş halde sağlanmaktadır. Bu veriler, Landsat verileri ile birlikte gelen meta veri dosyasında (MTL) verilen oranlama katsayıları ile atmosfer üstü yansıtım değerlerine ve radyans değerlerine dönüştürülebilmektedir. Böylece veriler fiziksel anlamı olan birimlere dönüştürülmüş olur. Meta veri dosyasında sağlanan ısıl bant katsayıları ile ısıl bant verileri, parlaklık sıcaklığı bilgisine dönüştürülebilmektedir. OLI bantları atmosfer üstü yansıtım değerlerine (ToA), ısıl bantlar ise parlaklık sıcaklığına dönüştürülerek algoritmada kullanılmıştır. Yansıtım değerlerine dönüştürülen görüntülerde bulut alanlarının belirlenmesi için öncelikle bölütleme algoritması ile görüntü süper-piksellere ayrılmış ve kural tabanlı bir sınıflandırma dizisi uygulanarak bulut alanları görüntü üzerinden belirlenmiştir. Bulut alanlarının belirlenmesinden sonra, spektral testler ve bulut alanlarının komşuluk ilişkileri değerlendirilerek bulut gölgesi alanları da belirlenmiştir. Süper pikseller, pikselleri anlamlı gruplar halinde birleştirerek, piksel grupları oluşturmak için kullanılmaktadır. Görüntüdeki aynı bilgiye sahip olan piksellerin birleştirilmesi ile görüntü işleme amaçlı işlemlerin hızı da yüksek oranda artmaktadır. K-ortalamalar (K-means) yönteminin mekânsal özelliklerini de kullanan bir uyarlamasını temel alarak süper pikselleri üreten SLIC algoritması da bu amaçla kullanılan etkin yöntemlerden biridir. Bulut süper piksellerinin üretilmesinde SLIC yöntemi kullanılmıştır. Görüntülerden bulut alanlarının belirlenmesi için, bulutların spektral karakteristiğinin belirlenmesi ile işleme başlanmıştır. Görüntü üzerinden toplanan bulut noktalarının spektral imzaları karşılaştırılmıştır. Algoritma bu imzalar temel alınarak geliştirilmiştir. Bulut özelliklerine benzer şekilde, bulut gölgesi alanlarının sınıflandırılmasında da, görüntü üzerinden toplanan bulut noktalarının spektral imzalarının yorumlanmasını temel alan bir yöntem ile ısıl bandı devre dışı bırakan bir bant oranlama indeksi geliştirilmiştir. Bu indeks ile gölge alanlarının değeri diğer arazi örtüsü özelliklerinden keskin bir şekilde ayrıldığından eşik değeri belirlenmesi dinamik olarak gerçekleştirilebilmektedir. İkinci olarak, farklı gölge alanlarının, bulut gölgeleri ile karışmasını önlemek amacıyla görüntü özniteliklerinden olan güneş azimut açısı kullanılarak tüm bulut bölgelerinin bu açı ile doğru orantılı şekilde belli bir uzaklıkta izdüşümü alınmıştır. Bu izdüşüm alanlar, potansiyel gölge alanlarını ifade etmektedir. Gölge alan belirleme indeksi sonucu ile bu izdüşüm alanların kesişimi final gölge bölgelerinin sınıflandırılmasında kullanılmıştır Bulut ve gölgelerinin belirlenmesi, uzaktan algılamada uzun zamandır üzerinde çalışılan ve birçok yöntemin geliştirildiği bir konudur. Bu yöntemler kimi zaman yeterli doğrulukta sonuçlar verirken, kimi zaman da yeterli doğruluğu sağlayamamaktadır. Piksel tabanlı yöntemlerin yanı sıra, görüntüyü süper-piksellere ayıran bölütleme tabanlı yöntemlerin bulut ve gölge belirlemede kullanılması yeni bir konudur. Bu şekilde, görüntü, homojen özellikler sergileyen piksel gruplarına ayrılarak, hem hesaplama gücü azaltılmakta, hem de nesne tabanlı bir yaklaşım sergilendiğinden, sınıflandırılması hedeflenen özellikler geometrik karakteristikleri bakımından etkin bir şekilde görüntü üzerinden elde edilebilmektedir. Bu çalışmada geliştirilen bulut ve gölge belirleme algoritmaları ile bölütleme tabanlı bir yaklaşım bu kapsamda uygulanmıştır. İlk aşamada elde edilen süper-piksellerin doğruluğu sınıflandırma doğruluğunu doğrudan etkilemektedir. Bu nedenle küçük bir ölçek parametresi seçilerek süper-piksellerin boyutları küçük tutulmuş ve piksel gruplamaları homojen tutularak, heterojen süper-piksellerin oluşması olasılığı azaltılmıştır. Bulut ve gölge gibi nesneler, parlak ve koyu yansıtım değerleri nedeniyle görüntü üzerindeki spektral karakteristikleri belirgin bir şekilde oluşan özelliklerdir. Bu bilgiler esas alınarak SLIC algoritması ile etkin bir bölütleme uygulanarak bulut ve gölge alanları süper-piksellere ayrılmıştır. Spektral tabanlı bir yaklaşımla geliştirilen indeksler ile kural seti şeklinde bir yapı kurularak; parlaklık sıcaklığı, güneş açısı, NDSI, NDWI gibi özellikler de sınıflandırma kural setine eklenerek, çok kriterli bir yapıda bulut ve gölge alanları görüntü üzerinden belirlenmiştir. Burada yeni bir yaklaşım olan bulut-gölge izdüşümü yaklaşımı ile bulut ve gölge arasındaki geometrik bağıntı kullanılarak gölge sınıflandırması doğruluğu arttırılmıştır. Tüm bu sonuçlar farklı bölgelerden alınmış görüntüler üzerindeki aynı parametreler ile koşturularak, yöntemin transfer edilebilirliği test edilmiştir. ACCA, Fmask gibi algoritmaların yanında, burada geliştirilen algoritma, transfer edilebilirliği, süper-piksel tabanlı olması sebebiyle getirdiği işlem kolaylığı ve basitleştirilmiş işlem adımları ile kullanışlılığını kanıtlamıştır. Bulut ve gölge alanlarının tespitinden sonra klonlama işlemine altlık oluşturacak bulut maskeleri elde edilmiştir. Bulut alanlarının, bulutsuz görüntülerden hangisi seçilerek klonlanılmasına görüntüler arasında yapılan spektral benzerlik testleri ile karar verilmiştir. Tüm bu görüntülerin bulutlu görüntüye olan korelesyonları hesaplanarak korelasyonu en yüksek olan görüntü bilgi aktarımı için kullanılmıştır. Görüntülerin klonlanmasında, bulutlu görüntünün çekildiği tarihe en yakın 3 aylık görüntüler girdi olarak alınmıştır. Tespit edilen bulut alanları ayrı ayrı analiz edilerek, öncelikle seçilen alana yakın tarihli görüntülerde aynı bölgenin bulutsuz olup olmadığı görüntülerin kesişimleri alınarak test edilmiştir. Bu testin sonrasında bulutsuz görüntüler ile bulutlu görüntü arasında korelasyonu en yüksek görüntüden taşırma algoritması ile (Flood Fill) bilgi aktarımı yapılarak bulutsuz görüntü elde edilmiştir Görüntülerin klonlanmasından sonra oluşan kenar bozulma etkilerinin düzeltilmesi için, klonlanan bölge sınırlarına ortalama filtresi (mean filter, averaging filter) uygulanmıştır. Görüntülerin klonlanmasının ardından, üretilen bulutsuz görüntülerin yakın zaman ait bulutsuz görüntülere olan benzerliği, Yapısal Benzerlik İndeksi Yöntemi (YBIY) (Structural Similarity Index) ile test edilmiştir. YBIY iki resim arasındaki benzerliğin ölçülmesi için geliştirilmiş, Karesel Ortalama Hata’nın (KOH) geliştirilmiş bir sürümü olan ve sık kullanılan bir yöntemdir. Bu yöntem, karşılaştırılan görüntülerden birisini mutlak doğru olarak kabul ederek, diğer görüntünün bu görüntüden sapmasını tespit etmektedir. Görüntünün kontrast ve spektral özelliklerini yanı sıra, yapısal bozulmalarını da hesaplamaya kattığından çalışma için uygun yöntem olarak belirlenmiş ve uygulanmıştır. Bulutlu görüntülerdeki bulutların giderilmesi uzaktan algılama disiplini üzerinde çalışanların uzun zamandır çalıştığı bir konudur. Sis etkisinin giderilmesi için bazı spektral yöntemler geliştirilmiş olsa da, geçirimsiz bulutların giderilmesi ancak farklı zamanlı uydu görüntülerinden bilgi aktarımı ile gerçekleşmektedir. Bu çalışmada, yapılan diğer çalışmalarda kazanılan bulut belirleme başarımının sonrasında bu bilgi kullanılarak görüntüde bulunan bulutların, aynı bölgeden çekilmiş farklı zamanlı görüntülerden bilgi aktarımı ile bulutsuz hale getirilmesi sağlanmıştır. Diğer bulutsuz görüntü elde etme yöntemlerinin yanı sıra, bulutlu alanların bulutsuz görüntülerden klonlanması sırasında, görüntülerin spektral ve yapısal özelliklerini korumak ön planda tutulmuştur. Farklı görüntü benzerlik ve görüntü kalitesi yöntemleri kullanılarak sadece görsellik önde tutulmadan spektral ve yapısal bilgiyi de koruyan bir yöntem geliştirilmiştir.One of the main sources of noises in remote sensing satellite images are regional clouds and shadows of these clouds caused by atmospheric conditions. In many studies, these clouds and shadows are masked with multitemporal images taken from the same area to decrease effects of misclassification and deficiency in different image processing techniques, such as change detection and NDVI calculation. This problem is surpassed in many studies by mosaicking with different images obtained from different acquisition dates of the same region. The main step of all these studies that cover cloud cloning or cloud detection is the detection of clouds from a satellite image. In this study, clouds and shadow patches are classified by using a spectral feature based rule set created after segmentation process of Landsat 8 image. Not only spectral characteristics but also structural parameters like pattern, area and dimension are used to detect clouds and shadows. Information of cloud projection is used to strengthen cloud shadow classification. Rule set of classification is developed within a transferable approach to reach a scene independent solution. Results are tested with different satellite images from different areas to test transferability and compared to other state-of art methods in the literature. Detection of clouds and cloud shadows features correctly is the main step of cloning procedure to create cloudless image from multitemporal image dataset. Multitemporal image dataset is used to find best image to clone cloud image. Choosing best image for cloning process is an important step for reliable cloning. Statistical and seasonal similarity tests are used to find best image to clone cloud covered image. Vector intersections are used to find cloudless images between multitemporal dataset. Flood Fill method is used to create cloudless image from cloud covered image by using information extraction from cloudless images in dataset. Accuracy of cloning process is tested by using SSIM index to find structural and spectral similarity to cloudless image. All cloning results are tested with different image from different regions to check transferability of study. This study can be regarded as a scientific approach to create cloudless image mosaics for each kind of application. Method in this thesis is a scientific approach to well-known methods of famous cloudless mosaic generation methods of Google, Mapbox Co. etc. for creation of visually good-looking base maps for web maps.DoktoraPh.D

TESTING A COMBINED MULTISPECTRAL-MULTITEMPORAL APPROACH FOR GETTING CLOUDLESS IMAGERY FOR SENTINEL-2

Abstract. Earth observation and land cover monitoring are among major applications for satellite data. However, the use of primary satellite information is often limited by clouds, cloud shadows, and haze, which generally contaminate optical imagery. For purposes of hazard assessment, for instance, such as flooding, drought, or seismic events, the availability of uncontaminated optical data is required. Different approaches exist for masking and replacing cloud/haze related contamination. However, most common algorithms take advantage by employing thermal data. Hence, we tested an algorithm suitable for optical imagery only. The approach combines a multispectral-multitemporal strategy to retrieve daytime cloudless and shadow-free imagery. While the approach has been explored for Landsat information, namely Landsat 5 TM and Landsat 8 OLI, here we aim at testing the suitability of the method for Sentinel-2 Multi-Spectral Instrument. A multitemporal stack, for the same image scene, is employed to retrieve a composite uncontaminated image over a temporal period of few months. Besides, in order to emphasize the effectiveness of optical imagery for monitoring post-disaster events, two temporal stages have been processed, before and after a critical seismic event occurred in Lombok Island, Indonesia, in summer 2018. The approach relies on a clouds and cloud shadows masking algorithm, based on spectral features, and a data reconstruction phase based on automatic selection of the most suitable pixels from a multitemporal stack. Results have been tested with uncontaminated image samples for the same scene. High accuracy is achieved

Recent Advances in Image Restoration with Applications to Real World Problems

In the past few decades, imaging hardware has improved tremendously in terms of resolution, making widespread usage of images in many diverse applications on Earth and planetary missions. However, practical issues associated with image acquisition are still affecting image quality. Some of these issues such as blurring, measurement noise, mosaicing artifacts, low spatial or spectral resolution, etc. can seriously affect the accuracy of the aforementioned applications. This book intends to provide the reader with a glimpse of the latest developments and recent advances in image restoration, which includes image super-resolution, image fusion to enhance spatial, spectral resolution, and temporal resolutions, and the generation of synthetic images using deep learning techniques. Some practical applications are also included

Exploiting Spatio-Temporal Coherence for Video Object Detection in Robotics

This paper proposes a method to enhance video object detection for indoor environments in robotics. Concretely, it exploits knowledge about the camera motion between frames to propagate previously detected objects to successive frames. The proposal is rooted in the concepts of planar homography to propose regions of interest where to find objects, and recursive Bayesian filtering to integrate observations over time. The proposal is evaluated on six virtual, indoor environments, accounting for the detection of nine object classes over a total of ∼ 7k frames. Results show that our proposal improves the recall and the F1-score by a factor of 1.41 and 1.27, respectively, as well as it achieves a significant reduction of the object categorization entropy (58.8%) when compared to a two-stage video object detection method used as baseline, at the cost of small time overheads (120 ms) and precision loss (0.92).</p

Advances in Image Processing, Analysis and Recognition Technology

For many decades, researchers have been trying to make computers’ analysis of images as effective as the system of human vision is. For this purpose, many algorithms and systems have previously been created. The whole process covers various stages, including image processing, representation and recognition. The results of this work can be applied to many computer-assisted areas of everyday life. They improve particular activities and provide handy tools, which are sometimes only for entertainment, but quite often, they significantly increase our safety. In fact, the practical implementation of image processing algorithms is particularly wide. Moreover, the rapid growth of computational complexity and computer efficiency has allowed for the development of more sophisticated and effective algorithms and tools. Although significant progress has been made so far, many issues still remain, resulting in the need for the development of novel approaches

Explain what you see:argumentation-based learning and robotic vision

In this thesis, we have introduced new techniques for the problems of open-ended learning, online incremental learning, and explainable learning. These methods have applications in the classification of tabular data, 3D object category recognition, and 3D object parts segmentation. We have utilized argumentation theory and probability theory to develop these methods. The first proposed open-ended online incremental learning approach is Argumentation-Based online incremental Learning (ABL). ABL works with tabular data and can learn with a small number of learning instances using an abstract argumentation framework and bipolar argumentation framework. It has a higher learning speed than state-of-the-art online incremental techniques. However, it has high computational complexity. We have addressed this problem by introducing Accelerated Argumentation-Based Learning (AABL). AABL uses only an abstract argumentation framework and uses two strategies to accelerate the learning process and reduce the complexity. The second proposed open-ended online incremental learning approach is the Local Hierarchical Dirichlet Process (Local-HDP). Local-HDP aims at addressing two problems of open-ended category recognition of 3D objects and segmenting 3D object parts. We have utilized Local-HDP for the task of object part segmentation in combination with AABL to achieve an interpretable model to explain why a certain 3D object belongs to a certain category. The explanations of this model tell a user that a certain object has specific object parts that look like a set of the typical parts of certain categories. Moreover, integrating AABL and Local-HDP leads to a model that can handle a high degree of occlusion

Retocagem digital

A correção e edição de imagem e de vídeo têm vindo a proliferar. Neste tipo de atividades, utiliza-se normalmente uma técnica que tem tido uma aceitação cada vez mais crescente com o passar do tempo, a técnica do Retocagem Digital. O primeiro algoritmo matemático capaz de traduzir o trabalho humano em trabalho computacional, surgiu em 2000 através de Bertalmio e Sapiro. De notar é que, na correção de imagem e de vídeo, o principal foco desta técnica é essencialmente corrigir pequenos “erros”, os quais são detetáveis ao olho humano leia-se “olho nu” numa imagem. Alguns exemplos podem ser enumerados, desde riscos, ou pontos de poeira, até a remoção de outros objetos como os logotipos, marcas de água (watermarks), pessoas, etc. Sendo assim, o objetivo principal tornar essas modificações impercetíveis na imagem. Posto isto, consideraram-se assim diferentes técnicas que são usadas para corrigir os diferentes problemas supracitados. Estas técnicas podem englobar uma parte mais pequena da imagem na qual se tem de ter em conta apenas a dispersão de cores numa matriz bastante povoada e dispersa, ou na parte maior da imagem, na qual se tem em conta essencialmente quais são os pixéis vizinhos ou até mesmo as cores desses pixéis, de modo a manter a coerência no preenchimento de cada pixel, considerando uma dada área.Digital image and video correction and editing have been proliferating. This kind of activities rely on techniques, usually know as Digital Inpainting or Digital Retouching, that have been increasingly growing in popularity as well as acceptance in the course of time. Digital Retouching techniques are relatively recent, becoming popular since the year 2000, and are nowadays widely used in several areas. In image and video correction, the main objective of this technique is essentially to correct "imperfections" that are detectable by the human eye, known as "naked eye". This "imperfections" correction may consist of image scratches or dust spots removal, up to the removal of larger objects such as logos, watermarks, people, etc. Nevertheless, the main goal of Digital Retouching is to make these changes imperceptible to the human viewer or as natural as possible. This Dissertation considers different techniques that are used to correct the several problems. It was developed a Digital Retouching application to evaluate the performance of various techniques mentioned above through image quality metrics