TESTING A COMBINED MULTISPECTRAL-MULTITEMPORAL APPROACH FOR GETTING CLOUDLESS IMAGERY FOR SENTINEL-2

Abstract. Earth observation and land cover monitoring are among major applications for satellite data. However, the use of primary satellite information is often limited by clouds, cloud shadows, and haze, which generally contaminate optical imagery. For purposes of hazard assessment, for instance, such as flooding, drought, or seismic events, the availability of uncontaminated optical data is required. Different approaches exist for masking and replacing cloud/haze related contamination. However, most common algorithms take advantage by employing thermal data. Hence, we tested an algorithm suitable for optical imagery only. The approach combines a multispectral-multitemporal strategy to retrieve daytime cloudless and shadow-free imagery. While the approach has been explored for Landsat information, namely Landsat 5 TM and Landsat 8 OLI, here we aim at testing the suitability of the method for Sentinel-2 Multi-Spectral Instrument. A multitemporal stack, for the same image scene, is employed to retrieve a composite uncontaminated image over a temporal period of few months. Besides, in order to emphasize the effectiveness of optical imagery for monitoring post-disaster events, two temporal stages have been processed, before and after a critical seismic event occurred in Lombok Island, Indonesia, in summer 2018. The approach relies on a clouds and cloud shadows masking algorithm, based on spectral features, and a data reconstruction phase based on automatic selection of the most suitable pixels from a multitemporal stack. Results have been tested with uncontaminated image samples for the same scene. High accuracy is achieved

Comparison of Vegetation Index Value Based on Digital Number and Top of Atmosphere Reflectance

Daljinska su istraživanja jedan od najraširenijih načina prikupljanja velike količine podataka na velikom prostoru zahvaljujući satelitskim misijama. Prikupljene satelitske snimke omogućile su prikupljanje informacija i shvaćanje mnogobrojnih procesa na Zemlji. Najveći napredak postignut je slobodnim pristupom satelitskim snimkama. Pristupom velikoj količini slobodnih podataka razvijen je i usavršen velik broj postupaka za njihovu daljnju obradu. S razvojem tehnologija dobiveni su i kvalitetniji rezultati. U ovom radu prikazana su dva načina obrade satelitskih podataka u svrhu dobivanja informacija o kvaliteti dobivenih vegetacijskih indeksa izračunatih pomoću digitalnog broja i refleksije. Prikazani su koraci izračuna vrijednosti refleksije iz vrijednosti digitalnog broja za svaki piksel. Analizirani su skokovi u rezultatima uzrokovani oblacima vizualnim promatranjem snimke i dobivenih vrijednosti vegetacijskog indeksa normalizirane razlike (NDVI).Remote sensing is common way for collecting large amount of data across large area as a result of satellite missions. Collected satellite images allows gathering informations for understanding Earth processes. Biggest advantage was free satellite data access. Accessing large amount of free data, number of methods for processing gathered satellite images were developed. With technology development, processed data have better quality. This article shows two ways of processing satellite data for gathering informations about quality of vegetation index calculated with digital number and with reflectance. Steps of calculation reflectance for each pixel from digital number is shown. Leaps in results, caused by clouds, were analysed by visual interpretation of image and from results of calculated normalized difference vegetation index (NDVI)

Comparison of Vegetation Index Value Based on Digital Number and Top of Atmosphere Reflectance

Daljinska su istraživanja jedan od najraširenijih načina prikupljanja velike količine podataka na velikom prostoru zahvaljujući satelitskim misijama. Prikupljene satelitske snimke omogućile su prikupljanje informacija i shvaćanje mnogobrojnih procesa na Zemlji. Najveći napredak postignut je slobodnim pristupom satelitskim snimkama. Pristupom velikoj količini slobodnih podataka razvijen je i usavršen velik broj postupaka za njihovu daljnju obradu. S razvojem tehnologija dobiveni su i kvalitetniji rezultati. U ovom radu prikazana su dva načina obrade satelitskih podataka u svrhu dobivanja informacija o kvaliteti dobivenih vegetacijskih indeksa izračunatih pomoću digitalnog broja i refleksije. Prikazani su koraci izračuna vrijednosti refleksije iz vrijednosti digitalnog broja za svaki piksel. Analizirani su skokovi u rezultatima uzrokovani oblacima vizualnim promatranjem snimke i dobivenih vrijednosti vegetacijskog indeksa normalizirane razlike (NDVI).Remote sensing is common way for collecting large amount of data across large area as a result of satellite missions. Collected satellite images allows gathering informations for understanding Earth processes. Biggest advantage was free satellite data access. Accessing large amount of free data, number of methods for processing gathered satellite images were developed. With technology development, processed data have better quality. This article shows two ways of processing satellite data for gathering informations about quality of vegetation index calculated with digital number and with reflectance. Steps of calculation reflectance for each pixel from digital number is shown. Leaps in results, caused by clouds, were analysed by visual interpretation of image and from results of calculated normalized difference vegetation index (NDVI)

Cloud Detection And Information Cloning Technique For Multi Temporal Satellite Images

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2017Thesis (Ph.D.) -- İstanbul Technical University, Institute of Science and Technology, 2017Uzaktan algılanmış uydu görüntülerinde atmosfer etkilerinden kaynaklı olarak ortaya çıkan bölgesel bulutlar ve bu bulutların gölgeleri, yapılan çalışmalarda problem oluşturan temel gürültü kaynaklarındandır. Değişim analizi, NDVI hesaplama gibi önemli dijital işlemlerde bulut ve gölge bölgeleri, genel olarak yanıltıcı sonuçlar veren bölgeler olduğundan dijital işlemler çoğu zaman bu alanlar maskelenerek gerçekleştirilmektedir. Bu problem birçok çalışmada aynı bölgeden farklı zamanlarda elde edilmiş uydu görüntüleri ile mozaikleme yapılarak aşılmıştır. Ancak, mozaikleme sırasında oluşan spektral ve dokusal bozulmalar çalışmaları olumsuz etkilemektedir. Görüntünün çekilme anına bir daha dönülemeyeceğinden, bulutsuz bir görüntü elde etmek önemli bir süreç haline gelmektedir. Google Earth gibi sık kullanılan harita araçları aynı bölgeye ait çekilmiş birçok görüntü kullanarak bu görüntülerin ortalamalarından bulutsuz mozaikler elde ederek kullanıcılara sunmaktadır. Bu çalışmada bulutlu görüntüler çok zamanlı bulutsuz görüntülerden klonlama yapılarak bulutsuz hale getirilecektir. Diğer benzer çalışmalara ek olarak, klonlama süreci bir fotoğraf düzenleme işleminden öte görüntünün spektral özellikleri kullanılarak gerçekleştirilerek en yakın tarih ve spektral benzerlik göz önünde bulundurularak bulutsuz görüntü elde edilecektir. Üretilen bulutsuz görüntüde oluşan kenar bozulma etkileri çeşitli filtreler ile azaltılacaktır. Geliştirilen yöntem farklı zamanlarda çekilmiş Landsat-8 uydu görüntüleri ile test edilmiştir. Görüntüde bulunan bulutların belirlenmesi, bulut klonlama işleminin gerçekleştirilmesi için ilk aşama ve doğruluğu direkt olarak klonlama doğruluğu etkileyen bir süreçtir. Bulutların oluşturduğu parlaklık ve gölgelerinin oluşturduğu kararmalar birçok veri analizini olumsuz etkilemektedir. Bu etkiler, atmosferik düzeltmede oluşacak zorluklar, NDVI değerlerinin yükselmesi, sınıflandırmadaki hatalar ve değişim analizinin yanlış gerçekleştirilmesi şeklinde olabilir. Tüm bu etkilerin doğrultusunda, uzaktan algılama görüntülerinde bulutlar ve gölgeleri önemli bir gürültü kaynağı olduğundan bunların dijital işlemlerden önceki ilk aşamada belirlenmesi önem taşımaktadır. Bu çalışmada, Landsat-8 görüntüleri kullanılarak ve mevcut ısıl bantların da yardımıyla, bulut ve gölgelerinin belirlenmesi için bölütleme tabanlı bir kural dizisi ile uygulanan bir yöntem önerilmiş ve test edilmiştir. Çalışmaya temel olan bulut belirleme algoritması, ACCA ve Fmask algoritmalarının geliştirilmiş, sadeleştirilmiş, otomatize edilmiş ve bölütleme tabanlı uyarlanmış bir sürümü olarak değerlendirilebilir . Bu yöntem sayesinde, spektral özellikler ve geometrik özellikler bir arada kullanılarak Landsat 8 görüntülerinden bulut ve bulut gölgeleri belirlenmiştir. Spektral ve geometrik özelliklerin yanı sıra Landsat ısıl bant verileri ile, bulut-gölge ve soğuk yüzey (kar, buz) ayırımı güçlendirilmiştir. Komşuluk ilişkileri kullanılarak, belirlenen bulut alanları etrafındaki bulut gölgelerinin belirleme doğruluğu arttırılmıştır. Geliştirilen algoritma, dört farklı bölge için farklı zamanlarda çekilmiş Landsat görüntüleri üzerinde test edilerek değerlendirilmiştir. Bulut belirleme algoritmasında temel olarak Landsat 8 görüntülerinin OLI ve ısıl bantları kullanılmaktadır. Landsat-8 verileri, DN değerler olarak işlenmemiş halde sağlanmaktadır. Bu veriler, Landsat verileri ile birlikte gelen meta veri dosyasında (MTL) verilen oranlama katsayıları ile atmosfer üstü yansıtım değerlerine ve radyans değerlerine dönüştürülebilmektedir. Böylece veriler fiziksel anlamı olan birimlere dönüştürülmüş olur. Meta veri dosyasında sağlanan ısıl bant katsayıları ile ısıl bant verileri, parlaklık sıcaklığı bilgisine dönüştürülebilmektedir. OLI bantları atmosfer üstü yansıtım değerlerine (ToA), ısıl bantlar ise parlaklık sıcaklığına dönüştürülerek algoritmada kullanılmıştır. Yansıtım değerlerine dönüştürülen görüntülerde bulut alanlarının belirlenmesi için öncelikle bölütleme algoritması ile görüntü süper-piksellere ayrılmış ve kural tabanlı bir sınıflandırma dizisi uygulanarak bulut alanları görüntü üzerinden belirlenmiştir. Bulut alanlarının belirlenmesinden sonra, spektral testler ve bulut alanlarının komşuluk ilişkileri değerlendirilerek bulut gölgesi alanları da belirlenmiştir. Süper pikseller, pikselleri anlamlı gruplar halinde birleştirerek, piksel grupları oluşturmak için kullanılmaktadır. Görüntüdeki aynı bilgiye sahip olan piksellerin birleştirilmesi ile görüntü işleme amaçlı işlemlerin hızı da yüksek oranda artmaktadır. K-ortalamalar (K-means) yönteminin mekânsal özelliklerini de kullanan bir uyarlamasını temel alarak süper pikselleri üreten SLIC algoritması da bu amaçla kullanılan etkin yöntemlerden biridir. Bulut süper piksellerinin üretilmesinde SLIC yöntemi kullanılmıştır. Görüntülerden bulut alanlarının belirlenmesi için, bulutların spektral karakteristiğinin belirlenmesi ile işleme başlanmıştır. Görüntü üzerinden toplanan bulut noktalarının spektral imzaları karşılaştırılmıştır. Algoritma bu imzalar temel alınarak geliştirilmiştir. Bulut özelliklerine benzer şekilde, bulut gölgesi alanlarının sınıflandırılmasında da, görüntü üzerinden toplanan bulut noktalarının spektral imzalarının yorumlanmasını temel alan bir yöntem ile ısıl bandı devre dışı bırakan bir bant oranlama indeksi geliştirilmiştir. Bu indeks ile gölge alanlarının değeri diğer arazi örtüsü özelliklerinden keskin bir şekilde ayrıldığından eşik değeri belirlenmesi dinamik olarak gerçekleştirilebilmektedir. İkinci olarak, farklı gölge alanlarının, bulut gölgeleri ile karışmasını önlemek amacıyla görüntü özniteliklerinden olan güneş azimut açısı kullanılarak tüm bulut bölgelerinin bu açı ile doğru orantılı şekilde belli bir uzaklıkta izdüşümü alınmıştır. Bu izdüşüm alanlar, potansiyel gölge alanlarını ifade etmektedir. Gölge alan belirleme indeksi sonucu ile bu izdüşüm alanların kesişimi final gölge bölgelerinin sınıflandırılmasında kullanılmıştır Bulut ve gölgelerinin belirlenmesi, uzaktan algılamada uzun zamandır üzerinde çalışılan ve birçok yöntemin geliştirildiği bir konudur. Bu yöntemler kimi zaman yeterli doğrulukta sonuçlar verirken, kimi zaman da yeterli doğruluğu sağlayamamaktadır. Piksel tabanlı yöntemlerin yanı sıra, görüntüyü süper-piksellere ayıran bölütleme tabanlı yöntemlerin bulut ve gölge belirlemede kullanılması yeni bir konudur. Bu şekilde, görüntü, homojen özellikler sergileyen piksel gruplarına ayrılarak, hem hesaplama gücü azaltılmakta, hem de nesne tabanlı bir yaklaşım sergilendiğinden, sınıflandırılması hedeflenen özellikler geometrik karakteristikleri bakımından etkin bir şekilde görüntü üzerinden elde edilebilmektedir. Bu çalışmada geliştirilen bulut ve gölge belirleme algoritmaları ile bölütleme tabanlı bir yaklaşım bu kapsamda uygulanmıştır. İlk aşamada elde edilen süper-piksellerin doğruluğu sınıflandırma doğruluğunu doğrudan etkilemektedir. Bu nedenle küçük bir ölçek parametresi seçilerek süper-piksellerin boyutları küçük tutulmuş ve piksel gruplamaları homojen tutularak, heterojen süper-piksellerin oluşması olasılığı azaltılmıştır. Bulut ve gölge gibi nesneler, parlak ve koyu yansıtım değerleri nedeniyle görüntü üzerindeki spektral karakteristikleri belirgin bir şekilde oluşan özelliklerdir. Bu bilgiler esas alınarak SLIC algoritması ile etkin bir bölütleme uygulanarak bulut ve gölge alanları süper-piksellere ayrılmıştır. Spektral tabanlı bir yaklaşımla geliştirilen indeksler ile kural seti şeklinde bir yapı kurularak; parlaklık sıcaklığı, güneş açısı, NDSI, NDWI gibi özellikler de sınıflandırma kural setine eklenerek, çok kriterli bir yapıda bulut ve gölge alanları görüntü üzerinden belirlenmiştir. Burada yeni bir yaklaşım olan bulut-gölge izdüşümü yaklaşımı ile bulut ve gölge arasındaki geometrik bağıntı kullanılarak gölge sınıflandırması doğruluğu arttırılmıştır. Tüm bu sonuçlar farklı bölgelerden alınmış görüntüler üzerindeki aynı parametreler ile koşturularak, yöntemin transfer edilebilirliği test edilmiştir. ACCA, Fmask gibi algoritmaların yanında, burada geliştirilen algoritma, transfer edilebilirliği, süper-piksel tabanlı olması sebebiyle getirdiği işlem kolaylığı ve basitleştirilmiş işlem adımları ile kullanışlılığını kanıtlamıştır. Bulut ve gölge alanlarının tespitinden sonra klonlama işlemine altlık oluşturacak bulut maskeleri elde edilmiştir. Bulut alanlarının, bulutsuz görüntülerden hangisi seçilerek klonlanılmasına görüntüler arasında yapılan spektral benzerlik testleri ile karar verilmiştir. Tüm bu görüntülerin bulutlu görüntüye olan korelesyonları hesaplanarak korelasyonu en yüksek olan görüntü bilgi aktarımı için kullanılmıştır. Görüntülerin klonlanmasında, bulutlu görüntünün çekildiği tarihe en yakın 3 aylık görüntüler girdi olarak alınmıştır. Tespit edilen bulut alanları ayrı ayrı analiz edilerek, öncelikle seçilen alana yakın tarihli görüntülerde aynı bölgenin bulutsuz olup olmadığı görüntülerin kesişimleri alınarak test edilmiştir. Bu testin sonrasında bulutsuz görüntüler ile bulutlu görüntü arasında korelasyonu en yüksek görüntüden taşırma algoritması ile (Flood Fill) bilgi aktarımı yapılarak bulutsuz görüntü elde edilmiştir Görüntülerin klonlanmasından sonra oluşan kenar bozulma etkilerinin düzeltilmesi için, klonlanan bölge sınırlarına ortalama filtresi (mean filter, averaging filter) uygulanmıştır. Görüntülerin klonlanmasının ardından, üretilen bulutsuz görüntülerin yakın zaman ait bulutsuz görüntülere olan benzerliği, Yapısal Benzerlik İndeksi Yöntemi (YBIY) (Structural Similarity Index) ile test edilmiştir. YBIY iki resim arasındaki benzerliğin ölçülmesi için geliştirilmiş, Karesel Ortalama Hata’nın (KOH) geliştirilmiş bir sürümü olan ve sık kullanılan bir yöntemdir. Bu yöntem, karşılaştırılan görüntülerden birisini mutlak doğru olarak kabul ederek, diğer görüntünün bu görüntüden sapmasını tespit etmektedir. Görüntünün kontrast ve spektral özelliklerini yanı sıra, yapısal bozulmalarını da hesaplamaya kattığından çalışma için uygun yöntem olarak belirlenmiş ve uygulanmıştır. Bulutlu görüntülerdeki bulutların giderilmesi uzaktan algılama disiplini üzerinde çalışanların uzun zamandır çalıştığı bir konudur. Sis etkisinin giderilmesi için bazı spektral yöntemler geliştirilmiş olsa da, geçirimsiz bulutların giderilmesi ancak farklı zamanlı uydu görüntülerinden bilgi aktarımı ile gerçekleşmektedir. Bu çalışmada, yapılan diğer çalışmalarda kazanılan bulut belirleme başarımının sonrasında bu bilgi kullanılarak görüntüde bulunan bulutların, aynı bölgeden çekilmiş farklı zamanlı görüntülerden bilgi aktarımı ile bulutsuz hale getirilmesi sağlanmıştır. Diğer bulutsuz görüntü elde etme yöntemlerinin yanı sıra, bulutlu alanların bulutsuz görüntülerden klonlanması sırasında, görüntülerin spektral ve yapısal özelliklerini korumak ön planda tutulmuştur. Farklı görüntü benzerlik ve görüntü kalitesi yöntemleri kullanılarak sadece görsellik önde tutulmadan spektral ve yapısal bilgiyi de koruyan bir yöntem geliştirilmiştir.One of the main sources of noises in remote sensing satellite images are regional clouds and shadows of these clouds caused by atmospheric conditions. In many studies, these clouds and shadows are masked with multitemporal images taken from the same area to decrease effects of misclassification and deficiency in different image processing techniques, such as change detection and NDVI calculation. This problem is surpassed in many studies by mosaicking with different images obtained from different acquisition dates of the same region. The main step of all these studies that cover cloud cloning or cloud detection is the detection of clouds from a satellite image. In this study, clouds and shadow patches are classified by using a spectral feature based rule set created after segmentation process of Landsat 8 image. Not only spectral characteristics but also structural parameters like pattern, area and dimension are used to detect clouds and shadows. Information of cloud projection is used to strengthen cloud shadow classification. Rule set of classification is developed within a transferable approach to reach a scene independent solution. Results are tested with different satellite images from different areas to test transferability and compared to other state-of art methods in the literature. Detection of clouds and cloud shadows features correctly is the main step of cloning procedure to create cloudless image from multitemporal image dataset. Multitemporal image dataset is used to find best image to clone cloud image. Choosing best image for cloning process is an important step for reliable cloning. Statistical and seasonal similarity tests are used to find best image to clone cloud covered image. Vector intersections are used to find cloudless images between multitemporal dataset. Flood Fill method is used to create cloudless image from cloud covered image by using information extraction from cloudless images in dataset. Accuracy of cloning process is tested by using SSIM index to find structural and spectral similarity to cloudless image. All cloning results are tested with different image from different regions to check transferability of study. This study can be regarded as a scientific approach to create cloudless image mosaics for each kind of application. Method in this thesis is a scientific approach to well-known methods of famous cloudless mosaic generation methods of Google, Mapbox Co. etc. for creation of visually good-looking base maps for web maps.DoktoraPh.D

Cloud removal from optical remote sensing images

Optical remote sensing images used for Earth surface observations are constantly contaminated by cloud cover. Clouds dynamically affect the applications of optical data and increase the difficulty of image analysis. Therefore, cloud is considered as one of the sources of noise in optical image data, and its detection and removal need to be operated as a pre-processing step in most remote sensing image processing applications. This thesis investigates the current cloud detection and removal algorithms and develops three new cloud removal methods to improve the accuracy of the results. A thin cloud removal method based on signal transmission principles and spectral mixture analysis (ST-SMA) for pixel correction is developed in the first contribution. This method considers not only the additive reflectance from the clouds but also the energy absorption when solar radiation passes through them. Data correction is achieved by subtracting the product of the cloud endmember signature and the cloud abundance and rescaling according to the cloud thickness. The proposed method has no requirement for meteorological data and does not rely on reference images. The experimental results indicate that the proposed approach is able to perform effective removal of thin clouds in different scenarios. In the second study, an effective cloud removal method is proposed by taking advantage of the noise-adjusted principal components transform (CR-NAPCT). It is found that the signal-to-noise ratio (S/N) of cloud data is higher than data without cloud contamination, when spatial correlation is considered and are shown in the first NAPCT component (NAPC1) in the NAPCT data. An inverse transformation with a modified first component is then applied to generate the cloud free image. The effectiveness of the proposed method is assessed by performing experiments on simulated and real data to compare the quantitative and qualitative performance of the proposed approach. The third study of this thesis deals with both cloud and cloud shadow problems with the aid of an auxiliary image in a clear sky condition. A new cloud removal approach called multitemporal dictionary learning (MDL) is proposed. Dictionaries of the cloudy areas (target data) and the cloud free areas (reference data) are learned separately in the spectral domain. An online dictionary learning method is then applied to obtain the two dictionaries in this method. The removal process is conducted by using the coefficients from the reference image and the dictionary learned from the target image. This method is able to recover the data contaminated by thin and thick clouds or cloud shadows. The experimental results show that the MDL method is effective from both quantitative and qualitative viewpoints