Cloud Detection And Information Cloning Technique For Multi Temporal Satellite Images

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2017Thesis (Ph.D.) -- İstanbul Technical University, Institute of Science and Technology, 2017Uzaktan algılanmış uydu görüntülerinde atmosfer etkilerinden kaynaklı olarak ortaya çıkan bölgesel bulutlar ve bu bulutların gölgeleri, yapılan çalışmalarda problem oluşturan temel gürültü kaynaklarındandır. Değişim analizi, NDVI hesaplama gibi önemli dijital işlemlerde bulut ve gölge bölgeleri, genel olarak yanıltıcı sonuçlar veren bölgeler olduğundan dijital işlemler çoğu zaman bu alanlar maskelenerek gerçekleştirilmektedir. Bu problem birçok çalışmada aynı bölgeden farklı zamanlarda elde edilmiş uydu görüntüleri ile mozaikleme yapılarak aşılmıştır. Ancak, mozaikleme sırasında oluşan spektral ve dokusal bozulmalar çalışmaları olumsuz etkilemektedir. Görüntünün çekilme anına bir daha dönülemeyeceğinden, bulutsuz bir görüntü elde etmek önemli bir süreç haline gelmektedir. Google Earth gibi sık kullanılan harita araçları aynı bölgeye ait çekilmiş birçok görüntü kullanarak bu görüntülerin ortalamalarından bulutsuz mozaikler elde ederek kullanıcılara sunmaktadır. Bu çalışmada bulutlu görüntüler çok zamanlı bulutsuz görüntülerden klonlama yapılarak bulutsuz hale getirilecektir. Diğer benzer çalışmalara ek olarak, klonlama süreci bir fotoğraf düzenleme işleminden öte görüntünün spektral özellikleri kullanılarak gerçekleştirilerek en yakın tarih ve spektral benzerlik göz önünde bulundurularak bulutsuz görüntü elde edilecektir. Üretilen bulutsuz görüntüde oluşan kenar bozulma etkileri çeşitli filtreler ile azaltılacaktır. Geliştirilen yöntem farklı zamanlarda çekilmiş Landsat-8 uydu görüntüleri ile test edilmiştir. Görüntüde bulunan bulutların belirlenmesi, bulut klonlama işleminin gerçekleştirilmesi için ilk aşama ve doğruluğu direkt olarak klonlama doğruluğu etkileyen bir süreçtir. Bulutların oluşturduğu parlaklık ve gölgelerinin oluşturduğu kararmalar birçok veri analizini olumsuz etkilemektedir. Bu etkiler, atmosferik düzeltmede oluşacak zorluklar, NDVI değerlerinin yükselmesi, sınıflandırmadaki hatalar ve değişim analizinin yanlış gerçekleştirilmesi şeklinde olabilir. Tüm bu etkilerin doğrultusunda, uzaktan algılama görüntülerinde bulutlar ve gölgeleri önemli bir gürültü kaynağı olduğundan bunların dijital işlemlerden önceki ilk aşamada belirlenmesi önem taşımaktadır. Bu çalışmada, Landsat-8 görüntüleri kullanılarak ve mevcut ısıl bantların da yardımıyla, bulut ve gölgelerinin belirlenmesi için bölütleme tabanlı bir kural dizisi ile uygulanan bir yöntem önerilmiş ve test edilmiştir. Çalışmaya temel olan bulut belirleme algoritması, ACCA ve Fmask algoritmalarının geliştirilmiş, sadeleştirilmiş, otomatize edilmiş ve bölütleme tabanlı uyarlanmış bir sürümü olarak değerlendirilebilir . Bu yöntem sayesinde, spektral özellikler ve geometrik özellikler bir arada kullanılarak Landsat 8 görüntülerinden bulut ve bulut gölgeleri belirlenmiştir. Spektral ve geometrik özelliklerin yanı sıra Landsat ısıl bant verileri ile, bulut-gölge ve soğuk yüzey (kar, buz) ayırımı güçlendirilmiştir. Komşuluk ilişkileri kullanılarak, belirlenen bulut alanları etrafındaki bulut gölgelerinin belirleme doğruluğu arttırılmıştır. Geliştirilen algoritma, dört farklı bölge için farklı zamanlarda çekilmiş Landsat görüntüleri üzerinde test edilerek değerlendirilmiştir. Bulut belirleme algoritmasında temel olarak Landsat 8 görüntülerinin OLI ve ısıl bantları kullanılmaktadır. Landsat-8 verileri, DN değerler olarak işlenmemiş halde sağlanmaktadır. Bu veriler, Landsat verileri ile birlikte gelen meta veri dosyasında (MTL) verilen oranlama katsayıları ile atmosfer üstü yansıtım değerlerine ve radyans değerlerine dönüştürülebilmektedir. Böylece veriler fiziksel anlamı olan birimlere dönüştürülmüş olur. Meta veri dosyasında sağlanan ısıl bant katsayıları ile ısıl bant verileri, parlaklık sıcaklığı bilgisine dönüştürülebilmektedir. OLI bantları atmosfer üstü yansıtım değerlerine (ToA), ısıl bantlar ise parlaklık sıcaklığına dönüştürülerek algoritmada kullanılmıştır. Yansıtım değerlerine dönüştürülen görüntülerde bulut alanlarının belirlenmesi için öncelikle bölütleme algoritması ile görüntü süper-piksellere ayrılmış ve kural tabanlı bir sınıflandırma dizisi uygulanarak bulut alanları görüntü üzerinden belirlenmiştir. Bulut alanlarının belirlenmesinden sonra, spektral testler ve bulut alanlarının komşuluk ilişkileri değerlendirilerek bulut gölgesi alanları da belirlenmiştir. Süper pikseller, pikselleri anlamlı gruplar halinde birleştirerek, piksel grupları oluşturmak için kullanılmaktadır. Görüntüdeki aynı bilgiye sahip olan piksellerin birleştirilmesi ile görüntü işleme amaçlı işlemlerin hızı da yüksek oranda artmaktadır. K-ortalamalar (K-means) yönteminin mekânsal özelliklerini de kullanan bir uyarlamasını temel alarak süper pikselleri üreten SLIC algoritması da bu amaçla kullanılan etkin yöntemlerden biridir. Bulut süper piksellerinin üretilmesinde SLIC yöntemi kullanılmıştır. Görüntülerden bulut alanlarının belirlenmesi için, bulutların spektral karakteristiğinin belirlenmesi ile işleme başlanmıştır. Görüntü üzerinden toplanan bulut noktalarının spektral imzaları karşılaştırılmıştır. Algoritma bu imzalar temel alınarak geliştirilmiştir. Bulut özelliklerine benzer şekilde, bulut gölgesi alanlarının sınıflandırılmasında da, görüntü üzerinden toplanan bulut noktalarının spektral imzalarının yorumlanmasını temel alan bir yöntem ile ısıl bandı devre dışı bırakan bir bant oranlama indeksi geliştirilmiştir. Bu indeks ile gölge alanlarının değeri diğer arazi örtüsü özelliklerinden keskin bir şekilde ayrıldığından eşik değeri belirlenmesi dinamik olarak gerçekleştirilebilmektedir. İkinci olarak, farklı gölge alanlarının, bulut gölgeleri ile karışmasını önlemek amacıyla görüntü özniteliklerinden olan güneş azimut açısı kullanılarak tüm bulut bölgelerinin bu açı ile doğru orantılı şekilde belli bir uzaklıkta izdüşümü alınmıştır. Bu izdüşüm alanlar, potansiyel gölge alanlarını ifade etmektedir. Gölge alan belirleme indeksi sonucu ile bu izdüşüm alanların kesişimi final gölge bölgelerinin sınıflandırılmasında kullanılmıştır Bulut ve gölgelerinin belirlenmesi, uzaktan algılamada uzun zamandır üzerinde çalışılan ve birçok yöntemin geliştirildiği bir konudur. Bu yöntemler kimi zaman yeterli doğrulukta sonuçlar verirken, kimi zaman da yeterli doğruluğu sağlayamamaktadır. Piksel tabanlı yöntemlerin yanı sıra, görüntüyü süper-piksellere ayıran bölütleme tabanlı yöntemlerin bulut ve gölge belirlemede kullanılması yeni bir konudur. Bu şekilde, görüntü, homojen özellikler sergileyen piksel gruplarına ayrılarak, hem hesaplama gücü azaltılmakta, hem de nesne tabanlı bir yaklaşım sergilendiğinden, sınıflandırılması hedeflenen özellikler geometrik karakteristikleri bakımından etkin bir şekilde görüntü üzerinden elde edilebilmektedir. Bu çalışmada geliştirilen bulut ve gölge belirleme algoritmaları ile bölütleme tabanlı bir yaklaşım bu kapsamda uygulanmıştır. İlk aşamada elde edilen süper-piksellerin doğruluğu sınıflandırma doğruluğunu doğrudan etkilemektedir. Bu nedenle küçük bir ölçek parametresi seçilerek süper-piksellerin boyutları küçük tutulmuş ve piksel gruplamaları homojen tutularak, heterojen süper-piksellerin oluşması olasılığı azaltılmıştır. Bulut ve gölge gibi nesneler, parlak ve koyu yansıtım değerleri nedeniyle görüntü üzerindeki spektral karakteristikleri belirgin bir şekilde oluşan özelliklerdir. Bu bilgiler esas alınarak SLIC algoritması ile etkin bir bölütleme uygulanarak bulut ve gölge alanları süper-piksellere ayrılmıştır. Spektral tabanlı bir yaklaşımla geliştirilen indeksler ile kural seti şeklinde bir yapı kurularak; parlaklık sıcaklığı, güneş açısı, NDSI, NDWI gibi özellikler de sınıflandırma kural setine eklenerek, çok kriterli bir yapıda bulut ve gölge alanları görüntü üzerinden belirlenmiştir. Burada yeni bir yaklaşım olan bulut-gölge izdüşümü yaklaşımı ile bulut ve gölge arasındaki geometrik bağıntı kullanılarak gölge sınıflandırması doğruluğu arttırılmıştır. Tüm bu sonuçlar farklı bölgelerden alınmış görüntüler üzerindeki aynı parametreler ile koşturularak, yöntemin transfer edilebilirliği test edilmiştir. ACCA, Fmask gibi algoritmaların yanında, burada geliştirilen algoritma, transfer edilebilirliği, süper-piksel tabanlı olması sebebiyle getirdiği işlem kolaylığı ve basitleştirilmiş işlem adımları ile kullanışlılığını kanıtlamıştır. Bulut ve gölge alanlarının tespitinden sonra klonlama işlemine altlık oluşturacak bulut maskeleri elde edilmiştir. Bulut alanlarının, bulutsuz görüntülerden hangisi seçilerek klonlanılmasına görüntüler arasında yapılan spektral benzerlik testleri ile karar verilmiştir. Tüm bu görüntülerin bulutlu görüntüye olan korelesyonları hesaplanarak korelasyonu en yüksek olan görüntü bilgi aktarımı için kullanılmıştır. Görüntülerin klonlanmasında, bulutlu görüntünün çekildiği tarihe en yakın 3 aylık görüntüler girdi olarak alınmıştır. Tespit edilen bulut alanları ayrı ayrı analiz edilerek, öncelikle seçilen alana yakın tarihli görüntülerde aynı bölgenin bulutsuz olup olmadığı görüntülerin kesişimleri alınarak test edilmiştir. Bu testin sonrasında bulutsuz görüntüler ile bulutlu görüntü arasında korelasyonu en yüksek görüntüden taşırma algoritması ile (Flood Fill) bilgi aktarımı yapılarak bulutsuz görüntü elde edilmiştir Görüntülerin klonlanmasından sonra oluşan kenar bozulma etkilerinin düzeltilmesi için, klonlanan bölge sınırlarına ortalama filtresi (mean filter, averaging filter) uygulanmıştır. Görüntülerin klonlanmasının ardından, üretilen bulutsuz görüntülerin yakın zaman ait bulutsuz görüntülere olan benzerliği, Yapısal Benzerlik İndeksi Yöntemi (YBIY) (Structural Similarity Index) ile test edilmiştir. YBIY iki resim arasındaki benzerliğin ölçülmesi için geliştirilmiş, Karesel Ortalama Hata’nın (KOH) geliştirilmiş bir sürümü olan ve sık kullanılan bir yöntemdir. Bu yöntem, karşılaştırılan görüntülerden birisini mutlak doğru olarak kabul ederek, diğer görüntünün bu görüntüden sapmasını tespit etmektedir. Görüntünün kontrast ve spektral özelliklerini yanı sıra, yapısal bozulmalarını da hesaplamaya kattığından çalışma için uygun yöntem olarak belirlenmiş ve uygulanmıştır. Bulutlu görüntülerdeki bulutların giderilmesi uzaktan algılama disiplini üzerinde çalışanların uzun zamandır çalıştığı bir konudur. Sis etkisinin giderilmesi için bazı spektral yöntemler geliştirilmiş olsa da, geçirimsiz bulutların giderilmesi ancak farklı zamanlı uydu görüntülerinden bilgi aktarımı ile gerçekleşmektedir. Bu çalışmada, yapılan diğer çalışmalarda kazanılan bulut belirleme başarımının sonrasında bu bilgi kullanılarak görüntüde bulunan bulutların, aynı bölgeden çekilmiş farklı zamanlı görüntülerden bilgi aktarımı ile bulutsuz hale getirilmesi sağlanmıştır. Diğer bulutsuz görüntü elde etme yöntemlerinin yanı sıra, bulutlu alanların bulutsuz görüntülerden klonlanması sırasında, görüntülerin spektral ve yapısal özelliklerini korumak ön planda tutulmuştur. Farklı görüntü benzerlik ve görüntü kalitesi yöntemleri kullanılarak sadece görsellik önde tutulmadan spektral ve yapısal bilgiyi de koruyan bir yöntem geliştirilmiştir.One of the main sources of noises in remote sensing satellite images are regional clouds and shadows of these clouds caused by atmospheric conditions. In many studies, these clouds and shadows are masked with multitemporal images taken from the same area to decrease effects of misclassification and deficiency in different image processing techniques, such as change detection and NDVI calculation. This problem is surpassed in many studies by mosaicking with different images obtained from different acquisition dates of the same region. The main step of all these studies that cover cloud cloning or cloud detection is the detection of clouds from a satellite image. In this study, clouds and shadow patches are classified by using a spectral feature based rule set created after segmentation process of Landsat 8 image. Not only spectral characteristics but also structural parameters like pattern, area and dimension are used to detect clouds and shadows. Information of cloud projection is used to strengthen cloud shadow classification. Rule set of classification is developed within a transferable approach to reach a scene independent solution. Results are tested with different satellite images from different areas to test transferability and compared to other state-of art methods in the literature. Detection of clouds and cloud shadows features correctly is the main step of cloning procedure to create cloudless image from multitemporal image dataset. Multitemporal image dataset is used to find best image to clone cloud image. Choosing best image for cloning process is an important step for reliable cloning. Statistical and seasonal similarity tests are used to find best image to clone cloud covered image. Vector intersections are used to find cloudless images between multitemporal dataset. Flood Fill method is used to create cloudless image from cloud covered image by using information extraction from cloudless images in dataset. Accuracy of cloning process is tested by using SSIM index to find structural and spectral similarity to cloudless image. All cloning results are tested with different image from different regions to check transferability of study. This study can be regarded as a scientific approach to create cloudless image mosaics for each kind of application. Method in this thesis is a scientific approach to well-known methods of famous cloudless mosaic generation methods of Google, Mapbox Co. etc. for creation of visually good-looking base maps for web maps.DoktoraPh.D

DESHADOWING OF HIGH SPATIAL RESOLUTION IMAGERY APPLIED TO URBAN AREA DETECTION

Different built-up structures usually lead to large regions covered by shadows, causing partial or total loss of information present in urban environments. In order to mitigate the presence of shadows while improving the urban target discrimination in multispectral images, this paper proposes an automated methodology for both detection and recovery of shadows. First, the image bands are preprocessed in order to highlight their most relevant parts. Secondly, a shadow detection procedure is performed by using morphological filtering so that a shadow mask is obtained. Finally, the reconstruction of shadow-occluded areas is accomplished by an image inpainting strategy. The experimental evaluation of our methodology was carried out in four study areas acquired from a WorldView-2 (WV-2) satellite scene over the urban area of São Paulo city. The experiments have demonstrated a high performance of the proposed shadow detection scheme, with an average overall accuracy up to 92%. Considering the results obtained by our shadow removal strategy, the pre-selected shadows were substantially recovered, as verified by visual inspections. Comparisons involving both VrNIR-BI and VgNIR-BI spectral indices computed from original and shadow-free images also attest the substantial gain in recovering anthropic targets such as streets, roofs and buildings initially damaged by shadows

Fully automated countrywide monitoring of fuel break maintenance operations

PTDC/CCI-COM/30344/2017 PCIF/SSI/0102/2017 UIDB/00239/2020 UIDB/00066/2020Fuel break (FB) networks are strategic locations for fire control and suppression. In order to be effective for wildfire control, they need to be maintained through regular interventions to reduce fuel loads. In this paper, we describe a monitoring system relying on Earth observations to detect fuel reduction inside the FB network being implemented in Portugal. Two fast automated pixel-based methodologies for monthly monitoring of fuel removals in FB are developed and compared. The first method (M1) is a classical supervised classification using the difference and postdisturbance image of monthly image composites. To take into account the impact of different land cover and phenology in the detection of fuel treatments, a second method (M2) based on an innovative statistical change detection approach was developed. M2 explores time series of vegetation indices and does not require training data or user-defined thresholds. The two algorithms were applied to Sentinel-2 10 m bands and fully processed in the cloud-based platform Google Earth Engine. Overall, the unsupervised M2, which is based on a Welch t-test of two moving window averages, gives better results than the supervised M1 and is suitable for an automated countrywide fuel treatment detection. For both methods, two vegetation indices, the Modified Excess of Green and the Normalized Difference Vegetation Index, were compared and exhibited similar performances.publishersversionpublishe

SatelliteCloudGenerator : controllable cloud and shadow synthesis for multi-spectral optical satellite images

Optical satellite images of Earth frequently contain cloud cover and shadows. This requires processing pipelines to recognize the presence, location, and features of the cloud-affected regions. Models that make predictions about the ground behind the clouds face the challenge of lacking ground-truth information, i.e. the exact state of Earth’s surface. Currently, the solution to that is to either (i) create pairs from samples acquired at different times, or (ii) simulate cloudy data based on a clear acquisition. This work follows the second approach and proposes an open-source simulation tool, capable of generating a diverse and unlimited amount of high-quality simulated pair data with controllable parameters to adjust cloud appearance, with no annotation cost. The tool is available at https://github.com/strath-ai/SatelliteCloudGenerator. An indication of the quality and utility of the generated clouds is demonstrated by the models for cloud detection and cloud removal trained exclusively on simulated data, which approach the performance of their equivalents trained on real data

Quantifying the physical composition of urban morphology throughout Wales based on the time series (1989-2011) analysis of Landsat TM/ETM+ images and supporting GIS data

Knowledge of impervious surface areas (ISA) and on their changes in magnitude, location, geometry and morphology over time is significant for a range of practical applications and research alike from local to global scales. Despite this, use of Earth Observation (EO) technology in mapping ISAs within some European Union (EU) countries, such as the United Kingdom (UK), is to some extent scarce. In the present study, a combination of methods is proposed for mapping ISA based on freely distributed EO imagery from Landsat TM/ETM+ sensors. The proposed technique combines a traditional classifier and a linear spectral mixture analysis (LSMA) with a series of Landsat TM/ETM+ images to extract ISA. Selected sites located in Wales, UK, are used for demonstrating the capability of the proposed method. The Welsh study areas provided a unique setting in detecting largely dispersed urban morphology within an urban-rural frontier context. In addition, an innovative method for detecting clouds and cloud shadow layers for the full area estimation of ISA is also presented herein. The removal and replacement of clouds and cloud shadows, with underlying materials is further explained. Aerial photography with a spatial resolution of 0.4 m, acquired over the summer period in 2005 was used for validation purposes. Validation of the derived products indicated an overall ISA detection accuracy in the order of ~97%. The latter was considered as very satisfactory and at least comparative, if not somehow better, to existing ISA products provided on a national level. The hybrid method for ISA extraction proposed here is important on a local scale in terms of moving forward into a biennial program for the Welsh Government. It offers a much less subjectively static and more objectively dynamic estimation of ISA cover in comparison to existing operational products already available, improving the current estimations of international urbanization and soil sealing. Findings of our study provide important assistance towards the development of relevant EO-based products not only inaugurate to Wales alone, but potentially allowing a cost-effective and consistent long term monitoring of ISA at different scales based on EO technology

Framework to Create Cloud-Free Remote Sensing Data Using Passenger Aircraft as the Platform

Cloud removal in optical remote sensing imagery is essential for many Earth observation applications.Due to the inherent imaging geometry features in satellite remote sensing, it is impossible to observe the ground under the clouds directly; therefore, cloud removal algorithms are always not perfect owing to the loss of ground truth. Passenger aircraft have the advantages of short visitation frequency and low cost. Additionally, because passenger aircraft fly at lower altitudes compared to satellites, they can observe the ground under the clouds at an oblique viewing angle. In this study, we examine the possibility of creating cloud-free remote sensing data by stacking multi-angle images captured by passenger aircraft. To accomplish this, a processing framework is proposed, which includes four main steps: 1) multi-angle image acquisition from passenger aircraft, 2) cloud detection based on deep learning semantic segmentation models, 3) cloud removal by image stacking, and 4) image quality enhancement via haze removal. This method is intended to remove cloud contamination without the requirements of reference images and pre-determination of cloud types. The proposed method was tested in multiple case studies, wherein the resultant cloud- and haze-free orthophotos were visualized and quantitatively analyzed in various land cover type scenes. The results of the case studies demonstrated that the proposed method could generate high quality, cloud-free orthophotos. Therefore, we conclude that this framework has great potential for creating cloud-free remote sensing images when the cloud removal of satellite imagery is difficult or inaccurate

CloudScout: A deep neural network for on-board cloud detection on hyperspectral images

The increasing demand for high-resolution hyperspectral images from nano and microsatellites conflicts with the strict bandwidth constraints for downlink transmission. A possible approach to mitigate this problem consists in reducing the amount of data to transmit to ground through on-board processing of hyperspectral images. In this paper, we propose a custom Convolutional Neural Network (CNN) deployed for a nanosatellite payload to select images eligible for transmission to ground, called CloudScout. The latter is installed on the Hyperscout-2, in the frame of the Phisat-1 ESA mission, which exploits a hyperspectral camera to classify cloud-covered images and clear ones. The images transmitted to ground are those that present less than 70% of cloudiness in a frame. We train and test the network against an extracted dataset from the Sentinel-2 mission, which was appropriately pre-processed to emulate the Hyperscout-2 hyperspectral sensor. On the test set we achieve 92% of accuracy with 1% of False Positives (FP). The Phisat-1 mission will start in 2020 and will operate for about 6 months. It represents the first in-orbit demonstration of Deep Neural Network (DNN) for data processing on the edge. The innovation aspect of our work concerns not only cloud detection but in general low power, low latency, and embedded applications. Our work should enable a new era of edge applications and enhance remote sensing applications directly on-board satellite

Hybrid Neural Networks with Attention-based Multiple Instance Learning for Improved Grain Identification and Grain Yield Predictions

Agriculture is a critical part of the world's food production, being a vital aspect of all societies. Procedures need to be adjusted to their specific environment because of their climate and field condition disparity. Existing research has demonstrated the potential of grain yield predictions on Norwegian farms. However, this research is limited to regional analytics, which is unable to acquire sufficient plant growth factors influenced by field conditions and farmers' decisions. One factor critical for yield prediction is the crop type planted on a per-field basis. This research effort proposes a novel approach for improving crop yield predictions using a hybrid deep neural network utilizing temporal satellite imagery from a remote sensing system. Additionally, We apply a variety of data, including grain production, meteorological data, and geographical data. The crop yield prediction system is supported by a field-based crop type classification model, which supplies features related to crop type and field area. Our crop classification system takes advantage of both raw satellite images as well as carefully chosen vegetation indices. Further, we propose a multi-class attention-based deep multiple instance learning model to utilize semi-labeled datasets, fully benefiting Norwegian data acquisition. Our best crop classification model, which consists of a time distributed network and a gated recurrent unit, classifies crop types with an accuracy of 70\% and is currently state-of-the-art for country-wide crop type mapping in Norway. Lastly, our yield prediction system enables realistic in-season early predictions that could benefit actors in real-life scenarios