Supervised learning on graphs of spatio-temporal similarity in satellite image sequences

High resolution satellite image sequences are multidimensional signals composed of spatio-temporal patterns associated to numerous and various phenomena. Bayesian methods have been previously proposed in (Heas and Datcu, 2005) to code the information contained in satellite image sequences in a graph representation using Bayesian methods. Based on such a representation, this paper further presents a supervised learning methodology of semantics associated to spatio-temporal patterns occurring in satellite image sequences. It enables the recognition and the probabilistic retrieval of similar events. Indeed, graphs are attached to statistical models for spatio-temporal processes, which at their turn describe physical changes in the observed scene. Therefore, we adjust a parametric model evaluating similarity types between graph patterns in order to represent user-specific semantics attached to spatio-temporal phenomena. The learning step is performed by the incremental definition of similarity types via user-provided spatio-temporal pattern examples attached to positive or/and negative semantics. From these examples, probabilities are inferred using a Bayesian network and a Dirichlet model. This enables to links user interest to a specific similarity model between graph patterns. According to the current state of learning, semantic posterior probabilities are updated for all possible graph patterns so that similar spatio-temporal phenomena can be recognized and retrieved from the image sequence. Few experiments performed on a multi-spectral SPOT image sequence illustrate the proposed spatio-temporal recognition method

Geo-rectification and cloud-cover correction of multi-temporal Earth observation imagery

Over the past decades, improvements in remote sensing technology have led to mass proliferation of aerial imagery. This, in turn, opened vast new possibilities relating to land cover classification, cartography, and so forth. As applications in these fields became increasingly more complex, the amount of data required also rose accordingly and so, to satisfy these new needs, automated systems had to be developed. Geometric distortions in raw imagery must be rectified, otherwise the high accuracy requirements of the newest applications will not be attained. This dissertation proposes an automated solution for the pre-stages of multi-spectral satellite imagery classification, focusing on Fast Fourier Shift theorem based geo-rectification and multi-temporal cloud-cover correction. By automatizing the first stages of image processing, automatic classifiers can take advantage of a larger supply of image data, eventually allowing for the creation of semi-real-time mapping applications

Cloud Detection And Information Cloning Technique For Multi Temporal Satellite Images

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2017Thesis (Ph.D.) -- İstanbul Technical University, Institute of Science and Technology, 2017Uzaktan algılanmış uydu görüntülerinde atmosfer etkilerinden kaynaklı olarak ortaya çıkan bölgesel bulutlar ve bu bulutların gölgeleri, yapılan çalışmalarda problem oluşturan temel gürültü kaynaklarındandır. Değişim analizi, NDVI hesaplama gibi önemli dijital işlemlerde bulut ve gölge bölgeleri, genel olarak yanıltıcı sonuçlar veren bölgeler olduğundan dijital işlemler çoğu zaman bu alanlar maskelenerek gerçekleştirilmektedir. Bu problem birçok çalışmada aynı bölgeden farklı zamanlarda elde edilmiş uydu görüntüleri ile mozaikleme yapılarak aşılmıştır. Ancak, mozaikleme sırasında oluşan spektral ve dokusal bozulmalar çalışmaları olumsuz etkilemektedir. Görüntünün çekilme anına bir daha dönülemeyeceğinden, bulutsuz bir görüntü elde etmek önemli bir süreç haline gelmektedir. Google Earth gibi sık kullanılan harita araçları aynı bölgeye ait çekilmiş birçok görüntü kullanarak bu görüntülerin ortalamalarından bulutsuz mozaikler elde ederek kullanıcılara sunmaktadır. Bu çalışmada bulutlu görüntüler çok zamanlı bulutsuz görüntülerden klonlama yapılarak bulutsuz hale getirilecektir. Diğer benzer çalışmalara ek olarak, klonlama süreci bir fotoğraf düzenleme işleminden öte görüntünün spektral özellikleri kullanılarak gerçekleştirilerek en yakın tarih ve spektral benzerlik göz önünde bulundurularak bulutsuz görüntü elde edilecektir. Üretilen bulutsuz görüntüde oluşan kenar bozulma etkileri çeşitli filtreler ile azaltılacaktır. Geliştirilen yöntem farklı zamanlarda çekilmiş Landsat-8 uydu görüntüleri ile test edilmiştir. Görüntüde bulunan bulutların belirlenmesi, bulut klonlama işleminin gerçekleştirilmesi için ilk aşama ve doğruluğu direkt olarak klonlama doğruluğu etkileyen bir süreçtir. Bulutların oluşturduğu parlaklık ve gölgelerinin oluşturduğu kararmalar birçok veri analizini olumsuz etkilemektedir. Bu etkiler, atmosferik düzeltmede oluşacak zorluklar, NDVI değerlerinin yükselmesi, sınıflandırmadaki hatalar ve değişim analizinin yanlış gerçekleştirilmesi şeklinde olabilir. Tüm bu etkilerin doğrultusunda, uzaktan algılama görüntülerinde bulutlar ve gölgeleri önemli bir gürültü kaynağı olduğundan bunların dijital işlemlerden önceki ilk aşamada belirlenmesi önem taşımaktadır. Bu çalışmada, Landsat-8 görüntüleri kullanılarak ve mevcut ısıl bantların da yardımıyla, bulut ve gölgelerinin belirlenmesi için bölütleme tabanlı bir kural dizisi ile uygulanan bir yöntem önerilmiş ve test edilmiştir. Çalışmaya temel olan bulut belirleme algoritması, ACCA ve Fmask algoritmalarının geliştirilmiş, sadeleştirilmiş, otomatize edilmiş ve bölütleme tabanlı uyarlanmış bir sürümü olarak değerlendirilebilir . Bu yöntem sayesinde, spektral özellikler ve geometrik özellikler bir arada kullanılarak Landsat 8 görüntülerinden bulut ve bulut gölgeleri belirlenmiştir. Spektral ve geometrik özelliklerin yanı sıra Landsat ısıl bant verileri ile, bulut-gölge ve soğuk yüzey (kar, buz) ayırımı güçlendirilmiştir. Komşuluk ilişkileri kullanılarak, belirlenen bulut alanları etrafındaki bulut gölgelerinin belirleme doğruluğu arttırılmıştır. Geliştirilen algoritma, dört farklı bölge için farklı zamanlarda çekilmiş Landsat görüntüleri üzerinde test edilerek değerlendirilmiştir. Bulut belirleme algoritmasında temel olarak Landsat 8 görüntülerinin OLI ve ısıl bantları kullanılmaktadır. Landsat-8 verileri, DN değerler olarak işlenmemiş halde sağlanmaktadır. Bu veriler, Landsat verileri ile birlikte gelen meta veri dosyasında (MTL) verilen oranlama katsayıları ile atmosfer üstü yansıtım değerlerine ve radyans değerlerine dönüştürülebilmektedir. Böylece veriler fiziksel anlamı olan birimlere dönüştürülmüş olur. Meta veri dosyasında sağlanan ısıl bant katsayıları ile ısıl bant verileri, parlaklık sıcaklığı bilgisine dönüştürülebilmektedir. OLI bantları atmosfer üstü yansıtım değerlerine (ToA), ısıl bantlar ise parlaklık sıcaklığına dönüştürülerek algoritmada kullanılmıştır. Yansıtım değerlerine dönüştürülen görüntülerde bulut alanlarının belirlenmesi için öncelikle bölütleme algoritması ile görüntü süper-piksellere ayrılmış ve kural tabanlı bir sınıflandırma dizisi uygulanarak bulut alanları görüntü üzerinden belirlenmiştir. Bulut alanlarının belirlenmesinden sonra, spektral testler ve bulut alanlarının komşuluk ilişkileri değerlendirilerek bulut gölgesi alanları da belirlenmiştir. Süper pikseller, pikselleri anlamlı gruplar halinde birleştirerek, piksel grupları oluşturmak için kullanılmaktadır. Görüntüdeki aynı bilgiye sahip olan piksellerin birleştirilmesi ile görüntü işleme amaçlı işlemlerin hızı da yüksek oranda artmaktadır. K-ortalamalar (K-means) yönteminin mekânsal özelliklerini de kullanan bir uyarlamasını temel alarak süper pikselleri üreten SLIC algoritması da bu amaçla kullanılan etkin yöntemlerden biridir. Bulut süper piksellerinin üretilmesinde SLIC yöntemi kullanılmıştır. Görüntülerden bulut alanlarının belirlenmesi için, bulutların spektral karakteristiğinin belirlenmesi ile işleme başlanmıştır. Görüntü üzerinden toplanan bulut noktalarının spektral imzaları karşılaştırılmıştır. Algoritma bu imzalar temel alınarak geliştirilmiştir. Bulut özelliklerine benzer şekilde, bulut gölgesi alanlarının sınıflandırılmasında da, görüntü üzerinden toplanan bulut noktalarının spektral imzalarının yorumlanmasını temel alan bir yöntem ile ısıl bandı devre dışı bırakan bir bant oranlama indeksi geliştirilmiştir. Bu indeks ile gölge alanlarının değeri diğer arazi örtüsü özelliklerinden keskin bir şekilde ayrıldığından eşik değeri belirlenmesi dinamik olarak gerçekleştirilebilmektedir. İkinci olarak, farklı gölge alanlarının, bulut gölgeleri ile karışmasını önlemek amacıyla görüntü özniteliklerinden olan güneş azimut açısı kullanılarak tüm bulut bölgelerinin bu açı ile doğru orantılı şekilde belli bir uzaklıkta izdüşümü alınmıştır. Bu izdüşüm alanlar, potansiyel gölge alanlarını ifade etmektedir. Gölge alan belirleme indeksi sonucu ile bu izdüşüm alanların kesişimi final gölge bölgelerinin sınıflandırılmasında kullanılmıştır Bulut ve gölgelerinin belirlenmesi, uzaktan algılamada uzun zamandır üzerinde çalışılan ve birçok yöntemin geliştirildiği bir konudur. Bu yöntemler kimi zaman yeterli doğrulukta sonuçlar verirken, kimi zaman da yeterli doğruluğu sağlayamamaktadır. Piksel tabanlı yöntemlerin yanı sıra, görüntüyü süper-piksellere ayıran bölütleme tabanlı yöntemlerin bulut ve gölge belirlemede kullanılması yeni bir konudur. Bu şekilde, görüntü, homojen özellikler sergileyen piksel gruplarına ayrılarak, hem hesaplama gücü azaltılmakta, hem de nesne tabanlı bir yaklaşım sergilendiğinden, sınıflandırılması hedeflenen özellikler geometrik karakteristikleri bakımından etkin bir şekilde görüntü üzerinden elde edilebilmektedir. Bu çalışmada geliştirilen bulut ve gölge belirleme algoritmaları ile bölütleme tabanlı bir yaklaşım bu kapsamda uygulanmıştır. İlk aşamada elde edilen süper-piksellerin doğruluğu sınıflandırma doğruluğunu doğrudan etkilemektedir. Bu nedenle küçük bir ölçek parametresi seçilerek süper-piksellerin boyutları küçük tutulmuş ve piksel gruplamaları homojen tutularak, heterojen süper-piksellerin oluşması olasılığı azaltılmıştır. Bulut ve gölge gibi nesneler, parlak ve koyu yansıtım değerleri nedeniyle görüntü üzerindeki spektral karakteristikleri belirgin bir şekilde oluşan özelliklerdir. Bu bilgiler esas alınarak SLIC algoritması ile etkin bir bölütleme uygulanarak bulut ve gölge alanları süper-piksellere ayrılmıştır. Spektral tabanlı bir yaklaşımla geliştirilen indeksler ile kural seti şeklinde bir yapı kurularak; parlaklık sıcaklığı, güneş açısı, NDSI, NDWI gibi özellikler de sınıflandırma kural setine eklenerek, çok kriterli bir yapıda bulut ve gölge alanları görüntü üzerinden belirlenmiştir. Burada yeni bir yaklaşım olan bulut-gölge izdüşümü yaklaşımı ile bulut ve gölge arasındaki geometrik bağıntı kullanılarak gölge sınıflandırması doğruluğu arttırılmıştır. Tüm bu sonuçlar farklı bölgelerden alınmış görüntüler üzerindeki aynı parametreler ile koşturularak, yöntemin transfer edilebilirliği test edilmiştir. ACCA, Fmask gibi algoritmaların yanında, burada geliştirilen algoritma, transfer edilebilirliği, süper-piksel tabanlı olması sebebiyle getirdiği işlem kolaylığı ve basitleştirilmiş işlem adımları ile kullanışlılığını kanıtlamıştır. Bulut ve gölge alanlarının tespitinden sonra klonlama işlemine altlık oluşturacak bulut maskeleri elde edilmiştir. Bulut alanlarının, bulutsuz görüntülerden hangisi seçilerek klonlanılmasına görüntüler arasında yapılan spektral benzerlik testleri ile karar verilmiştir. Tüm bu görüntülerin bulutlu görüntüye olan korelesyonları hesaplanarak korelasyonu en yüksek olan görüntü bilgi aktarımı için kullanılmıştır. Görüntülerin klonlanmasında, bulutlu görüntünün çekildiği tarihe en yakın 3 aylık görüntüler girdi olarak alınmıştır. Tespit edilen bulut alanları ayrı ayrı analiz edilerek, öncelikle seçilen alana yakın tarihli görüntülerde aynı bölgenin bulutsuz olup olmadığı görüntülerin kesişimleri alınarak test edilmiştir. Bu testin sonrasında bulutsuz görüntüler ile bulutlu görüntü arasında korelasyonu en yüksek görüntüden taşırma algoritması ile (Flood Fill) bilgi aktarımı yapılarak bulutsuz görüntü elde edilmiştir Görüntülerin klonlanmasından sonra oluşan kenar bozulma etkilerinin düzeltilmesi için, klonlanan bölge sınırlarına ortalama filtresi (mean filter, averaging filter) uygulanmıştır. Görüntülerin klonlanmasının ardından, üretilen bulutsuz görüntülerin yakın zaman ait bulutsuz görüntülere olan benzerliği, Yapısal Benzerlik İndeksi Yöntemi (YBIY) (Structural Similarity Index) ile test edilmiştir. YBIY iki resim arasındaki benzerliğin ölçülmesi için geliştirilmiş, Karesel Ortalama Hata’nın (KOH) geliştirilmiş bir sürümü olan ve sık kullanılan bir yöntemdir. Bu yöntem, karşılaştırılan görüntülerden birisini mutlak doğru olarak kabul ederek, diğer görüntünün bu görüntüden sapmasını tespit etmektedir. Görüntünün kontrast ve spektral özelliklerini yanı sıra, yapısal bozulmalarını da hesaplamaya kattığından çalışma için uygun yöntem olarak belirlenmiş ve uygulanmıştır. Bulutlu görüntülerdeki bulutların giderilmesi uzaktan algılama disiplini üzerinde çalışanların uzun zamandır çalıştığı bir konudur. Sis etkisinin giderilmesi için bazı spektral yöntemler geliştirilmiş olsa da, geçirimsiz bulutların giderilmesi ancak farklı zamanlı uydu görüntülerinden bilgi aktarımı ile gerçekleşmektedir. Bu çalışmada, yapılan diğer çalışmalarda kazanılan bulut belirleme başarımının sonrasında bu bilgi kullanılarak görüntüde bulunan bulutların, aynı bölgeden çekilmiş farklı zamanlı görüntülerden bilgi aktarımı ile bulutsuz hale getirilmesi sağlanmıştır. Diğer bulutsuz görüntü elde etme yöntemlerinin yanı sıra, bulutlu alanların bulutsuz görüntülerden klonlanması sırasında, görüntülerin spektral ve yapısal özelliklerini korumak ön planda tutulmuştur. Farklı görüntü benzerlik ve görüntü kalitesi yöntemleri kullanılarak sadece görsellik önde tutulmadan spektral ve yapısal bilgiyi de koruyan bir yöntem geliştirilmiştir.One of the main sources of noises in remote sensing satellite images are regional clouds and shadows of these clouds caused by atmospheric conditions. In many studies, these clouds and shadows are masked with multitemporal images taken from the same area to decrease effects of misclassification and deficiency in different image processing techniques, such as change detection and NDVI calculation. This problem is surpassed in many studies by mosaicking with different images obtained from different acquisition dates of the same region. The main step of all these studies that cover cloud cloning or cloud detection is the detection of clouds from a satellite image. In this study, clouds and shadow patches are classified by using a spectral feature based rule set created after segmentation process of Landsat 8 image. Not only spectral characteristics but also structural parameters like pattern, area and dimension are used to detect clouds and shadows. Information of cloud projection is used to strengthen cloud shadow classification. Rule set of classification is developed within a transferable approach to reach a scene independent solution. Results are tested with different satellite images from different areas to test transferability and compared to other state-of art methods in the literature. Detection of clouds and cloud shadows features correctly is the main step of cloning procedure to create cloudless image from multitemporal image dataset. Multitemporal image dataset is used to find best image to clone cloud image. Choosing best image for cloning process is an important step for reliable cloning. Statistical and seasonal similarity tests are used to find best image to clone cloud covered image. Vector intersections are used to find cloudless images between multitemporal dataset. Flood Fill method is used to create cloudless image from cloud covered image by using information extraction from cloudless images in dataset. Accuracy of cloning process is tested by using SSIM index to find structural and spectral similarity to cloudless image. All cloning results are tested with different image from different regions to check transferability of study. This study can be regarded as a scientific approach to create cloudless image mosaics for each kind of application. Method in this thesis is a scientific approach to well-known methods of famous cloudless mosaic generation methods of Google, Mapbox Co. etc. for creation of visually good-looking base maps for web maps.DoktoraPh.D

TESTING A COMBINED MULTISPECTRAL-MULTITEMPORAL APPROACH FOR GETTING CLOUDLESS IMAGERY FOR SENTINEL-2

Abstract. Earth observation and land cover monitoring are among major applications for satellite data. However, the use of primary satellite information is often limited by clouds, cloud shadows, and haze, which generally contaminate optical imagery. For purposes of hazard assessment, for instance, such as flooding, drought, or seismic events, the availability of uncontaminated optical data is required. Different approaches exist for masking and replacing cloud/haze related contamination. However, most common algorithms take advantage by employing thermal data. Hence, we tested an algorithm suitable for optical imagery only. The approach combines a multispectral-multitemporal strategy to retrieve daytime cloudless and shadow-free imagery. While the approach has been explored for Landsat information, namely Landsat 5 TM and Landsat 8 OLI, here we aim at testing the suitability of the method for Sentinel-2 Multi-Spectral Instrument. A multitemporal stack, for the same image scene, is employed to retrieve a composite uncontaminated image over a temporal period of few months. Besides, in order to emphasize the effectiveness of optical imagery for monitoring post-disaster events, two temporal stages have been processed, before and after a critical seismic event occurred in Lombok Island, Indonesia, in summer 2018. The approach relies on a clouds and cloud shadows masking algorithm, based on spectral features, and a data reconstruction phase based on automatic selection of the most suitable pixels from a multitemporal stack. Results have been tested with uncontaminated image samples for the same scene. High accuracy is achieved

Mapping and monitoring of vegetation using airborne laser scanning

In this thesis, the utility of airborne laser scanning (ALS) for monitoring vegetation of relevance for the environmental sector was investigated. The vegetation characteristics studied include measurements of biomass, biomass change and vegetation classification in the forest-tundra ecotone; afforestation of grasslands; and detection of windthrown trees. Prediction of tree biomass for mountain birch (Betula pubescens ssp. czerepanovii) using sparse (1.4 points/m²) and dense (6.1 points/m²) ALS data was compared for a site at the forest-tundra ecotone near Abisko in northern Sweden (Lat. 68° N, Long. 19° E). The predictions using the sparse ALS data provided almost as good results (RMSE 21.2%) as the results from the dense ALS data (18.7%) despite the large difference in point densities. A new algorithm was developed to compensate for uneven distribution of the laser points without decimating the data; use of this algorithm reduced the RMSE for biomass prediction from 19.9% to 18.7% for the dense ALS data. Additional information about vegetation height and density from ALS data improved a satellite data classification of alpine vegetation, in particular for the willow and mountain birch classes. Histogram matching was shown to be effective for relative calibration of metrics from two ALS acquisitions collected over the same area using different scanners and flight parameters. Thus the difference between histogram-matched ALS metrics from different data acquisitions can be used to locate areas with unusual development of the vegetation. The height of small trees (0.3–2.6 m tall) in former pasture land near the Remnings¬torp test site in southern Sweden (Lat. 58° N, Long. 13° E) could be measured with high precision (standard deviation 0.3 m) using high point density ALS data (54 points/m2). When classifying trees taller than 1 m into the two classes of changed and unchanged, the overall classification accuracy was 88%. A new method to automatically detect windthrown trees in forested areas was developed and evaluated at the Remningstorp test site. The overall detection rate was 38% on tree-level, but when aggregating to 40 m square grid cells, at least one windthrown tree was detected in 77% of the cells that according to field data contained windthrown trees. In summary, this thesis has shown the high potential for ALS to be a future tool to map and monitor vegetation for several applications of interest for the environmental sector

Development of cloud removal and land cover Change extraction algorithms for remotely-sensed Landsat imagery

Land cover change monitoring requires the analysis of remotely-sensed data. In the tropics this is difficult because of persistent cloud cover, and data availability. This research focuses on the elimination of cloud cover as an important step towards addressing the issue of change detection. The result produced clearer images, whereas some persistent cloud remains. This persistent cloud and the cloud adjacency effects diminish the quality of image product and affect the change detection quality

Delineation of Surface Water Features Using RADARSAT-2 Imagery and a TOPAZ Masking Approach over the Prairie Pothole Region in Canada

The Prairie Pothole Region (PPR) is one of the most rapidly changing environments in the world. In the PPR of North America, topographic depressions are common, and they are an essential water storage element in the regional hydrological system. The accurate delineation of surface water bodies is important for a variety of reasons, including conservation, environmental management, and better understanding of hydrological and climate modeling. There are numerous surface water bodies across the northern Prairie Region, making it challenging to provide near-real-time monitoring and in situ measurements of the spatial and temporal variation in the surface water area. Satellite remote sensing is the only practical approach to delineating the surface water area of Prairie potholes on an ongoing and cost-effective basis. Optical satellite imagery is able to detect surface water but only under cloud-free conditions, a substantial limitation for operational monitoring of surface water variability. However, as an active sensor, RADARSAT-2 (RS-2) has the ability to provide data for surface water detection that can overcome the limitation of optical sensors. In this research, a threshold-based procedure was developed using Fine Wide (F0W3), Wide (W2) and Standard (S3) modes to delineate the extent of surface water areas in the St. Denis and Smith Creek study basins, Saskatchewan, Canada. RS-2 thresholding results yielded a higher number of apparent water surfaces than were visible in high-resolution optical imagery (SPOT) of comparable resolution acquired at nearly the same time. TOPAZ software was used to determine the maximum possible extent of water ponding on the surface by analyzing high-resolution LiDAR-based DEM data. Removing water bodies outside the depressions mapped by TOPAZ improved the resulting images, which corresponded more closely to the SPOT surface water images. The results demonstrate the potential of TOPAZ masking for RS-2 surface water mapping used for operational purposes

A near real-time water surface detection method based on HSV transformation of MODIS multi-Spectral time series data

In the face of global population growth and the uneven distribution of water supply, a better knowledge of the spatial and temporal distribution of surface water resources is critical. Remote sensing provides a synoptic view of ongoing processes, which addresses the intricate nature of water surfaces and allows an assessment of the pressures placed on aquatic ecosystems. However, the main challenge in identifying water surfaces from remotely sensed data is the high variability of spectral signatures, both in space and time. In the last 10 years only a few operational methods have been proposed to map or monitor surface water at continental or global scale, and each of them show limitations. The objective of this study is to develop and demonstrate the adequacy of a generic multi-temporal and multi-spectral image analysis method to detect water surfaces automatically, and to monitor them in near-real-time. The proposed approach, based on a transformation of the RGB color space into HSV, provides dynamic information at the continental scale. The validation of the algorithm showed very few omission errors and no commission errors. It demonstrates the ability of the proposed algorithm to perform as effectively as human interpretation of the images. The validation of the permanent water surface product with an independent dataset derived from high resolution imagery, showed an accuracy of 91.5% and few commission errors. Potential applications of the proposed method have been identified and discussed. The methodology that has been developed 27 is generic: it can be applied to sensors with similar bands with good reliability, and minimal effort. Moreover, this experiment at continental scale showed that the methodology is efficient for a large range of environmental conditions. Additional preliminary tests over other continents indicate that the proposed methodology could also be applied at the global scale without too many difficultie