Machine Learning for Robust Understanding of Scene Materials in Hyperspectral Images

The major challenges in hyperspectral (HS) imaging and data analysis are expensive sensors, high dimensionality of the signal, limited ground truth, and spectral variability. This dissertation develops and analyzes machine learning based methods to address these problems. In the first part, we examine one of the most important HS data analysis tasks-vegetation parameter estimation. We present two Gaussian processes based approaches for improving the accuracy of vegetation parameter retrieval when ground truth is limited and/or spectral variability is high. The first is the adoption of covariance functions based on well-established metrics, such as, spectral angle and spectral correlation, which are known to be better measures of similarity for spectral data. The second is the joint modeling of related vegetation parameters by multitask Gaussian processes so that the prediction accuracy of the vegetation parameter of interest can be improved with the aid of related vegetation parameters for which a larger set of ground truth is available. The efficacy of the proposed methods is demonstrated by comparing them against state-of-the art approaches on three real-world HS datasets and one synthetic dataset. In the second part, we demonstrate how Bayesian optimization can be applied to jointly tune the different components of hyperspectral data analysis frameworks for better performance. Experimental validation on the spatial-spectral classification framework consisting of a classifier and a Markov random field is provided. In the third part, we investigate whether high dimensional HS spectra can be reconstructed from low dimensional multispectral (MS) signals, that can be obtained from much cheaper, lower spectral resolution sensors. A novel end-to-end convolutional residual neural network architecture is proposed that can simultaneously optimize both the MS bands and the transformation to reconstruct HS spectra from MS signals by analyzing a large quantity of HS data. The learned band can be implemented in sensor hardware and the learned transformation can be incorporated in the data processing pipeline to build a low-cost hyperspectral data collection system. Using a diverse set of real-world datasets, we show how the proposed approach of optimizing MS bands along with the transformation rather than just optimizing the transformation with fixed bands, as proposed by previous studies, can drastically increase the reconstruction accuracy. Additionally, we also investigate the prospects of using reconstructed HS spectra for land cover classification

Information retrieval from spaceborne GNSS Reflectometry observations using physics- and learning-based techniques

This dissertation proposes a learning-based, physics-aware soil moisture (SM) retrieval algorithm for NASA’s Cyclone Global Navigation Satellite System (CYGNSS) mission. The proposed methodology has been built upon the literature review, analyses, and findings from a number of published studies throughout the dissertation research. Namely, a Sig- nals of Opportunity Coherent Bistatic scattering model (SCoBi) has been first developed at MSU and then its simulator has been open-sourced. Simulated GNSS-Reflectometry (GNSS-R) analyses have been conducted by using SCoBi. Significant findings have been noted such that (1) Although the dominance of either the coherent reflections or incoher- ent scattering over land is a debate, we demonstrated that coherent reflections are stronger for flat and smooth surfaces covered by low-to-moderate vegetation canopy; (2) The influ- ence of several land geophysical parameters such as SM, vegetation water content (VWC), and surface roughness on the bistatic reflectivity was quantified, the dynamic ranges of reflectivity changes due to SM and VWC are much higher than the changes due to the surface roughness. Such findings of these analyses, combined with a comprehensive lit- erature survey, have led to the present inversion algorithm: Physics- and learning-based retrieval of soil moisture information from space-borne GNSS-R measurements that are taken by NASA’s CYGNSS mission. The study is the first work that proposes a machine learning-based, non-parametric, and non-linear regression algorithm for CYGNSS-based soil moisture estimation. The results over point-scale soil moisture observations demon- strate promising performance for applicability to large scales. Potential future work will be extension of the methodology to global scales by training the model with larger and diverse data sets

Qualitative Methods In Microwave Imaging

Tez (Doktora) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2017Thesis (Ph.D.) -- İstanbul Technical University, Institute of Science and Technology, 2017Mikrodalga görüntüleme doğrudan erişilemeyen saçıcıların elektriksel özelliklerini (göreli dielektrik sabiti \u1d716\u1d45f, göreli manyetrik geçirgenlik katsayısı \u1d707\u1d45f iletkenlik \u1d70e yahut debye parametreleri) saçtıkları elektrik alandan tespiti ile ilgilenen yeni bir teknolojidir. Mikrodalga görüntüleme hasarsız muayene, toprak altı görüntüleme, duvar arkası görüntüleme ve biyolojik doku görüntüleme gibi çeşitli tıbbi ve askeri uygulamalarda gelecek vaadeden bir teknikdir. Mikrodalga görüntülenmenin günümüz biliminde bu denli önemli olmasının temel nedeni ise biyolojik dokularla etkileşime geçtiğinde ionize edici bir özelliği olmamasıdır. Bu nedenle mikrodalga görüntüleme günümüzde sıkça kullanılan ve çoğu ionize edici radrasyona bağlı olan görüntüleme teknolojilerinin tümü için çok önemli bir yedek seçenektir. Ters saçılma teorisi nitel görüntüleme yöntemleri adı altında oldukça teorik bir takım yöntemleri literatürde barındırmakradır. Nitel görüntüleme yöntemleri integral denklemlerden saçıcının yalnızca şekil ve konumunun tespiti için kullanılır olup ve saçıcıların yapısı ve şekli ile ilgili herhangi bir ön bilgiye ihtiyaç duymamaktadır. Nitel görüntüleme yöntemlerinin en bilindik iki tanesi: (i) doğrusal örnekleme yöntemi ve (ii) faktörizasyon yöntemidir. Doğrusal örnekleme yöntemi ve faktörizasyon yöntemi formülasyon ve performans açısından birbirine oldukça benzerdir. Kısaca anlatmak gerekirse, doğrusal örnekleme yöntemi tarihsel olarak faktörizasyon yönteminden önce önerilmiş olup henüz matematiksel olarak tam olarak ispat edilememiştir. Faktörizasyon yöntemi ise doğrusal örnkeleme yönteminden esinlenerek geliştirilmiş olup doğruluğu matematiksel olarak da kanıtlanmıştır. Bu iki yönteminde ters problemin birbirine bağlı iki doğrusal olmayan integral denklem olarak ifade edilebildiği mikrodalga görüntülemede kullanılması mümkündür. Mikrodalga görüntülemede geleneksel çözüm yolu doğrusal olan veya doğrusal olmayan optimizasyon metodlarıdır. Bu metotlar eldeki doğrusal olmayan elektromanyeik saçılma problemini bir minimizasyon problemi haline dönüştürür. Ek olarak bu yöntemlerin bazıları doğrusal olmayan saçılma problemini doğrusal hale getirebilmek amacıyla Born yaklaşımını da kullanır. Sonuç olarak eldeki amaç fonksiyonunu minimize etmek amacıyla bilindik bir optimizasyon yöntemini (konjuge gradyan metodu, Newton yöntemi vs.) kullanır. Diğer bir deyişle nicel görüntüleme yöntemi olan bu metotlar fiziksel saçılma mekanizmasını kullaranarak elde edilen ölçülmüş elektrik alanı oluşturacak saçıcının şeklini ve elektriksel özelliklerini (göreli dielektrik sabiti \u1d716\u1d45f, göreli manyetrik geçirgenlik katsayısı \u1d707\u1d45f iletkenlik \u1d70e yahut debye parametreleri) kestirmeye çalışır. Bu nicel yöntemlerin dışında bir de yukarıda da bahsettiğimiz nitel görüntüleme yöntemleri vardır ki bunlar saçılma problemini sadece saçıcıların şeklini ve konumunu bulmak amacıyla çözerler. Nitel görüntülenme yöntemleri, nicel görüntüleme metotlarından farklı olarak hedef cisimlerin şekli ve konumunu tespit amacıyla genellikle elektromanyetik saçılma probleminin belirli bir saçıcı veya saçıcılar kümesi için doğrusal olması gerçeğini ve dualite prensiplerini kullanır. Nitel görüntüleme yöntemlerinin bu görece düşük beklentisi ve doğrusal yapıları onların bilgisayar ortamında kolayca gerçeklenebilmesini ve nicel görüntüleme yöntemlerine oranla çok daha az sürelerde ve çok daha az bir hesaplama yükü ile bilgisayar ortamında çalıştırılabilmesini sağlar. Tecrübelerimize dayanarak örnek vermek gerekirse, üç boyutlu (yaklaşık 150 bin – 300 bin bilinmeyen içeren) bir saçılma probleminin kontrast kaynak yöntemi ile çözülmesi ortalama bir bilgisayarda (8 GB RAM) olarak 1-2 saat alırken, aynı probleme LSM veya FM’nin uygulanması için maksimum 5 – 10 dk. gibi bir süre yeterli olacaktır. Tüm bu avantajalrına rağmen, başta LSM ve FM olmak üzere tüm nitel görüntüleme yöntemleri mühendislik alanında çok da uygulama alanı bulamamaktadır. Bunun başlıca sebepleri nitel görüntüleme yöntemlerinin genellikle çok üst düzey bir matematiksel arkaplana dayanması, bu yöntemlerin matematikçiler tarafından fiziksel şartların ve gerçek hayat durumlarının pek de düşünülmeden ortaya konulmuş olması (yani bu yöntemlerin pek çoğu esas olarak düzlem dalga aydınlatması altında ve ölçümlerin ölçüm mesafesi sonsuza yaklaşırkenki asimptotik halleri için kanıtlanmıştır) ve bu yöntemlerin fiziksel bir zemine oturtulmasının zor olmasıdır. İşte bu sebeblerle nitel görüntüleme yöntemlerinin incelemesi ve nitel görüntüleme yöntemlerinin gerçek hayatta kullanabileceğimiz algoritmalar haline getirilip onların fiziksel arkaplanlarının ve uygulama için gerekli koşulların ortaya konulması önemli bir çalışma alanı teşkil etmektedir. Bu tezin ilk kısmında, iki boyutlu bir uzayda enine manyetik saçılma senaryosu için engebeli bir yüzey altındaki gömülü cisimlerin tespiti amacıyla bir faktörizasyon metodu önerilmiş ve benzetimlerle elde edilmiş sonuçlarla oldukça gerçekçi durumlar için doğrulanmıştır. Esasında engebeli yüzey altında gömülü cisimlerin görüntülenmesi mayın tespiti ve arkelojik gömülerin görüntülenmesi gibi çok değişik uygulamaları olan oldukça karmaşık bir problemdir. Günümüzde yeraltının görüntülenmesi için mikrodalgaları kullanan temel teknoloji uzmanlar tarafından yorumlanması gereken ve sonuçta radaragramlar oluşturan yer radarı (ground penetrating radar, GPR) olduğu bilinmektedir. Bunun haricinde görüntülenmek istenen yeraltı bölgenin elektriksel ve şekilsel özellikleri ile ilgili bilgi veren bazı nitel ters saçılma yöntemleri de literatürde bulunmaktadır. Ayrıca, yeraltı görüntülemede çok önemli bir faktör olan ve çoğu zaman uygulanan yöntemin başarısını belirleyen yüzey engebesinin ise pek az sayıda çalışmada dikkate alındığı gerçeği de bilinmektedir. Bu bağlamda, pek çok görüntüleme probleminde saçıcı cisimlerin yer ve şeklinin tespiti amaçlı kullanılabilecek olan ve aynı anda pek çok sayıda değişik özelliğe sahip saçıcıları da görüntüleyebilen nicel mikrodalga görüntüleme yöntemleri bu problem özelinde de (engebeli bir yüzey altında gömülü saçıcı hedeflerin tespiti) oldukça ilginç bir alternatif teşkil etmektedir. Bundan dolayı tezimizin ilk kısmı bu konu üzerine olan çalışmalarımıza ayrılmıştır. Özel olarak bu kısımda yeraltına gömülü herhangi bir sayıda ve herhangi bir özelliğe sahip saçıcıların yer ve konumları faktörizasyon metodu ile tespit edilecektir. Çalışmamızda sınırlı açıklıklı bir anten dizisi ile belirli bir toprak altı bölgenin taranması durumu değişik aydınlatma frekansları, değişik nem oranına haiz toprak, değişik engebe profilleri, toprağın ve engebe profillerinin kısmen bilindiği durumlar için ayrı ayrı incelenmiş olup her durumda yöntemin başarımı ortaya konmuştur. Elde edilen sonuçlar uygulanan yöntemin gerçek hayattaki problemler için de umut verici olduğunu ortaya koymuştur. Tezin ikinci kısmında ele alınan temel nicel görüntüleme yöntemlerinin gerçek ölçüm düzenekleri için nasıl kullanılacağı problemi ele alınmıştır. Mikrodalga frekanslarında yapılan ölçümlerde yaygın olarak vektör ağ analizörleri (vector network analyzer, VNA) kullanımaktadır. Bu yaygın kullanımın başlıca sebebi vektör ağ analizörlerinin piyasada kolayca bulunabilir oluşu ve bu cihazların gösterdiği yüksek performansdır. Birkaç istisnai durum haricinde mikrodalga görüntüleme problemleri hep saçılan elektrik alan bilgisini kullanıp saçıcı hedeflerin elektriksel parametrelerinin (göreli dielektrik sabiti \u1d716\u1d45f, göreli manyetrik geçirgenlik katsayısı \u1d707\u1d45f iletkenlik \u1d70e yahut debye parametreleri) hesaplanmasını amaçlar. Buna karşın, vektör ağ çözümleyicilerinin ölçtüğü temel büyüklük saçılma parametreleridir. Bu nedenle genellikle yapılan iş ölçülen saçılma parametrelerinin saçılan elektrik alana çevrilmesi için belli başlı prosedürleri uygulamaktır. Saçılma parametreleri ile saçılan elektrik alan arasındaki bu bağlantıyı sağlayan dönüşüm ise genellikle belirli bir geometrik şekle haiz (düzlem, düzgün dairesel silindir veya küre) ve bilindik elektriksel özellikteki cisimlerin ölçülen saçılma parametreleri ile benzetimden elde edilmiş saçılan elektrik alanını karşılaştırmak üzerine kuruludur. Tezin ikinci kısmında bu bilindik kalibrasyon prosedürlerinin yerine daha iyi bir alternatif olarak ele alınan nitel görüntüleme yöntemlerini (doğrusal örneklem yöntemi ve faktörizasyon yöntemi) doğrudan saçılma parametreleri üzerinden yendien formüle ettik. Elde edilen sonuçlar geliştirlen yöntemin hem iki boyutlu hem de üç boyutlu görüntüleme de çok satbil ve doğru bir şekilde çalıştığını göstermektedir. Tezin üçüncü ve son kısmında ise ele alınan nitel görüntüleme yöntemleri (doğrusal örneklem yöntemi ve faktörizasyon yöntemi) ile saklı cisim tespiti probleminin çözümü üzerine yoğunlaştık. Saklı cisim tespiti problemi gerçek hayat uygulamalarında, özellikle çeşitli medikal ve askeri uygulamalarda, pek çok durumda karşımıza çıkmaktadır. Saklı cisim tespiti problemleminin çözümündeki temel zorluk ele alınan (görüntülenmesi hedeflenen) ortamın her noktasındaki elektriksel parametrelerin (göreli dielektrik sabiti \u1d716\u1d45f, göreli manyetrik geçirgenlik katsayısı \u1d707\u1d45f iletkenlik \u1d70e yahut debye parametreleri) hesaplanmasının gerekliliğidir. Bugüne kadar ele alınan ortamın tüm elektriksel parametrelerinin her noktadaki hesabı için pek çok değişik nicel görüntülüme yöntemi geliştirilmiş ve doğrulanmıştır. Ancak tüm nicel görüntüleme yöntemleri gibi bu yöntemlerinde oldukça ağır bir hesaplama yükü içerdiği gerçeği ortadadır. Daha önce de bahsedildiği üzere nicel yöntemlerin aksine nitel görüntüleme yöntemleri daha basit şekilde bilgisayar ortamında gerçeklenebilen daha basit formülasyonlara sahip ve hesaplama zamanı ve yükü nicel görüntüleme yöntemlerine oranla oldukça düşük olan yöntemlerdir. Tüm bu avantajlarına rağmen nitel görüntüleme yöntemleri saklı cisim tespitinde oldukça az kullanılmıştır. Bunun başlıca sebepleri, yukarıda da bahsedildiği üzere, bu yöntemlerin çok üst düzey bir matematiksel arkaplana dayanması, nitel görüntüleme yöntemlerinin matematikçiler tarafından fiziksel şartların ve gerçek hayat durumlarının pek de düşünülmeden ortaya konulmuş olması ve bu yöntemlerin fiziksel bir zemine oturtulmasının zor olmasıdır. Özel olarak saklı cisim tespiti problemi için bakacak olursak, nitel görüntüleme yöntemleri saklı cisim tespiti probleminde şu iki temel bilgiye ihtiyaç duyar: (i) cisimlerin gömülü olduğu ortamın elektriksel özellikleri (göreli dielektrik sabiti \u1d716\u1d45f, göreli manyetrik geçirgenlik katsayısı \u1d707\u1d45f iletkenlik \u1d70e yahut debye parametreleri) (ii) gömülü cisimlerin olmadğı duumda arka plandan saçılan elektrik alan bilgisi. Açıktır ki bu iki bilginin her ikisini de aynı anda sağlamak neredeyse tüm problemler için imkansızdır. Bu sebeple biz tzin bu üçüncü ve son kısmında bu önsel bilgi probleminin çözümü amacıyla bir yöntem önerdik. Özel olarak, pek çok saklı cisim tespiti probleminde yukarıdaki ikinci bilgi ((ii) gömülü cisimlerin olmadğı duumda arka plandan saçılan elektrik alan bilgisi) aslında elde edilebilir olup bu bilgi ışığında ilk önsel bilgiyi kullanmadan eldeki nitel görüntüleme yöntemlerinin yüksek bir başarımla çalıştırılabileğini önerdik. Elde edilen sonuçlar önerdiğimiz yöntemin oldukça stabil ve doğru bir biçimde çalıştığını doğrular niteliktedir.Microwave imaging (MWI) emerges as a novel technology that aims to extract physical properties of inaccessible objects from the scattered electric field measurements. MWI covers a very wide range of applications which includes but not limited to nondestructive testing (NDT), subsurface imaging, through wall imaging, biological imaging. The most important factor that tends the scientists to imaging with microwaves is non-ionizing nature of MWI when interacted with biological tissues. Therefore, MWI can be regarded as a healthy alternative of current imaging technologies, which are mostly based on ionizing radiation. Inverse scattering theory provides a group of highly theoretical approaches, known as qualitative method. These methods are based on inverting an integral equation for each point over a reconstruction domain to determine only the shape and the position of unknown scatterers without requiring any a-priori information. Two well-known representatives of qualitative inverse scattering methods are (i) linear sampling method (LSM) and (ii) factorization method (FM). These two methods are in fact quite similar in formulation as well as performance. These qualitative approaches are also usable in the MWI, where the inverse problem can be casted into two integral equations. Traditional solution approaches for MWI are based on non-linear or linear optimization methods. These methods recasts the nonlinear scattering problem in form of a minimization problem. Additionally, they can utilize Born approximation to linearize the problem and then the cost function is minimized via one of the canonical optimization approaches such as conjugate gradient method, newton’s method. In other words, these methods model the physical scattering mechanism to determine electrical properties of dielectric objects and attempts to minimize a cost functional by using a canonical minimization procedure. In contrast to these approaches, the qualitative inverse scattering methods uses linearity of the scattering problem or the duality principle to reach their final aim, which is obtaining the support of the scatterer. Thus, their modest goals and linear nature make these qualitative approaches easier to implement and more efficient in use of computational resources. In contrast to all these attractive features, both LSM and FM are rarely investigated from an engineering perspective due to their mathematical background. Hence, analyzing these methods from an engineering perspective and making these methods applicable in real world imaging scenarios is an important problem. In the first part of the thesis, we analyze the problem of imaging buried targets under a rough surface for a two dimensional transverse magnetic scattering scenario. In fact, imaging of buried targets under the rough ground is a challenging inverse scattering problem with many applications in engineering such as land mine detection and remote sensing of archaeological artefacts. Conventional technology that uses microwaves for subsurface sensing of the underground is ground penetrating radar (GPR) which generates radargrams that require further interpretation by experts. Also, various quantitative inverse scattering methods are existent in the literature to provide additional information on the morphological and electrical properties of buried obstacles. Furthermore, the surface roughness, which is a critical factor that determines the limits of subsurface imaging, are only considered in a very few studies. In this context, qualitative inverse scattering methods, which are almost exclusively used for reconstructing the shape of inaccessible targets from the scattered field measurements, are particularly interesting since such methods can image multiple objects without requiring a-priori knowledge. Thus, we present a qualitative imaging method for subsurface sensing under a rough surface. The method relies on FM, where the aim is to retrieve the shape of unknown dielectric objects embedded inside a dielectric body whose closed boundary and electrical parameters are known a priori. Results show the stability and accuracy of the proposed method under very realistic conditions. In the second part of this thesis, the problem of using the qualitative methods in the real world measurement scenario is addressed. In the real world applications imaging systems extensively incorporate vector network analyzers (VNAs) instead of implementing additional modules to perform microwave measurements. This is particularly driven by availability of high performance VNAs. While there are alternative ways of reconstructing an image in MWI, imaging methods are naturally formulated in terms of scattered electric field vectors whereas measured scattering parameters (S-parameters) are only auxiliary quantities. Consequently, an intermediate step is required for experimental setups where measured S-parameters are mapped into scattered electric field. This is mostly handled by comparing simulated electric fields against measured S-parameters. As a better alternative to the canonical calibration procedures, we develop novel qualitative microwave imaging algorithms, which uses the measured S-parameters directly. Obtained experimental results prove the accuracy and the stability of the presented method. In the third and last part of the thesis, we consider the problem of using qualitative imaging methods in real world concealed target imaging scenarios. Real world concealed target detection can have different applications ranging from medical imaging to subsurface sensing, as mentioned above. Main challenge for such inverse problems is that the solution procedures are expected to capture the electrical parameters (relative dielectric constant \u1d716\u1d45f, conductivity \u1d70e) of whole medium, which includes the buried objects. Up to date, many quantitative techniques are developed to obtain the complete electrical parameter distribution of a medium. However, if we take a glance at these formulations, we can see that they involve a considerable computational burden. Being contradictory to quantitative techniques, qualitative inversion methods, which aim to recover only the shape of the scatterers, have relatively simple formulations and require lower computational resources. In contrast to such obvious advantages, qualitative inversion techniques are rarely employed in buried obstacle detection, since these methods have strong a priori knowledge requirements in their original form. In particular, to be able to detect the shape of an inclusion by means of these methods, we must supply these two a priori pieces of information: (i) the dielectric parameters of the surrounding medium and (ii) the scattered field when there is no buried object inside the surrounding medium. It is obvious that fulfilling such strong conditions altogether is of a serious issue in any imaging problem. To this end, we propose a strategy to overcome the a priori knowledge requirement on the dielectric parameters of the surrounding medium. Results, which are obtained from real experiments performed in an anechoic chamber, confirm the accuracy and the stability of the proposed formulations.DoktoraPh.D