Information Geometric Approach to Bayesian Lower Error Bounds

Information geometry describes a framework where probability densities can be viewed as differential geometry structures. This approach has shown that the geometry in the space of probability distributions that are parameterized by their covariance matrix is linked to the fundamentals concepts of estimation theory. In particular, prior work proposes a Riemannian metric - the distance between the parameterized probability distributions - that is equivalent to the Fisher Information Matrix, and helpful in obtaining the deterministic Cram\'{e}r-Rao lower bound (CRLB). Recent work in this framework has led to establishing links with several practical applications. However, classical CRLB is useful only for unbiased estimators and inaccurately predicts the mean square error in low signal-to-noise (SNR) scenarios. In this paper, we propose a general Riemannian metric that, at once, is used to obtain both Bayesian CRLB and deterministic CRLB along with their vector parameter extensions. We also extend our results to the Barankin bound, thereby enhancing their applicability to low SNR situations.Comment: 5 page

Sparse-Based Estimation Performance for Partially Known Overcomplete Large-Systems

We assume the direct sum o for the signal subspace. As a result of post- measurement, a number of operational contexts presuppose the a priori knowledge of the LB -dimensional "interfering" subspace and the goal is to estimate the LA am- plitudes corresponding to subspace . Taking into account the knowledge of the orthogonal "interfering" subspace \perp, the Bayesian estimation lower bound is de- rivedfortheLA-sparsevectorinthedoublyasymptoticscenario,i.e. N,LA,LB -> \infty with a finite asymptotic ratio. By jointly exploiting the Compressed Sensing (CS) and the Random Matrix Theory (RMT) frameworks, closed-form expressions for the lower bound on the estimation of the non-zero entries of a sparse vector of interest are derived and studied. The derived closed-form expressions enjoy several interesting features: (i) a simple interpretable expression, (ii) a very low computational cost especially in the doubly asymptotic scenario, (iii) an accurate prediction of the mean-square-error (MSE) of popular sparse-based estimators and (iv) the lower bound remains true for any amplitudes vector priors. Finally, several idealized scenarios are compared to the derived bound for a common output signal-to-noise-ratio (SNR) which shows the in- terest of the joint estimation/rejection methodology derived herein.Comment: 10 pages, 5 figures, Journal of Signal Processin

Exploiting Sparse Structures in Source Localization and Tracking

This thesis deals with the modeling of structured signals under different sparsity constraints. Many phenomena exhibit an inherent structure that may be exploited when setting up models, examples include audio waves, radar, sonar, and image objects. These structures allow us to model, identify, and classify the processes, enabling parameter estimation for, e.g., identification, localisation, and tracking.In this work, such structures are exploited, with the goal to achieve efficient localisation and tracking of a structured source signal. Specifically, two scenarios are considered. In papers A and B, the aim is to find a sparse subset of a structured signal such that the signal parameters and source locations maybe estimated in an optimal way. For the sparse subset selection, a combinatorial optimization problem is approximately solved by means of convex relaxation, with the results of allowing for different types of a priori information to be incorporated in the optimization. In paper C, a sparse subset of data is provided, and a generative model is used to find the location of an unknown number of jammers in a wireless network, with the jammers’ movement in the network being tracked as additional observations become available

Bayesian Compressive Sensing Approach For Ultra-wideband Channel Estimation

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2013Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2013Ultra geniş bant dürtü radyosu, kablosuz haberleşme için yeni gelişen bir teknolojidir. Amerika Birleşik Devletleri’nde haberleşme alanında düzenleyici kuruluş olan Federal Haberleşme Komisyonu (FCC) tarafından ultra geniş bant teknolojisiyle ilgili düzenlemeler yapıldıktan sonra öncelikle IEEE 802.15.3 standardı görev grubu, ultra geniş bant dürtü radyolarıyla yüksek hızlı kablosuz kişisel alan ağı uygulamaları için yeni bir fiziksel katman yapısı oluşturulması amacıyla 802.15.3a çalışma grubunu kurmuştur. Ultra geniş bant veri iletiminde iletim uzaklığındaki artış, veri hızında düşüşe neden olur. Bu doğrultuda IEEE 802.15.4 standardı görev grubu, ultra geniş bant dürtü radyolarıyla düşük hızlı fakat iletim uzaklığı daha büyük olan kablosuz kişisel alan ağı uygulamaları için yeni bir fiziksel katman yapısı oluşturulması amacıyla 802.15.4a çalışma grubunu kurmuştur. Bu çalışma grubu, özellikle ortalama bir veri hızı fakat düşük güç tüketimi, karmaşıklık ve maliyet gerektiren sensör ağı uygulamaları gibi uygulamalar üzerinde çalışmalarını yoğunlaştırmıştır. Bu çalışmada IEEE 802.15.4a bünyesindeki çeşitli ultra geniş bant kanal modellerinin kestirimi üzerine odaklanılmıştır. Düşük iletim gücü, düşük maliyetli basit yapı, düz sönümlemeye karşı bağışıklık ve çokyollu bileşenleri iyi bir zaman çözünürlüğüyle ayrı ayrı çözme yeteneği gibi ayırt edici özelliklere sahip olması dolayısıyla ultra geniş bant dürtü radyoları, konumlama, uzaklık belirleme ve düşük veri hızlı uygulamalar için belirlenen kablosuz kişisel alan ağı IEEE 802.15.4a standardının fiziksel katman yapısı olarak seçilmiştir. Ultra geniş bant dürtü radyolarının gerçekleştiriminde karşılaşılan temel zorluklardan biri de kanal kestirimidir. Kanal karakteristikleri hakkında doğru bir bilgiye sahip olmak, haberleşme açısından etkin bir veri iletimi gerçekleştirmek ve sistem performansını artırmak için oldukça önemlidir. Bu nedenle kanal dürtü yanıtı hakkında bilgi edinmek için kanal kestirimi gereklidir. Ultra geniş bant dürtü radyolarının bantgenişliğinin çok fazla olması dolayısıyla, kanal kestiriminde klasik en büyük olabilirlik kestirimcisinin kullanılmasının başlıca dezavantajı, hassas bir kanal kestirimi için Nyquist kriterine göre alıcıdaki örnekleme işleminde çok yüksek örnekleme oranlarına, bir başka ifadeyle çok yüksek hızlı analog-sayısal dönüştürücülere ihtiyaç duyulmasıdır. Bu durum alıcıda devre karmaşıklığının ve maliyetin artmasına neden olur. Yüksek örnekleme oranı gerektiren bu ultra geniş bant kanal kestirimi probleminin üstesinden gelmek için sıkıştırılmış algılama kullanılabilir. Sıkıştırılmış algılama yöntemi, Nyquist oranından önemli ölçüde daha düşük bir örnekleme oranıyla seyrek sinyallerin geri elde edilmesini mümkün kılmaktadır. Seyrek sinyal ifadesi en basit anlamda, bir çok bileşeni sıfır veya sıfıra yakın olan bir başka ifadeyle çok az bileşeni sıfırdan farklı olan sinyaller için kullanılan bir ifadedir. Alıcıda ard arda alınan ultra geniş bant sinyaller kayda değer bir zaman gecikmesiyle alıcıya ulaştığı ve alıcıda ayrı ayrı çözülebildiği için ultra geniş bant çokyollu kanallar için seyrek yapıya sahip olma varsayımı yaygın kabul görmüştür. Ultra geniş bant kanalların bu özelliği nedeniyle sıkıştırılmış algılama yöntemi, yüksek örnekleme oranı probleminin üstesinden gelmek için ultra geniş bant kanal kestiriminde kullanılabilir. Böylece sıkıştırılmış algılama ile alıcının yüksek maliyeti, karmaşıklığı ve güç tüketimi azaltılarak daha basit yapıda bir alıcı, ultra geniş bant sistemde kullanılabilir. Sıkıştırılmış algılama literatüründe, aynı zamanda basis pursuit (BP) olarak da bilinen ℓ1-norm enküçültme ve matching pursuit (MP) olmak üzere seyrek sinyal geri elde ediniminde kullanılan 2 temel algoritma vardır. Literatürde aynı zamanda bu algoritmaların basis pursuit de-noising (BPDN), orthogonal matching pursuit (OMP), stagewise orthogonal matching pursuit (StOMP) ve compressive sampling matching pursuit (CoSaMP) gibi çeşitli türevleri de bulunmaktadır. Son yıllarda Bayes yapının sıkıştırılmış algılama teorisine uygulanmasıyla birlikte, Bayes tabanlı çeşitli sıkıştırılmış algılama algoritmaları, sıkıştırılmış algılama literatürünün bir parçası olmaya başlamıştır. Bu tezde kullanılacak olan Bayes sıkıştırılmış algılama algoritması da bunlardan biridir. Sıkıştırılmış algılamanın bu çeşitli gerçekleştimlerinin arasında Bayes yapının katkısı, ilgili sinyalin istatistiksel özellikleri de göz önünde bulundurulduğundan sinyal geri elde ediniminin iyileştirilmesi açısından önemli bir potansiyel göstermiştir. Bu doğrultuda, Bayes sıkıştırılmış algılama yaklaşımının seyrek ultra geniş bant kanalların kestirimine uygulanması bu çalışma ile gerçekleştirilmiştir. Bu tezde gerçeğe uygun çeşitli ultra geniş bant kanal modelleri için Bayes sıkıştırılmış algılamanın kanal kestirim performansı incelenmiştir. Özellikle Bayes sıkıştırılmış algılama modelini doğrudan etkilediği için analiz açısından önemli olan (i) standartlaştırılmış IEEE 802.15.4a kanal modellerinin seyrek yapılarının, (ii) işaret-gürültü oranı seviyelerinin ve (iii) ölçüm sayısının çeşitli senaryolar için Bayes sıkıştırılmış algılama kanal kestirim performansı üzerindeki etkileri araştırılmış ve bu sonuçlar seyrek sinyal kestirimi için yaygın olarak kullanılan ℓ1-norm enküçültme tabanlı kestirim sonuçlarıyla karşılaştırılmıştır. Sıkıştırılmış algılama tabanlı ultra geniş bant kanal kestiriminde önemli rol oynayan ultra geniş bant kanalların seyrek yapıya sahip olma varsayımı, kanal ortamları incelenerek doğrulanmalıdır. Bu nedenle tezde, çeşitli kanal ortamlarını modelleyerek oluşturulmuş ve ultra geniş bant araştırma çalışmalarında yaygın olarak kullanılan IEEE 802.15.4a standardı bünyesindeki kanal modeli-1, kanal modeli-2, kanal modeli-5 ve kanal modeli-8 olmak üzere 4 farklı kanal modeli göz önünde bulundurulmuştur. Kısaca bu kanal modellerinin belirgin karakteristikleri özetlenecek olursa: Kanal modeli-1, alıcı verici arasında doğrudan görüşün (LOS) olduğu konut içi ortamı temsil eden ve IEEE 802.15.4a standardı bünyesindeki en seyrek yapıya sahip olan kanal modelidir. Kanal modeli-2, alıcı verici arasında doğrudan görüşün olmadığı (NLOS) konut içi ortamı temsil eden kanal modelidir. Kanal modeli-2 de kanal modeli-1 gibi seyrek yapıya sahiptir fakat kanal modeli-1’e kıyasla daha fazla çokyollu bileşene sahiptir. Kanal modeli-1 ve kanal modeli-2’nin temsil ettikleri ortam, kısa mesafedeki güvenlik ve ölçüm sensörlerinin bulunduğu ev ağları için oldukça önemlidir. Kanal modeli-5, alıcı verici arasında doğrudan görüşün olduğu kapalı olmayan (açık alan) ortamı temsil eden kanal modelidir. Kanal modeli-1 ve kanal modeli-2’ye gore oldukça düşük seyrekliğe sahiptir. Bu kanal modelinde çokyollu bileşenler genellikle birkaç küme halindedir. Kanal modeli-8, alıcı verici arasında doğrudan görüşün olmadığı endüstriyel ortamı temsil eden kanal modelidir. Ortam birçok metal yansıtıcılarla dolu geniş fabrika holleri tarafından karakterize edilir. Böylesi bir ortam çok yoğun şekilde çokyollu bileşenlerin oluşmasına neden olur. Bu sebeple kanal modeli-8, seyrek kanal modeli olarak tanımlanamaz. Dolayısıyla bu 4 kanal modeli içinde en az seyrek yapıya sahip kanal modelidir. Kestirim problemleri analizinde, olabilecek en iyi kestirimci hata performansını belirlemek, performans analizi için önemlidir. Performans alt sınırları da bu en iyi kestirimcinin hata performansını gösterdiği için gerçeklenen kestirimcinin hata performansının değerlendirilmesi açısından önemli bir değerlendirme ölçütüdür. Cramér-Rao alt sınırı yanlı olmayan (unbiased) kestirimciler için yaygın olarak kullanılan bir performans sınırıdır. Gerçekte Cramér-Rao alt sınırı, yanlı olmayan kestirimcilerin toplam varyansı üzerindeki bir alt sınırdır. Bununla birlikte yanlı olmayan kestirimciler için ortalama karesel hata varyansa eşit olduğu için, Cramér-Rao alt sınırı aynı zamanda kestirim hatası üzerindeki bir alt sınırdır. Ancak, bu çalışmada ultra geniş bant kanal kestirimi için önerilen Bayes sıkıştırılmış algılama kestirimcisi, Bayes bir kestirimci olmasının yanı sıra aynı zamanda yanlı (biased) bir kestirimcidir. Dolayısıyla kestirim hatası üzerinde değerlendirme ölçütü olarak bir performans alt sınırı belirlemek, Bayes sıkıştırılmış algılama kestirimcisinin performans analizi açısından önemlidir. Literatürde var olan sonsal (Posterior) Cramér-Rao alt sınırı veya Bayes Cramér-Rao alt sınırı, yanlı olmayan Bayes kestirimcilerin kestirim hatası değil de varyansları üzerindeki bir alt sınırdır. Cramér-Rao alt sınırına ek olarak sonsal Cramér-Rao alt sınırı için Bayes yapıdan dolayı kestirilecek parametre vektörüne ilişkin önsel (prior) olasılık dağılımı da göz önünde bulundurulur. Bu nedenle, bu çalışmada doğrusal yanlılık vektörlerine sahip yanlı Bayes kestirimciler için parameter vektörüne ilişkin önsel olasılık dağılımına ek olarak yanlılık terimi de göz önünde bulundurularak ortalama karesel hata üzerinde bir alt sınır sağlanmış ve bu ortalama karesel hata alt sınırı, gerçeklenen Bayes sıkıştırılmış algılama kestirimcisinin kanal kestirim performansıyla karşılaştırılmıştır. Dahası Bayes sıkıştırılmış algılama ve ℓ1-norm enküçültme yöntemlerinin işlemsel verimliliği büyük-O notasyonundan faydalanılarak işlem sürelerine göre incelenmiştir. Çalışma sonucunda, Bayes sıkıştırılmış algılamanın yüksek işaret-gürültü oranı seviyelerinde yeterli sayıda ölçüm ve seyrek kanal modelleri (kanal modeli-1 ve kanal modeli-2) için ℓ1-norm enküçültme yöntemine kıyasla üstün bir performans sergilediği görülmüştür. Ayrıca ℓ1-norm enküçültme yöntemiyle karşılaştırıldığında, Bayes sıkıştırılmış algılama yönteminin işlemsel olarak daha verimli olduğu sonucu çıkarılmıştır. Bu tezin sonuçları göz önünde bulundurulduğunda, farklı sistem gerçekleştirim durumları için Bayes sıkıştırılmış algılama yöntemi veya ℓ1-norm enküçültme yöntemi diğerinin yerine tercih edilebilir.Ultra-Wideband (UWB) impulse radio (IR) is an emerging technology for wireless communications. Owing to distinguishing properties such as having low transmit power, low-cost simple structure, immunity to flat fading and capability of resolving multipath components individually with good time resolution, UWB-IRs have been selected as the physical layer structure of Wireless Personal Area Network (WPAN) standard IEEE 802.15.4a for location and ranging, and low data rate applications. In the implementation of UWB-IRs, one of the main challenges is the channel estimation. Due to ultra-wide bandwidth of UWB-IRs, the main disadvantage of implementing the conventional maximum likelihood (ML) channel estimator is that very high sampling rates, i.e., very high speed analog-to-digital (A/D) converters are required for precise channel estimation. Reconstruction of sparse signals with a sampling rate significantly lower than Nyquist rate is possible with compressive sensing (CS). Due to the sparse structure of UWB channels, compressive sensing can be used for UWB channel estimation in order to overcome the high-rate sampling problem. Among various implementations of CS, the inclusion of Bayesian framework has shown potential to improve signal recovery as statistical information related to signal parameters is considered. Accordingly, the application of Bayesian CS (BCS) approach to the estimation of sparse UWB channels is considered in this study. In this thesis, the channel estimation performance of BCS is studied for various UWB channel models and noise conditions. Specifically, the effects of (i) sparse structure of standardized IEEE 802.15.4a channel models, (ii) signal-to-noise ratio (SNR) regions, and (iii) number of measurements on the BCS channel estimation performance are investigated, and they are compared to the results of ℓ1-norm minimization based estimation, which is widely used for sparse channel estimation. Furthermore, a lower bound on mean-square error (MSE) is provided for the biased BCS estimator and it is compared with the MSE performance of implemented BCS estimator. Moreover, the computation efficiencies of BCS and ℓ1-norm minimization are investigated in terms of computation time by making use of the big-O notation. The study shows that BCS exhibits superior performance at higher SNR regions for adequate number of measurements and sparser channel models (e.g., CM-1 and CM-2). Furthermore, BCS is found to be computationally more efficient compared to ℓ1-norm minimization. Based on the results of this thesis, the BCS method or the ℓ1-norm minimization method can be preferred over the other one for different system implementation conditions.Yüksek LisansM.Sc

Approximate Gaussian conjugacy: parametric recursive filtering under nonlinearity, multimodality, uncertainty, and constraint, and beyond

Since the landmark work of R. E. Kalman in the 1960s, considerable efforts have been devoted to time series state space models for a large variety of dynamic estimation problems. In particular, parametric filters that seek analytical estimates based on a closed-form Markov–Bayes recursion, e.g., recursion from a Gaussian or Gaussian mixture (GM) prior to a Gaussian/GM posterior (termed ‘Gaussian conjugacy’ in this paper), form the backbone for a general time series filter design. Due to challenges arising from nonlinearity, multimodality (including target maneuver), intractable uncertainties (such as unknown inputs and/or non-Gaussian noises) and constraints (including circular quantities), etc., new theories, algorithms, and technologies have been developed continuously to maintain such a conjugacy, or to approximate it as close as possible. They had contributed in large part to the prospective developments of time series parametric filters in the last six decades. In this paper, we review the state of the art in distinctive categories and highlight some insights that may otherwise be easily overlooked. In particular, specific attention is paid to nonlinear systems with an informative observation, multimodal systems including Gaussian mixture posterior and maneuvers, and intractable unknown inputs and constraints, to fill some gaps in existing reviews and surveys. In addition, we provide some new thoughts on alternatives to the first-order Markov transition model and on filter evaluation with regard to computing complexity

Contraction of Locally Differentially Private Mechanisms

We investigate the contraction properties of locally differentially private mechanisms. More specifically, we derive tight upper bounds on the divergence between $P\mathsf{K}$ and $Q\mathsf{K}$ output distributions of an $\varepsilon$-LDP mechanism $\mathsf{K}$ in terms of a divergence between the corresponding input distributions $P$ and $Q$, respectively. Our first main technical result presents a sharp upper bound on the $\chi^2$-divergence $\chi^2(P\mathsf{K}\|Q\mathsf{K})$ in terms of $\chi^2(P\|Q)$ and $\varepsilon$. We also show that the same result holds for a large family of divergences, including KL-divergence and squared Hellinger distance. The second main technical result gives an upper bound on $\chi^2(P\mathsf{K}\|Q\mathsf{K})$ in terms of total variation distance $\mathsf{TV}(P, Q)$ and $\varepsilon$. We then utilize these bounds to establish locally private versions of the van Trees inequality, Le Cam's, Assouad's, and the mutual information methods, which are powerful tools for bounding minimax estimation risks. These results are shown to lead to better privacy analyses than the state-of-the-arts in several statistical problems such as entropy and discrete distribution estimation, non-parametric density estimation, and hypothesis testing

Magnetic resonance fingerprinting review part 2: Technique and directions

Peer Reviewedhttps://deepblue.lib.umich.edu/bitstream/2027.42/154317/1/jmri26877.pdfhttps://deepblue.lib.umich.edu/bitstream/2027.42/154317/2/jmri26877_am.pd