Variational Bayesian Inference of Line Spectra

In this paper, we address the fundamental problem of line spectral estimation in a Bayesian framework. We target model order and parameter estimation via variational inference in a probabilistic model in which the frequencies are continuous-valued, i.e., not restricted to a grid; and the coefficients are governed by a Bernoulli-Gaussian prior model turning model order selection into binary sequence detection. Unlike earlier works which retain only point estimates of the frequencies, we undertake a more complete Bayesian treatment by estimating the posterior probability density functions (pdfs) of the frequencies and computing expectations over them. Thus, we additionally capture and operate with the uncertainty of the frequency estimates. Aiming to maximize the model evidence, variational optimization provides analytic approximations of the posterior pdfs and also gives estimates of the additional parameters. We propose an accurate representation of the pdfs of the frequencies by mixtures of von Mises pdfs, which yields closed-form expectations. We define the algorithm VALSE in which the estimates of the pdfs and parameters are iteratively updated. VALSE is a gridless, convergent method, does not require parameter tuning, can easily include prior knowledge about the frequencies and provides approximate posterior pdfs based on which the uncertainty in line spectral estimation can be quantified. Simulation results show that accounting for the uncertainty of frequency estimates, rather than computing just point estimates, significantly improves the performance. The performance of VALSE is superior to that of state-of-the-art methods and closely approaches the Cram\'er-Rao bound computed for the true model order.Comment: 15 pages, 8 figures, accepted for publication in IEEE Transactions on Signal Processin

Advanced array signal processing algorithms for multi-dimensional parameter estimation

Multi-dimensional high-resolution parameter estimation is a fundamental problem in a variety of array signal processing applications, including radar, mobile communications, multiple-input multiple-output (MIMO) channel estimation, and biomedical imaging. The objective is to estimate the frequency parameters of noise-corrupted multi-dimensional harmonics that are sampled on a multi-dimensional grid. Among the proposed parameter estimation algorithms to solve this problem, multi-dimensional (R-D) ESPRIT-type algorithms have been widely used due to their computational efficiency and their simplicity. Their performance in various scenarios has been objectively evaluated by means of an analytical performance assessment framework. Recently, a relatively new class of parameter estimators based on sparse signal reconstruction has gained popularity due to their robustness under challenging conditions such as a small sample size or strong signal correlation. A common approach towards further improving the performance of parameter estimation algorithms is to exploit prior knowledge on the structure of the signals. In this thesis, we develop enhanced versions of R-D ESPRIT-type algorithms and the relatively new class of sparsity-based parameter estimation algorithms by exploiting the multi-dimensional structure of the signals and the statistical properties of strictly non-circular (NC) signals. First, we derive analytical expressions for the gain from forward-backward averaging and tensor-based processing in R-D ESPRIT-type and R-D Tensor-ESPRIT-type algorithms for the special case of two sources. This is accomplished by simplifying the generic analytical MSE expressions from the performance analysis of R-D ESPRIT-type algorithms. The derived expressions allow us to identify the parameter settings, e.g., the number of sensors, the signal correlation, and the source separation, for which both gains are most pronounced or no gain is achieved. Second, we propose the generalized least squares (GLS) algorithm to solve the overdetermined shift invariance equation in R-D ESPRIT-type algorithms. GLS directly incorporates the statistics of the subspace estimation error into the shift invariance solution through its covariance matrix, which is found via a first-order perturbation expansion. To objectively assess the estimation accuracy, we derive performance analysis expressions for the mean square error (MSE) of GLS-based ESPRIT-type algorithms, which are asymptotic in the effective SNR, i.e., the results become exact for a high SNR or a small sample size. Based on the performance analysis, we show that the simplified MSE expressions of GLS-based 1-D ESPRIT-type algorithms for a single source and two sources can be transformed into the corresponding Cramer-Rao bound (CRB) expressions, which provide a lower limit on the estimation error. Thereby, ESPRIT-type algorithms can become asymptotically efficient, i.e., they asymptotically achieve the CRB. Numerical simulations show that this can also be the case for more than two sources. In the third contribution, we derive matrix-based and tensor-based R-D NC ESPRIT-type algorithms for multi-dimensional strictly non-circular signals, where R-D NC Tensor-ESPRIT-type algorithms exploit both the multi-dimensional structure and the strictly non-circular structure of the signals. Exploiting the NC signal structure by means of a preprocessing step leads to a virtual doubling of the original sensor array, which provides an improved estimation accuracy and doubles the number of resolvable signals. We derive an analytical performance analysis and compute simplified MSE expressions for a single source and two sources. These expressions are used to analytically compute the NC gain for these cases, which has so far only been studied via Monte-Carlo simulations. We additionally consider spatial smoothing preprocessing for R-D ESPRIT-type algorithms, which has been widely used to improve the estimation performance for highly correlated signals or a small sample size. Once more, we derive performance analysis expressions for R-D ESPRIT-type algorithms and their corresponding NC versions with spatial smoothing and derive the optimal number of subarrays for spatial smoothing that minimizes the MSE for a single source. In the next part, we focus on the relatively new concept of parameter estimation via sparse signal reconstruction (SSR), in which the sparsity of the received signal power spectrum in the spatio-temporal domain is exploited. We develop three NC SSR-based parameter estimation algorithms for strictly noncircular sources and show that the benefits of exploiting the signals’ NC structure can also be achieved via sparse reconstruction. We develop two grid-based NC SSR algorithms with a low-complexity off-grid estimation procedure, and a gridless NC SSR algorithm based on atomic norm minimization. As the final contribution of this thesis, we derive the deterministic R-D NC CRB for strictly non-circular sources, which serves as a benchmark for the presented R-D NC ESPRIT-type algorithms and the NC SSR-based parameter estimation algorithms. We show for the special cases of, e.g., full coherence, a single snapshot, or a single strictly non-circular source, that the deterministic R-D NC CRB reduces to the existing deterministic R-D CRB for arbitrary signals. Therefore, no NC gain can be achieved in these cases. For the special case of two closely-spaced NC sources, we simplify the NC CRB expression and compute the NC gain for two closely-spaced NC signals. Finally, its behavior in terms of the physical parameters is studied to determine the parameter settings that provide the largest NC gain.Die hochauflösende Parameterschätzung für mehrdimensionale Signale findet Anwendung in vielen Bereichen der Signalverarbeitung in Mehrantennensystemen. Zu den Anwendungsgebieten zählen beispielsweise Radar, die Mobilkommunikation, die Kanalschätzung in multiple-input multiple-output (MIMO)-Systemen und bildgebende Verfahren in der Biosignalverarbeitung. In letzter Zeit sind eine Vielzahl von Algorithmen zur Parameterschätzung entwickelt worden, deren Schätzgenauigkeit durch eine analytische Beschreibung der Leistungsfähigkeit objektiv bewertet werden kann. Eine verbreitete Methode zur Verbesserung der Schätzgenauigkeit von Parameterschätzverfahren ist die Ausnutzung von Vorwissen bezüglich der Signalstruktur. In dieser Arbeit werden mehrdimensionale ESPRIT-Verfahren als Beispiel für Unterraum-basierte Verfahren entwickelt und analysiert, die explizit die mehrdimensionale Signalstruktur mittels Tensor-Signalverarbeitung ausnutzt und die statistischen Eigenschaften von nicht-zirkulären Signalen einbezieht. Weiterhin werden neuartige auf Signalrekonstruktion basierende Algorithmen vorgestellt, die die nicht-zirkuläre Signalstruktur bei der Rekonstruktion ausnutzen. Die vorgestellten Verfahren ermöglichen eine deutlich verbesserte Schätzgüte und verdoppeln die Anzahl der auflösbaren Signale. Die Vielzahl der Forschungsbeiträge in dieser Arbeit setzt sich aus verschiedenen Teilen zusammen. Im ersten Teil wird die analytische Beschreibung der Leistungsfähigkeit von Matrix-basierten und Tensor-basierten ESPRIT-Algorithmen betrachtet. Die Tensor-basierten Verfahren nutzen explizit die mehrdimensionale Struktur der Daten aus. Es werden für beide Algorithmenarten vereinfachte analytische Ausdrücke für den mittleren quadratischen Schätzfehler für zwei Signalquellen hergeleitet, die lediglich von den physikalischen Parametern, wie zum Beispiel die Anzahl der Antennenelemente, das Signal-zu-Rausch-Verhältnis, oder die Anzahl der Messungen, abhängen. Ein Vergleich dieser Ausdrücke ermöglicht die Berechnung einfacher Ausdrücke für den Schätzgenauigkeitsgewinn durch den forward-backward averaging (FBA)-Vorverarbeitungsschritt und die Tensor-Signalverarbeitung, die die analytische Abhängigkeit von den physikalischen Parametern enthalten. Im zweiten Teil entwickeln wir einen neuartigen general least squares (GLS)-Ansatz zur Lösung der Verschiebungs-Invarianz-Gleichung, die die Grundlage der ESPRIT-Algorithmen darstellt. Der neue Lösungsansatz berücksichtigt die statistische Beschreibung des Fehlers bei der Unterraumschätzung durch dessen Kovarianzmatrix und ermöglicht unter bestimmten Annahmen eine optimale Lösung der Invarianz-Gleichung. Mittels einer Performanzanalyse der GLS-basierten ESPRIT-Verfahren und der Vereinfachung der analytischen Ausdrücke für den Schätzfehler für eine Signalquelle und zwei zeitlich unkorrelierte Signalquellen wird gezeigt, dass die Cramer-Rao-Schranke, eine untere Schranke für die Varianz eines Schätzers, erreicht werden kann. Im nächsten Teil werden Matrix-basierte und Tensor-basierte ESPRIT-Algorithmen für nicht-zirkuläre Signalquellen vorgestellt. Unter Ausnutzung der Signalstruktur gelingt es, die Schätzgenauigkeit zu erhöhen und die doppelte Anzahl an Quellen aufzulösen. Dabei ermöglichen die vorgeschlagenen Tensor-ESPRIT-Verfahren sogar die gleichzeitige Ausnutzung der mehrdimensionalen Signalstruktur und der nicht-zirkuläre Signalstruktur. Die Leistungsfähigkeit dieser Verfahren wird erneut durch eine analytische Beschreibung objektiv bewertet und Spezialfälle für eine und zwei Quellen betrachtet. Es zeigt sich, dass für eine Quelle keinerlei Gewinn durch die nicht-zirkuläre Struktur erzielen lässt. Für zwei nicht-zirkuläre Quellen werden vereinfachte Ausdrücke für den Gewinn sowohl im Matrixfall also auch im Tensorfall hergeleitet und die Abhängigkeit der physikalischen Parameter analysiert. Sind die Signale stark korreliert oder ist die Anzahl der Messdaten sehr gering, kann der spatial smoothing-Vorverarbeitungsschritt mit den verbesserten ESPRIT-Verfahren kombiniert werden. Anhand der Performanzanalyse wird die Anzahl der Mittellungen für das spatial smoothing-Verfahren analytisch für eine Quelle bestimmt, die den Schätzfehler minimiert. Der nächste Teil befasst sich mit einer vergleichsweise neuen Klasse von Parameterschätzverfahren, die auf der Rekonstruktion überlagerter dünnbesetzter Signale basiert. Als Vorteil gegenüber den Algorithmen, die eine Signalunterraumschätzung voraussetzen, sind die Rekonstruktionsverfahren verhältnismäßig robust im Falle einer geringen Anzahl zeitlicher Messungen oder einer starken Korrelation der Signale. In diesem Teil der vorliegenden Arbeit werden drei solcher Verfahren entwickelt, die bei der Rekonstruktion zusätzlich die nicht-zirkuläre Signalstruktur ausnutzen. Dadurch kann auch für diese Art von Verfahren eine höhere Schätzgenauigkeit erreicht werden und eine höhere Anzahl an Signalen rekonstruiert werden. Im letzten Kapitel der Arbeit wird schließlich die Cramer-Rao-Schranke für mehrdimensionale nicht-zirkuläre Signale hergeleitet. Sie stellt eine untere Schranke für den Schätzfehler aller Algorithmen dar, die speziell für die Ausnutzung dieser Signalstruktur entwickelt wurden. Im Vergleich zur bekannten Cramer-Rao-Schranke für beliebige Signale, zeigt sich, dass im Fall von zeitlich kohärenten Signalen, für einen Messvektor oder für eine Quelle, beide Schranken äquivalent sind. In diesen Fällen kann daher keine Verbesserung der Schätzgüte erzielt werden. Zusätzlich wird die Cramer-Rao-Schranke für zwei benachbarte nicht-zirkuläre Signalquellen vereinfacht und der maximal mögliche Gewinn in Abhängigkeit der physikalischen Parameter analytisch ermittelt. Dieser Ausdruck gilt als Maßstab für den erzielbaren Gewinn aller Parameterschätzverfahren für zwei nicht-zirkuläre Signalquellen

Applications of compressive sensing to direction of arrival estimation

Die Schätzung der Einfallsrichtungen (Directions of Arrival/DOA) mehrerer ebener Wellenfronten mit Hilfe eines Antennen-Arrays ist eine der prominentesten Fragestellungen im Gebiet der Array-Signalverarbeitung. Das nach wie vor starke Forschungsinteresse in dieser Richtung konzentriert sich vor allem auf die Reduktion des Hardware-Aufwands, im Sinne der Komplexität und des Energieverbrauchs der Empfänger, bei einem vorgegebenen Grad an Genauigkeit und Robustheit gegen Mehrwegeausbreitung. Diese Dissertation beschäftigt sich mit der Anwendung von Compressive Sensing (CS) auf das Gebiet der DOA-Schätzung mit dem Ziel, hiermit die Komplexität der Empfängerhardware zu reduzieren und gleichzeitig eine hohe Richtungsauflösung und Robustheit zu erreichen. CS wurde bereits auf das DOA-Problem angewandt unter der Ausnutzung der Tatsache, dass eine Superposition ebener Wellenfronten mit einer winkelabhängigen Leistungsdichte korrespondiert, die über den Winkel betrachtet sparse ist. Basierend auf der Idee wurden CS-basierte Algorithmen zur DOA-Schätzung vorgeschlagen, die sich durch eine geringe Rechenkomplexität, Robustheit gegenüber Quellenkorrelation und Flexibilität bezüglich der Wahl der Array-Geometrie auszeichnen. Die Anwendung von CS führt darüber hinaus zu einer erheblichen Reduktion der Hardware-Komplexität, da weniger Empfangskanäle benötigt werden und eine geringere Datenmenge zu verarbeiten und zu speichern ist, ohne dabei wesentliche Informationen zu verlieren. Im ersten Teil der Arbeit wird das Problem des Modellfehlers bei der CS-basierten DOA-Schätzung mit gitterbehafteten Verfahren untersucht. Ein häufig verwendeter Ansatz um das CS-Framework auf das DOA-Problem anzuwenden ist es, den kontinuierlichen Winkel-Parameter zu diskreditieren und damit ein Dictionary endlicher Größe zu bilden. Da die tatsächlichen Winkel fast sicher nicht auf diesem Gitter liegen werden, entsteht dabei ein unvermeidlicher Modellfehler, der sich auf die Schätzalgorithmen auswirkt. In der Arbeit wird ein analytischer Ansatz gewählt, um den Effekt der Gitterfehler auf die rekonstruierten Spektra zu untersuchen. Es wird gezeigt, dass sich die Messung einer Quelle aus beliebiger Richtung sehr gut durch die erwarteten Antworten ihrer beiden Nachbarn auf dem Gitter annähern lässt. Darauf basierend wird ein einfaches und effizientes Verfahren vorgeschlagen, den Gitterversatz zu schätzen. Dieser Ansatz ist anwendbar auf einzelne Quellen oder mehrere, räumlich gut separierte Quellen. Für den Fall mehrerer dicht benachbarter Quellen wird ein numerischer Ansatz zur gemeinsamen Schätzung des Gitterversatzes diskutiert. Im zweiten Teil der Arbeit untersuchen wir das Design kompressiver Antennenarrays für die DOA-Schätzung. Die Kompression im Sinne von Linearkombinationen der Antennensignale, erlaubt es, Arrays mit großer Apertur zu entwerfen, die nur wenige Empfangskanäle benötigen und sich konfigurieren lassen. In der Arbeit wird eine einfache Empfangsarchitektur vorgeschlagen und ein allgemeines Systemmodell diskutiert, welches verschiedene Optionen der tatsächlichen Hardware-Realisierung dieser Linearkombinationen zulässt. Im Anschluss wird das Design der Gewichte des analogen Kombinations-Netzwerks untersucht. Numerische Simulationen zeigen die Überlegenheit der vorgeschlagenen kompressiven Antennen-Arrays im Vergleich mit dünn besetzten Arrays der gleichen Komplexität sowie kompressiver Arrays mit zufällig gewählten Gewichten. Schließlich werden zwei weitere Anwendungen der vorgeschlagenen Ansätze diskutiert: CS-basierte Verzögerungsschätzung und kompressives Channel Sounding. Es wird demonstriert, dass die in beiden Gebieten durch die Anwendung der vorgeschlagenen Ansätze erhebliche Verbesserungen erzielt werden können.Direction of Arrival (DOA) estimation of plane waves impinging on an array of sensors is one of the most important tasks in array signal processing, which have attracted tremendous research interest over the past several decades. The estimated DOAs are used in various applications like localization of transmitting sources, massive MIMO and 5G Networks, tracking and surveillance in radar, and many others. The major objective in DOA estimation is to develop approaches that allow to reduce the hardware complexity in terms of receiver costs and power consumption, while providing a desired level of estimation accuracy and robustness in the presence of multiple sources and/or multiple paths. Compressive sensing (CS) is a novel sampling methodology merging signal acquisition and compression. It allows for sampling a signal with a rate below the conventional Nyquist bound. In essence, it has been shown that signals can be acquired at sub-Nyquist sampling rates without loss of information provided they possess a sufficiently sparse representation in some domain and that the measurement strategy is suitably chosen. CS has been recently applied to DOA estimation, leveraging the fact that a superposition of planar wavefronts corresponds to a sparse angular power spectrum. This dissertation investigates the application of compressive sensing to the DOA estimation problem with the goal to reduce the hardware complexity and/or achieve a high resolution and a high level of robustness. Many CS-based DOA estimation algorithms have been proposed in recent years showing tremendous advantages with respect to the complexity of the numerical solution while being insensitive to source correlation and allowing arbitrary array geometries. Moreover, CS has also been suggested to be applied in the spatial domain with the main goal to reduce the complexity of the measurement process by using fewer RF chains and storing less measured data without the loss of any significant information. In the first part of the work we investigate the model mismatch problem for CS based DOA estimation algorithms off the grid. To apply the CS framework a very common approach is to construct a finite dictionary by sampling the angular domain with a predefined sampling grid. Therefore, the target locations are almost surely not located exactly on a subset of these grid points. This leads to a model mismatch which deteriorates the performance of the estimators. We take an analytical approach to investigate the effect of such grid offsets on the recovered spectra showing that each off-grid source can be well approximated by the two neighboring points on the grid. We propose a simple and efficient scheme to estimate the grid offset for a single source or multiple well-separated sources. We also discuss a numerical procedure for the joint estimation of the grid offsets of closer sources. In the second part of the thesis we study the design of compressive antenna arrays for DOA estimation that aim to provide a larger aperture with a reduced hardware complexity and allowing reconfigurability, by a linear combination of the antenna outputs to a lower number of receiver channels. We present a basic receiver architecture of such a compressive array and introduce a generic system model that includes different options for the hardware implementation. We then discuss the design of the analog combining network that performs the receiver channel reduction. Our numerical simulations demonstrate the superiority of the proposed optimized compressive arrays compared to the sparse arrays of the same complexity and to compressive arrays with randomly chosen combining kernels. Finally, we consider two other applications of the sparse recovery and compressive arrays. The first application is CS based time delay estimation and the other one is compressive channel sounding. We show that the proposed approaches for sparse recovery off the grid and compressive arrays show significant improvements in the considered applications compared to conventional methods

Constrained Learning And Inference

Data and learning have become core components of the information processing and autonomous systems upon which we increasingly rely on to select job applicants, analyze medical data, and drive cars. As these systems become ubiquitous, so does the need to curtail their behavior. Left untethered, they are susceptible to tampering (adversarial examples) and prone to prejudiced and unsafe actions. Currently, the response of these systems is tailored by leveraging domain expert knowledge to either construct models that embed the desired properties or tune the training objective so as to promote them. While effective, these solutions are often targeted to specific behaviors, contexts, and sometimes even problem instances and are typically not transferable across models and applications. What is more, the growing scale and complexity of modern information processing and autonomous systems renders this manual behavior tuning infeasible. Already today, explainability, interpretability, and transparency combined with human judgment are no longer enough to design systems that perform according to specifications. The present thesis addresses these issues by leveraging constrained statistical optimization. More specifically, it develops the theoretical underpinnings of constrained learning and constrained inference to provide tools that enable solving statistical problems under requirements. Starting with the task of learning under requirements, it develops a generalization theory of constrained learning akin to the existing unconstrained one. By formalizing the concept of probability approximately correct constrained (PACC) learning, it shows that constrained learning is as hard as its unconstrained learning and establishes the constrained counterpart of empirical risk minimization (ERM) as a PACC learner. To overcome challenges involved in solving such non-convex constrained optimization problems, it derives a dual learning rule that enables constrained learning tasks to be tackled by through unconstrained learning problems only. It therefore concludes that if we can deal with classical, unconstrained learning tasks, then we can deal with learning tasks with requirements. The second part of this thesis addresses the issue of constrained inference. In particular, the issue of performing inference using sparse nonlinear function models, combinatorial constrained with quadratic objectives, and risk constraints. Such models arise in nonlinear line spectrum estimation, functional data analysis, sensor selection, actuator scheduling, experimental design, and risk-aware estimation. Although inference problems assume that models and distributions are known, each of these constraints pose serious challenges that hinder their use in practice. Sparse nonlinear functional models lead to infinite dimensional, non-convex optimization programs that cannot be discretized without leading to combinatorial, often NP-hard, problems. Rather than using surrogates and relaxations, this work relies on duality to show that despite their apparent complexity, these models can be fit efficiently, i.e., in polynomial time. While quadratic objectives are typically tractable (often even in closed form), they lead to non-submodular optimization problems when subject to cardinality or matroid constraints. While submodular functions are sometimes used as surrogates, this work instead shows that quadratic functions are close to submodular and can also be optimized near-optimally. The last chapter of this thesis is dedicated to problems involving risk constraints, in particular, bounded predictive mean square error variance estimation. Despite being non-convex, such problems are equivalent to a quadratically constrained quadratic program from which a closed-form estimator can be extracted. These results are used throughout this thesis to tackle problems in signal processing, machine learning, and control, such as fair learning, robust learning, nonlinear line spectrum estimation, actuator scheduling, experimental design, and risk-aware estimation. Yet, they are applicable much beyond these illustrations to perform safe reinforcement learning, sensor selection, multiresolution kernel estimation, and wireless resource allocation, to name a few