Performance Bounds for Parameter Estimation under Misspecified Models: Fundamental findings and applications

Inferring information from a set of acquired data is the main objective of any signal processing (SP) method. In particular, the common problem of estimating the value of a vector of parameters from a set of noisy measurements is at the core of a plethora of scientific and technological advances in the last decades; for example, wireless communications, radar and sonar, biomedicine, image processing, and seismology, just to name a few. Developing an estimation algorithm often begins by assuming a statistical model for the measured data, i.e. a probability density function (pdf) which if correct, fully characterizes the behaviour of the collected data/measurements. Experience with real data, however, often exposes the limitations of any assumed data model since modelling errors at some level are always present. Consequently, the true data model and the model assumed to derive the estimation algorithm could differ. When this happens, the model is said to be mismatched or misspecified. Therefore, understanding the possible performance loss or regret that an estimation algorithm could experience under model misspecification is of crucial importance for any SP practitioner. Further, understanding the limits on the performance of any estimator subject to model misspecification is of practical interest. Motivated by the widespread and practical need to assess the performance of a mismatched estimator, the goal of this paper is to help to bring attention to the main theoretical findings on estimation theory, and in particular on lower bounds under model misspecification, that have been published in the statistical and econometrical literature in the last fifty years. Secondly, some applications are discussed to illustrate the broad range of areas and problems to which this framework extends, and consequently the numerous opportunities available for SP researchers.Comment: To appear in the IEEE Signal Processing Magazin

A review of closed-form Cramér-Rao Bounds for DOA estimation in the presence of Gaussian noise under a unified framework

The Cramér-Rao Bound (CRB) for direction of arrival (DOA) estimation has been extensively studied over the past four decades, with a plethora of CRB expressions reported for various parametric models. In the literature, there are different methods to derive a closed-form CRB expression, but many derivations tend to involve intricate matrix manipulations which appear difficult to understand. Starting from the Slepian-Bangs formula and following the simplest derivation approach, this paper reviews a number of closed-form Gaussian CRB expressions for the DOA parameter under a unified framework, based on which all the specific CRB presentations can be derived concisely. The results cover three scenarios: narrowband complex circular signals, narrowband complex noncircular signals, and wideband signals. Three signal models are considered: the deterministic model, the stochastic Gaussian model, and the stochastic Gaussian model with the a priori knowledge that the sources are spatially uncorrelated. Moreover, three Gaussian noise models distinguished by the structure of the noise covariance matrix are concerned: spatially uncorrelated noise with unknown either identical or distinct variances at different sensors, and arbitrary unknown noise. In each scenario, a unified framework for the DOA-related block of the deterministic/stochastic CRB is developed, which encompasses one class of closed-form deterministic CRB expressions and two classes of stochastic ones under the three noise models. Comparisons among different CRBs across classes and scenarios are presented, yielding a series of equalities and inequalities which reflect the benchmark for the estimation efficiency under various situations. Furthermore, validity of all CRB expressions are examined, with some specific results for linear arrays provided, leading to several upper bounds on the number of resolvable Gaussian sources in the underdetermined case

Asymptotic normality and efficiency of the maximum likelihood estimator for the parameter of a ballistic random walk in a random environment

We consider a one dimensional ballistic random walk evolving in a parametric independent and identically distributed random environment. We study the asymptotic properties of the maximum likelihood estimator of the parameter based on a single observation of the path till the time it reaches a distant site. We prove an asymptotic normality result for this consistent estimator as the distant site tends to infinity and establish that it achieves the Cram\'er-Rao bound. We also explore in a simulation setting the numerical behaviour of asymptotic confidence regions for the parameter value

Quantum estimation of coupled parameters and the role of entanglement

The quantum Cramer-Rao bound places a limit on the mean square error of a parameter estimation procedure, and its numerical value is determined by the quantum Fisher information. For single parameters, this leads to the well- known Heisenberg limit that surpasses the classical shot-noise limit. When estimating multiple parameters, the situation is more complicated and the quantum Cramer-Rao bound is generally not attainable. In such cases, the use of entanglement typically still offers an enhancement in precision. Here, we demonstrate that entanglement is detrimental when estimating some nuisance parameters. In general, we find that the estimation of coupled parameters does not benefit from either classical or quantum correlations. We illustrate this effect in a practical application for optical gyroscopes

Estimation of Radio Channel Parameters

Kurzfassung Diese Dissertation behandelt die Schätzung der Modellparameter einer Momentanaufnahme des Mobilfunkkanals. Das besondere Augenmerk liegt zum einen auf der Entwicklung eines generischen Datenmodells für den gemessenen Funkkanal, welches für die hochauflösende Parameterschätzung geeignet ist. Der zweite Schwerpunkt dieser Arbeit ist die Entwicklung eines robusten Parameterschätzers für die Bestimmung der Parameter des entworfenen Modells aus Funkkanalmessdaten. Entsprechend dieser logischen Abfolge ist auch der Aufbau dieser Arbeit. Im ersten Teil wird ausgehend von einem aus der Literatur bekannten strahlenoptischen Modell eine algebraisch handhabbare Darstellung von beobachteten Wellenausbreitungspfaden entwickelt. Das mathematische Modell erlaubt die Beschreibung von SISO (single-input-single-output)- Übertragungssystemen, also von Systemen mit einer Sendeantenne und einer Empfangsantenne, als auch die Beschreibung von solchen Systemen mit mehreren Sende- und/oder Empfangsantennen. Diese Systeme werden im Allgemeinen auch als SIMO- (single-input-multiple-output), MISO- (multiple-input-single-output) oder MIMO-Systeme (multiple-input-multiple-output) bezeichnet. Im Gegensatz zu bekannten Konzepten enthält das entwickelte Modell keine Restriktionen bezüglich der modellierbaren Antennenarrayarchitekturen. Dies ist besonders wichtig in Hinblick auf die möglichst vollständige Erfassung der räumlichen Struktur des Funkkanals. Die Flexibilität des Modells ist eine Grundvoraussetzung für die optimale Anpassung der Antennenstruktur an die Messaufgabe. Eine solche angepasste Antennenarraystruktur ist zum Beispiel eine zylindrische Anordnung von Antennenelementen. Sie ist gut geeignet für die Erfassung der räumlichen Struktur des Funkkanals (Azimut und Elevation) in so genannten Outdoor- Funkszenarien. Weiterhin wird im ersten Teil eine neue Komponente des Funkkanaldatenmodells eingeführt, welche den Beitrag verteilter (diffuser) Streuungen zur Funkübertragung beschreibt. Die neue Modellkomponente spielt eine Schlüsselrolle bei der Entwicklung eines robusten Parameterschätzers im Hauptteil dieser Arbeit. Die fehlende Modellierung der verteilten Streuungen ist eine der Hauptursachen für die begrenzte Anwendbarkeit und die oft kritisierte fehlende Robustheit von hochauflösenden Funkkanalparameterschätzern, die in der Literatur etabliert sind. Das neue Datenmodell beschreibt die so genannten dominanten Ausbreitungspfade durch eine deterministische Abbildung der Pfadparameter auf den gemessenen Funkkanal. Der Beitrag der verteilten Streuungen wird mit Hilfe eines zirkularen mittelwertfreien Gaußschen Prozesses beschrieben. Die Modellparameter der verteilten Streuungen beschreiben dabei die Kovarianzmatrix dieses Prozesses. Basierend auf dem entwickelten Datenmodell wird im Anschluss kurz über aktuelle Konzepte für Funkkanalmessgeräte, so genannte Channel-Sounder, diskutiert. Im zweiten Teil dieser Arbeit werden in erster Linie Ausdrücke zur Bestimmung der erzielbaren Messgenauigkeit eines Channel-Sounders abgeleitet. Zu diesem Zweck wird die untere Schranke für die Varianz der geschätzten Modellparameter, das heißt der Messwerte, bestimmt. Als Grundlage für die Varianzabschätzung wird das aus der Parameterschätztheorie bekannte Konzept der Cramér-Rao-Schranke angewandt. Im Rahmen der Ableitung der Cramér-Rao-Schranke werden außerdem wichtige Gesichtspunkte für die Entwicklung eines effizienten Parameterschätzers diskutiert. Im dritten Teil der Arbeit wird ein Schätzer für die Bestimmung der Ausbreitungspfadparameter nach dem Maximum-Likelihood-Prinzip entworfen. Nach einer kurzen Übersicht über existierende Konzepte zur hochauflösenden Funkkanalparameterschätzung wird die vorliegende Schätzaufgabe analysiert und in Hinsicht ihres Typs klassifiziert. Unter der Voraussetzung, dass die Parameter der verteilten Streuungen bekannt sind, lässt sich zeigen, daß sich die Schätzung der Parameter der Ausbreitungspfade als ein nichtlineares gewichtetes kleinstes Fehlerquadratproblem auffassen lässt. Basierend auf dieser Erkenntnis wird ein generischer Algorithmus zur Bestimmung einer globalen Startlösung für die Parameter eines Ausbreitungspfades vorgeschlagen. Hierbei wird von dem Konzept der Structure-Least-Squares (SLS)-Probleme Gebrauch gemacht, um die Komplexität des Schätzproblems zu reduzieren. Im folgenden Teil dieses Abschnitts wird basierend auf aus der Literatur bekannten robusten numerischen Algorithmen ein Schätzer zur genauen Bestimmung der Ausbreitungspfadparameter abgeleitet. Im letzten Teil dieses Abschnitts wird die Anwendung unterraumbasierter Schätzer zur Bestimmung der Ausbreitungspfadparameter diskutiert. Es wird ein speichereffizienter Algorithmus zur Signalraumschätzung entwickelt. Dieser Algorithmus ist eine Grundvoraussetzung für die Anwendung von mehrdimensionalen Parameterschätzern wie zum Beispiel des R-D unitary ESPRIT (Estimation of Signal Parameters via Rotational Invariance Techniques) zur Bestimmung von Funkkanalparametern aus MIMO-Funkkanalmessungen. Traditionelle Verfahren zur Signalraumschätzung sind hier im Allgemeinen nicht anwendbar, da sie einen zu großen Speicheraufwand erfordern. Außerdem wird in diesem Teil gezeigt, dass ESPRIT-Algorithmen auch zur Parameterschätzung von Daten mit so genannter versteckter Rotations-Invarianzstruktur eingesetzt werden können. Als Beispiel wird ein ESPRIT-basierter Algorithmus zur Richtungsschätzung in Verbindung mit multibeam-Antennenarrays (CUBA) abgeleitet. Im letzten Teil dieser Arbeit wird ein Maximum-Likelihood-Schätzer für die neue Komponente des Funkkanals, welche die verteilten Streuungen beschreibt, entworfen. Ausgehend vom Konzept des iterativen Maximum-Likelihood-Schätzers wird ein Algorithmus entwickelt, der hinreichend geringe numerische Komplexität besitzt, so dass er praktisch anwendbar ist. In erster Linie wird dabei von der Toeplitzstruktur der zu schätzenden Kovarianzmatrix Gebrauch gemacht. Aufbauend auf dem Schätzer für die Parameter der Ausbreitungspfade und dem Schätzer für die Parameter der verteilten Streuungen wird ein Maximum-Likelihood-Schätzer entwickelt (RIMAX), der alle Parameter des in Teil I entwickelten Modells der Funkanalmessung im Verbund schätzt. Neben den geschätzten Parametern des Datenmodells liefert der Schätzer zusätzlich Zuverlässigkeitsinformationen. Diese werden unter anderem zur Bestimmung der Modellordnung, das heißt zur Bestimmung der Anzahl der dominanten Ausbreitungspfade, herangezogen. Außerdem stellen die Zuverlässigkeitsinformationen aber auch ein wichtiges Schätzergebnis dar. Die Zuverlässigkeitsinformationen machen die weitere Verarbeitung und Wertung der Messergebnisse möglich.The theme of this thesis is the estimation of model parameters of a radio channel snapshot. The main focus was the development of a general data model for the measured radio channel, suitable for both high resolution channel parameter estimation on the one hand, and the development of a robust parameter estimator for the parameters of the designed parametric radio channel model, in line with this logical work flow is this thesis. In the first part of this work an algebraic representation of observed propagation paths is developed using a ray-optical model known from literature. The algebraic framework is suitable for the description of SISO (single-input-single-output) radio transmission systems. A SISO system uses one antenna as the transmitter (Tx) and one antenna as the receiver (Rx). The derived expression for the propagation paths is also suitable to describe SIMO (single-input-multiple-output), MISO (multiple-input-single-output), and MIMO (multiple-input-multiple-output) radio channel measurements. In contrast to other models used for high resolution channel parameter estimation the derived model makes no restriction regarding the structure of the antenna array used throughout the measurement. This is important since the ultimate goal in radio channel sounding is the complete description of the spatial (angular) structure of the radio channel at Tx and Rx. The flexibility of the data model is a prerequisite for the optimisation of the antenna array structure with respect to the measurement task. Such an optimised antenna structure is a stacked uniform circular beam array, i.e., a cylindrical arrangement of antenna elements. This antenna array configuration is well suited for the measurement of the spatial structure of the radio channel at Tx and/or Rx in outdoor-scenarios. Furthermore, a new component of the radio channel model is introduced in the first part of this work. It describes the contribution of distributed (diffuse) scattering to the radio transmission. The new component is key for the development of a robust radio channel parameter estimator, which is derived in the main part of this work. The ignorance of the contribution of distributed scattering to radio propagation is one of the main reasons why high-resolution radio channel parameter estimators fail in practice. Since the underlying data model is wrong the estimators produce erroneous results. The improved model describes the so called dominant propagation paths by a deterministic mapping of the propagation path parameters to the channel observation. The contribution of the distributed scattering is modelled as a zero-mean circular Gaussian process. The parameters of the distributed scattering process determine the structure of the covariance matrix of this process. Based on this data model current concepts for radio channel sounding devices are discussed. In the second part of this work expressions for the accuracy achievable by a radio channel sounder are derived. To this end the lower bound on the variance of the measurements i.e. the parameter estimates is derived. As a basis for this evaluation the concept of the Cramér-Rao lower bound is employed. On the way to the Cramér-Rao lower bound for all channel model parameters, important issues for the development of an appropriate parameter estimator are discussed. Among other things the coupling of model parameters is also discussed. In the third part of this thesis, an estimator, for the propagation path parameters is derived. For the estimator the 'maximum-likelihood' approach is employed. After a short overview of existing high-resolution channel parameter estimators the estimation problem is classified. It is shown, that the estimation of the parameters of the propagation paths can be understood as a nonlinear weighted least squares problem, provided the parameters of the distributed scattering process are known. Based on this observation a general algorithm for the estimation of raw parameters for the observed propagation paths is developed. The algorithm uses the concept of structured-least-squares (SLS) and compressed maximum likelihood to reduce the numerical complexity of the estimation problem. A robust estimator for the precise estimation of the propagation path parameters is derived. The estimator is based on concepts well known from nonlinear local optimisation theory. In the last part of this chapter the application of subspace based parameter estimation algorithms for path parameter estimation is discussed. A memory efficient estimator for the signal subspace needed by, e.g., R-D unitary ESPRIT is derived. This algorithm is a prerequisite for the application of signal subspace based algorithms to MIMO-channel sounding measurements. Standard algorithms for signal subspace estimation (economy size SVD, singular value decomposition) are not suitable since they require an amount of memory which is too large. Furthermore, it is shown that ESPRIT (Estimation of Signal Parameters via Rotational Invariance Techniques) based algorithms can also be employed for parameter estimation from data having hidden rotation invariance structure. As an example an ESPRIT algorithm for angle estimation using circular uniform beam arrays (circular multi-beam antennas) is derived. In the final part of this work a maximum likelihood estimator for the new component of the channel model is developed. Starting with the concept of iterative maximum likelihood estimation, an algorithm is developed having a low computational complexity. The low complexity of the algorithm is achieved by exploiting the Toeplitz-structure of the covariance matrix to estimate. Using the estimator for the (concentrated, dominant, specular-alike) propagation paths and the parametric estimator for the covariance matrix of the process describing the distributed diffuse scattering a joint estimator for all channel parameter is derived (RIMAX). The estimator is a 'maximum likelihood' estimator and uses the genuine SAGE concept to reduce the computational complexity. The estimator provides additional information about the reliability of the estimated channel parameters. This reliability information is used to determine an appropriate model for the observation. Furthermore, the reliability information i.e. the estimate of the covariance matrix of all parameter estimates is also an important parameter estimation result. This information is a prerequisite for further processing and evaluation of the measured channel parameters

Information Geometric Approach to Bayesian Lower Error Bounds

Information geometry describes a framework where probability densities can be viewed as differential geometry structures. This approach has shown that the geometry in the space of probability distributions that are parameterized by their covariance matrix is linked to the fundamentals concepts of estimation theory. In particular, prior work proposes a Riemannian metric - the distance between the parameterized probability distributions - that is equivalent to the Fisher Information Matrix, and helpful in obtaining the deterministic Cram\'{e}r-Rao lower bound (CRLB). Recent work in this framework has led to establishing links with several practical applications. However, classical CRLB is useful only for unbiased estimators and inaccurately predicts the mean square error in low signal-to-noise (SNR) scenarios. In this paper, we propose a general Riemannian metric that, at once, is used to obtain both Bayesian CRLB and deterministic CRLB along with their vector parameter extensions. We also extend our results to the Barankin bound, thereby enhancing their applicability to low SNR situations.Comment: 5 page

Bounds for maximum likelihood regular and non-regular DoA estimation in K-distributed noise

We consider the problem of estimating the direction of arrival of a signal embedded in $K$-distributed noise, when secondary data which contains noise only are assumed to be available. Based upon a recent formula of the Fisher information matrix (FIM) for complex elliptically distributed data, we provide a simple expression of the FIM with the two data sets framework. In the specific case of $K$-distributed noise, we show that, under certain conditions, the FIM for the deterministic part of the model can be unbounded, while the FIM for the covariance part of the model is always bounded. In the general case of elliptical distributions, we provide a sufficient condition for unboundedness of the FIM. Accurate approximations of the FIM for $K$-distributed noise are also derived when it is bounded. Additionally, the maximum likelihood estimator of the signal DoA and an approximated version are derived, assuming known covariance matrix: the latter is then estimated from secondary data using a conventional regularization technique. When the FIM is unbounded, an analysis of the estimators reveals a rate of convergence much faster than the usual $T^{-1}$. Simulations illustrate the different behaviors of the estimators, depending on the FIM being bounded or not