66 research outputs found
A Fresh Look at the Bayesian Bounds of the Weiss-Weinstein Family
International audienceMinimal bounds on the mean square error (MSE) are generally used in order to predict the best achievable performance of an estimator for a given observation model. In this paper, we are interested in the Bayesian bound of the Weiss–Weinstein family. Among this family, we have Bayesian Cramér-Rao bound, the Bobrovsky–MayerWolf–Zakaï bound, the Bayesian Bhattacharyya bound, the Bobrovsky–Zakaï bound, the Reuven–Messer bound, and the Weiss–Weinstein bound. We present a unification of all these minimal bounds based on a rewriting of the minimum mean square error estimator (MMSEE) and on a constrained optimization problem. With this approach, we obtain a useful theoretical framework to derive new Bayesian bounds. For that purpose, we propose two bounds. First, we propose a generalization of the Bayesian Bhattacharyya bound extending the works of Bobrovsky, Mayer–Wolf, and Zakaï. Second, we propose a bound based on the Bayesian Bhattacharyya bound and on the Reuven–Messer bound, representing a generalization of these bounds. The proposed bound is the Bayesian extension of the deterministic Abel bound and is found to be tighter than the Bayesian Bhattacharyya bound, the Reuven–Messer bound, the Bobrovsky–Zakaï bound, and the Bayesian Cramér–Rao bound. We propose some closed-form expressions of these bounds for a general Gaussian observation model with parameterized mean. In order to illustrate our results, we present simulation results in the context of a spectral analysis problem
A review of closed-form Cramér-Rao Bounds for DOA estimation in the presence of Gaussian noise under a unified framework
The Cramér-Rao Bound (CRB) for direction of arrival (DOA) estimation has been extensively studied over the past four decades, with a plethora of CRB expressions reported for various parametric models. In the literature, there are different methods to derive a closed-form CRB expression, but many derivations tend to involve intricate matrix manipulations which appear difficult to understand. Starting from the Slepian-Bangs formula and following the simplest derivation approach, this paper reviews a number of closed-form Gaussian CRB expressions for the DOA parameter under a unified framework, based on which all the specific CRB presentations can be derived concisely. The results cover three scenarios: narrowband complex circular signals, narrowband complex noncircular signals, and wideband signals. Three signal models are considered: the deterministic model, the stochastic Gaussian model, and the stochastic Gaussian model with the a priori knowledge that the sources are spatially uncorrelated. Moreover, three Gaussian noise models distinguished by the structure of the noise covariance matrix are concerned: spatially uncorrelated noise with unknown either identical or distinct variances at different sensors, and arbitrary unknown noise. In each scenario, a unified framework for the DOA-related block of the deterministic/stochastic CRB is developed, which encompasses one class of closed-form deterministic CRB expressions and two classes of stochastic ones under the three noise models. Comparisons among different CRBs across classes and scenarios are presented, yielding a series of equalities and inequalities which reflect the benchmark for the estimation efficiency under various situations. Furthermore, validity of all CRB expressions are examined, with some specific results for linear arrays provided, leading to several upper bounds on the number of resolvable Gaussian sources in the underdetermined case
Multidimensional Cramér-Rao Lower Bound for Non-uniformly Sampled NMR Signals
In this work, we extend recent results on the Cramé r-Rao lower bound for multidimensional non-uniformly sampled Nuclear Magnetic Resonance (NMR) signals. The used signal model is more general than earlier models, allowing for the typically present variance differences between the direct and the dif- ferent indirect sampling dimensions. The presented bound is verified with earlier presented 1-and R-dimensional bounds as well as with the obtainable estimation accuracy using the statistically efficient non-linear least squares estimator. Finally, the usability of the presented bound is illustrated as a mea- sure of the obtainable accuracy using three different sampling schemes for a real 15N-HSQC NMR experiment
Contributions aux bornes inférieures de l’erreur quadratique moyenne en traitement du signal
A l’aide des bornes inférieures de l’erreur quadratique moyenne, la caractérisation du décrochement des estimateurs, l’analyse de la position optimale des capteurs dans un réseau ainsi que les limites de résolution statistiques sont étudiées dans le contexte du traitement d’antenne et du radar
Estimation of Radio Channel Parameters
Kurzfassung
Diese Dissertation behandelt die Schätzung der Modellparameter einer
Momentanaufnahme des Mobilfunkkanals. Das besondere Augenmerk liegt zum einen
auf der Entwicklung eines generischen Datenmodells für den gemessenen Funkkanal,
welches für die hochauflösende Parameterschätzung geeignet ist. Der zweite
Schwerpunkt dieser Arbeit ist die Entwicklung eines robusten Parameterschätzers
für die Bestimmung der Parameter des entworfenen Modells aus Funkkanalmessdaten.
Entsprechend dieser logischen Abfolge ist auch der Aufbau dieser Arbeit.
Im ersten Teil wird ausgehend von einem aus der Literatur bekannten
strahlenoptischen Modell eine algebraisch handhabbare Darstellung von
beobachteten Wellenausbreitungspfaden entwickelt. Das mathematische Modell
erlaubt die Beschreibung von SISO (single-input-single-output)-
Übertragungssystemen, also von Systemen mit einer Sendeantenne und einer
Empfangsantenne, als auch die Beschreibung von solchen Systemen mit mehreren
Sende- und/oder Empfangsantennen. Diese Systeme werden im Allgemeinen auch als
SIMO- (single-input-multiple-output), MISO- (multiple-input-single-output) oder
MIMO-Systeme (multiple-input-multiple-output) bezeichnet. Im Gegensatz zu
bekannten Konzepten enthält das entwickelte Modell keine Restriktionen bezüglich
der modellierbaren Antennenarrayarchitekturen. Dies ist besonders wichtig in
Hinblick auf die möglichst vollständige Erfassung der räumlichen Struktur des
Funkkanals. Die Flexibilität des Modells ist eine Grundvoraussetzung für die
optimale Anpassung der Antennenstruktur an die Messaufgabe. Eine solche
angepasste Antennenarraystruktur ist zum Beispiel eine zylindrische Anordnung
von Antennenelementen. Sie ist gut geeignet für die Erfassung der räumlichen
Struktur des Funkkanals (Azimut und Elevation) in so genannten Outdoor-
Funkszenarien. Weiterhin wird im ersten Teil eine neue Komponente des
Funkkanaldatenmodells eingeführt, welche den Beitrag verteilter (diffuser)
Streuungen zur Funkübertragung beschreibt. Die neue Modellkomponente spielt eine
Schlüsselrolle bei der Entwicklung eines robusten Parameterschätzers im
Hauptteil dieser Arbeit. Die fehlende Modellierung der verteilten Streuungen ist
eine der Hauptursachen für die begrenzte Anwendbarkeit und die oft kritisierte
fehlende Robustheit von hochauflösenden Funkkanalparameterschätzern, die in der
Literatur etabliert sind. Das neue Datenmodell beschreibt die so genannten
dominanten Ausbreitungspfade durch eine deterministische Abbildung der
Pfadparameter auf den gemessenen Funkkanal. Der Beitrag der verteilten
Streuungen wird mit Hilfe eines zirkularen mittelwertfreien Gaußschen Prozesses
beschrieben. Die Modellparameter der verteilten Streuungen beschreiben dabei die
Kovarianzmatrix dieses Prozesses. Basierend auf dem entwickelten Datenmodell
wird im Anschluss kurz über aktuelle Konzepte für Funkkanalmessgeräte, so
genannte Channel-Sounder, diskutiert.
Im zweiten Teil dieser Arbeit werden in erster Linie Ausdrücke zur Bestimmung
der erzielbaren Messgenauigkeit eines Channel-Sounders abgeleitet. Zu diesem
Zweck wird die untere Schranke für die Varianz der geschätzten Modellparameter,
das heißt der Messwerte, bestimmt. Als Grundlage für die Varianzabschätzung wird
das aus der Parameterschätztheorie bekannte Konzept der Cramér-Rao-Schranke
angewandt. Im Rahmen der Ableitung der Cramér-Rao-Schranke werden außerdem
wichtige Gesichtspunkte für die Entwicklung eines effizienten Parameterschätzers
diskutiert.
Im dritten Teil der Arbeit wird ein Schätzer für die Bestimmung der
Ausbreitungspfadparameter nach dem Maximum-Likelihood-Prinzip entworfen. Nach
einer kurzen Übersicht über existierende Konzepte zur hochauflösenden
Funkkanalparameterschätzung wird die vorliegende Schätzaufgabe analysiert und in
Hinsicht ihres Typs klassifiziert. Unter der Voraussetzung, dass die Parameter
der verteilten Streuungen bekannt sind, lässt sich zeigen, daß sich die
Schätzung der Parameter der Ausbreitungspfade als ein nichtlineares gewichtetes
kleinstes Fehlerquadratproblem auffassen lässt. Basierend auf dieser Erkenntnis
wird ein generischer Algorithmus zur Bestimmung einer globalen Startlösung für
die Parameter eines Ausbreitungspfades vorgeschlagen. Hierbei wird von dem
Konzept der Structure-Least-Squares (SLS)-Probleme Gebrauch gemacht, um die
Komplexität des Schätzproblems zu reduzieren. Im folgenden Teil dieses
Abschnitts wird basierend auf aus der Literatur bekannten robusten numerischen
Algorithmen ein Schätzer zur genauen Bestimmung der Ausbreitungspfadparameter
abgeleitet. Im letzten Teil dieses Abschnitts wird die Anwendung
unterraumbasierter Schätzer zur Bestimmung der Ausbreitungspfadparameter
diskutiert. Es wird ein speichereffizienter Algorithmus zur Signalraumschätzung
entwickelt. Dieser Algorithmus ist eine Grundvoraussetzung für die Anwendung von
mehrdimensionalen Parameterschätzern wie zum Beispiel des R-D unitary ESPRIT
(Estimation of Signal Parameters via Rotational Invariance Techniques) zur
Bestimmung von Funkkanalparametern aus MIMO-Funkkanalmessungen. Traditionelle
Verfahren zur Signalraumschätzung sind hier im Allgemeinen nicht anwendbar, da
sie einen zu großen Speicheraufwand erfordern. Außerdem wird in diesem Teil
gezeigt, dass ESPRIT-Algorithmen auch zur Parameterschätzung von Daten mit so
genannter versteckter Rotations-Invarianzstruktur eingesetzt werden können. Als
Beispiel wird ein ESPRIT-basierter Algorithmus zur Richtungsschätzung in
Verbindung mit multibeam-Antennenarrays (CUBA) abgeleitet.
Im letzten Teil dieser Arbeit wird ein Maximum-Likelihood-Schätzer für die neue
Komponente des Funkkanals, welche die verteilten Streuungen beschreibt,
entworfen. Ausgehend vom Konzept des iterativen Maximum-Likelihood-Schätzers
wird ein Algorithmus entwickelt, der hinreichend geringe numerische Komplexität
besitzt, so dass er praktisch anwendbar ist. In erster Linie wird dabei von der
Toeplitzstruktur der zu schätzenden Kovarianzmatrix Gebrauch gemacht. Aufbauend
auf dem Schätzer für die Parameter der Ausbreitungspfade und dem Schätzer für
die Parameter der verteilten Streuungen wird ein Maximum-Likelihood-Schätzer
entwickelt (RIMAX), der alle Parameter des in Teil I entwickelten Modells der
Funkanalmessung im Verbund schätzt. Neben den geschätzten Parametern des
Datenmodells liefert der Schätzer zusätzlich Zuverlässigkeitsinformationen.
Diese werden unter anderem zur Bestimmung der Modellordnung, das heißt zur
Bestimmung der Anzahl der dominanten Ausbreitungspfade, herangezogen. Außerdem
stellen die Zuverlässigkeitsinformationen aber auch ein wichtiges Schätzergebnis
dar. Die Zuverlässigkeitsinformationen machen die weitere Verarbeitung und
Wertung der Messergebnisse möglich.The theme of this thesis is the estimation of model parameters of a radio channel snapshot. The main focus was the development of a general data model for the measured radio channel, suitable for both high resolution channel parameter estimation on the one hand, and the development of a robust parameter estimator
for the parameters of the designed parametric radio channel model, in line with this logical work flow is this thesis.
In the first part of this work an algebraic representation of observed
propagation paths is developed using a ray-optical model known from literature. The algebraic framework is suitable for the description of SISO (single-input-single-output) radio transmission systems. A SISO system uses one antenna as the transmitter (Tx) and one antenna as the receiver (Rx). The derived expression for the propagation paths is also suitable to describe SIMO (single-input-multiple-output), MISO (multiple-input-single-output), and MIMO (multiple-input-multiple-output) radio channel measurements. In contrast to other models used for high resolution channel parameter estimation the derived model makes no
restriction regarding the structure of the antenna array used throughout the measurement. This is important since the ultimate goal in radio channel sounding is the complete description of the spatial (angular) structure of the radio channel at Tx and Rx. The flexibility of the data model is a prerequisite for the optimisation of the antenna array structure with respect to the measurement
task. Such an optimised antenna structure is a stacked uniform circular beam array, i.e., a cylindrical arrangement of antenna elements. This antenna array configuration is well suited for the measurement of the spatial structure of the radio channel at Tx and/or Rx in outdoor-scenarios. Furthermore, a new component
of the radio channel model is introduced in the first part of this work. It describes the contribution of distributed (diffuse) scattering to the radio transmission. The new component is key for the development of a robust radio channel parameter estimator, which is derived in the main part of this work. The ignorance of the contribution of distributed scattering to radio propagation is one of the main reasons why high-resolution radio channel parameter estimators fail in practice. Since the underlying data model is wrong the estimators produce erroneous results. The improved model describes the so called dominant propagation paths by a deterministic mapping of the propagation path parameters
to the channel observation. The contribution of the distributed scattering is modelled as a zero-mean circular Gaussian process. The parameters of the distributed scattering process determine the structure of the covariance matrix of this process. Based on this data model current concepts for radio channel sounding devices are discussed.
In the second part of this work expressions for the accuracy achievable by a radio channel sounder are derived. To this end the lower bound on the variance of the measurements i.e. the parameter estimates is derived. As a basis for this evaluation the concept of the Cramér-Rao lower bound is employed. On the way to
the Cramér-Rao lower bound for all channel model parameters, important issues for the development of an appropriate parameter estimator are discussed. Among other things the coupling of model parameters is also discussed.
In the third part of this thesis, an estimator, for the propagation path parameters is derived. For the estimator the 'maximum-likelihood' approach is employed. After a short overview of existing high-resolution channel parameter estimators the estimation problem is classified. It is shown, that the estimation of the parameters of the propagation paths can be understood as a
nonlinear weighted least squares problem, provided the parameters of the distributed scattering process are known. Based on this observation a general algorithm for the estimation of raw parameters for the observed propagation paths is developed. The algorithm uses the concept of structured-least-squares (SLS) and compressed maximum likelihood to reduce the numerical complexity of the estimation problem. A robust estimator for the precise estimation of the propagation path parameters is derived. The estimator is based on concepts well known from nonlinear local optimisation theory. In the last part of this chapter the application of subspace based parameter estimation algorithms for path
parameter estimation is discussed. A memory efficient estimator for the signal subspace needed by, e.g., R-D unitary ESPRIT is derived. This algorithm is a prerequisite for the application of signal subspace based algorithms to MIMO-channel sounding measurements. Standard algorithms for signal subspace estimation (economy size SVD, singular value decomposition) are not suitable
since they require an amount of memory which is too large. Furthermore, it is shown that ESPRIT (Estimation of Signal Parameters via Rotational Invariance Techniques) based algorithms can also be employed for parameter estimation from data having hidden rotation invariance structure. As an example an ESPRIT
algorithm for angle estimation using circular uniform beam arrays (circular multi-beam antennas) is derived.
In the final part of this work a maximum likelihood estimator for the new component of the channel model is developed. Starting with the concept of iterative maximum likelihood estimation, an algorithm is developed having a low computational complexity. The low complexity of the algorithm is achieved by exploiting the Toeplitz-structure of the covariance matrix to estimate. Using
the estimator for the (concentrated, dominant, specular-alike) propagation paths and the parametric estimator for the covariance matrix of the process describing the distributed diffuse scattering a joint estimator for all channel parameter is derived (RIMAX). The estimator is a 'maximum likelihood' estimator and uses the genuine SAGE concept to reduce the computational complexity. The estimator provides additional information about the reliability of the estimated channel parameters. This reliability information is used to determine an appropriate model for the observation. Furthermore, the reliability information i.e. the estimate of the covariance matrix of all parameter estimates is also an important parameter estimation result. This information is a prerequisite for further processing and evaluation of the measured channel parameters
Caractérisation des performances minimales d'estimation pour des modèles d'observations non-standards
In the parametric estimation context, estimators performances can be characterized, inter alia, by the mean square error and the resolution limit. The first quantities the accuracy of estimated values and the second defines the ability of the estimator to allow a correct resolvability. This thesis deals first with the prediction the "optimal" MSE by using lower bounds in the hybrid estimation context (i.e. when the parameter vector contains both random and non-random parameters), second with the extension of Cramér-Rao bounds for non-standard estimation problems and finally to the characterization of estimators resolution. This manuscript is then divided into three parts :First, we fill some lacks of hybrid lower bound on the MSE by using two existing Bayesian lower bounds: the Weiss-Weinstein bound and a particular form of Ziv-Zakai family lower bounds. We show that these extended lower bounds are tighter than the existing hybrid lower bounds in order to predict the optimal MSE.Second, we extend Cramer-Rao lower bounds for uncommon estimation contexts. Precisely: (i) Where the non-random parameters are subject to equality constraints (linear or nonlinear). (ii) For discrete-time filtering problems when the evolution of states are defined by a Markov chain. (iii) When the observation model differs to the real data distribution.Finally, we study the resolution of the estimators when their probability distributions are known. This approach is an extension of the work of Oh and Kashyap and the work of Clark to multi-dimensional parameters estimation problems.Dans le contexte de l'estimation paramétrique, les performances d'un estimateur peuvent être caractérisées, entre autre, par son erreur quadratique moyenne (EQM) et sa résolution limite. La première quantifie la précision des valeurs estimées et la seconde définit la capacité de l'estimateur à séparer plusieurs paramètres. Cette thèse s'intéresse d'abord à la prédiction de l'EQM "optimale" à l'aide des bornes inférieures pour des problèmes d'estimation simultanée de paramètres aléatoires et non-aléatoires (estimation hybride), puis à l'extension des bornes de Cramér-Rao pour des modèles d'observation moins standards. Enfin, la caractérisation des estimateurs en termes de résolution limite est également étudiée. Ce manuscrit est donc divisé en trois parties :Premièrement, nous complétons les résultats de littérature sur les bornes hybrides en utilisant deux bornes bayésiennes : la borne de Weiss-Weinstein et une forme particulière de la famille de bornes de Ziv-Zakaï. Nous montrons que ces bornes "étendues" sont plus précises pour la prédiction de l'EQM optimale par rapport à celles existantes dans la littérature.Deuxièmement, nous proposons des bornes de type Cramér-Rao pour des contextes d'estimation moins usuels, c'est-à-dire : (i) Lorsque les paramètres non-aléatoires sont soumis à des contraintes d'égalité linéaires ou non-linéaires (estimation sous contraintes). (ii) Pour des problèmes de filtrage à temps discret où l'évolution des états (paramètres) est régit par une chaîne de Markov. (iii) Lorsque la loi des observations est différente de la distribution réelle des données.Enfin, nous étudions la résolution et la précision des estimateurs en proposant un critère basé directement sur la distribution des estimées. Cette approche est une extension des travaux de Oh et Kashyap et de Clark pour des problèmes d'estimation de paramètres multidimensionnels
Nonlinear prediction for circular filtering using Fourier series
While nonlinear filtering for circular quantities is closely related to nonlinear filtering on linear domains, the underlying manifold enables the development of novel filters that take advantage of the boundedness of the domain. Previously, we introduced Fourier filters that approximate the density or its square root using Fourier series. For these filters, we proposed filter steps for arbitrary likelihoods and prediction steps for the identity system model with additive noise. This paper adds the capability of handling arbitrary transition densities in the prediction step, which facilitates, e.g., the use of the filters for nonlinear systems with additive noise. In the evaluation, the new prediction steps for the Fourier filters outperform an SIR particle filter, a grid filter, and a nonlinear variant of the von Mises filter
Local Geometric Transformations in Image Analysis
The characterization of images by geometric features facilitates the precise analysis of the structures found in biological micrographs such as cells, proteins, or tissues. In this thesis, we study image representations that are adapted to local geometric transformations such as rotation, translation, and scaling, with a special emphasis on wavelet representations. In the first part of the thesis, our main interest is in the analysis of directional patterns and the estimation of their location and orientation. We explore steerable representations that correspond to the notion of rotation. Contrarily to classical pattern matching techniques, they have no need for an a priori discretization of the angle and for matching the filter to the image at each discretized direction. Instead, it is sufficient to apply the filtering only once. Then, the rotated filter for any arbitrary angle can be determined by a systematic and linear transformation of the initial filter. We derive the Cramér-Rao bounds for steerable filters. They allow us to select the best harmonics for the design of steerable detectors and to identify their optimal radial profile. We propose several ways to construct optimal representations and to build powerful and effective detector schemes; in particular, junctions of coinciding branches with local orientations. The basic idea of local transformability and the general principles that we utilize to design steerable wavelets can be applied to other geometric transformations. Accordingly, in the second part, we extend our framework to other transformation groups, with a particular interest in scaling. To construct representations in tune with a notion of local scale, we identify the possible solutions for scalable functions and give specific criteria for their applicability to wavelet schemes. Finally, we propose discrete wavelet frames that approximate a continuous wavelet transform. Based on these results, we present a novel wavelet-based image-analysis software that provides a fast and automatic detection of circular patterns, combined with a precise estimation of their size
Robust estimate of excitations in mechanical systems using M-estimators - Theoretical background and numerical applications
This second part of the study presents some experimental applications to mechanicalsystems in which the results of excitation estimation, obtained using traditional least squares and M-estimate, are compared.
The first case presented is a single input–multiple outputs system: a simple test-rig for the study of the vibrations of a two-degrees of freedom system is employed to identify the constraint displacement that causes the measured mass vibrations in presence of heavy noise.
The second case is a multiple inputs–multiple outputs system: a rotor test-rig is used to identify the positions, the amplitudes and the phases of two unbalances using the vibrations measured in the bearings. In this case, also an additional theoretical part is introduced about the basics of model-based identification in the frequency domain applied to rotor dynamics.
The last case is again a single input–multiple outputs system, but in an industrial application: experimental vibrations of a 320 MW steam turbo-generator are used to identify position and amount of a known balancing mass in an on-field real case.
Moreover, whilst in the numerical examples presented in the first part the knowledge of the system was perfect, in these cases some uncertainties are present also in the system model.
Finally, the paper introduces the use of the M-estimate technique to evaluate the adequacy the model of the system, by means of the analysis of the weights attributed to the measures as a function of the frequency of the excitation
- …