Robust Rauch-Tung-Striebel smoothing framework for heavy-tailed and/or skew noises

A novel robust Rauch-Tung-Striebel smoothing framework is proposed based on a generalized Gaussian scale mixture (GGScM) distribution for a linear state-space model with heavy-tailed and/or skew noises. The state trajectory, mixing parameters and unknown distribution parameters are jointly inferred using the variational Bayesian approach. As such, a major contribution of this work is unifying results within the GGScM distribution framework. Simulation and experimental results demonstrate that the proposed smoother has better accuracy than existing smoothers

Implicit particle methods and their connection with variational data assimilation

The implicit particle filter is a sequential Monte Carlo method for data assimilation that guides the particles to the high-probability regions via a sequence of steps that includes minimizations. We present a new and more general derivation of this approach and extend the method to particle smoothing as well as to data assimilation for perfect models. We show that the minimizations required by implicit particle methods are similar to the ones one encounters in variational data assimilation and explore the connection of implicit particle methods with variational data assimilation. In particular, we argue that existing variational codes can be converted into implicit particle methods at a low cost, often yielding better estimates, that are also equipped with quantitative measures of the uncertainty. A detailed example is presented

Particle Metropolis-Hastings using gradient and Hessian information

Particle Metropolis-Hastings (PMH) allows for Bayesian parameter inference in nonlinear state space models by combining Markov chain Monte Carlo (MCMC) and particle filtering. The latter is used to estimate the intractable likelihood. In its original formulation, PMH makes use of a marginal MCMC proposal for the parameters, typically a Gaussian random walk. However, this can lead to a poor exploration of the parameter space and an inefficient use of the generated particles. We propose a number of alternative versions of PMH that incorporate gradient and Hessian information about the posterior into the proposal. This information is more or less obtained as a byproduct of the likelihood estimation. Indeed, we show how to estimate the required information using a fixed-lag particle smoother, with a computational cost growing linearly in the number of particles. We conclude that the proposed methods can: (i) decrease the length of the burn-in phase, (ii) increase the mixing of the Markov chain at the stationary phase, and (iii) make the proposal distribution scale invariant which simplifies tuning.Comment: 27 pages, 5 figures, 2 tables. The final publication is available at Springer via: http://dx.doi.org/10.1007/s11222-014-9510-

Estimation Algorithms for Non-Gaussian State-Space Models with Application to Positioning

State-space models (SSMs) are used to model systems with hidden time-varying state and observable measurement output. In statistical SSMs, the state dynamics is assumed known up to a random term referred to as the process noise, and the measurements contain random measurement noise. Kalman filter (KF) and Rauch– Tung–Striebel smoother (RTSS) are widely-applied closed-form algorithms that provide the parameters of the exact Bayesian filtering and smoothing distributions for discrete-time linear statistical SSMs where the process and measurement noises follow Gaussian distributions. However, when the SSM involves nonlinear functions and/or non-Gaussian noises, the Bayesian filtering and smoothing distributions cannot in general be solved using closed-form algorithms. This thesis addresses approximate Bayesian time-series inference for two positioning-related problems where the assumption of Gaussian noises cannot capture all useful knowledge of the considered system’s statistical properties: map-assisted indoor positioning and positioning using time-delay measurements.The motion constraints imposed by the indoor map are typically incorporated in the position estimate using the particle filter (PF) algorithm. The PF is a Monte Carlo algorithm especially suited for statistical SSMs where the Bayesian posterior distributions are too complicated to be adequately approximated using a well-known distribution family with a low-dimensional parameter space. In mapassisted indoor positioning, the trajectories that cross walls or floor levels get a low probability in the model. In this thesis, improvements to three different PF algorithms for map-assisted indoor positioning are proposed and compared. In the wall-collision PF, weighted random samples, also known as particles, are moved based on inertial sensor measurements, and the particles that collide with the walls are downweighted. When the inertial sensor measurements are very noisy, map information is used to guide the particles such that fewer particles collide with the walls, which implies that more particles contribute to the estimation. When no inertial sensor information is used, the particles are moved along the links of a graph that is dense enough to approximate the set of expected user paths.Time-delay based ranging measurements of e.g. ultra-wideband (UWB) and Global Navigation Satellite Systems (GNSSs) contain occasional positive measurement errors that are large relative to the majority of the errors due to multipath effects and denied line of sight. In this thesis, computationally efficient approximate Bayesian filters and smoothers are proposed for statistical SSMs where the measurement noise follows a skew t -distribution, and the algorithms are applied to positioning using time-delay based ranging measurements. The skew t -distribution is an extension of the Gaussian distribution, which has two additional parameters that affect the heavytailedness and skewness of the distribution. When the measurement noise model is heavy-tailed, the optimal Bayesian algorithm is robust to occasional large measurement errors, and when the model is positively (or negatively) skewed, the algorithms account for the fact that most large errors are known to be positive (or negative). Therefore, the skew t -distribution is more flexible than the Gaussian distribution and captures more statistical features of the error distributions of UWB and GNSS measurements. Furthermore, the skew t -distribution admits a conditionally Gaussian hierarchical form that enables approximating the filtering and smoothing posteriors with Gaussian distributions using variational Bayes (VB) algorithms. The proposed algorithms can thus be computationally efficient compared to Monte Carlo algorithms especially when the state is high-dimensional. It is shown in this thesis that the skew-t filter improves the accuracy of UWB based indoor positioning and GNSS based outdoor positioning in urban areas compared to the extended KF. The skew-t filter’s computational burden is higher than that of the extended KF but of the same magnitude.Tila-avaruusmalleilla mallinnetaan järjestelmiä, joilla on tuntema-ton ajassa muuttuva tila sekä mitatattava ulostulo. Tilastollisissa tila-avaruusmalleissa järjestelmän tilan muutos tunnetaan lukuunotta-matta prosessikohinaksi kutsuttua satunnaista termiä, ja mittauk-set sisältävät satunnaista mittauskohinaa. Kalmanin suodatin sekäRauchin Tungin ja Striebelin siloitin ovat yleisesti käytettyjä sulje-tun muodon estimointialgoritmeja, jotka tuottavat tarkat bayesiläi-set suodatus- ja siloitusjakaumat diskreettiaikaisille lineaarisille ti-lastollisille tila-avaruusmalleille, joissa prosessi- ja mittauskohinatnoudattavat gaussisia jakaumia. Jos käsiteltyyn tila-avaruusmalliinkuitenkin liittyy epälineaarisia funktioita tai epägaussisia kohinoita,bayesiläisiä suodatus- ja siloitusjakaumia ei yleensä voida ratkais-ta suljetun muodon algoritmeilla. Tässä väitöskirjassa tutkitaan ap-proksimatiivista bayesiläistä aikasarjapäättelyä ja sen soveltamistakahteen paikannusongelmaan, joissa gaussinen jakauma ei mallinnariittävän hyvin kaikkea hyödyllistä tietoa tutkitun järjestelmän tilas-tollisista ominaisuuksista: kartta-avusteinen sisätilapaikannus sekäsignaalin kulkuaikamittauksiin perustuva paikannus.Sisätilakartan tuottamat liikerajoitteet voidaan liittää paikkaestimaat-tiin käyttäen partikkelisuodattimeksi kutsuttua algoritmia. Partik-kelisuodatin on Monte Carlo -algoritmi, joka soveltuu erityisesti ti-lastollisille tila-avaruusmalleille, joissa bayesiläisen posteriorijakau-man tiheysfunktio on niin monimutkainen, että sen approksimointitunnetuilla matalan parametridimension jakaumilla ei ole mielekäs-tä. Kartta-avusteisessa sisätilapaikannuksessa reitit, jotka leikkaavatseiniä tai kerrostasoja, saavat muita pienemmät todennäköisyydet.Tässä väitöskirjassa esitetään parannuksia kolmeen eri partikkelisuo-datusalgoritmiin, joita sovelletaan kartta-avusteiseen sisätilapaikan-vnukseen. Seinätörmayssuodattimessa painolliset satunnaisnäytteeteli partikkelit liikkuvat inertiasensorimittausten mukaisesti, ja sei-nään törmäävät partikkelit saavat pienet painot. Kun inertiasensori-mittauksissa on paljon kohinaa, partikkeleita voidaan ohjata siten,että seinätörmäysten määrä vähenee, jolloin suurempi osa partikke-leista vaikuttaa estimaattiin. Kun inertiasensorimittauksia ei käytetälainkaan, sisätilakartta voidaan esittää graafina, jonka kaarilla partik-kelit liikkuvat ja joka on riittävän tiheä approksimoimaan odotetta-vissa olevien reittien joukkoa.Esimerkiksi laajan taajuuskaistan radioista (UWB, ultra-wideband)tai paikannussatelliiteista saatavat radiosignaalin kulkuaikaan pe-rustuvat etäisyysmittaukset taas voivat sisältää monipolkuheijastus-ten ja suoran reitin estymisen aiheuttamia positiivismerkkisiä vir-heitä, jotka ovat huomattavan suuria useimpiin mittausvirheisiinverrattuna. Tässä väitöskirjassa esitetään laskennallisesti tehokkaitabayesiläisen suodattimen ja siloittimen approksimaatioita tilastol-lisille tila-avaruusmalleille, joissa mittauskohina noudattaa vinoat -jakaumaa. Vino t -jakauma on gaussisen jakauman laajennos, jasillä on kaksi lisäparametria, jotka vaikuttavat jakauman paksuhän-täisyyteen ja vinouteen. Kun mittauskohinaa mallintava jakaumaoletetaan paksuhäntäiseksi, optimaalinen bayesiläinen algoritmi eiole herkkä yksittäisille suurille mittausvirheille, ja kun jakauma olete-taan positiivisesti (tai negatiivisesti) vinoksi, algoritmit hyödyntävättietoa, että suurin osa suurista virheistä on positiivisia (tai negatiivi-sia). Vino t -jakauma on siis gaussista jakaumaa joustavampi, ja sillävoidaan mallintaa kulkuaikaan perustuvien mittausten virhejakau-maa tarkemmin kuin gaussisella jakaumalla. Vinolla t -jakaumalla onmyös ehdollisesti gaussinen esitys, joka soveltuu suodatus- ja siloi-tusposteriorien approksimointiin variaatio-Bayes-algoritmilla. Näinollen esitetyt algoritmit voivat olla laskennallisesti tehokkaampiakuin Monte Carlo -algoritmit erityisesti tilan ollessa korkeaulotteinen.Tässä väitöskirjassa näytetään, että vino-t -virhejakauman käyttö pa-rantaa UWB-radioon perustuvan sisätilapaikannuksen tarkkuuttasekä satelliittipohjaisen ulkopaikannuksen tarkkuutta kaupunkiym-päristössä verrattuna laajennettuun Kalmanin suodattimeen. Vino-t -suodatuksen laskennallinen vaativuus on suurempi mutta samaakertaluokkaa kuin laajennetun Kalmanin suodattimen

A Novel Robust Rauch-Tung-Striebel Smoother Based on Slash and Generalized Hyperbolic Skew Student’s T-Distributions

In this paper, a novel robust Rauch-Tung-Striebel smoother is proposed based on the Slash and generalized hyperbolic skew Student’s t-distributions. A novel hierarchical Gaussian state-space model is constructed by formulating the Slash distribution as a Gaussian scale mixture form and formulating the generalized hyperbolic skew Student’s t-distribution as a Gaussian variance-mean mixture form, based on which the state trajectory, mixing parameters and unknown noise parameters are jointly inferred using the variational Bayesian approach. The posterior probability density functions of mixing parameters of the Slash and generalized hyperbolic skew Student’s t-distributions are, respectively, approximated as truncated Gamma and generalized inverse Gaussian. Simulation results illustrate that the proposed robust Rauch-Tung-Striebel smoother has better estimation accuracy than existing state-of-the-art smoothers

Estimation Algorithms for Non-Gaussian State-Space Models with Application to Positioning

State-space models (SSMs) are used to model systems with hidden time-varying state and observable measurement output. In statistical SSMs, the state dynamics is assumed known up to a random term referred to as the process noise, and the measurements contain random measurement noise. Kalman filter (KF) and Rauch– Tung–Striebel smoother (RTSS) are widely-applied closed-form algorithms that provide the parameters of the exact Bayesian filtering and smoothing distributions for discrete-time linear statistical SSMs where the process and measurement noises follow Gaussian distributions. However, when the SSM involves nonlinear functions and/or non-Gaussian noises, the Bayesian filtering and smoothing distributions cannot in general be solved using closed-form algorithms. This thesis addresses approximate Bayesian time-series inference for two positioning-related problems where the assumption of Gaussian noises cannot capture all useful knowledge of the considered system’s statistical properties: map-assisted indoor positioning and positioning using time-delay measurements.The motion constraints imposed by the indoor map are typically incorporated in the position estimate using the particle filter (PF) algorithm. The PF is a Monte Carlo algorithm especially suited for statistical SSMs where the Bayesian posterior distributions are too complicated to be adequately approximated using a well-known distribution family with a low-dimensional parameter space. In mapassisted indoor positioning, the trajectories that cross walls or floor levels get a low probability in the model. In this thesis, improvements to three different PF algorithms for map-assisted indoor positioning are proposed and compared. In the wall-collision PF, weighted random samples, also known as particles, are moved based on inertial sensor measurements, and the particles that collide with the walls are downweighted. When the inertial sensor measurements are very noisy, map information is used to guide the particles such that fewer particles collide with the walls, which implies that more particles contribute to the estimation. When no inertial sensor information is used, the particles are moved along the links of a graph that is dense enough to approximate the set of expected user paths.Time-delay based ranging measurements of e.g. ultra-wideband (UWB) and Global Navigation Satellite Systems (GNSSs) contain occasional positive measurement errors that are large relative to the majority of the errors due to multipath effects and denied line of sight. In this thesis, computationally efficient approximate Bayesian filters and smoothers are proposed for statistical SSMs where the measurement noise follows a skew t -distribution, and the algorithms are applied to positioning using time-delay based ranging measurements. The skew t -distribution is an extension of the Gaussian distribution, which has two additional parameters that affect the heavytailedness and skewness of the distribution. When the measurement noise model is heavy-tailed, the optimal Bayesian algorithm is robust to occasional large measurement errors, and when the model is positively (or negatively) skewed, the algorithms account for the fact that most large errors are known to be positive (or negative). Therefore, the skew t -distribution is more flexible than the Gaussian distribution and captures more statistical features of the error distributions of UWB and GNSS measurements. Furthermore, the skew t -distribution admits a conditionally Gaussian hierarchical form that enables approximating the filtering and smoothing posteriors with Gaussian distributions using variational Bayes (VB) algorithms. The proposed algorithms can thus be computationally efficient compared to Monte Carlo algorithms especially when the state is high-dimensional. It is shown in this thesis that the skew-t filter improves the accuracy of UWB based indoor positioning and GNSS based outdoor positioning in urban areas compared to the extended KF. The skew-t filter’s computational burden is higher than that of the extended KF but of the same magnitude.Tila-avaruusmalleilla mallinnetaan järjestelmiä, joilla on tuntema-ton ajassa muuttuva tila sekä mitatattava ulostulo. Tilastollisissa tila-avaruusmalleissa järjestelmän tilan muutos tunnetaan lukuunotta-matta prosessikohinaksi kutsuttua satunnaista termiä, ja mittauk-set sisältävät satunnaista mittauskohinaa. Kalmanin suodatin sekäRauchin Tungin ja Striebelin siloitin ovat yleisesti käytettyjä sulje-tun muodon estimointialgoritmeja, jotka tuottavat tarkat bayesiläi-set suodatus- ja siloitusjakaumat diskreettiaikaisille lineaarisille ti-lastollisille tila-avaruusmalleille, joissa prosessi- ja mittauskohinatnoudattavat gaussisia jakaumia. Jos käsiteltyyn tila-avaruusmalliinkuitenkin liittyy epälineaarisia funktioita tai epägaussisia kohinoita,bayesiläisiä suodatus- ja siloitusjakaumia ei yleensä voida ratkais-ta suljetun muodon algoritmeilla. Tässä väitöskirjassa tutkitaan ap-proksimatiivista bayesiläistä aikasarjapäättelyä ja sen soveltamistakahteen paikannusongelmaan, joissa gaussinen jakauma ei mallinnariittävän hyvin kaikkea hyödyllistä tietoa tutkitun järjestelmän tilas-tollisista ominaisuuksista: kartta-avusteinen sisätilapaikannus sekäsignaalin kulkuaikamittauksiin perustuva paikannus.Sisätilakartan tuottamat liikerajoitteet voidaan liittää paikkaestimaat-tiin käyttäen partikkelisuodattimeksi kutsuttua algoritmia. Partik-kelisuodatin on Monte Carlo -algoritmi, joka soveltuu erityisesti ti-lastollisille tila-avaruusmalleille, joissa bayesiläisen posteriorijakau-man tiheysfunktio on niin monimutkainen, että sen approksimointitunnetuilla matalan parametridimension jakaumilla ei ole mielekäs-tä. Kartta-avusteisessa sisätilapaikannuksessa reitit, jotka leikkaavatseiniä tai kerrostasoja, saavat muita pienemmät todennäköisyydet.Tässä väitöskirjassa esitetään parannuksia kolmeen eri partikkelisuo-datusalgoritmiin, joita sovelletaan kartta-avusteiseen sisätilapaikan-vnukseen. Seinätörmayssuodattimessa painolliset satunnaisnäytteeteli partikkelit liikkuvat inertiasensorimittausten mukaisesti, ja sei-nään törmäävät partikkelit saavat pienet painot. Kun inertiasensori-mittauksissa on paljon kohinaa, partikkeleita voidaan ohjata siten,että seinätörmäysten määrä vähenee, jolloin suurempi osa partikke-leista vaikuttaa estimaattiin. Kun inertiasensorimittauksia ei käytetälainkaan, sisätilakartta voidaan esittää graafina, jonka kaarilla partik-kelit liikkuvat ja joka on riittävän tiheä approksimoimaan odotetta-vissa olevien reittien joukkoa.Esimerkiksi laajan taajuuskaistan radioista (UWB, ultra-wideband)tai paikannussatelliiteista saatavat radiosignaalin kulkuaikaan pe-rustuvat etäisyysmittaukset taas voivat sisältää monipolkuheijastus-ten ja suoran reitin estymisen aiheuttamia positiivismerkkisiä vir-heitä, jotka ovat huomattavan suuria useimpiin mittausvirheisiinverrattuna. Tässä väitöskirjassa esitetään laskennallisesti tehokkaitabayesiläisen suodattimen ja siloittimen approksimaatioita tilastol-lisille tila-avaruusmalleille, joissa mittauskohina noudattaa vinoat -jakaumaa. Vino t -jakauma on gaussisen jakauman laajennos, jasillä on kaksi lisäparametria, jotka vaikuttavat jakauman paksuhän-täisyyteen ja vinouteen. Kun mittauskohinaa mallintava jakaumaoletetaan paksuhäntäiseksi, optimaalinen bayesiläinen algoritmi eiole herkkä yksittäisille suurille mittausvirheille, ja kun jakauma olete-taan positiivisesti (tai negatiivisesti) vinoksi, algoritmit hyödyntävättietoa, että suurin osa suurista virheistä on positiivisia (tai negatiivi-sia). Vino t -jakauma on siis gaussista jakaumaa joustavampi, ja sillävoidaan mallintaa kulkuaikaan perustuvien mittausten virhejakau-maa tarkemmin kuin gaussisella jakaumalla. Vinolla t -jakaumalla onmyös ehdollisesti gaussinen esitys, joka soveltuu suodatus- ja siloi-tusposteriorien approksimointiin variaatio-Bayes-algoritmilla. Näinollen esitetyt algoritmit voivat olla laskennallisesti tehokkaampiakuin Monte Carlo -algoritmit erityisesti tilan ollessa korkeaulotteinen.Tässä väitöskirjassa näytetään, että vino-t -virhejakauman käyttö pa-rantaa UWB-radioon perustuvan sisätilapaikannuksen tarkkuuttasekä satelliittipohjaisen ulkopaikannuksen tarkkuutta kaupunkiym-päristössä verrattuna laajennettuun Kalmanin suodattimeen. Vino-t -suodatuksen laskennallinen vaativuus on suurempi mutta samaakertaluokkaa kuin laajennetun Kalmanin suodattimen

Space Shuttle propulsion parameter estimation using optimal estimation techniques

The fifth monthly progress report includes corrections and additions to the previously submitted reports. The addition of the SRB propellant thickness as a state variable is included with the associated partial derivatives. During this reporting period, preliminary results of the estimation program checkout was presented to NASA technical personnel

Space shuttle propulsion parameter estimation using optional estimation techniques

A regression analyses on tabular aerodynamic data provided. A representative aerodynamic model for coefficient estimation. It also reduced the storage requirements for the "normal' model used to check out the estimation algorithms. The results of the regression analyses are presented. The computer routines for the filter portion of the estimation algorithm and the :"bringing-up' of the SRB predictive program on the computer was developed. For the filter program, approximately 54 routines were developed. The routines were highly subsegmented to facilitate overlaying program segments within the partitioned storage space on the computer

Multi-Sensor Fusion for Underwater Vehicle Localization by Augmentation of RBF Neural Network and Error-State Kalman Filter

The Kalman filter variants extended Kalman filter (EKF) and error-state Kalman filter (ESKF) are widely used in underwater multi-sensor fusion applications for localization and navigation. Since these filters are designed by employing first-order Taylor series approximation in the error covariance matrix, they result in a decrease in estimation accuracy under high nonlinearity. In order to address this problem, we proposed a novel multi-sensor fusion algorithm for underwater vehicle localization that improves state estimation by augmentation of the radial basis function (RBF) neural network with ESKF. In the proposed algorithm, the RBF neural network is utilized to compensate the lack of ESKF performance by improving the innovation error term. The weights and centers of the RBF neural network are designed by minimizing the estimation mean square error (MSE) using the steepest descent optimization approach. To test the performance, the proposed RBF-augmented ESKF multi-sensor fusion was compared with the conventional ESKF under three different realistic scenarios using Monte Carlo simulations. We found that our proposed method provides better navigation and localization results despite high nonlinearity, modeling uncertainty, and external disturbances.This research was partially funded by the Campus de Excelencia Internacional Andalucia Tech, University of Malaga, Malaga, Spain. Partial funding for open access charge: Universidad de Málag