KL/TV Reshuffling : Statistical Distance Based Offspring Selection in SMC Methods

Abstract

Over the years sequential Monte Carlo (SMC), and, equivalently, particle filter (PF) theory has enjoyed much attention from researchers. However, the intensity of developing innovative resampling methods, also known as offspring selection methods, has long been declining, with most of the popular schemes aging back two decades. Especially, the set of deterministic offspring selection methods is limited. In light of this, and inspired by variational inference, we propose offspring selection schemes which multiply/discard particles in order to minimize statistical distances between relevant distributions. By regarding offspring selection as a problem of minimizing statistical distances, we further bridge the gap between optimisation-based density estimation and SMC theory. Our contribution is in a sense twofold. Partly, we provide novel, deterministic offspring selection schemes, and, partly, we extend the class of SMC algorithms by using the particle likelihoods instead of importance weights when doing offspring selection. Our proposed methods outperform or compare favourably with the two most popular resampling schemes on density-estimation benchmark tests, which are commonly turned to in the SMC and particle Markov chain Monte Carlo (PMCMC) literature.  Under åren har teorin inom sekventiell Monte Carlo (SMC) och, likväl, partikelfilter (PF) fått stor uppmärksamhet från forskare. Intensiteten att utveckla innovativa metoder för urval av avkommor, har dock länge avtagit och de flesta av de populära systemen har funnits i två decennier. Speciellt är uppsättningen av deterministiska urvalsmetoder begränsad. Mot bakgrund av detta, och inspirerad av variationsslutledning, föreslår vi urvalsmetoder som multiplicerar / kasserar partiklar för att minimera statistiska avstånd mellan relevanta fördelningar. Genom att betrakta urvalet som ett problem för att minimera statistiska avstånd, överbryggar vi ytterligare klyftan mellan optimeringsbaserad densitetsuppskattning och SMC-teori. Vårt bidrag är på sätt och vis dubbelt. Delvis tillhandahåller vi nya, deterministiska urvalsscheman, och delvis utökar vi klassen av SMC-algoritmer genom att använda partikel sannolikheter istället för viktvikter när man gör avkommesval. Våra föreslagna metoder överträffar eller jämför fördelaktigt med de två mest populära urvalsmetoderna för densitetsuppskattning på test som vanligtvis används för utvärdera metoder inom SMC och Markov-kedje-Monte Carlo