Flexibler Birth-Death MCMC Sampler für Changepoint-Modelle

Abstract

Diese Arbeit beschreibt eine flexible Architektur eines Markov Chain Monte Carlo Samplers, der Bayessche Inferenz für eine Vielzahl von Changepoint-Modellen erlaubt. Die Struktur dieser Klasse von Modellen besteht aus zwei stochastischen Prozessen. Der erste Prozess wird entweder direkt beobachtet oder indirekt durch, möglicherweise verrauschte, Beobachtungen. Der zweite Prozess ist unbeobachtet und bestimmt die Parameter des beobachteten Prozesses. Die Hauptannahme unserer Modellklasse ist, dass der versteckte Prozess stückweise konstant ist, d.h. er springt zwischen diskreten Zuständen. Als beobachteter Prozess diskutieren wir hauptsächlich den Ornstein-Uhlenbeck und Poisson Prozess. Der versteckte Prozess kann eine feste Anzahl von Zuständen haben oder eine unbekannte Anzahl. Im zweiten Fall basiert das Modell auf einem versteckten Chinese Restaurant Prozess und ermöglicht so Bayessche Inferenz über die Anzahl der Zustände des versteckten Parameterprozesses. Der Sampler wendet einen Metropolis-Hastings Random Walk auf den versteckten Prozess an indem Birth-Death Schritte vorgeschlagen werden. Die Arbeit präsentiert unterschiedliche Modifikationen des Pfades des versteckten Prozesses. Die Struktur des Samplers ist sehr flexibel und lässt sich, im Vergleich zu anderen Algorithmen, die für ein spezifisches Modell maßgeschneidert sind, einfach an verschiedene Kombinationen von beobachteten und versteckten Prozessen anpassen. Angewandt auf Genexpressionsdaten ermöglicht der Sampler Bayessche Inferenz für komplexere Modelle als vorherige Methoden. Der berechnete Bayes Faktor deutet an, dass unser Modell, welches es erlaubt die Stärke des intrinsischen Rauschens zu variieren, die Daten besser erklärt als das vorherige Modell. Der Sampler wird für Genexpressionsdaten von Hefezellen benutzt und die Ergebnisse mit denen einer variationellen Näherung verglichen. Der Posterior scheint genauer in der Vorhersage der Aktivierungszeitpunkte der Transkriptionsfaktoren zu sein als es die Näherung zeigt. Die Ergebnisse des Chinese Restaurant Prozess Samplers auf den gleichen Messungen von Hefezellen unterstützt die vorherige Annahme über die Anzahl der Transkriptionsfaktoren, die in die Kontrolle der untersuchten Gene involviert sind. Die Anpassung des Samplers an Markov modulierte Poisson Prozesse beschleunigt die Inferenz und dies wird gezeigt, indem die Zeit zur Berechnung eines unkorrelierten Samples mit einem exakten Gibbs Sampler verglichen wird. Ein Modell, welches einen beobachteten Poisson Prozess mit dem Chinese Restaurant Prozess verbindet wird anschließend benutzt um versteckte Zustände in der Rate von neuronalen Spike-Daten zu finden und sie mit dem Stimulus zu verbinden. Die Vorteile des Modells beim finden und bestimmen von neuronalen Bursts wird diskutiert und mit Modellen verglichen, die eine kontinuierliche Poisson Rate annehmen.This thesis describes a flexible architecture for a Markov chain Monte Carlo sampler which allows Bayesian posterior inference for a variety of changepoint models. The structure of this class of models consists of two stochastic processes. The first process is either observed directly or indirectly through, possibly noisy, observations. The second process is not observed and governs the parameters of the observed process. The main assumption for our class of models is that the hidden process is piecewise constant, i.e. it jumps between discrete states. As the observed process, we discuss mainly the Ornstein-Uhlenbeck and Poisson process. The hidden process can have a fixed number of states, or an unknown number of states. The latter model is based on a hidden Chinese restaurant process and allows Bayesian inference over the number of states of the hidden parameters. The sampler applies a Metropolis-Hastings random walk on the hidden jump process through proposed birth-death moves. Different kinds of proposal moves on the path of the hidden process are presented. The structure of the sampler makes it very flexible and easy to modify to other combinations of observed and hidden processes compared to other inference methods which are tailor-made for a specific model. Applied to gene expression data the sampler allows Bayesian posterior inference on a more complex model than in previous work. We compute the Bayes factor which indicates that our model, which allows the strength of the system noise to switch, is better in explaining the data. The sampler is used on gene expression data from yeast cells and the results are compared to a variational approximation. The posterior is more confident about the times of transcriptional activity than the approximation suggests. The results from the Chinese restaurant process sampler on the same yeast dataset support the initial assumption about the number of transcription factors involved in the control of the examined genes. When the sampler is used on financial data, changepoints are revealed which can be connected to historic events. This is shown both for the Ornstein-Uhlenbeck model as well as a Cox-Ingersoll-Ross model used in a different thesis. Modifying the sampler to work on Markov modulated Poisson processes allows for very fast posterior inference and this is shown when the time to get an uncorrelated sample is compared to an exact Gibbs sampler for the model. A model combining an observed Poisson process with the Chinese restaurant process is then utilized to find hidden states in the rate of neuronal spike trains and linked to the stimulus. The model's advantages in finding and estimating bursting of neurons is discussed and compared to a model which assumes a continuous Poisson rate