A Bayesian approach to initial model inference in cryo-electron microscopy

Eine Hauptanwendung der Einzelpartikel-Analyse in der Kryo-Elektronenmikroskopie ist die Charakterisierung der dreidimensionalen Struktur makromolekularer Komplexe. Dazu werden zehntausende Bilder verwendet, die verrauschte zweidimensionale Projektionen des Partikels zeigen. Im ersten Schritt werden ein niedrig aufgelöstetes Anfangsmodell rekonstruiert sowie die unbekannten Bildorientierungen geschätzt. Dies ist ein schwieriges inverses Problem mit vielen Unbekannten, einschließlich einer unbekannten Orientierung für jedes Projektionsbild. Ein gutes Anfangsmodell ist entscheidend für den Erfolg des anschließenden Verfeinerungsschrittes. Meine Dissertation stellt zwei neue Algorithmen zur Rekonstruktion eines Anfangsmodells in der Kryo-Elektronenmikroskopie vor, welche auf einer groben Darstellung der Elektronendichte basieren. Die beiden wesentlichen Beiträge meiner Arbeit sind zum einen das Modell, welches die Elektronendichte darstellt, und zum anderen die neuen Rekonstruktionsalgorithmen. Der erste Hauptbeitrag liegt in der Verwendung Gaußscher Mischverteilungen zur Darstellung von Elektrondichten im Rekonstruktionsschritt. Ich verwende kugelförmige Mischungskomponenten mit unbekannten Positionen, Ausdehnungen und Gewichtungen. Diese Darstellung hat viele Vorteile im Vergleich zu einer gitterbasierten Elektronendichte, die andere Rekonstruktionsalgorithmen üblicherweise verwenden. Zum Beispiel benötigt sie wesentlich weniger Parameter, was zu schnelleren und robusteren Algorithmen führt. Der zweite Hauptbeitrag ist die Entwicklung von Markovketten-Monte-Carlo-Verfahren im Rahmen eines Bayes'schen Ansatzes zur Schätzung der Modellparameter. Der erste Algorithmus kann aus dem Gibbs-Sampling, welches Gaußsche Mischverteilungen an Punktwolken anpasst, abgeleitet werden. Dieser Algorithmus wird hier so erweitert, dass er auch mit Bildern, Projektionen sowie unbekannten Drehungen und Verschiebungen funktioniert. Der zweite Algorithmus wählt einen anderen Zugang. Das Vorwärtsmodell nimmt nun Gaußsche Fehler an. Sampling-Algorithmen wie Hamiltonian Monte Carlo (HMC) erlauben es, die Positionen der Mischungskomponenten und die Bildorientierungen zu schätzen. Meine Dissertation zeigt umfassende numerische Experimente mit simulierten und echten Daten, die die vorgestellten Algorithmen in der Praxis testen und mit anderen Rekonstruktionsverfahren vergleichen.Single-particle cryo-electron microscopy (cryo-EM) is widely used to study the structure of macromolecular assemblies. Tens of thousands of noisy two-dimensional images of the macromolecular assembly viewed from different directions are used to infer its three-dimensional structure. The first step is to estimate a low-resolution initial model and initial image orientations. This is a challenging ill-posed inverse problem with many unknowns, including an unknown orientation for each two-dimensional image. Obtaining a good initial model is crucial for the success of the subsequent refinement step. In this thesis we introduce new algorithms for estimating an initial model in cryo-EM, based on a coarse representation of the electron density. The contribution of the thesis can be divided into these two parts: one relating to the model, and the other to the algorithms. The first main contribution of the thesis is using Gaussian mixture models to represent electron densities in reconstruction algorithms. We use spherical (isotropic) mixture components with unknown positions, size and weights. We show that using this representation offers many advantages over the traditional grid-based representation used by other reconstruction algorithms. There is for example a significant reduction in the number of parameters needed to represent the three-dimensional electron density, which leads to fast and robust algorithms. The second main contribution of the thesis is developing Markov Chain Monte Carlo (MCMC) algorithms within a Bayesian framework for estimating the parameters of the mixture models. The first algorithm is a Gibbs sampling algorithm. It is derived by starting with the standard Gibbs sampling algorithm for fitting Gaussian mixture models to point clouds, and extending it to work with images, to handle projections from three dimensions to two dimensions, and to account for unknown rotations and translations. The second algorithm takes a different approach. It modifies the forward model to work with Gaussian noise, and uses sampling algorithms such as Hamiltonian Monte Carlo (HMC) to sample the positions of the mixture components and the image orientations. We provide extensive tests of our algorithms using simulated and experimental data, and compare them to other initial model algorithms

Light curves and multidimensional reconstructions of photon observations

Diese Dissertation konzentriert sich auf die Entwicklung und Anwendung von bayesianischen Inferenzmethoden, um physikalisch relevante Informationen aus verrauschten Photonenbeobachtungen zu extrahieren. Des Weiteren wird eine Methode entwickelt, um Beobachtungen von komplexen Systemen, welche sich stochastisch mit der Zeit entwickeln, anhand weniger Trainingsbeispiele in verschiedene Klassen einzuordnen. Zu letztem Zweck entwickeln wir den Dynamic System Classifier (DSC). Dieser basiert auf der grundlegenden Annahme, dass viele komplexe Systeme in einem vereinfachten Rahmen durch stochastische Differentialgleichungen (SDE) mit zeitabhängigen Koeffizienten beschrieben werden können. Diese werden verwendet, um Informationen aus einer Klasse ähnlicher, aber nicht identischer simulierter Systeme zu abstrahieren. Der DSC ist in zwei Phasen unterteilt. In der ersten Lernphase werden die Koeffizienten der SDE aus einem kleinen Trainingsdatensatz gelernt. Sobald diese gelernt wurden, dienen sie für einen kostengünstigen Vergleich von Daten und abstrahierter Information. Wir entwickeln, implementieren und testen beide Schritte in dem Rahmen bayesianischer Logik für kontinuierliche Größen, nämlich der Informationsfeldtheorie. Der zweite Teil dieser Arbeit beschäftigt sich mit astronomischer Bildgebung basierend auf Zählraten von Photonen. Die Notwendigkeit hierfür ergibt sich unter anderem aus der Verfügbarkeit von zahlreichen Satelliten, welche die Röntgen- und γ−Strahlen im Weltraum beobachten. In diesem Zusammenhang entwickeln wir den existierenden D3PO-Algorithmus weiter, hin zu D4PO, um multidimensionale Photonenbeobachtungen zu entrauschen, zu dekonvolvieren und in morphologisch unterschiedliche Komponenten aufzuteilen. Die Zerlegung wird durch ein hierarchisches bayesianisches Parametermodell gesteuert. Dieses erlaubt es, Felder zu rekonstruieren, die über den Produktraum von mehreren Mannigfaltigkeiten definiert sind. D4PO zerlegt den beobachteten Fluss an Photonen in eine diffuse, eine punktförmige und eine Hintergrundkomponente, während er gleichzeitig die Korrelationsstruktur für jede einzelne Komponente in jeder ihrer Mannigfaltigkeiten lernt. Die Funktionsweise von D4PO wird anhand eines simulierten Datensatzes hochenergetischer Photonen demonstriert. Schließlich wenden wir D4PO auf Daten der Magnetar-Flares von SGR 1806-20 und SGR 1900+14 an, um nach deren charakteristischen Eigenschwingungen zu suchen. Der Algorithmus rekonstruierte erfolgreich den logarithmischen Photonenfluss sowie dessen spektrale Leistungsdichte. Im Gegensatz zu früheren Arbeiten anderer Autoren können wir quasi- periodische Oszillationen (QPO) in den abklingenden Enden dieser Ereignisse bei Frequenzen ν > 17 Hz nicht bestätigen. Deren Echtheit ist fraglich, da diese in das von Rauschen dominierende Regime fallen. Dennoch finden wir neue Kandidaten für Oszillationen bei ν ≈ 9.2 Hz (SGR 1806-20) und ν ≈ 7.7 Hz (SGR 1900+14). Für den Fall, dass diese Oszillationen real sind, bevorzugen moderne theoretische Modelle von Magnetaren relativ schwache Magnetfelder im Bereich von B ≈ 6 × 1013 − 3 × 1014 G.This thesis focuses on the development and application of Bayesian inference methods to extract physical relevant information from noise contaminated photon observations and to classify the observations of complex stochastically evolving systems into different classes based on a few training samples of each class. To this latter end we develop the dynamic system classifier (DSC). This is based on the fundamental assumption that many complex systems may be described in a simplified framework by stochastic differential equations (SDE) with time dependent coefficients. These are used to abstract information from a class of similar but not identical simulated systems. The DSC is split into two phases. In the first learning phase the coefficients of the SDE are learned from a small training data set. Once these are obtained, they serve for an inexpensive data - class comparison. We develop, implement, and test both steps in a Bayesian inference framework for continuous quantities, namely information field theory. Astronomical imaging based on photon count data is a challenging task but absolutely necessary due to todays availability of space based X-ray and γ- ray telescopes. In this context we advance the existing D3PO algorithm into D4PO to denoise, denconvolve, and decompose multidimensional photon observations into morphologically different components. The decomposition is driven by a probabilistic hierarchical Bayesian parameter model, allowing us to reconstruct fields, that are defined over the product space of multiple manifolds. Thereby D4PO decomposes the photon count data into a diffuse, point-like, and background component, while it simultaneously learns the correlation structure over each of their manifolds individually. The capabilities of the algorithm are demonstrated by applying it to a simulated high energy photon count data set. Finally we apply D4PO to analyse the giant magnetar flare data of SGR 1806-20 and SGR 1900+14. The algorithm successfully reconstructs the logarithmic photon flux as well as its power spectrum. In contrast to previous findings we cannot confirm quasi periodic oscillations (QPO) in the decaying tails of these events at frequencies ν > 17 Hz. They might not be real as these fall into the noise dominated regime of the spectrum. Nevertheless we find new candidates for oscillations at ν ≈ 9.2 Hz (SGR 1806-20) and ν ≈ 7.7 Hz (SGR 1900+14). In case these oscillations are real, state of the art theoretical models of magnetars favour relatively weak magnetic fields in the range of B ≈ 6×1013−3×1014 G

Advanced Bayesian Models for High-Dimensional Biomedical Data

Alzheimer’s Disease (AD) is a neurodegenerative and firmly incurable disease, and the total number of AD patients is predicted to be 13.8 million by 2050. Our motivation comes from needs to unravel a missing link between AD and biomedical information for a better understanding of AD. With the advent of data acquisition techniques, we could obtain more biomedical data with a massive and complex structure. Classical statistical models, however, often fail to address the unique structures, which hinders rigorous analysis. A fundamental question this dissertation is asking is how to use the data in a better way. Bayesian methods for high-dimensional data have been successfully employed by using novel priors, MCMC algorithms, and hierarchical modeling. This dissertation proposes novel Bayesian approaches to address statistical challenges arising in biomedical data including brain imaging and genetic data. The first and second projects aim to quantify effects of hippocampal morphology and genetic variants on the time to conversion to AD within mild cognitive impairment (MCI) patients. We propose Bayesian survival models with functional/high-dimensional covariates. The third project discusses a Bayesian matrix decomposition method applicable to brain functional connectivity. It facilitates estimation of clinical covariates, the examination of whether functional connectivity is different among normal, MCI, and AD subjects.Doctor of Philosoph

Modeling small objects under uncertainties : novel algorithms and applications.

Active Shape Models (ASM), Active Appearance Models (AAM) and Active Tensor Models (ATM) are common approaches to model elastic (deformable) objects. These models require an ensemble of shapes and textures, annotated by human experts, in order identify the model order and parameters. A candidate object may be represented by a weighted sum of basis generated by an optimization process. These methods have been very effective for modeling deformable objects in biomedical imaging, biometrics, computer vision and graphics. They have been tried mainly on objects with known features that are amenable to manual (expert) annotation. They have not been examined on objects with severe ambiguities to be uniquely characterized by experts. This dissertation presents a unified approach for modeling, detecting, segmenting and categorizing small objects under uncertainty, with focus on lung nodules that may appear in low dose CT (LDCT) scans of the human chest. The AAM, ASM and the ATM approaches are used for the first time on this application. A new formulation to object detection by template matching, as an energy optimization, is introduced. Nine similarity measures of matching have been quantitatively evaluated for detecting nodules less than 1 em in diameter. Statistical methods that combine intensity, shape and spatial interaction are examined for segmentation of small size objects. Extensions of the intensity model using the linear combination of Gaussians (LCG) approach are introduced, in order to estimate the number of modes in the LCG equation. The classical maximum a posteriori (MAP) segmentation approach has been adapted to handle segmentation of small size lung nodules that are randomly located in the lung tissue. A novel empirical approach has been devised to simultaneously detect and segment the lung nodules in LDCT scans. The level sets methods approach was also applied for lung nodule segmentation. A new formulation for the energy function controlling the level set propagation has been introduced taking into account the specific properties of the nodules. Finally, a novel approach for classification of the segmented nodules into categories has been introduced. Geometric object descriptors such as the SIFT, AS 1FT, SURF and LBP have been used for feature extraction and matching of small size lung nodules; the LBP has been found to be the most robust. Categorization implies classification of detected and segmented objects into classes or types. The object descriptors have been deployed in the detection step for false positive reduction, and in the categorization stage to assign a class and type for the nodules. The AAMI ASMI A TM models have been used for the categorization stage. The front-end processes of lung nodule modeling, detection, segmentation and classification/categorization are model-based and data-driven. This dissertation is the first attempt in the literature at creating an entirely model-based approach for lung nodule analysis