On Invariance, Equivariance, Correlation and Convolution of Spherical Harmonic Representations for Scalar and Vectorial Data

The mathematical representations of data in the Spherical Harmonic (SH) domain has recently regained increasing interest in the machine learning community. This technical report gives an in-depth introduction to the theoretical foundation and practical implementation of SH representations, summarizing works on rotation invariant and equivariant features, as well as convolutions and exact correlations of signals on spheres. In extension, these methods are then generalized from scalar SH representations to Vectorial Harmonics (VH), providing the same capabilities for 3d vector fields on spheresComment: 106 pages, tech repor

Mapping Trabecular Bone Fabric Tensor by in Vivo Magnetic Resonance Imaging

The mechanical competence of bone depends upon its quantity, structural arrangement, and chemical composition. Assessment of these factors is important for the evaluation of bone integrity, particularly as the skeleton remodels according to external (e.g. mechanical loading) and internal (e.g. hormonal changes) stimuli. Micro magnetic resonance imaging (µMRI) has emerged as a non-invasive and non-ionizing method well-suited for the repeated measurements necessary for monitoring changes in bone integrity. However, in vivo image-based directional dependence of trabecular bone (TB) has not been linked to mechanical competence or fracture risk despite the existence of convincing ex vivo evidence. The objective of this dissertation research was to develop a means of capturing the directional dependence of TB by assessing a fabric tensor on the basis of in vivo µMRI. To accomplish this objective, a novel approach for calculating the TB fabric tensor based on the spatial autocorrelation function was developed and evaluated in the presence of common limitations to in vivo µMRI. Comparisons were made to the standard technique of mean-intercept-length (MIL). Relative to MIL, ACF was identified as computationally faster by over an order of magnitude and more robust within the range of the resolutions and SNRs achievable in vivo. The potential for improved sensitivity afforded by isotropic resolution was also investigated in an improved µMR imaging protocol at 3T. Measures of reproducibility and reliability indicate the potential of images with isotropic resolution to provide enhanced sensitivity to orientation-dependent measures of TB, however overall reproducibility suffered from the sacrifice in SNR. Finally, the image-derived TB fabric tensor was validated through its relationship with TB mechanical competence in specimen and in vivo µMR images. The inclusion of trabecular bone fabric measures significantly improved the bone volume fraction-based prediction of elastic constants calculated by micro-finite element analysis. This research established a method for detecting TB fabric tensor in vivo and identified the directional dependence of TB as an important determinant of TB mechanical competence

Nonparametric tests of structure for high angular resolution diffusion imaging in Q-space

High angular resolution diffusion imaging data is the observed characteristic function for the local diffusion of water molecules in tissue. This data is used to infer structural information in brain imaging. Nonparametric scalar measures are proposed to summarize such data, and to locally characterize spatial features of the diffusion probability density function (PDF), relying on the geometry of the characteristic function. Summary statistics are defined so that their distributions are, to first-order, both independent of nuisance parameters and also analytically tractable. The dominant direction of the diffusion at a spatial location (voxel) is determined, and a new set of axes are introduced in Fourier space. Variation quantified in these axes determines the local spatial properties of the diffusion density. Nonparametric hypothesis tests for determining whether the diffusion is unimodal, isotropic or multi-modal are proposed. More subtle characteristics of white-matter microstructure, such as the degree of anisotropy of the PDF and symmetry compared with a variety of asymmetric PDF alternatives, may be ascertained directly in the Fourier domain without parametric assumptions on the form of the diffusion PDF. We simulate a set of diffusion processes and characterize their local properties using the newly introduced summaries. We show how complex white-matter structures across multiple voxels exhibit clear ellipsoidal and asymmetric structure in simulation, and assess the performance of the statistics in clinically-acquired magnetic resonance imaging data.Comment: Published in at http://dx.doi.org/10.1214/10-AOAS441 the Annals of Applied Statistics (http://www.imstat.org/aoas/) by the Institute of Mathematical Statistics (http://www.imstat.org

Machine learning-based automated segmentation with a feedback loop for 3D synchrotron micro-CT

Die Entwicklung von Synchrotronlichtquellen der dritten Generation hat die Grundlage für die Untersuchung der 3D-Struktur opaker Proben mit einer Auflösung im Mikrometerbereich und höher geschaffen. Dies führte zur Entwicklung der Röntgen-Synchrotron-Mikro-Computertomographie, welche die Schaffung von Bildgebungseinrichtungen zur Untersuchung von Proben verschiedenster Art förderte, z.B. von Modellorganismen, um die Physiologie komplexer lebender Systeme besser zu verstehen. Die Entwicklung moderner Steuerungssysteme und Robotik ermöglichte die vollständige Automatisierung der Röntgenbildgebungsexperimente und die Kalibrierung der Parameter des Versuchsaufbaus während des Betriebs. Die Weiterentwicklung der digitalen Detektorsysteme führte zu Verbesserungen der Auflösung, des Dynamikbereichs, der Empfindlichkeit und anderer wesentlicher Eigenschaften. Diese Verbesserungen führten zu einer beträchtlichen Steigerung des Durchsatzes des Bildgebungsprozesses, aber auf der anderen Seite begannen die Experimente eine wesentlich größere Datenmenge von bis zu Dutzenden von Terabyte zu generieren, welche anschließend manuell verarbeitet wurden. Somit ebneten diese technischen Fortschritte den Weg für die Durchführung effizienterer Hochdurchsatzexperimente zur Untersuchung einer großen Anzahl von Proben, welche Datensätze von besserer Qualität produzierten. In der wissenschaftlichen Gemeinschaft besteht daher ein hoher Bedarf an einem effizienten, automatisierten Workflow für die Röntgendatenanalyse, welcher eine solche Datenlast bewältigen und wertvolle Erkenntnisse für die Fachexperten liefern kann. Die bestehenden Lösungen für einen solchen Workflow sind nicht direkt auf Hochdurchsatzexperimente anwendbar, da sie für Ad-hoc-Szenarien im Bereich der medizinischen Bildgebung entwickelt wurden. Daher sind sie nicht für Hochdurchsatzdatenströme optimiert und auch nicht in der Lage, die hierarchische Beschaffenheit von Proben zu nutzen. Die wichtigsten Beiträge der vorliegenden Arbeit sind ein neuer automatisierter Analyse-Workflow, der für die effiziente Verarbeitung heterogener Röntgendatensätze hierarchischer Natur geeignet ist. Der entwickelte Workflow basiert auf verbesserten Methoden zur Datenvorverarbeitung, Registrierung, Lokalisierung und Segmentierung. Jede Phase eines Arbeitsablaufs, die eine Trainingsphase beinhaltet, kann automatisch feinabgestimmt werden, um die besten Hyperparameter für den spezifischen Datensatz zu finden. Für die Analyse von Faserstrukturen in Proben wurde eine neue, hochgradig parallelisierbare 3D-Orientierungsanalysemethode entwickelt, die auf einem neuartigen Konzept der emittierenden Strahlen basiert und eine präzisere morphologische Analyse ermöglicht. Alle entwickelten Methoden wurden gründlich an synthetischen Datensätzen validiert, um ihre Anwendbarkeit unter verschiedenen Abbildungsbedingungen quantitativ zu bewerten. Es wurde gezeigt, dass der Workflow in der Lage ist, eine Reihe von Datensätzen ähnlicher Art zu verarbeiten. Darüber hinaus werden die effizienten CPU/GPU-Implementierungen des entwickelten Workflows und der Methoden vorgestellt und der Gemeinschaft als Module für die Sprache Python zur Verfügung gestellt. Der entwickelte automatisierte Analyse-Workflow wurde erfolgreich für Mikro-CT-Datensätze angewandt, die in Hochdurchsatzröntgenexperimenten im Bereich der Entwicklungsbiologie und Materialwissenschaft gewonnen wurden. Insbesondere wurde dieser Arbeitsablauf für die Analyse der Medaka-Fisch-Datensätze angewandt, was eine automatisierte Segmentierung und anschließende morphologische Analyse von Gehirn, Leber, Kopfnephronen und Herz ermöglichte. Darüber hinaus wurde die entwickelte Methode der 3D-Orientierungsanalyse bei der morphologischen Analyse von Polymergerüst-Datensätzen eingesetzt, um einen Herstellungsprozess in Richtung wünschenswerter Eigenschaften zu lenken

Fast diffusion MRI based on sparse acquisition and reconstruction for long-term population imaging

Diffusion weighted magnetic resonance imaging (dMRI) is a unique MRI modality to probe the diffusive molecular transport in biological tissue. Due to its noninvasiveness and its ability to investigate the living human brain at submillimeter scale, dMRI is frequently performed in clinical and biomedical research to study the brain’s complex microstructural architecture. Over the last decades large prospective cohort studies have been set up with the aim to gain new insights into the development and progression of brain diseases across the life span and to discover biomarkers for disease prediction and potentially prevention. To allow for diverse brain imaging using different MRI modalities, stringent scan time limits are typically imposed in population imaging. Nevertheless, population studies aim to apply advanced and thereby time consuming dMRI protocols that deliver high quality data with great potential for future analysis. To allow for time-efficient but also versatile diffusion imaging, this thesis contributes to the investigation of accelerating diffusion spectrum imaging (DSI), an advanced dMRI technique that acquires imaging data with high intra-voxel resolution of tissue microstructure. Combining state-of-the-art parallel imaging and the theory of compressed sensing (CS) enables the acceleration of spatial encoding and diffusion encoding in dMRI. In this way, the otherwise long acquisition times in DSI can be reduced significantly. In this thesis, first, suitable q-space sampling strategies and basis functions are explored that fulfill the requirements of CS theory for accurate sparse DSI reconstruction. Novel 3D q-space sample distributions are investigated for CS-DSI. Moreover, conventional CS-DSI based on the discrete Fourier transform is compared for the first time to CS-DSI based on the continuous SHORE (simple harmonic oscillator based reconstruction and estimation) basis functions. Based on these findings, a CS-DSI protocol is proposed for application in a prospective cohort study, the Rhineland Study. A pilot study was designed and conducted to evaluate the CS-DSI protocol in comparison with state-of-the-art 3-shell dMRI and dedicated protocols for diffusion tensor imaging (DTI) and for the combined hindered and restricted model of diffusion (CHARMED). Population imaging requires processing techniques preferably with low computational cost to process and analyze the acquired big data within a reasonable time frame. Therefore, a pipeline for automated processing of CS-DSI acquisitions was implemented including both in-house developed and existing state-of-the-art processing tools. The last contribution of this thesis is a novel method for automatic detection and imputation of signal dropout due to fast bulk motion during the diffusion encoding in dMRI. Subject motion is a common source of artifacts, especially when conducting clinical or population studies with children, the elderly or patients. Related artifacts degrade image quality and adversely affect data analysis. It is, thus, highly desired to detect and then exclude or potentially impute defective measurements prior to dMRI analysis. Our proposed method applies dMRI signal modeling in the SHORE basis and determines outliers based on the weighted model residuals. Signal imputation reconstructs corrupted and therefore discarded measurements from the sparse set of inliers. This approach allows for fast and robust correction of imaging artifacts in dMRI which is essential to estimate accurate and precise model parameters that reflect the diffusive transport of water molecules and the underlying microstructural environment in brain tissue.Die diffusionsgewichtete Magnetresonanztomographie (dMRT) ist ein einzigartiges MRTBildgebungsverfahren, um die Diffusionsbewegung von Wassermolekülen in biologischem Gewebe zu messen. Aufgrund der Möglichkeit Schichtbilder nicht invasiv aufzunehmen und das lebende menschliche Gehirn im Submillimeter-Bereich zu untersuchen, ist die dMRT ein häufig verwendetes Bildgebungsverfahren in klinischen und biomedizinischen Studien zur Erforschung der komplexen mikrostrukturellen Architektur des Gehirns. In den letzten Jahrzehnten wurden große prospektive Kohortenstudien angelegt, um neue Einblicke in die Entwicklung und den Verlauf von Gehirnkrankheiten über die Lebenspanne zu erhalten und um Biomarker zur Krankheitserkennung und -vorbeugung zu bestimmen. Um durch die Verwendung unterschiedlicher MRT-Verfahren verschiedenartige Schichtbildaufnahmen des Gehirns zu ermöglich, müssen Scanzeiten typischerweise stark begrenzt werden. Dennoch streben Populationsstudien die Anwendung von fortschrittlichen und daher zeitintensiven dMRT-Protokollen an, um Bilddaten in hoher Qualität und mit großem Potential für zukünftige Analysen zu akquirieren. Um eine zeiteffizente und gleichzeitig vielseitige Diffusionsbildgebung zu ermöglichen, leistet diese Dissertation Beiträge zur Untersuchung von Beschleunigungsverfahren für die Bildgebung mittels diffusion spectrum imaging (DSI). DSI ist ein fortschrittliches dMRT-Verfahren, das Bilddaten mit hoher intra-voxel Auflösung der Gewebestruktur erhebt. Werden modernste Verfahren zur parallelen MRT-Bildgebung mit der compressed sensing (CS) Theorie kombiniert, ermöglicht dies eine Beschleunigung der räumliche Kodierung und der Diffusionskodierung in der dMRT. Dadurch können die ansonsten langen Aufnahmezeiten für DSI erheblich reduziert werden. In dieser Arbeit werden zuerst geeigenete Strategien zur Abtastung des q-space sowie Basisfunktionen untersucht, welche die Anforderungen der CS-Theorie für eine korrekte Signalrekonstruktion der dünnbesetzten DSI-Daten erfüllen. Neue 3D-Verteilungen von Messpunkten im q-space werden für die Verwendung in CS-DSI untersucht. Außerdem wird konventionell auf der diskreten Fourier-Transformation basierendes CS-DSI zum ersten Mal mit einem CS-DSI Verfahren verglichen, welches kontinuierliche SHORE (simple harmonic oscillator based reconstruction and estimation) Basisfunktionen verwendet. Aufbauend auf diesen Ergebnissen wird ein CS-DSI-Protokoll zur Anwendung in einer prospektiven Kohortenstudie, der Rheinland Studie, vorgestellt. Eine Pilotstudie wurde entworfen und durchgeführt, um das CS-DSI-Protokoll im Vergleich mit modernster 3-shell-dMRT und mit dedizierten Protokollen für diffusion tensor imaging (DTI) und für das combined hindered and restricted model of diffusion (CHARMED) zu evaluieren. Populationsbildgebung erfordert Prozessierungsverfahren mit möglichst geringem Rechenaufwand, um große akquirierte Datenmengen in einem angemessenen Zeitrahmen zu verarbeiten und zu analysieren. Dafür wurde eine Pipeline zur automatisierten Verarbeitung von CS-DSI-Daten implementiert, welche sowohl eigenentwickelte als auch bereits existierende moderene Verarbeitungsprogramme enthält. Der letzte Beitrag dieser Arbeit ist eine neue Methode zur automatischen Detektion und Imputation von Signalabfall, welcher durch schnelle Bewegungen während der Diffusionskodierung in der dMRT entsteht. Bewegungen der Probanden während der dMRT-Aufnahme sind eine häufige Ursache für Bildfehler, vor allem in klinischen oder Populationsstudien mit Kindern, alten Menschen oder Patienten. Diese Artefakte vermindern die Datenqualität und haben einen negativen Einfluss auf die Datenanalyse. Daher ist es das Ziel, fehlerhafte Messungen vor der dMRI-Analyse zu erkennen und dann auszuschließen oder wenn möglich zu ersetzen. Die vorgestellte Methode verwendet die SHORE-Basis zur dMRT-Signalmodellierung und bestimmt Ausreißer mit Hilfe von gewichteten Modellresidualen. Die Datenimputation rekonstruiert die unbrauchbaren und daher verworfenen Messungen mit Hilfe der verbleibenden, dünnbesetzten Menge an Messungen. Dieser Ansatz ermöglicht eine schnelle und robuste Korrektur von Bildartefakten in der dMRT, welche erforderlich ist, um korrekte und präzise Modellparameter zu schätzen, die die Diffusionsbewegung von Wassermolekülen und die zugrundeliegende Mikrostruktur des Gehirngewebes reflektieren

Variational methods for shape and image registrations.

Estimating and analysis of deformation, either rigid or non-rigid, is an active area of research in various medical imaging and computer vision applications. Its importance stems from the inherent inter- and intra-variability in biological and biomedical object shapes and from the dynamic nature of the scenes usually dealt with in computer vision research. For instance, quantifying the growth of a tumor, recognizing a person\u27s face, tracking a facial expression, or retrieving an object inside a data base require the estimation of some sort of motion or deformation undergone by the object of interest. To solve these problems, and other similar problems, registration comes into play. This is the process of bringing into correspondences two or more data sets. Depending on the application at hand, these data sets can be for instance gray scale/color images or objects\u27 outlines. In the latter case, one talks about shape registration while in the former case, one talks about image/volume registration. In some situations, the combinations of different types of data can be used complementarily to establish point correspondences. One of most important image analysis tools that greatly benefits from the process of registration, and which will be addressed in this dissertation, is the image segmentation. This process consists of localizing objects in images. Several challenges are encountered in image segmentation, including noise, gray scale inhomogeneities, and occlusions. To cope with such issues, the shape information is often incorporated as a statistical model into the segmentation process. Building such statistical models requires a good and accurate shape alignment approach. In addition, segmenting anatomical structures can be accurately solved through the registration of the input data set with a predefined anatomical atlas. Variational approaches for shape/image registration and segmentation have received huge interest in the past few years. Unlike traditional discrete approaches, the variational methods are based on continuous modelling of the input data through the use of Partial Differential Equations (PDE). This brings into benefit the extensive literature on theory and numerical methods proposed to solve PDEs. This dissertation addresses the registration problem from a variational point of view, with more focus on shape registration. First, a novel variational framework for global-to-local shape registration is proposed. The input shapes are implicitly represented through their signed distance maps. A new Sumof- Squared-Differences (SSD) criterion which measures the disparity between the implicit representations of the input shapes, is introduced to recover the global alignment parameters. This new criteria has the advantages over some existing ones in accurately handling scale variations. In addition, the proposed alignment model is less expensive computationally. Complementary to the global registration field, the local deformation field is explicitly established between the two globally aligned shapes, by minimizing a new energy functional. This functional incrementally and simultaneously updates the displacement field while keeping the corresponding implicit representation of the globally warped source shape as close to a signed distance function as possible. This is done under some regularization constraints that enforce the smoothness of the recovered deformations. The overall process leads to a set of coupled set of equations that are simultaneously solved through a gradient descent scheme. Several applications, where the developed tools play a major role, are addressed throughout this dissertation. For instance, some insight is given as to how one can solve the challenging problem of three dimensional face recognition in the presence of facial expressions. Statistical modelling of shapes will be presented as a way of benefiting from the proposed shape registration framework. Second, this dissertation will visit th

Exploring Quadrupolar Interactions of 23Na and 35Cl with Triple-Quantum MRS/MRI

Magnetic resonance imaging (MRI) and magnetic resonance spectroscopy (MRS) can be used to investigate the quadrupolar nuclei 23Na and 35Cl, each with a nuclear spin of 3/2. The Na+ cations and Cl- anions are involved in cellular functions and can undergo quadrupolar interactions with oppositely charged macromolecules. These interactions give rise to triple-quantum (TQ) signals. Compromised physiological functions change the macromolecular composition and ion content, which can be investigated with TQ MRI/MRS. The goal was to develop a sequence to acquire single-quantum (SQ) and TQ images and to map relaxation parameters in vivo within one measurement. First, a density-adapted radial MRI technique (DA-R) was implemented at a 9.4 T scanner. Phantom images demonstrated superior image quality and measurement time efficiency. High-resolution 23Na and 35Cl images allowed for distinction of anatomical features in rat. Second, TQ spectroscopy with time-proportional phase incrementation (TQ-TPPI) was used to acquire data in cells and in rat head. The results revealed interesting discrepancies in 23Na and 35Cl TQ signals, uncovering differences in the quadrupolar interactions of Na+ and Cl- on a molecular level. Finally, TQ-TPPI was combined with DA-R to create TQ and SQ TPPI imaging (TASTI). The sequence was sucsessfully applied to rat head. For the first time, localized ratios between TQ and SQ signal were mapped in different head regions. Furthermore, it enabled the distinction between TQ signal fractions in the intra- and extracellular space. With its ability to analyze local changes in ion content, relaxation times and TQ signal, the TASTI sequence has the potential to become the one tool to combine all major approaches to address 23Na NMR