8 research outputs found
Variational inference for medical image segmentation
Variational inference techniques are powerful methods for learning probabilistic models and provide significant advantages over maximum likelihood (ML) or maximum a posteriori (MAP) approaches. Nevertheless they have not yet been fully exploited for image processing applications. In this paper we present a variational Bayes (VB) approach for image segmentation. We aim to show that VB provides a framework for generalising existing segmentation algorithms that rely on an expectation–maximisation formulation, while increasing their robustness and computational stability. We also show how optimal model complexity can be automatically determined in a variational setting, as opposed to ML frameworks which are intrinsically prone to overfitting. Finally, we demonstrate how suitable intensity priors, that can be used in combination with the presented algorithm, can be learned from large imaging data sets by adopting an empirical Bayes approach
A cross-center smoothness prior for variational Bayesian brain tissue segmentation
Suppose one is faced with the challenge of tissue segmentation in MR images,
without annotators at their center to provide labeled training data. One option
is to go to another medical center for a trained classifier. Sadly, tissue
classifiers do not generalize well across centers due to voxel intensity shifts
caused by center-specific acquisition protocols. However, certain aspects of
segmentations, such as spatial smoothness, remain relatively consistent and can
be learned separately. Here we present a smoothness prior that is fit to
segmentations produced at another medical center. This informative prior is
presented to an unsupervised Bayesian model. The model clusters the voxel
intensities, such that it produces segmentations that are similarly smooth to
those of the other medical center. In addition, the unsupervised Bayesian model
is extended to a semi-supervised variant, which needs no visual interpretation
of clusters into tissues.Comment: 12 pages, 2 figures, 1 table. Accepted to the International
Conference on Information Processing in Medical Imaging (2019
Empirical Bayesian Mixture Models for Medical Image Translation
Automatically generating one medical imaging modality from another is known
as medical image translation, and has numerous interesting applications. This
paper presents an interpretable generative modelling approach to medical image
translation. By allowing a common model for group-wise normalisation and
segmentation of brain scans to handle missing data, the model allows for
predicting entirely missing modalities from one, or a few, MR contrasts.
Furthermore, the model can be trained on a fairly small number of subjects. The
proposed model is validated on three clinically relevant scenarios. Results
appear promising and show that a principled, probabilistic model of the
relationship between multi-channel signal intensities can be used to infer
missing modalities -- both MR contrasts and CT images.Comment: Accepted to the Simulation and Synthesis in Medical Imaging (SASHIMI)
workshop at MICCAI 201
Ultrasound Nerve Segmentation Using Deep Probabilistic Programming
Deep probabilistic programming concatenates the strengths of deep learning to the context of probabilistic modeling for efficient and flexible computation in practice. Being an evolving field, there exist only a few expressive programming languages for uncertainty management. This paper discusses an application for analysis of ultrasound nerve segmentation-based biomedical images. Our method uses the probabilistic programming language Edward with the U-Net model and generative adversarial networks under different optimizers. The segmentation process showed the least Dice loss ("‘0.54) and the highest accuracy (0.99) with the Adam optimizer in the U-Net model with the least time consumption compared to other optimizers. The smallest amount of generative network loss in the generative adversarial network model gained was 0.69 for the Adam optimizer. The Dice loss, accuracy, time consumption and output image quality in the results show the applicability of deep probabilistic programming in the long run. Thus, we further propose a neuroscience decision support system based on the proposed approach
Simultaneous assessment of regional distributions of atrophy across the neuraxis in MS patients
BACKGROUND: The ability to assess brain and cord atrophy simultaneously would improve the efficiency of MRI to track disease evolution. OBJECTIVE: To test a promising tool to simultaneously map the regional distribution of atrophy in multiple sclerosis (MS) patients across the brain and cord. METHODS: Voxel-based morphometry combined with a statistical parametric mapping probabilistic brain-spinal cord (SPM-BSC) template was applied to standard T1-weighted magnetic resonance imaging (MRI) scans covering the brain and cervical cord from 37 MS patients and 20 healthy controls (HC). We also measured the cord area at C2-C3 with a semi-automatic segmentation method using (i) the same T1-weighted acquisitions used for the new voxel-based analysis and (ii) dedicated spinal cord phase sensitive inversion recovery (PSIR) acquisitions. Cervical cord findings derived from the three approaches were compared to each other and the goodness to fit to clinical scores was assessed by regression analyses. RESULTS: The SPM-BSC approach revealed a severity-dependent pattern of atrophy across the cervical cord and thalamus in MS patients when compared to HCs. The magnitude of cord atrophy was confirmed by the semi-automatic extraction approach at C2-C3 using both standard brain T1-weighted and advanced cord dedicated acquisitions. Associations between atrophy of cord and thalamus with disability and cognition were demonstrated. CONCLUSION: Atrophy in the brain and cervical cord of MS patients can be identified simultaneously and rapidly at the voxel-level. The SPM-BSC approach yields similar results as available standard processing tools with the added advantage of performing the analysis simultaneously and faster
Bayesian generative learning of brain and spinal cord templates from neuroimaging datasets
In the field of neuroimaging, Bayesian modelling techniques have been largely adopted
and recognised as powerful tools for the purpose of extracting quantitative anatomical
and functional information from medical scans. Nevertheless the potential of Bayesian
inference has not yet been fully exploited, as many available tools rely on point estimation
techniques, such as maximum likelihood estimation, rather than on full Bayesian
inference.
The aim of this thesis is to explore the value of approximate learning schemes, for
instance variational Bayes, to perform inference from brain and spinal cord MRI data.
The applications that will be explored in this work mainly concern image segmentation
and atlas construction, with a particular emphasis on the problem of shape and intensity
prior learning, from large training data sets of structural MR scans.
The resulting computational tools are intended to enable integrated brain and spinal
cord morphometric analyses, as opposed to the approach that is most commonly adopted
in neuroimaging, which consists in optimising separate tools for brain and spine morphometrics
Development of an MRI Template and Analysis Pipeline for the Spinal Cord and Application in Patients with Spinal Cord Injury
La moelle épinière est un organe fondamental du corps humain. Étant le lien entre le cerveau et le
système nerveux périphérique, endommager la moelle épinière, que ce soit suite à un trauma ou
une maladie neurodégénérative, a des conséquences graves sur la qualité de vie des patients. En
effet, les maladies et traumatismes touchant la moelle épinière peuvent affecter l’intégrité des
neurones et provoquer des troubles neurologiques et/ou des handicaps fonctionnels. Bien que de
nombreuses voies thérapeutiques pour traiter les lésions de la moelle épinière existent, la
connaissance de l’étendue des dégâts causés par ces lésions est primordiale pour améliorer
l’efficacité de leur traitement et les décisions cliniques associées. L’imagerie par résonance
magnétique (IRM) a démontré un grand potentiel pour le diagnostic et pronostic des maladies
neurodégénératives et traumas de la moelle épinière. Plus particulièrement, l’analyse par template
de données IRM du cerveau, couplée à des outils de traitement d’images automatisés, a permis une
meilleure compréhension des mécanismes sous-jacents de maladies comme l’Alzheimer et la
Sclérose en Plaques. Extraire automatiquement des informations pertinentes d’images IRM au sein
de régions spécifiques de la moelle épinière présente toutefois de plus grands défis que dans le
cerveau. Il n’existe en effet qu’un nombre limité de template de la moelle épinière dans la
littérature, et aucun ne couvre toute la moelle épinière ou n’est lié à un template existant du cerveau.
Ce manque de template et d’outils automatisés rend difficile la tenue de larges études d’analyse de
la moelle épinière sur des populations variées.
L’objectif de ce projet est donc de proposer un nouveau template IRM couvrant toute la moelle
épinière, recalé avec un template existant du cerveau, et intégrant des atlas de la structure interne
de la moelle épinière (e.g., matière blanche et grise, tracts de la matière blanche). Ce template doit
venir avec une série d’outils automatisés permettant l’extraction d’information IRM au sein de
régions spécifiques de la moelle épinière. La question générale de recherche de ce projet est donc
« Comment créer un template générique de la moelle épinière, qui permettrait l’analyse non
biaisée et reproductible de données IRM de la moelle épinière ? ». Plusieurs contributions
originales ont été proposées pour répondre à cette question et vont être décrites dans les prochains
paragraphes.
La première contribution de ce projet est le développement du logiciel Spinal Cord Toolbox (SCT).
SCT est un logiciel open-source de traitement d’images IRM multi-parametrique de la moelle
épinière (De Leener, Lévy, et al., 2016). Ce logiciel intègre notamment des outils pour la détection
et la segmentation automatique de la moelle épinière et de sa structure interne (i.e., matière blanche
et matière grise), l’identification et la labellisation des niveaux vertébraux, le recalage d’images
IRM multimodales sur un template générique de la moelle épinière (précédemment le template
MNI-Poly-AMU, maintenant le template PAM50, proposé içi). En se basant sur un atlas de la
moelle, SCT intègre également des outils pour extraire des données IRM de régions spécifiques de
la moelle épinière, comme la matière blanche et grise et les tracts de la matière blanche, ainsi que
sur des niveaux vertébraux spécifiques. D’autres outils additionnels ont aussi été proposés, comme
des outils de correction de mouvement et de traitement basiques d’images appliqués le long de la
moelle épinière. Chaque outil intégré à SCT a été validé sur un jeu de données multimodales.
La deuxième contribution de ce projet est le développement d’une nouvelle méthode de recalage
d’images IRM de la moelle épinière (De Leener, Mangeat, et al., 2017). Cette méthode a été
développée pour un usage particulier : le redressement d’images IRM de la moelle épinière, mais
peut également être utilisé pour recaler plusieurs images de la moelle épinière entre elles, tout en
tenant compte de la distribution vertébrale de chaque sujet. La méthode proposée se base sur une
approximation globale de la courbure de la moelle épinière dans l’espace et sur la résolution
analytique des champs de déformation entre les deux images. La validation de cette nouvelle
méthode a été réalisée sur une population de sujets sains et de patients touchés par une compression
de la moelle épinière.
La contribution majeure de ce projet est le développement d’un système de création de template
IRM de la moelle épinière et la proposition du template PAM50 comme template de référence pour
les études d’analyse par template de données IRM de la moelle épinière. Le template PAM50 a été
créé à partir d’images IRM tiré de 50 sujets sains, et a été généré en utilisant le redressement
d’images présenté ci-dessus et une méthode de recalage d’images itératif non linéaire, après
plusieurs étapes de prétraitement d’images. Ces étapes de prétraitement incluent la segmentation
automatique de la moelle épinière, l’extraction manuelle du bord antérieur du tronc cérébral, la
détection et l’identification des disques intervertébraux, et la normalisation d’intensité le long de
la moelle. Suite au prétraitement, la ligne centrale moyenne de la moelle et la distribution vertébrale
ont été calculées sur la population entière de sujets et une image initiale de template a été générée.
Après avoir recalé toutes les images sur ce template initial, le template PAM50 a été créé en
utilisant un processus itératif de recalage d’image, utilisé pour générer des templates de cerveau.
Le PAM50 couvre le tronc cérébral et la moelle épinière en entier, est disponible pour les contrastes
IRM pondérés en T1, T2 et T2*, et intègre des cartes probabilistes et atlas de la structure interne
de la moelle épinière. De plus, le PAM50 a été recalé sur le template ICBM152 du cerveau,
permettant ainsi la tenue d’analyse par template simultanément dans le cerveau et dans la moelle
épinière.
Finalement, plusieurs résultats complémentaires ont été présentés dans cette dissertation.
Premièrement, une étude de validation de la répétabilité et reproductibilité de mesures de l’aire de
section de la moelle épinière a été menée sur une population de patients touchés par la sclérose en
plaques. Les résultats démontrent une haute fiabilité des mesures ainsi que la possibilité de détecter
des changements très subtiles de l’aire de section transverse de la moelle, importants pour mesurer
l’atrophie de la moelle épinière précoce due à des maladies neurodégénératives comme la sclérose
en plaques. Deuxièmement, un nouveau biomarqueur IRM des lésions de la moelle épinière a été
proposé, en collaboration avec Allan Martin, de l’Université de Toronto. Ce biomarqueur, calculé
à partir du ratio d’intensité entre la matière blanche et grise sur des images IRM pondérées en T2*,
utilise directement les développements proposés dans ce projet, notamment en utilisant le recalage
du template de la moelle épinière et les méthodes de segmentation de la moelle. La faisabilité
d’extraire des mesures de données IRM multiparamétrique dans des régions spécifiques de la
moelle épinière a également été démontrée, permettant d’améliorer le diagnostic et pronostic de
lésions et compression de la moelle épinière. Finalement, une nouvelle méthode d’extraction de la
morphométrie de la moelle épinière a été proposée et utilisée sur une population de patients touchés
par une compression asymptomatique de la moelle épinière, démontrant de grandes capacités de
diagnostic (> 99%).
Le développement du template PAM50 comble le manque de template de la moelle épinière dans
la littérature mais présente cependant plusieurs limitations. En effet, le template proposé se base
sur une population de 50 sujets sains et jeunes (âge moyen = 27 +- 6.5) et est donc biaisée vers
cette population particulière. Adapter les analyses par template pour un autre type de population
(âge, race ou maladie différente) peut être réalisé directement sur les méthodes d’analyse mais aussi
sur le template en lui-même. Tous le code pour générer le template a en effet été mis en ligne
(https://github.com/neuropoly/template) pour permettre à tout groupe de recherche de développer
son propre template. Une autre limitation de ce projet est le choix d’un système de coordonnées
basé sur la position des vertèbres. En effet, les vertèbres ne représentent pas complètement le
caractère fonctionnel de la moelle épinière, à cause de la différence entre les niveaux vertébraux et
spinaux. Le développement d’un système de coordonnées spinal, bien que difficile à caractériser
dans des images IRM, serait plus approprié pour l’analyse fonctionnelle de la moelle épinière.
Finalement, il existe encore de nombreux défis pour automatiser l’ensemble des outils développés
dans ce projet et les rendre robuste pour la majorité des contrastes et champs de vue utilisés en
IRM conventionnel et clinique.
Ce projet a présenté plusieurs développements importants pour l’analyse de données IRM de la
moelle épinière. De nombreuses améliorations du travail présenté sont cependant requises pour
amener ces outils dans un contexte clinique et pour permettre d’améliorer notre compréhension des
maladies affectant la moelle épinière. Les applications cliniques requièrent notamment
l’amélioration de la robustesse et de l’automatisation des méthodes d’analyse d’images proposées.
La caractérisation de la structure interne de la moelle épinière, incluant la matière blanche et la
matière grise, présente en effet de grands défis, compte tenu de la qualité et la résolution des images
IRM standard acquises en clinique. Les outils développés et validés au cours de ce projet ont un
grand potentiel pour la compréhension et la caractérisation des maladies affectant la moelle
épinière et aura un impact significatif sur la communauté de la neuroimagerie.----------ABSTRACT
The spinal cord plays a fundamental role in the human body, as part of the central nervous system
and being the vector between the brain and the peripheral nervous system. Damaging the spinal
cord, through traumatic injuries or neurodegenerative diseases, can significantly affect the quality
of life of patients. Indeed, spinal cord injuries and diseases can affect the integrity of neurons, and
induce neurological impairments and/or functional disabilities. While various treatment procedures
exist, assessing the extent of damages and understanding the underlying mechanisms of diseases
would improve treatment efficiency and clinical decisions. Over the last decades, magnetic
resonance imaging (MRI) has demonstrated a high potential for the diagnosis and prognosis of
spinal cord injury and neurodegenerative diseases. Particularly, template-based analysis of brain
MRI data has been very helpful for the understanding of neurological diseases, using automated
analysis of large groups of patients. However, extracting MRI information within specific regions
of the spinal cord with minimum bias and using automated tools is still a challenge. Indeed, only a
limited number of MRI template of the spinal cord exists, and none covers the full spinal cord,
thereby preventing large multi-centric template-based analysis of the spinal cord. Moreover, no
template integrates both the spinal cord and the brain region, thereby preventing simultaneous
cerebrospinal studies.
The objective of this project was to propose a new MRI template of the full spinal cord, which
allows simultaneous brain and spinal cord studies, that integrates atlases of the spinal cord internal
structures (e.g., white and gray matter, white matter pathways) and that comes with tools for
extracting information within these subregions. More particularly, the general research question of
the project was “How to create generic MRI templates of the spinal cord that would enable
unbiased and reproducible template-based analysis of spinal cord MRI data?”. Several original
contributions have been made to answer this question and to enable template-based analysis of
spinal cord MRI data.
The first contribution was the development of the Spinal Cord Toolbox (SCT), a comprehensive
and open-source software for processing multi-parametric MRI data of the spinal cord (De Leener,
Lévy, et al., 2016). SCT includes tools for the automatic segmentation of the spinal cord and its
internal structure (white and gray matter), vertebral labeling, registration of multimodal MRI data
(structural and non-structural) on a spinal cord MRI template (initially the MNI-Poly-AMU
template, later the PAM50 template), co-registration of spinal cord MRI images, as well as the
robust extraction of MRI metric within specific regions of the spinal cord (i.e., white and gray
matter, white matter tracts, gray matter subregions) and specific vertebral levels using a spinal cord
atlas (Lévy et al., 2015). Additional tools include robust motion correction and image processing
along the spinal cord. Each tool included in SCT has been validated on a multimodal dataset.
The second contribution of this project was the development of a novel registration method
dedicated to spinal cord images, with an interest in the straightening of the spinal cord, while
preserving its topology (De Leener, Mangeat et al., 2017). This method is based on the global
approximation of the spinal cord and the analytical computation of deformation fields
perpendicular to the centerline. Validation included calculation of distance measurements after
straightening on a population of healthy subjects and patients with spinal cord compression.
The major contribution of this project was the development of a framework for generating MRI
template of the spinal cord and the PAM50 template, an unbiased and symmetrical MRI template
of the brainstem and full spinal cord. Based on 50 healthy subjects, the PAM50 template was
generated using an iterative nonlinear registration process, after applying normalization and
straightening of all images. Pre-processing included segmentation of the spinal cord, manual
delineation of the brainstem anterior edge, detection and identification of intervertebral disks, and
normalization of intensity along the spinal cord. Next, the average centerline and vertebral
distribution was computed to create an initial straight template space. Then, all images were
registered to the initial template space and an iterative nonlinear registration framework was
applied to create the final symmetrical template. The PAM50 covers the brainstem and the full
spinal cord, from C1 to L2, is available for T1-, T2- and T2*-weighted contrasts, and includes
probabilistic maps of the white and the gray matter and atlases of the white matter pathways and
gray matter subregions. Additionally, the PAM50 template has been merged with the ICBM152
brain template, thereby allowing for simultaneous cerebrospinal template-based analysis.
Finally, several complementary results, focused on clinical validation and applications, are
presented. First, a reproducibility and repeatability study of cross-sectional area measurements
using SCT (De Leener, Granberg, Fink, Stikov, & Cohen-Adad, 2017) was performed on a
Multiple Sclerosis population (n=9). The results demonstrated the high reproducibility and
repeatability of SCT and its ability to detect very subtle atrophy of the spinal cord. Second, a novel
biomarker of spinal cord injury has been proposed. Based on the T2*-weighted intensity ratio
between the white and the gray matter, this new biomarker is computed by registering MRI images
with the PAM50 template and extracting metrics using probabilistic atlases. Additionally, the
feasibility of extracting multiparametric MRI metrics from subregions of the spinal cord has been
demonstrated and the diagnostic potential of this approach has been assessed on a degenerative
cervical myelopathy (DCM) population. Finally, a method for extracting shape morphometrics
along the spinal cord has been proposed, including spinal cord flattening, indentation and torsion.
These metrics demonstrated high capabilities for the diagnostic of asymptomatic spinal cord
compression (AUC=99.8% for flattening, 99.3% for indentation, and 98.4% for torsion).
The development of the PAM50 template enables unbiased template-based analysis of the spinal
cord. However, the PAM50 template has several limitations. Indeed, the proposed template has
been generated with multimodal MRI images from 50 healthy and young individuals (age = 27+/-
6.5 y.o.). Therefore, the template is specific to this particular population and could not be directly
usable for age- or disease-specific populations. One solution is to open-source the templategeneration
code so that research groups can generate and use their own spinal cord MRI template.
The code is available on https://github.com/neuropoly/template. While this project introduced a
generic referential coordinate system, based on vertebral levels and the pontomedullary junction
as origin, one limitation is the choice of this coordinate system. Another coordinate system, based
spinal segments would be more suitable for functional analysis. However, the acquisition of MRI
images with high enough resolution to delineate the spinal roots is still challenging. Finally, several
challenges in the automation of spinal cord MRI processing remains, including the robust detection
and identification of vertebral levels, particularly in case of small fields-of-view.
This project introduced key developments for the analysis of spinal cord MRI data. Many more
developments are still required to bring them into clinics and to improve our understanding of
diseases affecting the spinal cord. Indeed, clinical applications require the improvement of the
robustness and the automation of the proposed processing and analysis tools. Particularly, the
detection and segmentation of spinal cord structures, including vertebral labeling and white/gray
matter segmentation, is still challenging, given the lowest quality and resolution of standard clinical
MRI acquisition. The tools developed and validated here have the potential to improve our understanding and the characterization of diseases affecting the spinal cord and will have a significant impact on the neuroimaging community