593 research outputs found
Spine intervertebral disc labeling using a fully convolutional redundant counting model
Labeling intervertebral discs is relevant as it notably enables clinicians to
understand the relationship between a patient's symptoms (pain, paralysis) and
the exact level of spinal cord injury. However manually labeling those discs is
a tedious and user-biased task which would benefit from automated methods.
While some automated methods already exist for MRI and CT-scan, they are either
not publicly available, or fail to generalize across various imaging contrasts.
In this paper we combine a Fully Convolutional Network (FCN) with inception
modules to localize and label intervertebral discs. We demonstrate a
proof-of-concept application in a publicly-available multi-center and
multi-contrast MRI database (n=235 subjects). The code is publicly available at
https://github.com/neuropoly/vertebral-labeling-deep-learning.Comment: MIDL 202
Automatic Segmentation of Intramedullary Multiple Sclerosis Lesions
Contexte: La moelle épinière est un composant essentiel du système nerveux central. Elle contient des neurones responsables d’importantes fonctionnalités et assure la transmission d’informations motrices et sensorielles entre le cerveau et le système nerveux périphérique. Un endommagement de la moelle épinière, causé par un choc ou une maladie neurodégénérative, peut mener à un sérieux handicap, pouvant entraîner des incapacités fonctionnelles, de la paralysie et/ou de la douleur. Chez les patients atteints de sclérose en plaques (SEP), la moelle épinière est fréquemment affectée par de l’atrophie et/ou des lésions. L’imagerie par résonance magnétique (IRM) conventionnelle est largement utilisée par des chercheurs et des cliniciens pour évaluer et caractériser, de façon non-invasive, des altérations micro-structurelles. Une évaluation quantitative des atteintes structurelles portées à la moelle épinière (e.g. sévérité de l’atrophie, extension des lésions) est essentielle pour le diagnostic, le pronostic et la supervision sur le long terme de maladies, telles que la SEP. De plus, le développement de biomarqueurs impartiaux est indispensable pour évaluer l’effet de nouveaux traitements thérapeutiques. La segmentation de la moelle épinière et des lésions intramédullaires de SEP sont, par conséquent, pertinentes d’un point de vue clinique, aussi bien qu’une étape nécessaire vers l’interprétation d’images RM multiparamétriques. Cependant, la segmentation manuelle est une tâche extrêmement chronophage, fastidieuse et sujette à des variations inter- et intra-expert. Il y a par conséquent un besoin d’automatiser les méthodes de segmentations, ce qui pourrait faciliter l’efficacité procédures d’analyses. La segmentation automatique de lésions est compliqué pour plusieurs raisons: (i) la variabilité des lésions en termes de forme, taille et position, (ii) les contours des lésions sont la plupart du temps difficilement discernables, (iii) l’intensité des lésions sur des images MR sont similaires à celles de structures visiblement saines. En plus de cela, réaliser une segmentation rigoureuse sur l’ensemble d’une base de données multi-centrique d’IRM est rendue difficile par l’importante variabilité des protocoles d’acquisition (e.g. résolution, orientation, champ de vue de l’image). Malgré de considérables récents développements dans le traitement d’images MR de moelle épinière, il n’y a toujours pas de méthode disponible pouvant fournir une segmentation rigoureuse et fiable de la moelle épinière pour un large spectre de pathologies et de protocoles d’acquisition. Concernant les lésions intramédullaires, une recherche approfondie dans la littérature n’a pas pu fournir une méthode disponible de segmentation automatique.
Objectif: Développer un système complètement automatique pour segmenter la moelle épinière et les lésions intramédullaires sur des IRM conventionnelles humaines.
Méthode: L’approche présentée est basée de deux réseaux de neurones à convolution mis en cascade. La méthode a été pensée pour faire face aux principaux obstacles que présentent les données IRM de moelle épinière. Le procédé de segmentation a été entrainé et validé sur une base de données privée composée de 1943 images, acquises dans 30 différents centres avec des protocoles hétérogènes. Les sujets scannés comportent 459 sujets sains, 471 patients SEP et 112 avec d’autres pathologies affectant la moelle épinière. Le module de segmentation de la moelle épinière a été comparé à une méthode existante reconnue par la communauté, PropSeg.
Résultats: L’approche basée sur les réseaux de neurones à convolution a fourni de meilleurs résultats que PropSeg, atteignant un Dice médian (intervalle inter-quartiles) de 94.6 (4.6) vs. 87.9 (18.3) %. Pour les lésions, notre segmentation automatique a permis d'obtenir un Dice de 60.0 (21.4) % en le comparant à la segmentation manuelle, un ratio de vrai positifs de 83 (34) %, et une précision de 77 (44) %.
Conclusion: Une méthode complètement automatique et innovante pour segmenter la moelle épinière et les lésions SEP intramédullaires sur des données IRM a été conçue durant ce projet de maîtrise. La méthode a été abondamment validée sur une base de données clinique. La robustesse de la méthode de segmentation de moelle épinière a été démontrée, même sur des cas pathologiques. Concernant la segmentation des lésions, les résultats sont encourageants, malgré un taux de faux positifs relativement élevé. Je crois en l’impact que peut potentiellement avoir ces outils pour la communauté de chercheurs. Dans cette optique, les méthodes ont été intégrées et documentées dans un logiciel en accès-ouvert, la “Spinal Cord Toolbox”. Certains des outils développés pendant ce projet de Maîtrise sont déjà utilisés par des analyses d’études cliniques, portant sur des patients SEP et sclérose latérale amyotrophique.----------ABSTRACT
Context: The spinal cord is a key component of the central nervous system, which contains neurons responsible for complex functions, and ensures the conduction of motor and sensory information between the brain and the peripheral nervous system. Damage to the spinal cord, through trauma or neurodegenerative diseases, can lead to severe impairment, including functional disabilities, paralysis and/or pain. In multiple sclerosis (MS) patients, the spinal cord is frequently affected by atrophy and/or lesions. Conventional magnetic resonance imaging (MRI) is widely used by researchers and clinicians to non-invasively assess and characterize spinal cord microstructural changes. Quantitative assessment of the structural damage to the spinal cord (e.g. atrophy severity, lesion extent) is essential for the diagnosis, prognosis and longitudinal monitoring of diseases, such as MS. Furthermore, the development of objective biomarkers is essential to evaluate the effect of new therapeutic treatments. Spinal cord and intramedullary MS lesions segmentation is consequently clinically relevant, as well as a necessary step towards the interpretation of multi-parametric MR images. However, manual segmentation is highly time-consuming, tedious and prone to intra- and inter-rater variability. There is therefore a need for automated segmentation methods to facilitate the efficiency of analysis pipelines. Automatic lesion segmentation is challenging for various reasons: (i) lesion variability in terms of shape, size and location, (ii) lesion boundaries are most of the time not well defined, (iii) lesion intensities on MR data are confounding with those of normal-appearing structures. Moreover, achieving robust segmentation across multi-center MRI data is challenging because of the broad variability of data features (e.g. resolution, orientation, field of view). Despite recent substantial developments in spinal cord MRI processing, there is still no method available that can yield robust and reliable spinal cord segmentation across the very diverse spinal pathologies and data features. Regarding the intramedullary lesions, a thorough search of the relevant literature did not yield available method of automatic segmentation.
Goal: To develop a fully-automatic framework for segmenting the spinal cord and intramedullary MS lesions from conventional human MRI data.
Method: The presented approach is based on a cascade of two Convolutional Neural Networks (CNN). The method has been designed to face the main challenges of ‘real world’ spinal cord MRI data. It was trained and validated on a private dataset made up of 1943 MR volumes, acquired in different 30 sites with heterogeneous acquisition protocols. Scanned subjects involve 459 healthy controls, 471 MS patients and 112 with other spinal pathologies. The proposed spinal cord segmentation method was compared to a state-of-the-art spinal cord segmentation method, PropSeg.
Results: The CNN-based approach achieved better results than PropSeg, yielding a median (interquartile range) Dice of 94.6 (4.6) vs. 87.9 (18.3) % when compared to the manual segmentation. For the lesion segmentation task, our method provided a median Dice-overlap with the manual segmentation of 60.0 (21.4) %, a lesion-based true positive rate of 83 (34) % and a lesion-based precision de 77 (44) %.
Conclusion: An original fully-automatic method to segment the spinal cord and intramedullary MS lesions on MRI data has been devised during this Master’s project. The method was validated extensively against a clinical dataset. The robustness of the spinal cord segmentation has been demonstrated, even on challenging pathological cases. Regarding the lesion segmentation, the results are encouraging despite the fairly high false positive rate. I believe in the potential value of these developed tools for the research community. In this vein, the methods are integrated and documented into an open-source software, the Spinal Cord Toolbox. Some of the tools developed during this Master’s project are already integrated into automated analysis pipelines of clinical studies, including MS and Amyotrophic Lateral Sclerosis patients
Automatic multiclass intramedullary spinal cord tumor segmentation on MRI with deep learning
Spinal cord tumors lead to neurological morbidity and mortality. Being able to obtain morphometric quantification (size, location, growth rate) of the tumor, edema, and cavity can result in improved monitoring and treatment planning. Such quantification requires the segmentation of these structures into three separate classes. However, manual segmentation of three-dimensional structures is time consuming, tedious and prone to intra- and inter-rater variability, motivating the development of automated methods. Here, we tailor a model adapted to the spinal cord tumor segmentation task. Data were obtained from 343 patients using gadolinium-enhanced T1-weighted and T2-weighted MRI scans with cervical, thoracic, and/or lumbar coverage. The dataset includes the three most common intramedullary spinal cord tumor types: astrocytomas, ependymomas, and hemangioblastomas. The proposed approach is a cascaded architecture with U-Net-based models that segments tumors in a two-stage process: locate and label. The model first finds the spinal cord and generates bounding box coordinates. The images are cropped according to this output, leading to a reduced field of view, which mitigates class imbalance. The tumor is then segmented. The segmentation of the tumor, cavity, and edema (as a single class) reached 76.7 ± 1.5% of Dice score and the segmentation of tumors alone reached 61.8 ± 4.0% Dice score. The true positive detection rate was above 87% for tumor, edema, and cavity. To the best of our knowledge, this is the first fully automatic deep learning model for spinal cord tumor segmentation. The multiclass segmentation pipeline is available in the Spinal Cord Toolbox (https://spinalcordtoolbox.com/). It can be run with custom data on a regular computer within seconds
Segmentation and quantification of spinal cord gray matter–white matter structures in magnetic resonance images
This thesis focuses on finding ways to differentiate the gray matter (GM) and white matter (WM) in magnetic resonance (MR) images of the human spinal cord (SC). The aim of this project is to quantify tissue loss in these compartments to study their implications on the progression of multiple sclerosis (MS). To this end, we propose segmentation algorithms that we evaluated on MR images of healthy volunteers.
Segmentation of GM and WM in MR images can be done manually by human experts, but manual segmentation is tedious and prone to intra- and inter-rater variability. Therefore, a deterministic automation of this task is necessary. On axial 2D images acquired with a recently proposed MR sequence, called AMIRA, we experiment with various automatic segmentation algorithms. We first use variational model-based segmentation approaches combined with appearance models and later directly apply supervised deep learning to train segmentation networks. Evaluation of the proposed methods shows accurate and precise results, which are on par with manual segmentations.
We test the developed deep learning approach on images of conventional MR sequences in the context of a GM segmentation challenge, resulting in superior performance compared to the other competing methods. To further assess the quality of the AMIRA sequence, we apply an already published GM segmentation algorithm to our data, yielding higher accuracy than the same algorithm achieves on images of conventional MR sequences.
On a different topic, but related to segmentation, we develop a high-order slice interpolation method to address the large slice distances of images acquired with the AMIRA protocol at different vertebral levels, enabling us to resample our data to intermediate slice positions.
From the methodical point of view, this work provides an introduction to computer vision, a mathematically focused perspective on variational segmentation approaches and supervised deep learning, as well as a brief overview of the underlying project's anatomical and medical background
Automatic Axon and Myelin Segmentation of Microscopy Images and Morphometrics Extraction
Dans le système nerveux, la transmission des signaux électriques se fait par
l’intermédiaire des axones de la matière blanche. La plupart de ces axones, aussi connus sous le
nom de fibres nerveuses, sont entourés par la gaine de myéline. Le rôle principal de la gaine de
myéline est d’accroître la vitesse de transmission du signal nerveux le long de l’axone, un
élément crucial pour la communication sur de longues distances. Lors de pathologies
démyélinisantes comme la sclérose en plaques, la gaine de myéline des axones du système
nerveux central est attaquée par des cellules du système immunitaire. Ceci peut conduire à la
dégénérescence de la myéline, qui peut se manifester de diverses façons : une perte du contenu en
myéline, une diminution du nombre d’axones myélinisés ou même des dommages axonaux.
La microscopie à haute résolution des tissus myélinisés offre l’avantage de pouvoir
imager la microstructure du tissu au niveau cellulaire. L’extraction d’information quantitative sur
la morphologie passe par la segmentation des axones et gaines de myélines composant le tissu sur
les images microscopiques acquises. L’extraction de métriques morphologiques des fibres
nerveuses à partir d’image microscopiques pourrait contribuer à plusieurs applications
intéressantes : documentation de la morphométrie sur différentes espèces et tissus, étude des
origines et effets des maladies démyélinisantes, et validation de nouveaux biomarqueurs
d’Imagerie par Résonance Magnétique sensibles au contenu en myéline dans le tissu.
L’objectif principal de ce projet de recherche est de concevoir, implémenter et valider un
framework de segmentation automatique d’axones et de gaines de myéline sur des images
microscopiques et d’en extraire des morphométriques pertinentes. Plusieurs approches de
segmentation ont été explorées dans la littérature, mais la plupart ne sont pas totalement
automatiques, sont conçues pour une modalité de microscopie spécifique, ou bien leur
implémentation n’est pas publiquement disponible pour la communauté scientifique. Deux
frameworks de segmentation ont été développés dans le cadre de ce projet : AxonSeg et
AxonDeepSeg.
Le framework AxonSeg (https://github.com/neuropoly/axonseg) se base sur une approche
de traitement d’image classique pour la segmentation. Le pipeline de segmentation inclut une
transformée de type extended-minima, un modèle d’analyse discriminante combinant des features
de forme et d’intensité, un algorithme de détection de contours et un double algorithme de contours actifs. Le résultat de la segmentation est utilisé pour l’extraction de morphométriques.
La validation du framework a été réalisée sur des échantillons de microscopie optique,
microscopie électronique et microscopie Raman stimulée (CARS).
Le framework AxonDeepSeg (https://github.com/neuropoly/axondeepseg) utilise plutôt
une approche basée sur des réseaux neuronaux convolutifs. Un réseau convolutif a été conçu pour
la segmentation sémantique des axones myélinisés. Un modèle de microscopie électronique à
balayage (MEB) a été entraîné sur des échantillons de moelle épinière de rat et un modèle de
microscopie électronique à transmission (MET) a été entraîné sur des échantillons de corps
calleux de souris. Les deux modèles ont démontré une haute précision pixel par pixel sur les
échantillons test (85% sur le MEB de rat, 81% sur le MEB d’humain, 95% sur le MET de souris,
84% sur le MET de macaque). On démontre également que les modèles entrainés sont robustes
aux ajouts de bruit, au flou et aux changements d’intensité. Le modèle MEB de AxonDeepSeg a
été utilisé pour segmenter une coupe transversale complète de moelle épinière de rat et les
morphométriques extraites à partir des tracts de la matière blanche correspondaient bien aux
tendances rapportées dans la littérature. AxonDeepSeg a démontré une plus grande précision au
niveau de la segmentation lorsque comparé à AxonSeg. Les deux outils logiciels développés sont
open source (licence MIT) et donc à disposition de la communauté scientifique.
Des futures itérations sont prévues afin d’améliorer et d’étendre ce travail. Les objectifs à
court terme sont l’entraînement de nouveaux modèles pour d’autres modalités de microscopie,
l’entraînement sur des datasets plus larges afin d’améliorer la généralisation et la robustesse des
modèles, et l’exploration de nouvelles architectures de réseaux neuronaux. De plus, les modèles
de segmentations développés jusqu’à maintenant ont seulement été testés sur des images de tissus
sains. Un développement futur important serait de tester la performance de ces modèles sur des échantillons démyélinisés.----------ABSTRACT
In the nervous system, the transmission of electrical signals is ensured by the axons of the
white matter. A large portion of these axons, also known as nerve fibers, is surrounded by a
myelin sheath. The main role of the myelin sheath is to increase the transmission speed along the
axons, which is crucial for long distance communication. In demyelinating diseases such as
multiple sclerosis, the myelin sheath of the central nervous system is attacked by cells of the
immune system. Myelin degeneration caused by such disorders can manifest itself in different
ways at the microstructural level: loss of myelin content, decrease in the number of myelinated
axons, or even axonal damage.
High resolution microscopy of myelinated tissues can provide in-depth microstructural
information about the tissue under study. Segmentation of the axon and myelin content of a
microscopy image is a necessary step in order to extract quantitative morphological information
from the tissue. Being able to extract morphometrics from the tissue would benefit several
applications: document nerve morphometry across species or tissues, get a better understanding
of the origins of demyelinating diseases, and validate novel magnetic resonance imaging
biomarkers sensitive to myelin content.
The main objective of this research project is to design, implement and validate an
automatic axon and myelin segmentation framework for microscopy images and use it to extract
relevant morphological metrics. Several segmentation approaches exist in the literature for
similar applications, but most of them are not fully automatic, are designed to work on a specific
microscopy modality and/or are not made available to the research community. Two
segmentation frameworks were developed as part of this project: AxonSeg and AxonDeepSeg.
The AxonSeg package (https://github.com/neuropoly/axonseg) uses a segmentation
approach based on standard image processing. The segmentation pipeline includes an extendedminima
transform, a discriminant analysis model based on shape and intensity features, an edge
detection algorithm, and a double active contours step. The segmentation output is used to
compute morphological metrics. Validation of the framework was performed on optical, electron and CARS microscopy.
The AxonDeepSeg package (https://github.com/neuropoly/axondeepseg) uses a
segmentation approach based on convolutional neural networks. A fully convolutional network
architecture was designed for the semantic 3-class segmentation of myelinated axons. A scanning
electron microscopy (SEM) model trained on rat spinal cord samples and a transmission electron
microscopy (TEM) model trained on mice corpus callosum samples are presented. Both models
presented high pixel-wise accuracy on test datasets (85% on rat SEM, 81% on human SEM, 95%
on mice TEM and 84% on macaque TEM). We show that AxonDeepSeg models are robust to
noise, blurring and intensity changes. AxonDeepSeg was used to segment a full rat spinal cord
slice, and morphological metrics extracted from white matter tracks correlated well with the
literature. The AxonDeepSeg framework presented a higher segmentation accuracy when
compared to AxonSeg. Both AxonSeg and AxonDeepSeg are open source (MIT license) and thus
freely available for use by the research community.
Future iterations are planned to improve and extend this work. Training of new models for
other microscopy modalities, training on larger datasets to improve generalization and
robustness, and exploration of novel deep learning architectures are some of the short-term
objectives. Moreover, the current segmentation models have only been tested on healthy tissues.
Another important short-term objective would be to assess the performance of these models on
demyelinated samples
Development of an MRI Template and Analysis Pipeline for the Spinal Cord and Application in Patients with Spinal Cord Injury
La moelle épinière est un organe fondamental du corps humain. Étant le lien entre le cerveau et le
système nerveux périphérique, endommager la moelle épinière, que ce soit suite à un trauma ou
une maladie neurodégénérative, a des conséquences graves sur la qualité de vie des patients. En
effet, les maladies et traumatismes touchant la moelle épinière peuvent affecter l’intégrité des
neurones et provoquer des troubles neurologiques et/ou des handicaps fonctionnels. Bien que de
nombreuses voies thérapeutiques pour traiter les lésions de la moelle épinière existent, la
connaissance de l’étendue des dégâts causés par ces lésions est primordiale pour améliorer
l’efficacité de leur traitement et les décisions cliniques associées. L’imagerie par résonance
magnétique (IRM) a démontré un grand potentiel pour le diagnostic et pronostic des maladies
neurodégénératives et traumas de la moelle épinière. Plus particulièrement, l’analyse par template
de données IRM du cerveau, couplée à des outils de traitement d’images automatisés, a permis une
meilleure compréhension des mécanismes sous-jacents de maladies comme l’Alzheimer et la
Sclérose en Plaques. Extraire automatiquement des informations pertinentes d’images IRM au sein
de régions spécifiques de la moelle épinière présente toutefois de plus grands défis que dans le
cerveau. Il n’existe en effet qu’un nombre limité de template de la moelle épinière dans la
littérature, et aucun ne couvre toute la moelle épinière ou n’est lié à un template existant du cerveau.
Ce manque de template et d’outils automatisés rend difficile la tenue de larges études d’analyse de
la moelle épinière sur des populations variées.
L’objectif de ce projet est donc de proposer un nouveau template IRM couvrant toute la moelle
épinière, recalé avec un template existant du cerveau, et intégrant des atlas de la structure interne
de la moelle épinière (e.g., matière blanche et grise, tracts de la matière blanche). Ce template doit
venir avec une série d’outils automatisés permettant l’extraction d’information IRM au sein de
régions spécifiques de la moelle épinière. La question générale de recherche de ce projet est donc
« Comment créer un template générique de la moelle épinière, qui permettrait l’analyse non
biaisée et reproductible de données IRM de la moelle épinière ? ». Plusieurs contributions
originales ont été proposées pour répondre à cette question et vont être décrites dans les prochains
paragraphes.
La première contribution de ce projet est le développement du logiciel Spinal Cord Toolbox (SCT).
SCT est un logiciel open-source de traitement d’images IRM multi-parametrique de la moelle
épinière (De Leener, Lévy, et al., 2016). Ce logiciel intègre notamment des outils pour la détection
et la segmentation automatique de la moelle épinière et de sa structure interne (i.e., matière blanche
et matière grise), l’identification et la labellisation des niveaux vertébraux, le recalage d’images
IRM multimodales sur un template générique de la moelle épinière (précédemment le template
MNI-Poly-AMU, maintenant le template PAM50, proposé içi). En se basant sur un atlas de la
moelle, SCT intègre également des outils pour extraire des données IRM de régions spécifiques de
la moelle épinière, comme la matière blanche et grise et les tracts de la matière blanche, ainsi que
sur des niveaux vertébraux spécifiques. D’autres outils additionnels ont aussi été proposés, comme
des outils de correction de mouvement et de traitement basiques d’images appliqués le long de la
moelle épinière. Chaque outil intégré à SCT a été validé sur un jeu de données multimodales.
La deuxième contribution de ce projet est le développement d’une nouvelle méthode de recalage
d’images IRM de la moelle épinière (De Leener, Mangeat, et al., 2017). Cette méthode a été
développée pour un usage particulier : le redressement d’images IRM de la moelle épinière, mais
peut également être utilisé pour recaler plusieurs images de la moelle épinière entre elles, tout en
tenant compte de la distribution vertébrale de chaque sujet. La méthode proposée se base sur une
approximation globale de la courbure de la moelle épinière dans l’espace et sur la résolution
analytique des champs de déformation entre les deux images. La validation de cette nouvelle
méthode a été réalisée sur une population de sujets sains et de patients touchés par une compression
de la moelle épinière.
La contribution majeure de ce projet est le développement d’un système de création de template
IRM de la moelle épinière et la proposition du template PAM50 comme template de référence pour
les études d’analyse par template de données IRM de la moelle épinière. Le template PAM50 a été
créé à partir d’images IRM tiré de 50 sujets sains, et a été généré en utilisant le redressement
d’images présenté ci-dessus et une méthode de recalage d’images itératif non linéaire, après
plusieurs étapes de prétraitement d’images. Ces étapes de prétraitement incluent la segmentation
automatique de la moelle épinière, l’extraction manuelle du bord antérieur du tronc cérébral, la
détection et l’identification des disques intervertébraux, et la normalisation d’intensité le long de
la moelle. Suite au prétraitement, la ligne centrale moyenne de la moelle et la distribution vertébrale
ont été calculées sur la population entière de sujets et une image initiale de template a été générée.
Après avoir recalé toutes les images sur ce template initial, le template PAM50 a été créé en
utilisant un processus itératif de recalage d’image, utilisé pour générer des templates de cerveau.
Le PAM50 couvre le tronc cérébral et la moelle épinière en entier, est disponible pour les contrastes
IRM pondérés en T1, T2 et T2*, et intègre des cartes probabilistes et atlas de la structure interne
de la moelle épinière. De plus, le PAM50 a été recalé sur le template ICBM152 du cerveau,
permettant ainsi la tenue d’analyse par template simultanément dans le cerveau et dans la moelle
épinière.
Finalement, plusieurs résultats complémentaires ont été présentés dans cette dissertation.
Premièrement, une étude de validation de la répétabilité et reproductibilité de mesures de l’aire de
section de la moelle épinière a été menée sur une population de patients touchés par la sclérose en
plaques. Les résultats démontrent une haute fiabilité des mesures ainsi que la possibilité de détecter
des changements très subtiles de l’aire de section transverse de la moelle, importants pour mesurer
l’atrophie de la moelle épinière précoce due à des maladies neurodégénératives comme la sclérose
en plaques. Deuxièmement, un nouveau biomarqueur IRM des lésions de la moelle épinière a été
proposé, en collaboration avec Allan Martin, de l’Université de Toronto. Ce biomarqueur, calculé
à partir du ratio d’intensité entre la matière blanche et grise sur des images IRM pondérées en T2*,
utilise directement les développements proposés dans ce projet, notamment en utilisant le recalage
du template de la moelle épinière et les méthodes de segmentation de la moelle. La faisabilité
d’extraire des mesures de données IRM multiparamétrique dans des régions spécifiques de la
moelle épinière a également été démontrée, permettant d’améliorer le diagnostic et pronostic de
lésions et compression de la moelle épinière. Finalement, une nouvelle méthode d’extraction de la
morphométrie de la moelle épinière a été proposée et utilisée sur une population de patients touchés
par une compression asymptomatique de la moelle épinière, démontrant de grandes capacités de
diagnostic (> 99%).
Le développement du template PAM50 comble le manque de template de la moelle épinière dans
la littérature mais présente cependant plusieurs limitations. En effet, le template proposé se base
sur une population de 50 sujets sains et jeunes (âge moyen = 27 +- 6.5) et est donc biaisée vers
cette population particulière. Adapter les analyses par template pour un autre type de population
(âge, race ou maladie différente) peut être réalisé directement sur les méthodes d’analyse mais aussi
sur le template en lui-même. Tous le code pour générer le template a en effet été mis en ligne
(https://github.com/neuropoly/template) pour permettre à tout groupe de recherche de développer
son propre template. Une autre limitation de ce projet est le choix d’un système de coordonnées
basé sur la position des vertèbres. En effet, les vertèbres ne représentent pas complètement le
caractère fonctionnel de la moelle épinière, à cause de la différence entre les niveaux vertébraux et
spinaux. Le développement d’un système de coordonnées spinal, bien que difficile à caractériser
dans des images IRM, serait plus approprié pour l’analyse fonctionnelle de la moelle épinière.
Finalement, il existe encore de nombreux défis pour automatiser l’ensemble des outils développés
dans ce projet et les rendre robuste pour la majorité des contrastes et champs de vue utilisés en
IRM conventionnel et clinique.
Ce projet a présenté plusieurs développements importants pour l’analyse de données IRM de la
moelle épinière. De nombreuses améliorations du travail présenté sont cependant requises pour
amener ces outils dans un contexte clinique et pour permettre d’améliorer notre compréhension des
maladies affectant la moelle épinière. Les applications cliniques requièrent notamment
l’amélioration de la robustesse et de l’automatisation des méthodes d’analyse d’images proposées.
La caractérisation de la structure interne de la moelle épinière, incluant la matière blanche et la
matière grise, présente en effet de grands défis, compte tenu de la qualité et la résolution des images
IRM standard acquises en clinique. Les outils développés et validés au cours de ce projet ont un
grand potentiel pour la compréhension et la caractérisation des maladies affectant la moelle
épinière et aura un impact significatif sur la communauté de la neuroimagerie.----------ABSTRACT
The spinal cord plays a fundamental role in the human body, as part of the central nervous system
and being the vector between the brain and the peripheral nervous system. Damaging the spinal
cord, through traumatic injuries or neurodegenerative diseases, can significantly affect the quality
of life of patients. Indeed, spinal cord injuries and diseases can affect the integrity of neurons, and
induce neurological impairments and/or functional disabilities. While various treatment procedures
exist, assessing the extent of damages and understanding the underlying mechanisms of diseases
would improve treatment efficiency and clinical decisions. Over the last decades, magnetic
resonance imaging (MRI) has demonstrated a high potential for the diagnosis and prognosis of
spinal cord injury and neurodegenerative diseases. Particularly, template-based analysis of brain
MRI data has been very helpful for the understanding of neurological diseases, using automated
analysis of large groups of patients. However, extracting MRI information within specific regions
of the spinal cord with minimum bias and using automated tools is still a challenge. Indeed, only a
limited number of MRI template of the spinal cord exists, and none covers the full spinal cord,
thereby preventing large multi-centric template-based analysis of the spinal cord. Moreover, no
template integrates both the spinal cord and the brain region, thereby preventing simultaneous
cerebrospinal studies.
The objective of this project was to propose a new MRI template of the full spinal cord, which
allows simultaneous brain and spinal cord studies, that integrates atlases of the spinal cord internal
structures (e.g., white and gray matter, white matter pathways) and that comes with tools for
extracting information within these subregions. More particularly, the general research question of
the project was “How to create generic MRI templates of the spinal cord that would enable
unbiased and reproducible template-based analysis of spinal cord MRI data?”. Several original
contributions have been made to answer this question and to enable template-based analysis of
spinal cord MRI data.
The first contribution was the development of the Spinal Cord Toolbox (SCT), a comprehensive
and open-source software for processing multi-parametric MRI data of the spinal cord (De Leener,
Lévy, et al., 2016). SCT includes tools for the automatic segmentation of the spinal cord and its
internal structure (white and gray matter), vertebral labeling, registration of multimodal MRI data
(structural and non-structural) on a spinal cord MRI template (initially the MNI-Poly-AMU
template, later the PAM50 template), co-registration of spinal cord MRI images, as well as the
robust extraction of MRI metric within specific regions of the spinal cord (i.e., white and gray
matter, white matter tracts, gray matter subregions) and specific vertebral levels using a spinal cord
atlas (Lévy et al., 2015). Additional tools include robust motion correction and image processing
along the spinal cord. Each tool included in SCT has been validated on a multimodal dataset.
The second contribution of this project was the development of a novel registration method
dedicated to spinal cord images, with an interest in the straightening of the spinal cord, while
preserving its topology (De Leener, Mangeat et al., 2017). This method is based on the global
approximation of the spinal cord and the analytical computation of deformation fields
perpendicular to the centerline. Validation included calculation of distance measurements after
straightening on a population of healthy subjects and patients with spinal cord compression.
The major contribution of this project was the development of a framework for generating MRI
template of the spinal cord and the PAM50 template, an unbiased and symmetrical MRI template
of the brainstem and full spinal cord. Based on 50 healthy subjects, the PAM50 template was
generated using an iterative nonlinear registration process, after applying normalization and
straightening of all images. Pre-processing included segmentation of the spinal cord, manual
delineation of the brainstem anterior edge, detection and identification of intervertebral disks, and
normalization of intensity along the spinal cord. Next, the average centerline and vertebral
distribution was computed to create an initial straight template space. Then, all images were
registered to the initial template space and an iterative nonlinear registration framework was
applied to create the final symmetrical template. The PAM50 covers the brainstem and the full
spinal cord, from C1 to L2, is available for T1-, T2- and T2*-weighted contrasts, and includes
probabilistic maps of the white and the gray matter and atlases of the white matter pathways and
gray matter subregions. Additionally, the PAM50 template has been merged with the ICBM152
brain template, thereby allowing for simultaneous cerebrospinal template-based analysis.
Finally, several complementary results, focused on clinical validation and applications, are
presented. First, a reproducibility and repeatability study of cross-sectional area measurements
using SCT (De Leener, Granberg, Fink, Stikov, & Cohen-Adad, 2017) was performed on a
Multiple Sclerosis population (n=9). The results demonstrated the high reproducibility and
repeatability of SCT and its ability to detect very subtle atrophy of the spinal cord. Second, a novel
biomarker of spinal cord injury has been proposed. Based on the T2*-weighted intensity ratio
between the white and the gray matter, this new biomarker is computed by registering MRI images
with the PAM50 template and extracting metrics using probabilistic atlases. Additionally, the
feasibility of extracting multiparametric MRI metrics from subregions of the spinal cord has been
demonstrated and the diagnostic potential of this approach has been assessed on a degenerative
cervical myelopathy (DCM) population. Finally, a method for extracting shape morphometrics
along the spinal cord has been proposed, including spinal cord flattening, indentation and torsion.
These metrics demonstrated high capabilities for the diagnostic of asymptomatic spinal cord
compression (AUC=99.8% for flattening, 99.3% for indentation, and 98.4% for torsion).
The development of the PAM50 template enables unbiased template-based analysis of the spinal
cord. However, the PAM50 template has several limitations. Indeed, the proposed template has
been generated with multimodal MRI images from 50 healthy and young individuals (age = 27+/-
6.5 y.o.). Therefore, the template is specific to this particular population and could not be directly
usable for age- or disease-specific populations. One solution is to open-source the templategeneration
code so that research groups can generate and use their own spinal cord MRI template.
The code is available on https://github.com/neuropoly/template. While this project introduced a
generic referential coordinate system, based on vertebral levels and the pontomedullary junction
as origin, one limitation is the choice of this coordinate system. Another coordinate system, based
spinal segments would be more suitable for functional analysis. However, the acquisition of MRI
images with high enough resolution to delineate the spinal roots is still challenging. Finally, several
challenges in the automation of spinal cord MRI processing remains, including the robust detection
and identification of vertebral levels, particularly in case of small fields-of-view.
This project introduced key developments for the analysis of spinal cord MRI data. Many more
developments are still required to bring them into clinics and to improve our understanding of
diseases affecting the spinal cord. Indeed, clinical applications require the improvement of the
robustness and the automation of the proposed processing and analysis tools. Particularly, the
detection and segmentation of spinal cord structures, including vertebral labeling and white/gray
matter segmentation, is still challenging, given the lowest quality and resolution of standard clinical
MRI acquisition. The tools developed and validated here have the potential to improve our understanding and the characterization of diseases affecting the spinal cord and will have a significant impact on the neuroimaging community
MRI quantification of multiple sclerosis pathology
Background: Multiple sclerosis (MS) is a chronic neuroinflammatory and neurodegenerative disease and a common cause of neurologic disability. MS pathology is characterized by demyelination, neuroaxonal loss and atrophy. Magnetic Resonance Imaging (MRI) is an essential tool in diagnosing and monitoring MS, but its clinical value could be even further expanded by more advanced and quantitative MRI methods, which may also provide additional pathophysiological insights.
Purpose: The overall aim of this thesis was to quantify MS pathology using volumetric brain MRI, ultra-high field brain and cervical spinal cord MRI as well as a newly developed rapid myelin imaging technique in relation to cognitive and physical MS disability.
Study I, a prospective 17-year longitudinal study of 37 MS participants with 23 age/sex- matched healthy controls for comparison at the last follow-up. Longitudinal volumetric brain 1.5 Tesla MRI during the second half of the study showed that lesion accumulation and corpus callosum atrophy were the most strongly associated neuroanatomical correlates of cognitive disability, with the lesion fraction being an independent predictor of cognitive performance 8.5 years later.
Study II, a prospective cross-sectional study of 35 MS participants and 11 age-matched healthy controls using 3 and 7 Tesla MRI. The study demonstrated involvement of both grey and white matter in MS, not only the brain but also the cervical spinal cord, associated with MS disability. Lesions appeared in proximity to the cerebrospinal fluid (CSF), with special predilection to the periventricular and grey matter surrounding the central canal in secondary progressive MS.
Study III, a prospective in vivo (71 MS participants and 21 age/sex-matched healthy controls) and ex vivo (brain tissue from 3 MS donors) study at 3 Tesla, showed that a new clinically approved and feasible rapid myelin imaging technique correlates well with myelin stainings and produces robust in vivo myelin quantification that is related to both current and future cognitive and physical disability in MS.
Study IV, an in-depth topographical analysis based on Study III, mapped the distribution of demyelination, both in vivo and ex vivo, in the periventricular and perilesional regions of the brain. A gradient of demyelination with predominance near the CSF spaces was seen. Measures of clinical disability were consistently and more strongly associated with the myelin content in normal-appearing tissue compared to the intralesional myelin content.
Conclusions: Lesions and atrophy contribute to cognitive and physical disability in MS but to a varying degree, likely dependent on the relative involvement of white vs. grey matter. Both focal lesions/demyelination as well as diffuse demyelination in normal-appearing white matter shows an apparent gradient from the CSF, which differ between relapsing-remitting and progressive MS subtypes/phases. The growing utility and clinical availability of advanced and quantitative MRI techniques holds promise for improved monitoring of MS pathology and likely represents a vital tool for assessing the efficacy of potential remyelinating/reparative therapies in MS
Volumetric MRI Reconstruction from 2D Slices in the Presence of Motion
Despite recent advances in acquisition techniques and reconstruction algorithms, magnetic resonance imaging (MRI) remains challenging in the presence of motion. To mitigate this, ultra-fast two-dimensional (2D) MRI sequences are often used in clinical practice to acquire thick, low-resolution (LR) 2D slices to reduce in-plane motion. The resulting stacks of thick 2D slices typically provide high-quality visualizations when viewed in the in-plane direction. However, the low spatial resolution in the through-plane direction in combination with motion commonly occurring between individual slice acquisitions gives rise to stacks with overall limited geometric integrity. In further consequence, an accurate and reliable diagnosis may be compromised when using such motion-corrupted, thick-slice MRI data. This thesis presents methods to volumetrically reconstruct geometrically consistent, high-resolution (HR) three-dimensional (3D) images from motion-corrupted, possibly sparse, low-resolution 2D MR slices. It focuses on volumetric reconstructions techniques using inverse problem formulations applicable to a broad field of clinical applications in which associated motion patterns are inherently different, but the use of thick-slice MR data is current clinical practice. In particular, volumetric reconstruction frameworks are developed based on slice-to-volume registration with inter-slice transformation regularization and robust, complete-outlier rejection for the reconstruction step that can either avoid or efficiently deal with potential slice-misregistrations. Additionally, this thesis describes efficient Forward-Backward Splitting schemes for image registration for any combination of differentiable (not necessarily convex) similarity measure and convex (not necessarily smooth) regularization with a tractable proximal operator. Experiments are performed on fetal and upper abdominal MRI, and on historical, printed brain MR films associated with a uniquely long-term study dating back to the 1980s. The results demonstrate the broad applicability of the presented frameworks to achieve robust reconstructions with the potential to improve disease diagnosis and patient management in clinical practice
Segmentation automatique de la moelle épinière sur des images de résonance magnétique par propagation de modèles déformables
RÉSUMÉ
Les lésions de la moelle épinière, induites par des traumas (e.g. accident de la route) ou
par des maladies neurodégénératives, touchent plus 85 000 personnes au Canada avec environ
4250 nouveaux cas chaque année1. Elles ont de plus un impact majeur sur la vie quotidienne des
personnes atteintes, en provoquant des pertes de sensibilité et de contrôle moteur dont la gravité
dépend de la taille et de l’emplacement des lésions. Bien qu’il existe des approches
thérapeutiques permettant d’améliorer la réhabilitation fonctionnelle des patients, toutes ces
approches se heurtent à une inconnue majeure : l’étendue des dégâts causés par les lésions. Un
diagnostic précoce et précis des maladies neurodégénératives touchant la moelle épinière
permettrait d’améliorer grandement l’efficacité de leurs traitements. Depuis de nombreuses
années, l’IRM a prouvé son potentiel dans le diagnostic et le pronostic des lésions de la moelle
épinière (Cadotte, 2011; Cohen-Adad et al., 2011). Ce domaine manque cependant encore
d’outils complètement automatisés permettant l’extraction et la comparaison de métriques
cliniques reliées à la structure de la moelle (aire de section transverse, volume, etc.). La
segmentation de la moelle épinière sur des images IRM anatomiques peut fournir des mesures
d’aires et de volumes de la moelle (Losseff et al., 1996) et peut quantifier son atrophie en cas de
maladies neurodégénératives telles que la sclérose en plaques (Chen et al., 2013) et la sclérose
latérale amyotrophique (Cohen-Adad et al., 2011).
Ce projet de maîtrise vise à développer une méthode de segmentation complètement
automatique de la moelle épinière, fonctionnant sur plusieurs types d’images IRM (pondérées en
T1 et en T2) et sur n’importe quel champ de vue (cervical ou thoracique), et permettant d’extraire
et de comparer des mesures précises de la moelle épinière. La revue de la littérature a permis de
mettre en évidence le manque de méthode de segmentation automatique de la moelle épinière
fonctionnant sur n’importe quel type de contraste et de champ de vue. Elle a toutefois fait
ressortir une série de propriétés intéressantes, dans les méthodes semi-automatiques existantes,
pouvant être combinées pour former une méthode complètement automatisée.----------ABSTRACT
Spinal cord lesions affects more than 85,000 people in Canada with about 4,250 new
cases every year. Lesions can be caused by traumatic injuries or by neurodegenerative diseases
such as multiple sclerosis. They have an important impact on a patient’s daily life, inducing loss
of sensibility or motor control in the human body. The extent of damages caused by a lesion
varies with the number of damaged spinal cord tracks, and depends on the size and the position of
the lesion within the spinal cord. Although therapeutic approaches for patient functional
rehabilitation exist, they all face an unknown variable: the extent of spinal cord lesions. A precise
and early diagnosis of neurodegenerative diseases would improve their treatment efficiency. For
a number of years, MRI has demonstrated its potential in the diagnosis and prognosis of spinal
cord lesions (Cadotte, 2011; Cohen-Adad et al., 2010). However, this research field still lacks of
fully automatized tools for the extraction and comparison of clinical metrics related to the spinal
cord structure (e.g. cross-sectional area, volumes). Spinal cord segmentation on anatomical MR
images can provide accurate area and volume measurements (Losseff et al., 1996) and could
quantify spinal cord atrophy caused by neurodegenerative diseases such as multiple sclerosis
(Chen et al., 2013) or amyotrophic lateral sclerosis (Cohen-Adad et al., 2011).
The objective of this Master’s project is to develop a fully automatic spinal cord
segmentation method, working on multiple MR contrasts and any field of view, able to extract
and compare accurate spinal cord measurements. The literature review pointed out the lack of
such a method but highlighted several interesting features in existing methods, that can be
combined to develop a new automatic segmentation algorithm.
The method developed in this project is based on the multi-resolution propagation of a
deformable model. First, the spinal cord position and orientation is detected in the image using an
elliptical Hough transform on multiple adjacent axial slices. A low-resolution tubular mesh is
then build around the detection point and direction and deformed on spinal cord edges by
minimizing an energy equation. An iterative process, composed by the duplication, translation,
orientation and deformation of the mesh, propagates the surface along the spinal cord. Finally, a
refinement and a global deformation of the surface provide accurate segmentation of the spinal
cord. Measurements can be directly extracted from the segmentation surface. The spinal canal
can also be segmented with our method by simply inversing the gradient in the image an
Registration and Deformable Model-Based Neck Muscles Segmentation and 3D Reconstruction
Whiplash is a very common ailment encountered in clinical practice that is usually a result of vehicle accidents but also domestic activities and sports injuries. It is normally caused when neck organs (specifically muscles) are impaired. Whiplash-associated disorders include acute headaches, neck pain, stiffness, arm dislocation, abnormal sensations, and auditory and optic problems, the persistence of which may be chronic or acute. Insurance companies compensate almost fifty percent of claims lodged due to whiplash injury through compulsory third party motor insurance. The morphological structures of neck muscles undergo hypertrophy or atrophy following damage caused to them by accidents. Before any medical treatment is applied , any such change needs to be known which requires 3D visualization of the neck muscles through a proper
segmentation of them because the neck contains many other sensitive organs such as nerves, blood vessels, the spinal cord and trachea.
The segmentation of neck muscles in medical images is a more challenging task than those of other muscles and organs due to their similar densities and compactness, low resolutions and contrast in medical images, anatomical variabilities among individuals, noise, inhomogeneity of medical images and false boundaries created by intra-muscular fat. Traditional segmentation algorithms, such as those used in thresholding and clustering-based methods, are not applicable in this project and also not suitable for medical images. Although there are some techniques available in clinical research for segmenting muscles such as thigh, tongue, leg, hip and pectoral ones, to the best of author's knowledge, there are no methods available for segmenting neck muscles due to the challenges described above.
In the first part of this dissertation, an atlas-based method for segmenting MR images, which uses linear and non-linear registration frameworks, is proposed, with output from the registration process further refined by a novel parametric deformable model. The proposed method is tested on real clinical data of both healthy and non-healthy individuals. During the last few decades, registration- and deformable model-based segmentation methods have been very popular for medical image segmentation due to their incorporation of prior information. While registration-based segmentation techniques can preserve topologies of objects in an image, accuracy of atlas-based segmentation depends mainly on an effective registration process. In this study, the registration framework is designed in a novel way in which images are initially registered by a distinct 3D affine transformation and then aligned by a local elastic geometrical transformation based on discrete cosines and registered firstly slice-wise and then block-wise. The numbers of motion parameters are changed in three different steps per frame. This proposed registration framework can handle anatomical variabilities and pathologies by confining its parameters in local regions. Also, as warping of the framework relies on number of motion parameters, similarities between two images, gradients of floating image and coordinate mesh grid values, it can easily manage pathological and anatomical variabilities using a hierarchical parameter scheme.
The labels transferred from atlas can be improved by deformable model-based segmentation. Although geometric deformable models have been widely used in many biomedical applications over recent years, they cannot work in the context of neck muscles segmentation due to noise, background clutter and similar objects touching each other. Another important drawback of geometric deformable models is that they are many
times slower than parametric deformable ones. Therefore, the segmentation results produced by the registration process are ameliorated using a multiple-object parametric deformable model which is discussed in detail in the second part of this thesis. This algorithm uses a novel Gaussian potential energy distribution which can adapt to topological changes and does not require re-parameterization. Also, it incorporates a new overlap removal technique which ensures that there are no overlaps or gaps inside an object. Furthermore, stopping criteria of vertices are designed so that difference between boundaries of the deformable model and actual object is minimal.
The multiple-object parametric deformable model is also applied in a template contours propagation-based segmentation technique, as discussed in the third part of this dissertation. This method is semi-automatic, whereby a manual delineation of middle image in a MRI data set is required. It can handle anatomical variabilities more easily than atlas-based segmentation because it can segment any individual's data irrespective of his/her age, weight and height with low computational complexity and it does not depend on other data as it operates semi-automatically. In it, initial model contour resides close to the object's boundary, with degree of closeness dependent on slice thicknesses and gaps between the slices
- …