Spinal cord gray matter segmentation using deep dilated convolutions

Gray matter (GM) tissue changes have been associated with a wide range of neurological disorders and was also recently found relevant as a biomarker for disability in amyotrophic lateral sclerosis. The ability to automatically segment the GM is, therefore, an important task for modern studies of the spinal cord. In this work, we devise a modern, simple and end-to-end fully automated human spinal cord gray matter segmentation method using Deep Learning, that works both on in vivo and ex vivo MRI acquisitions. We evaluate our method against six independently developed methods on a GM segmentation challenge and report state-of-the-art results in 8 out of 10 different evaluation metrics as well as major network parameter reduction when compared to the traditional medical imaging architectures such as U-Nets.Comment: 13 pages, 8 figure

Deep Learning Methods for MRI Spinal Cord Gray Matter Segmentation

La moelle épinière humaine, qui fait partie du système nerveux central, est la principale voie responsable de la connexion du cerveau et du système nerveux périphérique. On sait que la matière grise présente dans la moelle épinière est associée à de nombreux troubles neurologiques tels que la sclérose en plaques et la sclérose latérale amyotrophique. L’IRM est souvent utilisée pour étudier les maladies neurologiques et surveiller leur évolution. À cette fin, la morphométrie extraite de la substance grise de la moelle épinière, telle que le volume de la substance grise, peut être utilisée pour identifier et comprendre les modifications tissulaires associées aux troubles neurologiques comme ceux mentionnés précédemment. Pour extraire des mesures morphométriques de la matière grise de la moelle épinière, une annotation (label) par voxel est requise pour chaque tranche du volume IRM. L’annotation manuelle ne peut donc pas être facilement implémenté dans la pratique en raison non seulement des efforts fastidieux nécessaires pour annoter manuellement chaque tranche d’un volume d’IRM, mais aussi du désaccord et des biais introduits par différents annotateurs humains. Toutefois, il existe de nombreuses méthodes semi-automatiques ou entièrement automatiques pour annoter chaque voxel, mais la plupart d’entre elles sont composées d’approches en plusieurs étapes pouvant propager des erreurs dans le pipeline, s’appuient sur des dictionnaires de données ou ne généralisent pas bien lorsqu’il y a des changements anatomiques. Il est bien connu que les techniques modernes basées sur l’apprentissage par la représentation et l’apprentissage en profondeur ont obtenu d’excellents résultats dans un large éventail de tâches allant de la vision par ordinateur à l’imagerie médicale. Le programme de recherche de ce projet consiste à améliorer les résultats les plus récents des méthodes existantes au moyen de techniques modernes d’apprentissage en profondeur grâce à la conception, la mise en oeuvre et l’évaluation de ces méthodes pour la segmentation de la substance grise de la moelle épinière. Dans ce projet, trois techniques principales ont été développées: en open source, comme décrit ci-dessous. La première technique consistait à concevoir une architecture d’apprentissage en profondeur pour segmenter la matière grise de la moelle épinière et a permis d’obtenir de meilleures résultats comparé à six autres méthodes développées précédemment pour la segmentation de la matière grise. Cette technique a également permis de segmenter un volume ex vivo avec plus de 4000 tranches en fournissant au préalable et moins de 30 échantillons annotés du même volume. La deuxième technique a été développée pour tirer profitnon seulement des données anotées, mais aussides données qui ne le sont pas (données non anotées) au moyen d’une méthode d’apprentissage semi-supervisée étendue aux tâches de segmentation. Cette méthode a apporté des améliorations significatives dans un scénario réaliste sous un régime de données réduit en ajoutant des données non annotées au cours du processus de formation du modèle. La troisième technique développée est une méthode d’adaptation de domaine non supervisée pour la segmentation. Dans ce travail, nous avons abordé le problème du décalage de distribution présent sur les données IRM, qui est principalement causé par différents paramètres d’acquisition. Dans ce travail, nous avons montré qu’en adaptant le modèle à un domaine cible présenté au modèle sous forme de données non annotées, il est possible d’améliorer de manière significative la segmentation de la matière grise pour le domaine cible invisible. Conformément aux principes de la science ouverte pour tous (open science), nous avons ouvert toutes les méthodes sur des référentiels publics et en avons implémenté certaines sur la Spinal Cord Toolbox (SCT) 1, une bibliothèque complète et ouverte d’outils d’analyse pour l’IRM de la moelle épinière. Nous avons également utilisé uniquement des ensembles de données accessibles au public pour toutes les évaluations et la formation de modèles, ainsi que pour la publication de tous les articles sur les revues en libre accès, avec une disponibilité gratuite sur les serveurs d’archives pré-imprimées. Dans ce travail, nous avons pu constater que les modèles d’apprentissage en profondeur peuvent en effet fournir des progrès considérables par rapport aux méthodes précédemment développées. Les méthodes d’apprentissage en profondeur sont très flexibles et robustes. Elles permettent d’apprendre de bout en bout l’ensemble des pipelines de segmentation tout en permettant de tirer profit de données non annotées pour améliorer les performances du même domaine dans un scénario d’apprentissage semi-supervisé ou en tirant parti de données non étiquetées pour améliorer les performances des modèles dans des domaines cibles non vus. Il est également clair que l’apprentissage en profondeur n’est pas une panacée pour l’imagerie médicale. De nombreux problèmes demeurent en suspens, tels que le décalage de généralisation toujours présent lors de l’utilisation de ces modèles sur des domaines non vus. Un futur axe de recherche inclut le développement en cours de techniques pour éclairer les modèles d’apprentissage automatique avec paramétrisation d’acquisition IRM afin par exemple d’améliorer la généralisation du modèle à différents contrastes, ainsi que d’améliorer la variabilité inhérente de ces images due aux différentes machines et aux changements anatomiques. L’estimation de l’incertitude liée à la distillation des connaissances au cours des phases de formation des approches décrites dans ce travail constitue un autre domaine de recherche 1disponible à https://github.com/neuropoly/spinalcordtoolbox. potentiel. Cependant, les mesures d’incertitude font partie d’un domaine de recherche en cours d’évolution dans le Deep Learning. En effet la plupart des méthodes fournissant une approximation médiocre ou une sous-estimation de l’incertitude épistémique présente dans ces modèles. L’imagerie médicale reste un domaine très difficile pour les modèles d’apprentissage automatique en raison des fortes hypothèses d’identité distributionnelle formulées par les algorithmes d’apprentissage statistique ainsi que de la difficulté à incorporer de nouveaux biais inductifs dans ces modèles pour tirer parti de la symétrie, de l’invariance de rotation, entre autres. Néanmoins, avec la quantité croissante de données disponibles, elles offrent de grandes promesses et gagnent lentement en robustesse pour pouvoir entrer dans la pratique clinique.----------ABSTRACT The human spinal cord, part of the Central Nervous System (CNS), is the main pathway responsible for the connection of brain and peripheral nervous system. The gray matter present in the spinal cord is known to be associated with many neurological disorders such as multiple sclerosis and amyotrophic lateral sclerosis. Magnetic Resonance Imaging (MRI) is often used to study diseases and monitor the disease burden/progression during the course of the disease. To that goal, morphometrics extracted from the spinal cord gray matter such as gray matter volume can be used to identify and understand tissue changes that are associated with the aforementioned neurological disorders. To extract morphometrics from the spinal cord gray matter, a voxel-wise annotation is required for each slice of the MRI volume. Manual annotation becomes prohibitive in practice due to the time-consuming efforts required to manually annotate each slice of an MRI volume voxel-wise, not to mention the disagreement and bias introduced by different human annotators. Many semi-automatic or fully-automatic methods exist but most of them are composed by multi-stage approaches that can propagate errors in the pipeline, rely on data dictionaries, or doesn’t generalize well when there are anatomical changes. It is well-known that modern techniques based on representation learning and Deep Learning achieved excellent results in a wide range of tasks from computer vision and medical imaging as well. The research agenda of this project is to advance the state-of-the-art results of previous methods by means of modern Deep Learning techniques through the design, implementation, and evaluation of these methods for the spinal cord gray matter segmentation. In this project, three main techniques were developed an open-sourced, as described below. The first technique is the design of a Deep Learning architecture to segment the spinal cord gray matter that achieved state-of-the-art results when evaluated by a third-party system and compared to other 6 independently developed methods for gray matter segmentation. This technique also allowed to segment an ex vivo volume with more than 4000 slices by just providing less than 30 annotated samples from the same volume. The second technique was developed to take leverage not only of labeled data but also from unlabeled data by means of a semi-supervised learning method that was extended to segmentation tasks. This method achieved significant improvements in a realistic scenario under a small data regime by adding unlabeled data during the model training process. The third developed technique is an unsupervised domain adaptation method for segmentation. In this work, we addressed the problem of the distributional shift present on MRI data that is mostly caused by different acquisition parametrization. In this work, we showed that by adapting the model to a target domain, presented to the model as unlabeled data, it is possible to achieve significant improvements on the gray matter segmentation for the unseen target domain. Following the open science principles, we open-sourced all the methods on public repositories and implemented some of them on the Spinal Cord Toolbox (SCT) 2, a comprehensive and open-source library of analysis tools for MRI of the spinal cord. We also used only public available datasets for all evaluations and model training, and also published all articles on open-access journals with free availability on pre-print archive servers as well. In this work, we were able to see that Deep Learning models can indeed provide huge steps forward when compared to the previously developed methods. Deep Learning methods are very flexible and robust, allowing end-to-end learning of entire segmentation pipelines while being able to take leverage of unlabeled data to improve the performance for the same domain on a semi-supervised learning scenario, or by taking leverage of unlabeled data to improve the performance of models in unseen target domains. It is also clear that Deep Learning is not a panacea for medical imaging. Many problems remain open, such as the generalization gap that is still present when using these models on unseen domains. A future line of research includes the on-going development of techniques to inform machine learning models with MRI acquisition parametrization to improve the generalization of the model to different contrasts, to the inherent variability of these images due to different machine vendors and anatomical changes, to name a few. Another potential area of research is the uncertainty estimation for knowledge distillation during training phases of the approaches described in this work. However, uncertainty measures are still an open area of research in Deep Learning with most methods providing a poor approximation or under-estimation of the epistemic uncertainty present in these models. Medical imaging is still a very challenging field for machine learning models due to the strong assumptions of distributional identity made by statistical learning algorithms as well as the difficulty to incorporate new inductive biases into these models to take leverage of symmetry, rotation invariance, among others. Nevertheless, with the amount of data availability growing, they show great promises and are slowly gaining robustness enough to be able to enter in clinical practice

Deep semi-supervised segmentation with weight-averaged consistency targets

Recently proposed techniques for semi-supervised learning such as Temporal Ensembling and Mean Teacher have achieved state-of-the-art results in many important classification benchmarks. In this work, we expand the Mean Teacher approach to segmentation tasks and show that it can bring important improvements in a realistic small data regime using a publicly available multi-center dataset from the Magnetic Resonance Imaging (MRI) domain. We also devise a method to solve the problems that arise when using traditional data augmentation strategies for segmentation tasks on our new training scheme.Comment: 8 pages, 1 figure, accepted for DLMIA/MICCA

Automatic Segmentation of Intramedullary Multiple Sclerosis Lesions

Contexte: La moelle épinière est un composant essentiel du système nerveux central. Elle contient des neurones responsables d’importantes fonctionnalités et assure la transmission d’informations motrices et sensorielles entre le cerveau et le système nerveux périphérique. Un endommagement de la moelle épinière, causé par un choc ou une maladie neurodégénérative, peut mener à un sérieux handicap, pouvant entraîner des incapacités fonctionnelles, de la paralysie et/ou de la douleur. Chez les patients atteints de sclérose en plaques (SEP), la moelle épinière est fréquemment affectée par de l’atrophie et/ou des lésions. L’imagerie par résonance magnétique (IRM) conventionnelle est largement utilisée par des chercheurs et des cliniciens pour évaluer et caractériser, de façon non-invasive, des altérations micro-structurelles. Une évaluation quantitative des atteintes structurelles portées à la moelle épinière (e.g. sévérité de l’atrophie, extension des lésions) est essentielle pour le diagnostic, le pronostic et la supervision sur le long terme de maladies, telles que la SEP. De plus, le développement de biomarqueurs impartiaux est indispensable pour évaluer l’effet de nouveaux traitements thérapeutiques. La segmentation de la moelle épinière et des lésions intramédullaires de SEP sont, par conséquent, pertinentes d’un point de vue clinique, aussi bien qu’une étape nécessaire vers l’interprétation d’images RM multiparamétriques. Cependant, la segmentation manuelle est une tâche extrêmement chronophage, fastidieuse et sujette à des variations inter- et intra-expert. Il y a par conséquent un besoin d’automatiser les méthodes de segmentations, ce qui pourrait faciliter l’efficacité procédures d’analyses. La segmentation automatique de lésions est compliqué pour plusieurs raisons: (i) la variabilité des lésions en termes de forme, taille et position, (ii) les contours des lésions sont la plupart du temps difficilement discernables, (iii) l’intensité des lésions sur des images MR sont similaires à celles de structures visiblement saines. En plus de cela, réaliser une segmentation rigoureuse sur l’ensemble d’une base de données multi-centrique d’IRM est rendue difficile par l’importante variabilité des protocoles d’acquisition (e.g. résolution, orientation, champ de vue de l’image). Malgré de considérables récents développements dans le traitement d’images MR de moelle épinière, il n’y a toujours pas de méthode disponible pouvant fournir une segmentation rigoureuse et fiable de la moelle épinière pour un large spectre de pathologies et de protocoles d’acquisition. Concernant les lésions intramédullaires, une recherche approfondie dans la littérature n’a pas pu fournir une méthode disponible de segmentation automatique. Objectif: Développer un système complètement automatique pour segmenter la moelle épinière et les lésions intramédullaires sur des IRM conventionnelles humaines. Méthode: L’approche présentée est basée de deux réseaux de neurones à convolution mis en cascade. La méthode a été pensée pour faire face aux principaux obstacles que présentent les données IRM de moelle épinière. Le procédé de segmentation a été entrainé et validé sur une base de données privée composée de 1943 images, acquises dans 30 différents centres avec des protocoles hétérogènes. Les sujets scannés comportent 459 sujets sains, 471 patients SEP et 112 avec d’autres pathologies affectant la moelle épinière. Le module de segmentation de la moelle épinière a été comparé à une méthode existante reconnue par la communauté, PropSeg. Résultats: L’approche basée sur les réseaux de neurones à convolution a fourni de meilleurs résultats que PropSeg, atteignant un Dice médian (intervalle inter-quartiles) de 94.6 (4.6) vs. 87.9 (18.3) %. Pour les lésions, notre segmentation automatique a permis d'obtenir un Dice de 60.0 (21.4) % en le comparant à la segmentation manuelle, un ratio de vrai positifs de 83 (34) %, et une précision de 77 (44) %. Conclusion: Une méthode complètement automatique et innovante pour segmenter la moelle épinière et les lésions SEP intramédullaires sur des données IRM a été conçue durant ce projet de maîtrise. La méthode a été abondamment validée sur une base de données clinique. La robustesse de la méthode de segmentation de moelle épinière a été démontrée, même sur des cas pathologiques. Concernant la segmentation des lésions, les résultats sont encourageants, malgré un taux de faux positifs relativement élevé. Je crois en l’impact que peut potentiellement avoir ces outils pour la communauté de chercheurs. Dans cette optique, les méthodes ont été intégrées et documentées dans un logiciel en accès-ouvert, la “Spinal Cord Toolbox”. Certains des outils développés pendant ce projet de Maîtrise sont déjà utilisés par des analyses d’études cliniques, portant sur des patients SEP et sclérose latérale amyotrophique.----------ABSTRACT Context: The spinal cord is a key component of the central nervous system, which contains neurons responsible for complex functions, and ensures the conduction of motor and sensory information between the brain and the peripheral nervous system. Damage to the spinal cord, through trauma or neurodegenerative diseases, can lead to severe impairment, including functional disabilities, paralysis and/or pain. In multiple sclerosis (MS) patients, the spinal cord is frequently affected by atrophy and/or lesions. Conventional magnetic resonance imaging (MRI) is widely used by researchers and clinicians to non-invasively assess and characterize spinal cord microstructural changes. Quantitative assessment of the structural damage to the spinal cord (e.g. atrophy severity, lesion extent) is essential for the diagnosis, prognosis and longitudinal monitoring of diseases, such as MS. Furthermore, the development of objective biomarkers is essential to evaluate the effect of new therapeutic treatments. Spinal cord and intramedullary MS lesions segmentation is consequently clinically relevant, as well as a necessary step towards the interpretation of multi-parametric MR images. However, manual segmentation is highly time-consuming, tedious and prone to intra- and inter-rater variability. There is therefore a need for automated segmentation methods to facilitate the efficiency of analysis pipelines. Automatic lesion segmentation is challenging for various reasons: (i) lesion variability in terms of shape, size and location, (ii) lesion boundaries are most of the time not well defined, (iii) lesion intensities on MR data are confounding with those of normal-appearing structures. Moreover, achieving robust segmentation across multi-center MRI data is challenging because of the broad variability of data features (e.g. resolution, orientation, field of view). Despite recent substantial developments in spinal cord MRI processing, there is still no method available that can yield robust and reliable spinal cord segmentation across the very diverse spinal pathologies and data features. Regarding the intramedullary lesions, a thorough search of the relevant literature did not yield available method of automatic segmentation. Goal: To develop a fully-automatic framework for segmenting the spinal cord and intramedullary MS lesions from conventional human MRI data. Method: The presented approach is based on a cascade of two Convolutional Neural Networks (CNN). The method has been designed to face the main challenges of ‘real world’ spinal cord MRI data. It was trained and validated on a private dataset made up of 1943 MR volumes, acquired in different 30 sites with heterogeneous acquisition protocols. Scanned subjects involve 459 healthy controls, 471 MS patients and 112 with other spinal pathologies. The proposed spinal cord segmentation method was compared to a state-of-the-art spinal cord segmentation method, PropSeg. Results: The CNN-based approach achieved better results than PropSeg, yielding a median (interquartile range) Dice of 94.6 (4.6) vs. 87.9 (18.3) % when compared to the manual segmentation. For the lesion segmentation task, our method provided a median Dice-overlap with the manual segmentation of 60.0 (21.4) %, a lesion-based true positive rate of 83 (34) % and a lesion-based precision de 77 (44) %. Conclusion: An original fully-automatic method to segment the spinal cord and intramedullary MS lesions on MRI data has been devised during this Master’s project. The method was validated extensively against a clinical dataset. The robustness of the spinal cord segmentation has been demonstrated, even on challenging pathological cases. Regarding the lesion segmentation, the results are encouraging despite the fairly high false positive rate. I believe in the potential value of these developed tools for the research community. In this vein, the methods are integrated and documented into an open-source software, the Spinal Cord Toolbox. Some of the tools developed during this Master’s project are already integrated into automated analysis pipelines of clinical studies, including MS and Amyotrophic Lateral Sclerosis patients

White Matter, Gray Matter and Cerebrospinal Fluid Segmentation from Brain Magnetic Resonance Imaging Using Adaptive U-Net and Local Convolutional Neural Network

According to the World Alzheimer Report 2015, 46 million people are living with dementia in the world. The diagnosis of diseases helps doctors treating patients better. One of the signs of diseases is related to white matter, grey matter and cerebrospinal fluid. Therefore, the automatic segmentation of three tissues in brain imaging especially from magnetic resonance imaging (MRI) plays an important role in medical analysis. In this research, we proposed an effective approach to segment automatically these tissues in three-dimensional (3D) brain MRI. First, a deep learning model is used to segment the sure and unsure regions. In the unsure region, another deep learning model is used to classify each pixel. In the experiments, an adaptive U-net model is used to segment the sure and unsure regions, and the Local Convolutional Neural Network (CNN) model with multiple inputs is used to classify each pixel only in the unsure region. Our method was evaluated with a real image database, Internet Brain Segmentation Repository database, with 18 persons (IBSR 18) (https://www.nitrc.org/projects/ibsr) and compared with state of art methods being the results very promising

SoftSeg: Advantages of soft versus binary training for image segmentation

Most image segmentation algorithms are trained on binary masks formulated as a classification task per pixel. However, in applications such as medical imaging, this "black-and-white" approach is too constraining because the contrast between two tissues is often ill-defined, i.e., the voxels located on objects' edges contain a mixture of tissues. Consequently, assigning a single "hard" label can result in a detrimental approximation. Instead, a soft prediction containing non-binary values would overcome that limitation. We introduce SoftSeg, a deep learning training approach that takes advantage of soft ground truth labels, and is not bound to binary predictions. SoftSeg aims at solving a regression instead of a classification problem. This is achieved by using (i) no binarization after preprocessing and data augmentation, (ii) a normalized ReLU final activation layer (instead of sigmoid), and (iii) a regression loss function (instead of the traditional Dice loss). We assess the impact of these three features on three open-source MRI segmentation datasets from the spinal cord gray matter, the multiple sclerosis brain lesion, and the multimodal brain tumor segmentation challenges. Across multiple cross-validation iterations, SoftSeg outperformed the conventional approach, leading to an increase in Dice score of 2.0% on the gray matter dataset (p=0.001), 3.3% for the MS lesions, and 6.5% for the brain tumors. SoftSeg produces consistent soft predictions at tissues' interfaces and shows an increased sensitivity for small objects. The richness of soft labels could represent the inter-expert variability, the partial volume effect, and complement the model uncertainty estimation. The developed training pipeline can easily be incorporated into most of the existing deep learning architectures. It is already implemented in the freely-available deep learning toolbox ivadomed (https://ivadomed.org)

Deep Semantic Segmentation of Natural and Medical Images: A Review

The semantic image segmentation task consists of classifying each pixel of an image into an instance, where each instance corresponds to a class. This task is a part of the concept of scene understanding or better explaining the global context of an image. In the medical image analysis domain, image segmentation can be used for image-guided interventions, radiotherapy, or improved radiological diagnostics. In this review, we categorize the leading deep learning-based medical and non-medical image segmentation solutions into six main groups of deep architectural, data synthesis-based, loss function-based, sequenced models, weakly supervised, and multi-task methods and provide a comprehensive review of the contributions in each of these groups. Further, for each group, we analyze each variant of these groups and discuss the limitations of the current approaches and present potential future research directions for semantic image segmentation.Comment: 45 pages, 16 figures. Accepted for publication in Springer Artificial Intelligence Revie

U-Net and its variants for medical image segmentation: theory and applications

U-net is an image segmentation technique developed primarily for medical image analysis that can precisely segment images using a scarce amount of training data. These traits provide U-net with a very high utility within the medical imaging community and have resulted in extensive adoption of U-net as the primary tool for segmentation tasks in medical imaging. The success of U-net is evident in its widespread use in all major image modalities from CT scans and MRI to X-rays and microscopy. Furthermore, while U-net is largely a segmentation tool, there have been instances of the use of U-net in other applications. As the potential of U-net is still increasing, in this review we look at the various developments that have been made in the U-net architecture and provide observations on recent trends. We examine the various innovations that have been made in deep learning and discuss how these tools facilitate U-net. Furthermore, we look at image modalities and application areas where U-net has been applied.Comment: 42 pages, in IEEE Acces