Dense Error Map Estimation for MRI-Ultrasound Registration in Brain Tumor Surgery Using Swin UNETR

Early surgical treatment of brain tumors is crucial in reducing patient mortality rates. However, brain tissue deformation (called brain shift) occurs during the surgery, rendering pre-operative images invalid. As a cost-effective and portable tool, intra-operative ultrasound (iUS) can track brain shift, and accurate MRI-iUS registration techniques can update pre-surgical plans and facilitate the interpretation of iUS. This can boost surgical safety and outcomes by maximizing tumor removal while avoiding eloquent regions. However, manual assessment of MRI-iUS registration results in real-time is difficult and prone to errors due to the 3D nature of the data. Automatic algorithms that can quantify the quality of inter-modal medical image registration outcomes can be highly beneficial. Therefore, we propose a novel deep-learning (DL) based framework with the Swin UNETR to automatically assess 3D-patch-wise dense error maps for MRI-iUS registration in iUS-guided brain tumor resection and show its performance with real clinical data for the first time.Comment: Accepted in IEEE IUS 202

A Survey on Deep Learning in Medical Image Registration: New Technologies, Uncertainty, Evaluation Metrics, and Beyond

Over the past decade, deep learning technologies have greatly advanced the field of medical image registration. The initial developments, such as ResNet-based and U-Net-based networks, laid the groundwork for deep learning-driven image registration. Subsequent progress has been made in various aspects of deep learning-based registration, including similarity measures, deformation regularizations, and uncertainty estimation. These advancements have not only enriched the field of deformable image registration but have also facilitated its application in a wide range of tasks, including atlas construction, multi-atlas segmentation, motion estimation, and 2D-3D registration. In this paper, we present a comprehensive overview of the most recent advancements in deep learning-based image registration. We begin with a concise introduction to the core concepts of deep learning-based image registration. Then, we delve into innovative network architectures, loss functions specific to registration, and methods for estimating registration uncertainty. Additionally, this paper explores appropriate evaluation metrics for assessing the performance of deep learning models in registration tasks. Finally, we highlight the practical applications of these novel techniques in medical imaging and discuss the future prospects of deep learning-based image registration

Validating supervised learning approaches to the prediction of disease status in neuroimaging

Alzheimer’s disease (AD) is a serious global health problem with growing human and monetary costs. Neuroimaging data offers a rich source of information about pathological changes in the brain related to AD, but its high dimensionality makes it difficult to fully exploit using conventional methods. Automated neuroimage assessment (ANA) uses supervised learning to model the relationships between imaging signatures and measures of disease. ANA methods are assessed on the basis of their predictive performance, which is measured using cross validation (CV). Despite its ubiquity, CV is not always well understood, and there is a lack of guidance as to best practice. This thesis is concerned with the practice of validation in ANA. It introduces several key challenges and considers potential solutions, including several novel contributions. Part I of this thesis reviews the field and introduces key theoretical concepts related to CV. Part II is concerned with bias due to selective reporting of performance results. It describes an empirical investigation to assess the likely level of this bias in the ANA literature and relative importance of several contributory factors. Mitigation strategies are then discussed. Part III is concerned with the optimal selection of CV strategy with respect to bias, variance and computational cost. Part IV is concerned with the statistical analysis of CV performance results. It discusses the failure of conventional statistical procedures, reviews previous alternative approaches, and demonstrates a new heuristic solution that fares well in preliminary investigations. Though the focus of this thesis is AD ANA, the issues it addresses are of great importance to all applied machine learning fields where samples are limited and predictive performance is critical

Development of an MRI Template and Analysis Pipeline for the Spinal Cord and Application in Patients with Spinal Cord Injury

La moelle épinière est un organe fondamental du corps humain. Étant le lien entre le cerveau et le système nerveux périphérique, endommager la moelle épinière, que ce soit suite à un trauma ou une maladie neurodégénérative, a des conséquences graves sur la qualité de vie des patients. En effet, les maladies et traumatismes touchant la moelle épinière peuvent affecter l’intégrité des neurones et provoquer des troubles neurologiques et/ou des handicaps fonctionnels. Bien que de nombreuses voies thérapeutiques pour traiter les lésions de la moelle épinière existent, la connaissance de l’étendue des dégâts causés par ces lésions est primordiale pour améliorer l’efficacité de leur traitement et les décisions cliniques associées. L’imagerie par résonance magnétique (IRM) a démontré un grand potentiel pour le diagnostic et pronostic des maladies neurodégénératives et traumas de la moelle épinière. Plus particulièrement, l’analyse par template de données IRM du cerveau, couplée à des outils de traitement d’images automatisés, a permis une meilleure compréhension des mécanismes sous-jacents de maladies comme l’Alzheimer et la Sclérose en Plaques. Extraire automatiquement des informations pertinentes d’images IRM au sein de régions spécifiques de la moelle épinière présente toutefois de plus grands défis que dans le cerveau. Il n’existe en effet qu’un nombre limité de template de la moelle épinière dans la littérature, et aucun ne couvre toute la moelle épinière ou n’est lié à un template existant du cerveau. Ce manque de template et d’outils automatisés rend difficile la tenue de larges études d’analyse de la moelle épinière sur des populations variées. L’objectif de ce projet est donc de proposer un nouveau template IRM couvrant toute la moelle épinière, recalé avec un template existant du cerveau, et intégrant des atlas de la structure interne de la moelle épinière (e.g., matière blanche et grise, tracts de la matière blanche). Ce template doit venir avec une série d’outils automatisés permettant l’extraction d’information IRM au sein de régions spécifiques de la moelle épinière. La question générale de recherche de ce projet est donc « Comment créer un template générique de la moelle épinière, qui permettrait l’analyse non biaisée et reproductible de données IRM de la moelle épinière ? ». Plusieurs contributions originales ont été proposées pour répondre à cette question et vont être décrites dans les prochains paragraphes. La première contribution de ce projet est le développement du logiciel Spinal Cord Toolbox (SCT). SCT est un logiciel open-source de traitement d’images IRM multi-parametrique de la moelle épinière (De Leener, Lévy, et al., 2016). Ce logiciel intègre notamment des outils pour la détection et la segmentation automatique de la moelle épinière et de sa structure interne (i.e., matière blanche et matière grise), l’identification et la labellisation des niveaux vertébraux, le recalage d’images IRM multimodales sur un template générique de la moelle épinière (précédemment le template MNI-Poly-AMU, maintenant le template PAM50, proposé içi). En se basant sur un atlas de la moelle, SCT intègre également des outils pour extraire des données IRM de régions spécifiques de la moelle épinière, comme la matière blanche et grise et les tracts de la matière blanche, ainsi que sur des niveaux vertébraux spécifiques. D’autres outils additionnels ont aussi été proposés, comme des outils de correction de mouvement et de traitement basiques d’images appliqués le long de la moelle épinière. Chaque outil intégré à SCT a été validé sur un jeu de données multimodales. La deuxième contribution de ce projet est le développement d’une nouvelle méthode de recalage d’images IRM de la moelle épinière (De Leener, Mangeat, et al., 2017). Cette méthode a été développée pour un usage particulier : le redressement d’images IRM de la moelle épinière, mais peut également être utilisé pour recaler plusieurs images de la moelle épinière entre elles, tout en tenant compte de la distribution vertébrale de chaque sujet. La méthode proposée se base sur une approximation globale de la courbure de la moelle épinière dans l’espace et sur la résolution analytique des champs de déformation entre les deux images. La validation de cette nouvelle méthode a été réalisée sur une population de sujets sains et de patients touchés par une compression de la moelle épinière. La contribution majeure de ce projet est le développement d’un système de création de template IRM de la moelle épinière et la proposition du template PAM50 comme template de référence pour les études d’analyse par template de données IRM de la moelle épinière. Le template PAM50 a été créé à partir d’images IRM tiré de 50 sujets sains, et a été généré en utilisant le redressement d’images présenté ci-dessus et une méthode de recalage d’images itératif non linéaire, après plusieurs étapes de prétraitement d’images. Ces étapes de prétraitement incluent la segmentation automatique de la moelle épinière, l’extraction manuelle du bord antérieur du tronc cérébral, la détection et l’identification des disques intervertébraux, et la normalisation d’intensité le long de la moelle. Suite au prétraitement, la ligne centrale moyenne de la moelle et la distribution vertébrale ont été calculées sur la population entière de sujets et une image initiale de template a été générée. Après avoir recalé toutes les images sur ce template initial, le template PAM50 a été créé en utilisant un processus itératif de recalage d’image, utilisé pour générer des templates de cerveau. Le PAM50 couvre le tronc cérébral et la moelle épinière en entier, est disponible pour les contrastes IRM pondérés en T1, T2 et T2*, et intègre des cartes probabilistes et atlas de la structure interne de la moelle épinière. De plus, le PAM50 a été recalé sur le template ICBM152 du cerveau, permettant ainsi la tenue d’analyse par template simultanément dans le cerveau et dans la moelle épinière. Finalement, plusieurs résultats complémentaires ont été présentés dans cette dissertation. Premièrement, une étude de validation de la répétabilité et reproductibilité de mesures de l’aire de section de la moelle épinière a été menée sur une population de patients touchés par la sclérose en plaques. Les résultats démontrent une haute fiabilité des mesures ainsi que la possibilité de détecter des changements très subtiles de l’aire de section transverse de la moelle, importants pour mesurer l’atrophie de la moelle épinière précoce due à des maladies neurodégénératives comme la sclérose en plaques. Deuxièmement, un nouveau biomarqueur IRM des lésions de la moelle épinière a été proposé, en collaboration avec Allan Martin, de l’Université de Toronto. Ce biomarqueur, calculé à partir du ratio d’intensité entre la matière blanche et grise sur des images IRM pondérées en T2*, utilise directement les développements proposés dans ce projet, notamment en utilisant le recalage du template de la moelle épinière et les méthodes de segmentation de la moelle. La faisabilité d’extraire des mesures de données IRM multiparamétrique dans des régions spécifiques de la moelle épinière a également été démontrée, permettant d’améliorer le diagnostic et pronostic de lésions et compression de la moelle épinière. Finalement, une nouvelle méthode d’extraction de la morphométrie de la moelle épinière a été proposée et utilisée sur une population de patients touchés par une compression asymptomatique de la moelle épinière, démontrant de grandes capacités de diagnostic (> 99%). Le développement du template PAM50 comble le manque de template de la moelle épinière dans la littérature mais présente cependant plusieurs limitations. En effet, le template proposé se base sur une population de 50 sujets sains et jeunes (âge moyen = 27 +- 6.5) et est donc biaisée vers cette population particulière. Adapter les analyses par template pour un autre type de population (âge, race ou maladie différente) peut être réalisé directement sur les méthodes d’analyse mais aussi sur le template en lui-même. Tous le code pour générer le template a en effet été mis en ligne (https://github.com/neuropoly/template) pour permettre à tout groupe de recherche de développer son propre template. Une autre limitation de ce projet est le choix d’un système de coordonnées basé sur la position des vertèbres. En effet, les vertèbres ne représentent pas complètement le caractère fonctionnel de la moelle épinière, à cause de la différence entre les niveaux vertébraux et spinaux. Le développement d’un système de coordonnées spinal, bien que difficile à caractériser dans des images IRM, serait plus approprié pour l’analyse fonctionnelle de la moelle épinière. Finalement, il existe encore de nombreux défis pour automatiser l’ensemble des outils développés dans ce projet et les rendre robuste pour la majorité des contrastes et champs de vue utilisés en IRM conventionnel et clinique. Ce projet a présenté plusieurs développements importants pour l’analyse de données IRM de la moelle épinière. De nombreuses améliorations du travail présenté sont cependant requises pour amener ces outils dans un contexte clinique et pour permettre d’améliorer notre compréhension des maladies affectant la moelle épinière. Les applications cliniques requièrent notamment l’amélioration de la robustesse et de l’automatisation des méthodes d’analyse d’images proposées. La caractérisation de la structure interne de la moelle épinière, incluant la matière blanche et la matière grise, présente en effet de grands défis, compte tenu de la qualité et la résolution des images IRM standard acquises en clinique. Les outils développés et validés au cours de ce projet ont un grand potentiel pour la compréhension et la caractérisation des maladies affectant la moelle épinière et aura un impact significatif sur la communauté de la neuroimagerie.----------ABSTRACT The spinal cord plays a fundamental role in the human body, as part of the central nervous system and being the vector between the brain and the peripheral nervous system. Damaging the spinal cord, through traumatic injuries or neurodegenerative diseases, can significantly affect the quality of life of patients. Indeed, spinal cord injuries and diseases can affect the integrity of neurons, and induce neurological impairments and/or functional disabilities. While various treatment procedures exist, assessing the extent of damages and understanding the underlying mechanisms of diseases would improve treatment efficiency and clinical decisions. Over the last decades, magnetic resonance imaging (MRI) has demonstrated a high potential for the diagnosis and prognosis of spinal cord injury and neurodegenerative diseases. Particularly, template-based analysis of brain MRI data has been very helpful for the understanding of neurological diseases, using automated analysis of large groups of patients. However, extracting MRI information within specific regions of the spinal cord with minimum bias and using automated tools is still a challenge. Indeed, only a limited number of MRI template of the spinal cord exists, and none covers the full spinal cord, thereby preventing large multi-centric template-based analysis of the spinal cord. Moreover, no template integrates both the spinal cord and the brain region, thereby preventing simultaneous cerebrospinal studies. The objective of this project was to propose a new MRI template of the full spinal cord, which allows simultaneous brain and spinal cord studies, that integrates atlases of the spinal cord internal structures (e.g., white and gray matter, white matter pathways) and that comes with tools for extracting information within these subregions. More particularly, the general research question of the project was “How to create generic MRI templates of the spinal cord that would enable unbiased and reproducible template-based analysis of spinal cord MRI data?”. Several original contributions have been made to answer this question and to enable template-based analysis of spinal cord MRI data. The first contribution was the development of the Spinal Cord Toolbox (SCT), a comprehensive and open-source software for processing multi-parametric MRI data of the spinal cord (De Leener, Lévy, et al., 2016). SCT includes tools for the automatic segmentation of the spinal cord and its internal structure (white and gray matter), vertebral labeling, registration of multimodal MRI data (structural and non-structural) on a spinal cord MRI template (initially the MNI-Poly-AMU template, later the PAM50 template), co-registration of spinal cord MRI images, as well as the robust extraction of MRI metric within specific regions of the spinal cord (i.e., white and gray matter, white matter tracts, gray matter subregions) and specific vertebral levels using a spinal cord atlas (Lévy et al., 2015). Additional tools include robust motion correction and image processing along the spinal cord. Each tool included in SCT has been validated on a multimodal dataset. The second contribution of this project was the development of a novel registration method dedicated to spinal cord images, with an interest in the straightening of the spinal cord, while preserving its topology (De Leener, Mangeat et al., 2017). This method is based on the global approximation of the spinal cord and the analytical computation of deformation fields perpendicular to the centerline. Validation included calculation of distance measurements after straightening on a population of healthy subjects and patients with spinal cord compression. The major contribution of this project was the development of a framework for generating MRI template of the spinal cord and the PAM50 template, an unbiased and symmetrical MRI template of the brainstem and full spinal cord. Based on 50 healthy subjects, the PAM50 template was generated using an iterative nonlinear registration process, after applying normalization and straightening of all images. Pre-processing included segmentation of the spinal cord, manual delineation of the brainstem anterior edge, detection and identification of intervertebral disks, and normalization of intensity along the spinal cord. Next, the average centerline and vertebral distribution was computed to create an initial straight template space. Then, all images were registered to the initial template space and an iterative nonlinear registration framework was applied to create the final symmetrical template. The PAM50 covers the brainstem and the full spinal cord, from C1 to L2, is available for T1-, T2- and T2*-weighted contrasts, and includes probabilistic maps of the white and the gray matter and atlases of the white matter pathways and gray matter subregions. Additionally, the PAM50 template has been merged with the ICBM152 brain template, thereby allowing for simultaneous cerebrospinal template-based analysis. Finally, several complementary results, focused on clinical validation and applications, are presented. First, a reproducibility and repeatability study of cross-sectional area measurements using SCT (De Leener, Granberg, Fink, Stikov, & Cohen-Adad, 2017) was performed on a Multiple Sclerosis population (n=9). The results demonstrated the high reproducibility and repeatability of SCT and its ability to detect very subtle atrophy of the spinal cord. Second, a novel biomarker of spinal cord injury has been proposed. Based on the T2*-weighted intensity ratio between the white and the gray matter, this new biomarker is computed by registering MRI images with the PAM50 template and extracting metrics using probabilistic atlases. Additionally, the feasibility of extracting multiparametric MRI metrics from subregions of the spinal cord has been demonstrated and the diagnostic potential of this approach has been assessed on a degenerative cervical myelopathy (DCM) population. Finally, a method for extracting shape morphometrics along the spinal cord has been proposed, including spinal cord flattening, indentation and torsion. These metrics demonstrated high capabilities for the diagnostic of asymptomatic spinal cord compression (AUC=99.8% for flattening, 99.3% for indentation, and 98.4% for torsion). The development of the PAM50 template enables unbiased template-based analysis of the spinal cord. However, the PAM50 template has several limitations. Indeed, the proposed template has been generated with multimodal MRI images from 50 healthy and young individuals (age = 27+/- 6.5 y.o.). Therefore, the template is specific to this particular population and could not be directly usable for age- or disease-specific populations. One solution is to open-source the templategeneration code so that research groups can generate and use their own spinal cord MRI template. The code is available on https://github.com/neuropoly/template. While this project introduced a generic referential coordinate system, based on vertebral levels and the pontomedullary junction as origin, one limitation is the choice of this coordinate system. Another coordinate system, based spinal segments would be more suitable for functional analysis. However, the acquisition of MRI images with high enough resolution to delineate the spinal roots is still challenging. Finally, several challenges in the automation of spinal cord MRI processing remains, including the robust detection and identification of vertebral levels, particularly in case of small fields-of-view. This project introduced key developments for the analysis of spinal cord MRI data. Many more developments are still required to bring them into clinics and to improve our understanding of diseases affecting the spinal cord. Indeed, clinical applications require the improvement of the robustness and the automation of the proposed processing and analysis tools. Particularly, the detection and segmentation of spinal cord structures, including vertebral labeling and white/gray matter segmentation, is still challenging, given the lowest quality and resolution of standard clinical MRI acquisition. The tools developed and validated here have the potential to improve our understanding and the characterization of diseases affecting the spinal cord and will have a significant impact on the neuroimaging community

Development of Phase-Shifting Profilometry for 3D Brain Cavity Reconstruction and in vivo Detection of Intrinsic Fluorescence Through a Neurosurgical Microscope

Les microscopes neurochirurgicaux ont été conçus pour détecter la fluorescence produite par des tissus biologiques ; de plus, la spectroscopie optique peut être utilisée pour guider une opération chirurgicale telle que la résection d’une tumeur du cerveau. Néanmoins, les microscopes actuels n’ont pas de capacité hyperspectrale, ce qui les empêche d’évaluer quantitativement les propriétés optiques des tissus (absorption et diffusion). Ils ne peuvent utiliser ces marqueurs pour réaliser une correction d’atténuation qui permettrait d’obtenir des valeurs quantifiées de fluorescence. Une première étape importante permettant d’évaluer précisément les propriétés d’absorption et de diffusion des tissus biologiques est la détermination de la forme géométrique de l’échantillon. Cette thèse présente un système hyperspectral intégré dans un microscope neurochirurgical commercial. Un tel système est capable de réaliser deux fonctions : (a) extraire le profil 3D du cerveau ; et, (b) détecter la signature spectrale de l’auto-fluorescence des tissus du cerveau. Ce sont des développements initiaux essentiels en vue de la création de nouveaux équipements qui permettront de quantifier la fluorescence intrinsèque des tissus durant une opération chirurgicale. Ceci dans le but de détecter des anomalies sans ambiguïté. Un système d’imagerie a été développé et consiste en un Projecteur Digitale de Lumière associé avec un microscope neuro chirurgical permettant à la lumière structurée d’être projetée sur une cavité chirurgicale. La détection est réalisée en utilisant un système hyperspectral de haute sensibilité qui est également couplé avec le microscope à travers un port optique libre. La projection de lumière structurée est utilisée pour réaliser une reconstruction 3D. Elle a été évaluée en utilisant une structure de la forme d’une pyramide avec plusieurs marches, ce qui permet de déterminer l'exactitude et la précision du système de la profilométrie. L'exactitude et la précision moyennes pour toutes les reconstructions de hauteurs des marches des pyramides (de 1.5 à 30 mm) étaient respectivement de 0.3 mm et 0.6 mm. Des mesures de profilométrie à différents angles ont également été effectuées en tournant une plate-forme de ±15, 30 et 45. L’erreur de reconstruction moyenne pour tous les angles a été de 1.94 degrés (σ = 1.2 degrés). En outre, un fantôme optique de la forme d’un cerveau avec des propriétés optiques dans des échelles de valeurs physiologiques réalistes a été fabriqué. Son profil a été reconstruit avec une exactitude comparable au test avec des pyramides. Pour la détection de la fluorescence, le même système de détection a été utilisé mais le Projecteur Digitale de Lumière a été remplacé par une source bleue venant d’un microscope chirurgical. Une technique a été développée pour récupérer la fluorescence intrinsèque des tissus du cerveau et la méthode a été testée in vivo durant des opérations de résection de gliome à l'Institut et hôpital neurologique de Montréal. La méthode comprend une calibration technique pour corriger les données de fluorescence hyperspectrale dans le but d’enlever la réponse spectrale et spatiale de l’instrument d’imagerie. Ensuite, un algorithme a été développé pour corriger l’effet de l’atténuation de la lumière sur les propriétés optiques du tissu en normalisant la fluorescence avec des images de réflectance de lumière blanche dans le but de produire des données d’imagerie spécialement reliées à la fluorescence émise par les molécules du tissu. Les données préliminaires d’un cas clinique ont permis de révéler que les tissus en bonne santé ont une fluorescence avec une intensité plus grande que celle des tumeurs, hypothèse qui se retrouve également dans la littérature. En conclusion, le système d’imagerie développé comme partie intégrante de cette thèse est capable de fournir une hauteur pixel par pixel dans la cavité chirurgicale (profil 3D) et une carte de l’auto-fluorescence de la surface du cerveau.----------ABSTRACT Neurosurgery microscopes have been developed to detect fluorescence associated with biological tissue; in addition, optical spectroscopy can be used to guide surgical procedures including the resection of brain tumors. However, current microscopes do not have hyperspectral capabilities, which prevents these systems from quantitatively evaluating tissue optical properties (absorption and scattering) and use these values to implement an attenuation correction leading to quantified values of fluorescence. An important first step allowing to accurately assessing the absorption and scattering properties of biological tissue is the determination of the geometric shape of the sample. Here we present a hyperspectral system integrated onto a commercial neurosurgical microscope that is capable of supporting two functionalities: (a) extracting the 3D profile of the brain, and (b) detecting the spectral signature of brain tissue autofluorescence. These functionalities represent critical initial advancements towards the development of new devices that will be able to quantify intrinsic tissue fluorescence during surgical procedures in order to unambiguously detect abnormalities. An imaging system was developed that consists of a Digital Light Projector coupled to a neurosurgical microscope allowing structured light to be projected on the surgical cavity. Detection is achieved using a high sensitivity hyperspectral system also coupled to the microscope through a free optical port. The projection of structured light is used to perform a 3D reconstruction, which was evaluated using a phantom in the shape of a pyramid with multiple steps allowing determining the accuracy and precision of the profilometry system. The average accuracy and precision for all reconstructions of pyramid step heights (from 1.5 to 30 mm) was 0.3 mm and 0.6 mm, respectively. Profilometry measurements at different angles were also acquired by rotating a platform by ±15, 30 and 45. The mean reconstruction error for all angles was 1.94 (STD = 1.2). Additionally, a brain-shaped phantom with optical properties within the range of realistic physiological values was fabricated and its profile was reconstructed with accuracies comparable with the pyramid step phantom. For fluorescence detection, the same detection system was used but the Digital Light Projector was replaced with the wide-field blue source from a fluorescence neurosurgical microscope. A technique was developed to recover intrinsic brain tissue fluorescence and the method was tested in vivo during glioma resection procedures at the Montreal Neurological Institute and Hospital. The method includes a calibration technique to correct hyperspectral fluorescence data in order to remove the spectral and spatial response of the imaging instrument. Then, an algorithm was developed to correct for the light attenuation effect of tissue optical properties by normalizing the fluorescence with white light reflectance images with the objective to produce imaging data specifically related to fluorescence emitted by tissue molecules. Preliminary data from a clinical case suggested that healthy tissue has higher fluorescence intensity than tumor, which is in line with the literature. In conclusion, the imaging system developed as part of this thesis is able to provide pixel-by-pixel heights within the surgical cavity (3D profile) and autofluorescence maps of the brain surface