A Survey on Deep Learning in Medical Image Registration: New Technologies, Uncertainty, Evaluation Metrics, and Beyond

Over the past decade, deep learning technologies have greatly advanced the field of medical image registration. The initial developments, such as ResNet-based and U-Net-based networks, laid the groundwork for deep learning-driven image registration. Subsequent progress has been made in various aspects of deep learning-based registration, including similarity measures, deformation regularizations, and uncertainty estimation. These advancements have not only enriched the field of deformable image registration but have also facilitated its application in a wide range of tasks, including atlas construction, multi-atlas segmentation, motion estimation, and 2D-3D registration. In this paper, we present a comprehensive overview of the most recent advancements in deep learning-based image registration. We begin with a concise introduction to the core concepts of deep learning-based image registration. Then, we delve into innovative network architectures, loss functions specific to registration, and methods for estimating registration uncertainty. Additionally, this paper explores appropriate evaluation metrics for assessing the performance of deep learning models in registration tasks. Finally, we highlight the practical applications of these novel techniques in medical imaging and discuss the future prospects of deep learning-based image registration

Validating supervised learning approaches to the prediction of disease status in neuroimaging

Alzheimer’s disease (AD) is a serious global health problem with growing human and monetary costs. Neuroimaging data offers a rich source of information about pathological changes in the brain related to AD, but its high dimensionality makes it difficult to fully exploit using conventional methods. Automated neuroimage assessment (ANA) uses supervised learning to model the relationships between imaging signatures and measures of disease. ANA methods are assessed on the basis of their predictive performance, which is measured using cross validation (CV). Despite its ubiquity, CV is not always well understood, and there is a lack of guidance as to best practice. This thesis is concerned with the practice of validation in ANA. It introduces several key challenges and considers potential solutions, including several novel contributions. Part I of this thesis reviews the field and introduces key theoretical concepts related to CV. Part II is concerned with bias due to selective reporting of performance results. It describes an empirical investigation to assess the likely level of this bias in the ANA literature and relative importance of several contributory factors. Mitigation strategies are then discussed. Part III is concerned with the optimal selection of CV strategy with respect to bias, variance and computational cost. Part IV is concerned with the statistical analysis of CV performance results. It discusses the failure of conventional statistical procedures, reviews previous alternative approaches, and demonstrates a new heuristic solution that fares well in preliminary investigations. Though the focus of this thesis is AD ANA, the issues it addresses are of great importance to all applied machine learning fields where samples are limited and predictive performance is critical

Development of Phase-Shifting Profilometry for 3D Brain Cavity Reconstruction and in vivo Detection of Intrinsic Fluorescence Through a Neurosurgical Microscope

Les microscopes neurochirurgicaux ont été conçus pour détecter la fluorescence produite par des tissus biologiques ; de plus, la spectroscopie optique peut être utilisée pour guider une opération chirurgicale telle que la résection d’une tumeur du cerveau. Néanmoins, les microscopes actuels n’ont pas de capacité hyperspectrale, ce qui les empêche d’évaluer quantitativement les propriétés optiques des tissus (absorption et diffusion). Ils ne peuvent utiliser ces marqueurs pour réaliser une correction d’atténuation qui permettrait d’obtenir des valeurs quantifiées de fluorescence. Une première étape importante permettant d’évaluer précisément les propriétés d’absorption et de diffusion des tissus biologiques est la détermination de la forme géométrique de l’échantillon. Cette thèse présente un système hyperspectral intégré dans un microscope neurochirurgical commercial. Un tel système est capable de réaliser deux fonctions : (a) extraire le profil 3D du cerveau ; et, (b) détecter la signature spectrale de l’auto-fluorescence des tissus du cerveau. Ce sont des développements initiaux essentiels en vue de la création de nouveaux équipements qui permettront de quantifier la fluorescence intrinsèque des tissus durant une opération chirurgicale. Ceci dans le but de détecter des anomalies sans ambiguïté. Un système d’imagerie a été développé et consiste en un Projecteur Digitale de Lumière associé avec un microscope neuro chirurgical permettant à la lumière structurée d’être projetée sur une cavité chirurgicale. La détection est réalisée en utilisant un système hyperspectral de haute sensibilité qui est également couplé avec le microscope à travers un port optique libre. La projection de lumière structurée est utilisée pour réaliser une reconstruction 3D. Elle a été évaluée en utilisant une structure de la forme d’une pyramide avec plusieurs marches, ce qui permet de déterminer l'exactitude et la précision du système de la profilométrie. L'exactitude et la précision moyennes pour toutes les reconstructions de hauteurs des marches des pyramides (de 1.5 à 30 mm) étaient respectivement de 0.3 mm et 0.6 mm. Des mesures de profilométrie à différents angles ont également été effectuées en tournant une plate-forme de ±15, 30 et 45. L’erreur de reconstruction moyenne pour tous les angles a été de 1.94 degrés (σ = 1.2 degrés). En outre, un fantôme optique de la forme d’un cerveau avec des propriétés optiques dans des échelles de valeurs physiologiques réalistes a été fabriqué. Son profil a été reconstruit avec une exactitude comparable au test avec des pyramides. Pour la détection de la fluorescence, le même système de détection a été utilisé mais le Projecteur Digitale de Lumière a été remplacé par une source bleue venant d’un microscope chirurgical. Une technique a été développée pour récupérer la fluorescence intrinsèque des tissus du cerveau et la méthode a été testée in vivo durant des opérations de résection de gliome à l'Institut et hôpital neurologique de Montréal. La méthode comprend une calibration technique pour corriger les données de fluorescence hyperspectrale dans le but d’enlever la réponse spectrale et spatiale de l’instrument d’imagerie. Ensuite, un algorithme a été développé pour corriger l’effet de l’atténuation de la lumière sur les propriétés optiques du tissu en normalisant la fluorescence avec des images de réflectance de lumière blanche dans le but de produire des données d’imagerie spécialement reliées à la fluorescence émise par les molécules du tissu. Les données préliminaires d’un cas clinique ont permis de révéler que les tissus en bonne santé ont une fluorescence avec une intensité plus grande que celle des tumeurs, hypothèse qui se retrouve également dans la littérature. En conclusion, le système d’imagerie développé comme partie intégrante de cette thèse est capable de fournir une hauteur pixel par pixel dans la cavité chirurgicale (profil 3D) et une carte de l’auto-fluorescence de la surface du cerveau.----------ABSTRACT Neurosurgery microscopes have been developed to detect fluorescence associated with biological tissue; in addition, optical spectroscopy can be used to guide surgical procedures including the resection of brain tumors. However, current microscopes do not have hyperspectral capabilities, which prevents these systems from quantitatively evaluating tissue optical properties (absorption and scattering) and use these values to implement an attenuation correction leading to quantified values of fluorescence. An important first step allowing to accurately assessing the absorption and scattering properties of biological tissue is the determination of the geometric shape of the sample. Here we present a hyperspectral system integrated onto a commercial neurosurgical microscope that is capable of supporting two functionalities: (a) extracting the 3D profile of the brain, and (b) detecting the spectral signature of brain tissue autofluorescence. These functionalities represent critical initial advancements towards the development of new devices that will be able to quantify intrinsic tissue fluorescence during surgical procedures in order to unambiguously detect abnormalities. An imaging system was developed that consists of a Digital Light Projector coupled to a neurosurgical microscope allowing structured light to be projected on the surgical cavity. Detection is achieved using a high sensitivity hyperspectral system also coupled to the microscope through a free optical port. The projection of structured light is used to perform a 3D reconstruction, which was evaluated using a phantom in the shape of a pyramid with multiple steps allowing determining the accuracy and precision of the profilometry system. The average accuracy and precision for all reconstructions of pyramid step heights (from 1.5 to 30 mm) was 0.3 mm and 0.6 mm, respectively. Profilometry measurements at different angles were also acquired by rotating a platform by ±15, 30 and 45. The mean reconstruction error for all angles was 1.94 (STD = 1.2). Additionally, a brain-shaped phantom with optical properties within the range of realistic physiological values was fabricated and its profile was reconstructed with accuracies comparable with the pyramid step phantom. For fluorescence detection, the same detection system was used but the Digital Light Projector was replaced with the wide-field blue source from a fluorescence neurosurgical microscope. A technique was developed to recover intrinsic brain tissue fluorescence and the method was tested in vivo during glioma resection procedures at the Montreal Neurological Institute and Hospital. The method includes a calibration technique to correct hyperspectral fluorescence data in order to remove the spectral and spatial response of the imaging instrument. Then, an algorithm was developed to correct for the light attenuation effect of tissue optical properties by normalizing the fluorescence with white light reflectance images with the objective to produce imaging data specifically related to fluorescence emitted by tissue molecules. Preliminary data from a clinical case suggested that healthy tissue has higher fluorescence intensity than tumor, which is in line with the literature. In conclusion, the imaging system developed as part of this thesis is able to provide pixel-by-pixel heights within the surgical cavity (3D profile) and autofluorescence maps of the brain surface