An attention residual u-net with differential preprocessing and geometric postprocessing: Learning how to segment vasculature including intracranial aneurysms

Objective Intracranial aneurysms (IA) are lethal, with high morbidity and mortality rates. Reliable, rapid, and accurate segmentation of IAs and their adjacent vasculature from medical imaging data is important to improve the clinical management of patients with IAs. However, due to the blurred boundaries and complex structure of IAs and overlapping with brain tissue or other cerebral arteries, image segmentation of IAs remains challenging. This study aimed to develop an attention residual U-Net (ARU-Net) architecture with differential preprocessing and geometric postprocessing for automatic segmentation of IAs and their adjacent arteries in conjunction with 3D rotational angiography (3DRA) images. Methods The proposed ARU-Net followed the classic U-Net framework with the following key enhancements. First, we preprocessed the 3DRA images based on boundary enhancement to capture more contour information and enhance the presence of small vessels. Second, we introduced the long skip connections of the attention gate at each layer of the fully convolutional decoder-encoder structure to emphasize the field of view (FOV) for IAs. Third, residual-based short skip connections were also embedded in each layer to implement in-depth supervision to help the network converge. Fourth, we devised a multiscale supervision strategy for independent prediction at different levels of the decoding path, integrating multiscale semantic information to facilitate the segmentation of small vessels. Fifth, the 3D conditional random field (3DCRF) and 3D connected component optimization (3DCCO) were exploited as postprocessing to optimize the segmentation results. Results Comprehensive experimental assessments validated the effectiveness of our ARU-Net. The proposed ARU-Net model achieved comparable or superior performance to the state-of-the-art methods through quantitative and qualitative evaluations. Notably, we found that ARU-Net improved the identification of arteries connecting to an IA, including small arteries that were hard to recognize by other methods. Consequently, IA geometries segmented by the proposed ARU-Net model yielded superior performance during subsequent computational hemodynamic studies (also known as patient-specific computational fluid dynamics [CFD] simulations). Furthermore, in an ablation study, the five key enhancements mentioned above were confirmed. Conclusions The proposed ARU-Net model can automatically segment the IAs in 3DRA images with relatively high accuracy and potentially has significant value for clinical computational hemodynamic analysis

An image-based modeling framework for patient-specific computational hemodynamics

We present a modeling framework designed for patient-specific computational hemodynamics to be performed in the context of large-scale studies. The framework takes advantage of the integration of image processing, geometric analysis and mesh generation techniques, with an accent on full automation and high-level interaction. Image segmentation is performed using implicit deformable models taking advantage of a novel approach for selective initialization of vascular branches, as well as of a strategy for the segmentation of small vessels. A robust definition of centerlines provides objective geometric criteria for the automation of surface editing and mesh generation. The framework is available as part of an open-source effort, the Vascular Modeling Toolkit, a first step towards the sharing of tools and data which will be necessary for computational hemodynamics to play a role in evidence-based medicine

Intraoperative, Quantitative, and Non-Contact Blood Volume Flow Measurement via Indocyanine Green Fluorescence Angiography

In vielen Fällen unterziehen sich Patienten einer Revaskularisationsoperation wenn sie an einer zerebrovaskulären Erkrankung leiden, die eine Hypoperfusion des Gehirns verursacht. Dieser chirurgische Eingriff wird häufig als offene Operation durchgeführt und hat das Ziel, die Gefäßfunktion, insbesondere den Blutfluss, wiederherzustellen. Hierzu wird eine Anastomose (Verbindung von Arterien) angelegt, um den Fluss zu einem hypoperfundierten Gehirnareal zu erhöhen. In ungefähr 10% der Eingriffe treten nach der Operation Komplikationen auf, die zum Teil auf eine unzureichende Durchflusssteigerung zurückgeführt werden. Daher sollte der Blutfluss intraoperativ überprüft werden, um die Qualität des Eingriffs im Operationssaal zu beurteilen und schnell eingreifen zu können. Damit könnte ein negativer Ausgang für den Patienten verhindert werden. Der derzeitige Stand der Technik in der intraoperativen und quantitativen Blutflussmessung ist die Nutzung der Ultraschall-Transitzeit-Durchflusssonde. Sie gibt einen quantitativen Flusswert an, muss jedoch das Gefäß umschließen. Dies ist einerseits umständlich für den Chirurgen und andererseits birgt es das Risiko von Kontaminationen, Gefäßquetschungen und der Gefäßruptur. Eine alternative Methode ist die Indocyaningrün (ICG) Fluoreszenzangiographie (FA), welche eine kamerabasierte Methode ist. Sie ist der Stand der Technik in der hochauflösenden anatomischen Visualisierung des Situs und kann zusätzlich dem Chirurgen eine qualitative funktionelle Darstellung der Gefäße im Sichtfeld liefern. Der Stand der Wissenschaft zur Quantifizierung des Blutflusses mittels ICG-FA konnten bisher keine verlässlichen Fluss- werte liefern. Die vorliegende Arbeit analysiert und verbessert die Eignung von ICG FA zu Bereitstellung von verlässlichen und quantitativen Blutflusswerten, indem 1. geklärt wird, wie akkurat die Messung durchgeführt werden kann. 2. Methoden zur Verbesserung der Genauigkeit entwickelt werden. 3. die Existenz eines systematischen Fehlers abgeleitet wird. 4. eine Methode zur Kompensation des systematischen Fehlers entwickelt wird. 5. ein Algorithmus zur Verarbeitung der eingehenden Videodaten für eine Ausgabe eines Durchflusswertes bereitgestellt wird. 6. die Validierung der vorgeschlagenen Methoden und des Arbeitsablaufs in einer ex vivo und in vivo Studie durchgeführt wird. Die in dieser Arbeit vorgeschlagene Messung basiert auf dem systemic mean transit time theorem für Systeme mit einem Eingang und einem Ausgang. Um den Fluss zu berechnen müssen die Transitzeit eines ICG-Bolus für eine zu bestimmenden Strecke und die Querschnittsfläche des Gefäßes ermittelt werden. Es wurden Methoden entwickelt, um den Blutvolumenstrom zu messen und um Fehlerquellen bei dieser Messung der einzelnen Parameter zu identifizieren, quantifizieren und reduzieren. Die statistischen Fehler bei der Messung der Transitstrecke und der Transitzeit des ICG- Bolus sowie der Querschnittsfläche des Gefäßes werden in der Forschung oft vernachlässigt. In dieser Arbeit wurden die Fehler mit Hilfe von in silico Modellen quantifiziert. Es zeigte sich, dass der Fehler zu groß für eine zuverlässige Blutflussmessung ist und daher Methoden zu seiner Reduzierung benötigt werden. Um den Fehler bei der Längenmessung deutlich zu reduzieren, wurde eine Methode vorgestellt, welche die diskrete Mittellinie wieder in eine kontinuierliche überführt. Dabei wird der Fehler in der Längenmessung signifikant reduziert und der Fehler von der räumlichen Orientierung der Struktur entkoppelt. In ähnlicher Weise wurde eine Methode vorgestellt, welche die gemessenen diskreten Indikatorverdünnungskurven (IDCs) ebenso in kontinuierliche überführt, um den Fehler in der Laufzeitmessung des ICG-Bolus zu reduzieren. Der propagierte statistische Fehler der Blutflussmessung wurde auf einen akzeptablen und praktikablen Wert von 20 % bis 30 % reduziert. Die Präsenz eines systematischen Fehlers bei der optischen Messung des Blutflusses wurde identifiziert und aus der Definition des Volumenflusses theoretisch abgeleitet. Folgend wird eine Methode zur Kompensation des Fehlers vorgestellt. Im ersten Schritt wird eine Fluid-Strömungssimulation genutzt, um die räumlich-zeitliche Konzentration des ICG in einem Blutgefäß zu berechnen. Anschließend wird die Konzentration an ein neu entwickeltes Fluoreszenz-Monte-Carlo-Multizylinder (FMCMC) Modell übergeben, das die Ausbreitung von Photonen in einem Gefäß simuliert. Dabei wird der Ort der Fluoreszenzereignisse der emittierten Photonen ermittelt und der systematische Fehler bestimmt. Dies ermöglicht die Kompensation des systematischen Fehlers. Es zeigte sich, dass dieser Fehler unabhängig von dem Volumenfluss ist, solange die Strömung laminar ist, aber abhängig vom Durchmesser des Gefäßes und dem Zeitpunkt der Messung. Die Abhängigkeit vom Durchmesser ist reduziert bei Messungen zu einem früheren Zeitpunkt. Daher ist es vorteilhaft, die erste Ankunft des ICG-Bolus zur Bestimmung der Transitzeit zu verwenden, um den Einfluss des Durchmessers auf den Fehler zu verringern und somit die Messung robuster durchzuführen. Um die Genauigkeit der Messung in einem Experiment zu beweisen, wurde ein ex vivo Experiment unter Verwendung von Schweineblut und Kaninchen Aorten konzipiert und durchgeführt. Es zeigte sich, dass der durch den vorgeschlagenen Algorithmus ermittelte Fluss mit der Referenzmessung (einem industriellem Durchflussmesser) übereinstimmt. Die statistische Streuung der gemessenen Flussdaten durch den Algorithmus stimmte mit der zuvor ermittelten statistischen Fehlerspanne überein, was den in silico Ansatz validiert. Es wurde eine retrospektive in vivo Studie an Menschen durchgeführt, die sich einer extrakraniellen-zu-intrakraniellen (EC-IC) Bypass Operation unterzogen hatten. Die Analyse der FA-Daten ergab eine gute Übereinstimmung mit der klinischen Referenzmethode, jedoch mit dem großen Vorteil, dass kein Kontakt zum Gewebe erforderlich war. Zusätzlich wurde gezeigt, dass simultan Flusswerte für mehrere Gefäße im Sichtfeld der Kamera gemessen werden können. Die vorgestellten Ergebnisse sind ein Proof of Concept für die Eignung der vorgestellten intraoperativen, quantitativen und optischen Messung des Blutvolumenstroms mittels ICG FA. Diese Arbeit ebnet den Weg für den klinischen Einsatz dieser Methode in Ergänzung zum aktuellen klinischen Stand der Technik. Sie könnte zukünftig dem Chirurgen eine neuartige Messung des Blutvolumenstroms zur Verfügung stellen und dabei potentiell das Risiko einer Komplikation reduzieren und damit das Wohl der Patienten verbessern

Medical image registration by neural networks: a regression-based registration approach

This thesis focuses on the development and evaluation of a registration-by-regression approach for the 3D/2D registration of coronary Computed Tomography Angiography (CTA) and X-ray angiography. This regression-based method relates image features of 2D projection images to the transformation parameters of the 3D image by a nonlinear regression. It treats registration as a regression problem, as an alternative for the traditional iterative approach that often comes with high computational costs and limited capture range. First we presented a survey of the methods with a regression-based registration approach for medical applications, as well as a summary of their main characteristics (Chapter 2). Second, we studied the registration methodology, addressing the input features and the choice of regression model (Chapter 3 and Chapter 4). For that purpose, we evaluated different options using simulated X-ray images generated from coronary artery tree models derived from 3D CTA scans. We also compared the registration-by-regression results with a method based on iterative optimization. Different image features of 2D projections and seven regression techniques were considered. The regression approach for simulated X-rays was shown to be slightly less accurate, but much more robust than the method based on an iterative optimization approach. Neural Networks obtained accurate results and showed to be robust to large initial misalignment. Third, we evaluated the registration-by-regression method using clinical data, integrating the 3D preoperative CTA of the coronary arteries with intraoperative 2D X-ray angiography images (Chapter 5). For the evaluation of the image registration, a gold standard registration was established using an exhaustive search followed by a multi-observer visual scoring procedure. The influence of preprocessing options for the simulated images and the real X-rays was studied. Several image features were also compared. The coronary registration–by-regression results were not satisfactory, resembling manual initialization accuracy. Therefore, the proposed method for this concrete problem and in its current configuration is not sufficiently accurate to be used in the clinical practice. The framework developed enables us to better understand the dependency of the proposed method on the differences between simulated and real images. The main difficulty lies in the substantial differences in appearance between the images used for training (simulated X-rays from 3D coronary models) and the actual images obtained during the intervention (real X-ray angiography). We suggest alternative solutions and recommend to evaluate the registration-by-regression approach in other applications where training data is available that has similar appearance to the eventual test data

Consensus recommendations of three-dimensional visualization for diagnosis and management of liver diseases

Three-dimensional (3D) visualization involves feature extraction and 3D reconstruction of CT images using a computer processing technology. It is a tool for displaying, describing, and interpreting 3D anatomy and morphological features of organs, thus providing intuitive, stereoscopic, and accurate methods for clinical decision-making. It has played an increasingly significant role in the diagnosis and management of liver diseases. Over the last decade, it has been proven safe and effective to use 3D simulation software for pre-hepatectomy assessment, virtual hepatectomy, and measurement of liver volumes in blood flow areas of the portal vein; meanwhile, the use of 3D models in combination with hydrodynamic analysis has become a novel non-invasive method for diagnosis and detection of portal hypertension. We herein describe the progress of research on 3D visualization, its workflow, current situation, challenges, opportunities, and its capacity to improve clinical decision-making, emphasizing its utility for patients with liver diseases. Current advances in modern imaging technologies have promised a further increase in diagnostic efficacy of liver diseases. For example, complex internal anatomy of the liver and detailed morphological features of liver lesions can be reflected from CT-based 3D models. A meta-analysis reported that the application of 3D visualization technology in the diagnosis and management of primary hepatocellular carcinoma has significant or extremely significant differences over the control group in terms of intraoperative blood loss, postoperative complications, recovery of postoperative liver function, operation time, hospitalization time, and tumor recurrence on short-term follow-up. However, the acquisition of high-quality CT images and the use of these images for 3D visualization processing lack a unified standard, quality control system, and homogeneity, which might hinder the evaluation of application efficacy in different clinical centers, causing enormous inconvenience to clinical practice and scientific research. Therefore, rigorous operating guidelines and quality control systems need to be established for 3D visualization of liver to develop it to become a mature technology. Herein, we provide recommendations for the research on diagnosis and management of 3D visualization in liver diseases to meet this urgent need in this research field

Multimodal Optical Medical Imaging Concepts Based on Optical Coherence Tomography

Optical medical imaging techniques in general exhibit outstanding resolution and molecule-specific contrast. They come however with a limited penetration in depth and small field of view. Multimodal concepts help to combine complementary strengths of different imaging technologies. The present article reviews the advantages of optical multimodal imaging concepts using optical coherence tomography (OCT) as core technology. In particular we first discuss polarization sensitive OCT, Doppler OCT and OCT angiography, OCT elastography, and spectroscopic OCT as intramodal concepts. To highlight intermodal imaging concepts, we then chose the combination of OCT with photoacoustics, and with non-linear optical microscopy. The selected multimodal concepts and their particular complementary strengths and applications are discussed in detail. The article concludes with notes on standardization of OCT imaging and multimodal extensions